文章目录
- 1 子词Tokenization算法简介
- 1.1 单词级的Tokenization
- 1.2 子词Tokenization技术
- 2 常见的子词Tokenization算法
- 2.1 字节对编码BPE
- 2.2 字节级字节对编码BBPE
- 2.3 WordPiece
- 3 参考附录
BERT(Bidirectional Encoder Representations from Transformers)
1 子词Tokenization算法简介
子词Tokenization(可以理解为分词)在很多SOTA NLP模型上得到广泛的使用，包括BERT和GPT-3。
它能很有效的处理未登陆词。
1.1 单词级的Tokenization
假设我们有一个训练数据集。
我们从这个训练数据集中构建一个词表。
为了构建该词表，我们将数据集中的文本拆分成单词，然后把唯一的单词加入到词表。
通常，词表包含很多单词(标记)，为了举例的简单，假设我们的词表只包含下面的单词：
vocabulary = [game, the, I, played, walked, enjoy]
现在我们有了词表，然后我们基于该词表来对输入进行分词。
考虑输入句子I played the game。
在英文中，
