继《大模型数据词元化处理BPE(Byte-Pair Encoding tokenization)》之后，我们针对大模型原始数据的分词处理，继续分享WordPiece分词技术【1】。 1. 原理分析 WordPiece 是 Google 开发的分词算法，用于预训练 BERT。此后，它被多个基…