词元化
2024/10/22 12:31:07
【大模型实战篇】大模型分词算法WordPiece分词及代码示例
继《大模型数据词元化处理BPE(Byte-Pair Encoding tokenization)》之后，我们针对大模型原始数据的分词处理，继续分享WordPiece分词技术【1】。
1. 原理分析 WordPiece 是 Google 开发的分词算法，用于预训练 BERT。此后，它被多个基…
动手学深度学习8.2. 文本预处理-笔记练习（PyTorch）
本节课程地址：代码_哔哩哔哩_bilibili
本节教材地址：8.2. 文本预处理 — 动手学深度学习 2.0.0 documentation (d2l.ai)
本节开源代码：...>d2l-zh>pytorch>chapter_multilayer-perceptrons>text-preprocessing.ipynb 文本预处理…