NLP入门——数据预处理:子词切分及应用

server/2024/11/14 6:05:37/

BPE(Byte-Pair Encoding)算法

【西湖大学 张岳老师|自然语言处理在线课程 第十六章 - 4节】BPE(Byte-Pair Encoding)编码

如果有一个字符串aabaadaab,对其执行BPE算法
因为字符对aa出现频率最高,因此将其替换为码Z,这时原字符串变为ZbZdZb
此时字符对Zb出现频率最高,将其替换为码Y,此时原字符串变为YZdY
此时字符串中所有字符对频率都一样,都是一次。

在这里插入图片描述
利用BPE算法做子词切分需要两个步骤:

  1. 利用一个大的corpus建立一个子词表(subword vocabulary)以及字节对(token pairs)。
  2. 利用这个子词表和字节对来对新的语料进行子词切分。

首先是第一个任务:
在这里插入图片描述
这里首先子词表中应该包含所有的单个字符,随后我们在corpus中寻找出现频率最高的subword pair,这里是st出现了3+4+1=8次。
在这里插入图片描述
将s,t这个subword pair计入token pair表格中,并将他们组合后添加到子词表中,再次寻找出现频率最高的子词对。
在这里插入图片描述
同上,e,st为出现频率最高的subword pair,继续添加出现频率最高的子词对。
在这里插入图片描述
在添加过be这个子词对后,剩下在corpus的子词对中的子词频率都是一次,因此结束运算。

我们将subword pair表按照频率降序排序,随后对新词按照表格中频率由高到低进行分词。
如果我们对best这个词进行子词切分:

  1. 首先得到b,e,s,t四个子词,接着在token pair表格中进行匹配,发现s,t的子词对组合频率最高,因此将其合并。
  2. 得到了b,e,st这三个子词,我们继续在token pair进行匹配,发现e,st的子词对组合频率最高,因此将其合并。
  3. 得到了b,est这两个子词,随后token pair中没有可以匹配的对象,切分完成。

为了能够还原子词,我们在b后加两个@@,因此best被切分为b@@ + est这两个子词。每当我们还原时,遇到一个以@@结尾的子词,我们将其与后面的子词合并,并去掉@@符号,最终子词序列中没有@@符号为止,即还原了原词序列。

利用subword-nmt实现bpe算法

github subword-nmt
使用pip进行安装:pip install subword-nmt

python">:~/nlp/token$ subword-nmt learn-bpe -s 32000 < en.tc > en.cds &
:~/nlp/token$ subword-nmt learn-bpe -s 32000 < zh.tok > zh.cds &

-s后是学习的词数量,en.tc、zh.tok分别为上一节处理后的英文、中文文本,en.cds、zh.cds是输出文件。
查看学习到的zh.cds文件:
在这里插入图片描述之后我们可以用apply-bpe利用规则文件对corpus进行切分:

python">:~/nlp/token$ subword-nmt apply-bpe -c zh.cds < zh.tok > zh.bpe

运行后我们查看zh.bpe文件:
在这里插入图片描述
我们可以看到3377被拆成了33@,77以及横行被拆成了横@行,我们统计拆分前后的词表中词的数量:

python">#vcb.py
#encoding: utf-8import sysdef count(srcf):vcb={}#创建一个空字典with open(srcf,"rb") as frd:for line in frd:tmp = line.strip()if tmp:for word in tmp.decode("utf-8").split():#利用split()将每行的词提取出来vcb[word] = vcb.get(word,0) + 1#字典的get方法,如果vcb[word]存在就取值,若不存在返回0#统计每个子词出现的频次return vcb              if __name__=="__main__":print(len(count(*sys.argv[1:])))#len为出现的不同子词的个数

在命令行输入:

python">:~/nlp/token$ python vcb.py zh.bpe 
43050
:~/nlp/token$ python vcb.py zh.tok 
630306

可以看到执行bpe算法后,词表大小被大大减少。

进一步缩减bpe算法产生的词表

在zh.bpe文件中,会有很多低频的、只出现一次或两次的词,例如 “非洲统一组织“ ,若拆成 “非洲”、“统一”、“组织”,则这三个词每个词的频率都会高于拆之前的词。
因此我们需要统计每个子词的频率来决定阈值:

python">:~/nlp/token$ subword-nmt get-vocab < zh.bpe > zh.vcb
:~/nlp/token$ tail zh.vcb 
不伦@@ 1
® 11
ƒ 1
布拉柴@@ 1
別@@ 11111

查看文件的尾部,发现很多子词的频率为1,只出现过一次。

python">:~/nlp/token$ subword-nmt apply-bpe -c zh.cds --vocabulary zh.vcb --vocabulary-threshold 8 < zh.tok > zh.bpe

对词表设置阈值为8后,重新得到新的bpe算法处理后的文件,再次统计词表的长度:

python">:~/nlp/token$ python vcb.py zh.bpe 
42590

可以看到,由于词频低于8的词都被过滤掉,词表被进一步缩减。

unigram算法

利用sentencepiece运行unigram算法

sentencepiece安装:pip install sentencepiece github-sentencepiece
unigram算法总结-huggingface
unigram算法原文
在终端输入以下命令:

python">:~/nlp/normalize$ spm_train --input=uni.zh --model_prefix=unizh --vocab_size=32000 ---character_coverage --model_type=unigram --input_sentence_size=1048576 --shuffle_input_sentence --train_extremely_large_corpus

在这里插入图片描述
如图所示的参数说明:
--input:输入数据是原始的语料文件,因此我们选择最初的uni.zh未经过处理的文件。
--model_prefix:输出训练后模型文件的前缀名,后缀为.model
--vocab_size:输入模型训练的词数
--character_coverage:我们选用的是联合国的中文语料,推荐中文日文等丰富字(母)语言设置为0.9995,其他设置为1。代表字母的覆盖率,默认为0.9995。
--model_type:指定训练模型的类型,我们欲使用sentencepiece完成unigram算法,因此参数设置为默认(unigram)。
另外,我们添加了其他的帮助提升训练效果的参数:
--input_sentence_size:限制了训练数据中加载的最大句长
--shuffle_input_sentence:将输入每行句子先做乱序处理,再输入训练模型
--train_extremely_large_corpus:针对输入是很大的语料规模做优化,默认为false,但只要在命令行出现就自动设置为true,未出现则为默认值false。

运行完成后,我们查看unizh.vocab文件,存储的是所有的子词以及他们出现概率的负对数:
在这里插入图片描述

我们利用训练完成的model进行子词切分,在命令行输入:

python"> :~/nlp/normalize$ spm_encode --model=unizh.model  < uni.zh > zh.spm

传入最初原始的raw text,利用训练好的模型得到分词后的文件,查看zh.spm文件:
在这里插入图片描述
这是对原始语料进行处理后的分词文件,可以看到分词后的结果。利用spm_decode可以还原原始数据:

python">:~/nlp/normalize$ spm_decode --model=unizh.model < zh.spm > zh.despm

在这里插入图片描述


http://www.ppmy.cn/server/48564.html

相关文章

升级和维护老旧LabVIEW程序

在升级老旧LabVIEW程序至64位环境时&#xff0c;需要解决兼容性、性能和稳定性等问题。本文从软件升级、硬件兼容性、程序优化、故障修复等多个角度详细分析。具体包括64位迁移注意事项、修复页面跳转崩溃、解决关闭程序后残留进程的问题&#xff0c;确保程序在新环境中的平稳运…

Jtti:ubuntu文件系统根目录磁盘空间不足怎么办

当Ubuntu文件系统的根目录磁盘空间不足时&#xff0c;可以采取以下步骤来解决问题&#xff1a; 1. 清理不必要的文件 删除临时文件&#xff1a;清理/var/tmp、/tmp等目录中的临时文件。 清理日志文件&#xff1a;删除/var/log目录下的旧日志文件或使用日志轮转工具。 删除缓…

linux shell实现目录判断,定期输入文件信息,当文件个数大于10个时,进行删除

需求&#xff1a; 判断目录 /tmp/jstack 是否存在&#xff0c;不存在则新建一个目录&#xff0c;若存在则删除目录下所有内容。 每隔 1 小时打印 tomcat的 jstack 信息&#xff0c;并以 jstack_${当前时间} 命名文件&#xff0c;每当目录 超过 10 个文件后&#xff0c;删除最…

推荐网站(22)GeoSpy,根据图片显示地理位置

今天推荐一款名为GeoSpy的AI工具。它利用人工智能技术&#xff0c;通过分析照片中的光线、植被、建筑风格等细节线索&#xff0c;实现对拍摄地点的精确定位。令人难以置信的是,它对位置的定位准确度非常高。 GeoSpy之所以智能如此,是因为它将输入的照片与大量的街景和地理图像…

大数据-11-案例演习-淘宝双11数据分析与预测 (期末问题)

目录 第一部分 Hadoop是什么 官方解释&#xff1a; 个人总结 HDFS 是什么? 官方解释&#xff1a; 个人总结 yarn是什么? 官方解释&#xff1a; 个人总结 mapreduce&#xff0c;spark 是什么? 官方解释&#xff1a; MapReduce Spark 个人总结 MapReduce Spa…

PHP框架详解 - Symfony框架

引言 在现代Web开发中&#xff0c;PHP作为一种灵活且功能强大的编程语言&#xff0c;广泛应用于各种Web应用程序的开发中。为了提高开发效率、代码的可维护性和可扩展性&#xff0c;开发者通常会选择使用框架来构建应用程序。在众多PHP框架中&#xff0c;Symfony以其强大的功能…

北京多商入驻app开发项目的主要优势及功能

多商入驻app开发项目的定义 随着电子支付技术的不断成熟&#xff0c;全国各地的消费者通过网络在线上购物的频率越来越高&#xff0c;为此&#xff0c;多商入驻app开发项目应用而生。各商家也纷纷开始申请入驻商城平台&#xff0c;开设自己的店铺。 图片来源&#xff1a;unspl…

SQL 窗口函数

1.窗口函数之排序函数 RANK, DENSE_RANK, ROW_NUMBER RANK函数 计算排序时,如果存在相同位次的记录,则会跳过之后的位次 有 3 条记录排在第 1 位时: 1 位、1 位、1 位、4 位…DENSE_RANK函数 同样是计算排序,即使存在相同位次的记录,也不会跳过之后的位次 有 3 条记录排在…