Bert完形填空

news/2024/11/13 22:57:08/

转载自:| 03_language_model/03_Bert完形填空.ipynb | 基于transformers使用Bert模型做完形填空 |Open In Colab |

完形填空

利用语言模型,可以完成完形填空(fill mask),预测缺失的单词。
当前,效果最好的语言模型是Bert系列的预训练语言模型。

python">!pip install transformers
python">import osfrom transformers import pipelineos.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
model_name = "hfl/chinese-macbert-base"nlp = pipeline("fill-mask",model=model_name,tokenizer=model_name,device=-1,  # gpu device id)
from pprint import pprintpprint(nlp(f"明天天{nlp.tokenizer.mask_token}很好?"))
print("*" * 42)
pprint(nlp(f"明天心{nlp.tokenizer.mask_token}很好?"))
print("*" * 42)
pprint(nlp(f"张亮在哪里任{nlp.tokenizer.mask_token}?"))
print("*" * 42)
pprint(nlp(f"少先队员{nlp.tokenizer.mask_token}该为老人让座位。"))

模型默认保存在:~/.cache/huggingface/transformers

不通过pipeline,可以自己写预测逻辑:

python">from transformers import AutoModelWithLMHead, AutoTokenizer
import torch# tokenizer = AutoTokenizer.from_pretrained("distilbert-base-cased")
# model = AutoModelWithLMHead.from_pretrained("distilbert-base-cased")
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelWithLMHead.from_pretrained(model_name)sequence = f"明天天{nlp.tokenizer.mask_token}很好."
input = tokenizer.encode(sequence, return_tensors="pt")
mask_token_index = torch.where(input == tokenizer.mask_token_id)[1]
token_logits = model(input).logits
mask_token_logits = token_logits[0, mask_token_index, :]
top_5_tokens = torch.topk(mask_token_logits, 5, dim=1).indices[0].tolist()
for token in top_5_tokens:print(sequence.replace(tokenizer.mask_token, tokenizer.decode([token])))

http://www.ppmy.cn/news/1546253.html

相关文章

数据结构--数组

一.线性和非线性 线性:除首尾外只有一个唯一的前驱和后继。eg:数组,链表等。 非线性:不是线性的就是非线性。 二.数组是什么? 数组是一个固定长度的存储相同数据类型的数据结构,数组中的元素被存储在一…

HashSet判断元素相等性的方法

HashSet判断元素相等性的方法主要依赖于两个关键方法:hashCode()和equals()。以下是HashSet判断元素相等性的详细步骤: 计算哈希码: 当向HashSet中添加元素时,HashSet会首先调用待添加元素的hashCode()方法获取其哈希码。哈希码是…

打造完整 Transformer 编码器:逐步实现高效深度学习模块

11. encoder 打造完整 Transformer 编码器:逐步实现高效深度学习模块 在深入理解了编码器块的核心结构后,下一步就是实现一个完整的 Transformer 编码器。该编码器将输入序列转换为高级语义向量,并为后续的解码或其他任务模块提供高质量的特…

随机采样之接受拒绝采样

之前提到的逆变换采样(Inverse Transform Sampling)是一种生成随机样本的方法,它利用累积分布函数(CDF)的逆函数来生成具有特定分布的随机变量。以下是逆变换采样的缺点: 计算复杂性:对于某些分…

PyQt5

基于PyQt5的重绘机制实现加载页面 效果预览代码说明控件初始化超时回调重绘事件缩放事件 代码获取 效果预览 直接看图,效果展现为跟随黑点顺时针转动,且有明暗变化 代码说明 控件初始化 initUI主要用于初始化用户界面(UI)。它创建了一个具有特定样式…

scala set训练

Set实训内容: 1.创建一个可变Set,用于存储图书馆中的书籍信息(假设书籍信息用字符串表示),初始化为包含几本你喜欢的书籍 2.添加两本新的书籍到图书馆集合中,使用操作符 3.删除一本图书馆集合中的书籍&…

Linux——入门

前言:大佬写博客给别人看,菜鸟写博客给自己看,我是菜鸟 本篇涵盖: ①:初识Linux基础指令以及用法(只谈常用的) ②:补足一些有关Linux的常识 一、Linux基础指令及用法 容易记住的: ls-la&#x…

银行归属地查询API接口有哪些好处?

随着银行卡信息的重要性日益凸显,安全性和隐私保护将成为银行卡归属地查询 API 接口发展的重点。日益进步的加密技术、身份认证技术和不断完善的相关法律法规都在促进 API 接口提供商加强对用户隐私的保护,规范数据的使用和共享行为。 且随着全球经济的…