昇思大模型平台打卡体验活动:项目1基于MindSpore实现BERT对话情绪识别

server/2024/11/15 0:53:59/

基于MindSpore实现BERT对话情绪识别

1. 模型简介

BERT(Bidirectional Encoder Representations from Transformers)是由Google于2018年末开发并发布的一种新型语言模型,基于Transformer架构中的Encoder,并且具有双向编码的特性。BERT在自然语言处理任务中广泛应用,如问答、命名实体识别、自然语言推理和文本分类等。

BERT的主要创新在于其预训练方法,它结合了Masked Language Model(MLM)和Next Sentence Prediction(NSP)两种任务来捕捉词语级和句子级的语义表示。

  • Masked Language Model:在训练过程中,BERT会随机选择15%的词汇进行Mask操作。这些被Mask的词汇会通过三种方式处理:

    • 80%的词汇被直接替换为特殊的[Mask]标记;
    • 10%的词汇会被替换成随机的新词;
    • 10%的词汇则保持不变。
  • Next Sentence Prediction:该任务旨在让BERT理解两个句子之间的关系。训练输入包括两个句子A和B,其中B有一半的概率是A的下一句,BERT模型的任务是预测B是否为A的下一句。

BERT预训练完成后,会保存其Embedding表和Transformer权重(例如BERT-BASE保存12层的Transformer权重,BERT-LARGE保存24层的Transformer权重)。预训练后的BERT模型可以用于Fine-tuning,完成文本分类、相似度判断、阅读理解等下游任务。

在对话情绪识别(Emotion Detection)任务中,模型的目标是分析用户在智能对话中的情绪,自动判断情绪类别(如积极、消极、中性),并给出置信度。该技术可广泛应用于聊天、客服等场景,帮助企业提升对话质量、改善用户体验,并降低人工质检成本。

以下示例展示了如何使用BERT进行情感分类任务。

2. 数据集

我们使用一个已标注并经过分词预处理的中文机器人聊天数据集,数据集由百度飞桨团队提供。每条数据包含两列,第一列为情绪标签(0代表消极、1代表中性、2代表积极),第二列为以空格分隔的中文分词文本。数据文件为UTF-8编码。

示例数据如下:

label--text_a
0--谁骂人了?我从来不骂人,我骂的都不是人,你是人吗 ?
1--我有事等会儿就回来和你聊
2--我见到你很高兴谢谢你帮我

3. 数据处理与模型训练

数据处理包括数据集的读取、格式转换、文本的Tokenize处理以及Padding操作。以下展示了数据处理过程的代码和示意图。

在这里插入图片描述

在这里插入图片描述
1731232658032)

我们使用封装好的trainer来简化训练流程,以下是训练过程的代码示例:

在这里插入图片描述

在这里插入图片描述

在完成训练后,模型能够在测试集上进行推理,并输出每个文本的情绪预测结果。训练过程非常快速,以下为训练完成后的代码和结果展示:

在这里插入图片描述

在这里插入图片描述

最后,我们可以加载自己的数据并进行推理,以下是推理结果的展示:


http://www.ppmy.cn/server/141980.html

相关文章

Linux基础之病毒编写

声明:学习视频来自b站up主 泷羽sec,如涉及侵权马上删除文章 声明:本文主要用作技术分享,所有内容仅供参考。任何使用或依赖于本文信息所造成的法律后果均与本人无关。请读者自行判断风险,并遵循相关法律法规。 感谢泷…

vue项目,实现跨系统跳转免登录,点击链接直接进入项目首页,有token则免登录,否则就跳转到登录页

目前我用的是vue-admin-better框架, 实现的功能是,在地址后面拼接个token,如果有token,则直接跳转到首页,若没有token,则跳转到登录页面,实现跨系统跳转免登录 其实很简单,首先考虑…

如何管理好自己的LabVIEW项目

在LabVIEW项目开发中,项目管理对于提高开发效率、确保项目质量、减少错误和维护成本至关重要。以下从项目规划、代码管理、测试与调试、版本控制、团队协作等方面,分享LabVIEW项目管理的体会。 ​ 1. 项目规划与需求分析 关键步骤: 需求分析…

Python学习从0到1 day26 第三阶段 Spark ④ 数据输出

半山腰太挤了,你该去山顶看看 —— 24.11.10 一、输出为python对象 1.collect算子 功能: 将RDD各个分区内的数据,统一收集到Driver中,形成一个List对象 语法: rdd.collect() 返回值是一个list列表 示例: from …

【鸿蒙开发】第四章 ArkTS语言UI范式-基础语法

目录​​​​​​​ 1 前言 2 基本语法 2.1 声明式UI 2.1.1 组件创建 2.1.2 配置属性 2.1.3 配置事件 2.1.4 配置子组件 2.2 自定义组件 2.2.1 成员函数/变量 2.2.2 build()函数 2.3 页面和自定义组件生命周期 2.3.1 自定义组件的创建和渲染流程 2.3.2 自定义组件…

PG实例CPU使用率高排查思路

一、查看具体哪个会话占用高 top 查看哪个pid使用cpu高 psql 登录到数据库中查看具体的语句 SELECT pid, query FROM pg_stat_activity WHERE pid ‘top查看到的pid’; 二、查看锁 在PostgreSQL中查看锁的状态,你可以使用pg_locks系统视图来获取当前数据库中的锁…

BILSTM法律网站用户提问自动分类

项目源码获取方式见文章末尾! 600多个深度学习项目资料,快来加入社群一起学习吧。 《------往期经典推荐------》 项目名称 1.【基于CNN-RNN的影像报告生成】 2.【卫星图像道路检测DeepLabV3Plus模型】 3.【GAN模型实现二次元头像生成】 4.【CNN模型实现…

【网络安全 | 并发问题】Nginx重试机制与幂等性问题分析

未经许可,不得转载。 文章目录 业务背景Nginx的错误重试机制proxy_next_upstream指令配置重试500状态码非幂等请求的重试问题幂等性和非幂等性请求non_idempotent选项的使用解决方案业务背景 在现代互联网应用中,高可用性(HA)是确保系统稳定性的关键要求之一。为了应对服务…