减少歧义数据的原则,同样适用于文本生成任务

news/2024/11/13 13:46:35/

广义来讲,任何机器学习任务都可看成分类任务,

以商品类目分类为例:

商品鱼香肉丝大份 —— 类目为热菜
商品鱼香肉丝中份 —— 类目为热菜
商品鱼香肉丝小份 —— 类目为盖饭

如果数据中出现这样歧义的情况,则模型预测小份鱼香肉丝时大概率会预测结果为盖饭

对于文本生成任务,比如让ChatGPT生成3条鱼香肉丝的文案,

输入鱼香肉丝 —— ChatGPT文案为香辣可口
输入鱼香肉丝 —— ChatGPT文案为香辣适口
输入鱼香肉丝 —— ChatGPT文案为酸甜可口

无论文案结果对不对,但真正应用时,模型也是需要一个 无歧义 的训练数据集,

我们基于统计,可以得到做到这点,比如让ChatGPT多次生成鱼香肉丝的文案,

统计出现次数最多的那个 输入-输出-pair,

类似我们也可让 同一条数据 给 多个人标注,然后选择“投票”最高的结果,

类似我们也基于统计,保留出 无歧义 的用户行为,作为训练数据集,比如用户的 搜索-订单 行为,

用户搜珍珠奶茶 —— 下单奶茶
用户搜珍珠奶茶 —— 下单奶茶
用户搜珍珠奶茶


http://www.ppmy.cn/news/714797.html

相关文章

项目管理中面临不同的风险来源,你知道吗?

风险是项目管理中无法避免的重要部分,它们是不受人意志控制、独立于人意识之外的存在。 在项目的不同阶段,可能会面临不同的风险来源,需要及时识别并采取相应措施进行风险管理。 1、需求不明确或不完整是一大风险因素。 如果产品经理的需求…

苹果电脑虚拟键盘怎么打开

很多用户在使用苹果电脑办公或是学习时,遇到键盘输入不方便的情况就会选择用虚拟键盘做演示,可是有些不熟悉小伙伴不清楚苹果虚拟键盘怎么打开,下面请看小编整理的图文教程吧! 1、打开系统偏好设置。 2、打开“键盘”。 3、勾选…

黑苹果 更改键盘 Karabiner

1.Karabiner官网下载地址 Karabiner 2.键盘映射, windows -> command alt -> option

【工具】Mac实时显示键盘按键软件

阅读本文大概需要 3 分钟。 今天分享一款实用工具:「KeyCastr」。这是一款 GitHub 上的开源免费软件,它可以让 Mac 在屏幕上实时显示你按下的键盘符号,比如在键盘上按了「command A」 键,屏幕上就会显示「⌘ A」符号。 这个软件…

Mac 与PC键盘的对比及快捷键(黑苹果)

最近一直在用黑苹果,经常会碰到mac与pc键盘布局的不同。记录一下来自于网络的图片 Mac 与PC键盘的对比(fn command?) image.png 如何强制退出Mac 应用 从苹果() 菜单中选取“强制退出”,或按下Command-Option-Esc。 这类似于在…

Windows 下使用苹果鼠标、键盘

一、连接蓝牙 打开鼠标、键盘 windows设备搜索蓝牙 连接鼠标键盘 注意⚠️:确保鼠标左右键可用(这时候滑动鼠标滚轮效果还没有) 二、使用滚轮 打开链接 https://github.com/timsutton/brigadier/releases下载Brigadier.exe 具体看教程…

【LangChain】不同的调用方式(Different call methods)

LangChain学习文档 Chains(链) 【LangChain】不同的调用方式(Different call methods) 概述 本笔记:讲述Chain的不同调用方式。 所有从 Chain 继承的类中都提供了几种运行链逻辑的方法。最直接的方法是使用 __call__; 说明&am…

CrossEntropy(交叉熵损失函数pytorch)

介绍 crossentropy损失函数主要用于多分类任务。它计算了模型输出与真实标签之间的交叉熵损失,可以作为模型优化的目标函数。 在多分类任务中,每个样本有多个可能的类别,而模型输出的是每个样本属于每个类别的概率分布。交叉熵损失函数可以…