RAFT:Adapting Language Model to Domain Specific RAG

news/2024/9/18 15:02:19/ 标签: 语言模型, 人工智能, 自然语言处理

论文链接
简单来说,就是你SFT微调的时候得考虑RAG的场景。
RAG什么场景?你检索top-k回来,里面有相关doc有不相关doc,后者是影响性能的重要原因,LLM需要有强大的识别能力才能分得清哪块和你的query相关。微调就是为了这个。你做领域微调时,根据chunk生成query、answer,然后直接拿这仨微调,这里面没有干扰项,没有“不相关doc”,就扛不住RAG的噪声。

RAFT就是针对这个搞的。怎么搞?就是chunk query answer里,chunk再多加几个不相关文档,并且answer生成时使用CoT,CoT其实是选用,用了,效果好,不用,推理速度快。

混合多少不相关文档,得你自己凭经验。


http://www.ppmy.cn/news/1516615.html

相关文章

Apache CloudStack Official Document 翻译节选(九)

关于 Apache CloudStack 的 最佳实践 (三) 配置云外的 防火墙与交换机 对Cisco VNMC(Cisco Virtual Network Management Center)设备集成云外的客户机网路防火墙: 思科虚拟网络管理中心为思科网络虚拟服务提供了中心…

【Rust光年纪】深度解读:Rust语言中各类消息队列客户端库详细对比

选择最佳 Rust 消息队列客户端库:全面对比与分析 前言 随着现代应用程序的复杂性不断增加,消息队列成为构建可靠、高性能系统的重要组件。本文将介绍一些用于Rust语言的消息队列客户端库,包括AMQP、Apache Kafka、NSQ、Apache Pulsar和Rock…

GoWeb 设置别名和多环境配置

别名 vite.config.ts中添加代码如下即可 //设置别名resolve: {alias: {"": path.resolve(process.cwd(),"src"),//用替代src}}随后即可使用 配置多环境 vite.config.ts中添加代码如下 envDir: ./viteenv,//相对路径随后在项目根目录创建对应的viteenv…

什么是 SQL 注入,有哪些类型,如何预防?

如果说数据是系统的核心,那么SQL注入就是直插系统核心的漏洞。一直以来SQL注入漏洞就被列入OWASP最常见和影响最广泛的十大漏洞列表中。 SQL注入漏是系统漏洞中一种比较严重的漏洞,如果说数据是系统的核心,那么SQL注入就是直插系统核心的漏洞…

Web应用服务器Tomcat

一、Tomcat的功能介绍 Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器,在中小型系统和 并发访问用户不是很多的场合下被普遍使用,Tomcat 具有处理HTML页面的功能,它还是一个Servlet和 JSP容器。 官网…

PHP多门店民宿酒店预订系统小程序源码

🏨✨「多门店酒店民宿预订系统」——一键解锁全球住宿新体验!🌍🏠 🌟 开篇种草:旅行新伙伴,预订无忧! 嘿小伙伴们,是不是每次计划旅行都被繁琐的酒店民宿预订搞得头大&…

uniapp封装请求

封装请求有两种: 一种是在服务端判断token是否失效,一种是在小程序端判断token是否过期,, 第二种在前端判断要简单些,,在拿到token的时候,并在前端设置一个token的过期时间的毫秒值&#xff0c…

分布式核心问题总结

一、幂等性 所谓幂等就是一次或多次操作同一个资源,所产生的影响均一致。产生问题的原因:网络阻塞和延迟、用户重复操作一锁 二判 三更新 三步严格控制顺序,确保加锁成功后进行数据查询和判断,幂等性判断通过后再更新&#xff0…

OpenCV绘图函数(3)判断点一条直线是否在一个矩形范围内的函数clipLine()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 裁剪线段与图像矩形相交的部分。 cv::clipLine 函数计算出完全位于指定矩形内的线段部分。如果线段完全位于矩形之外,则返回 false。…

HarmonyOS--认证服务-操作步骤

HarmonyOS–认证服务 文章目录 一、注册华为账号开通认证服务二、添加项目:*包名要与项目的包名保持一致三、获取需要的文件四、创建项目:*包名要与项目的包名保持一致五、添加json文件六、加入请求权限七、加入依赖八、修改构建配置文件:bui…

【C#】【EXCEL】Bumblebee/Classes/ExEnums.cs

文章目录 Bumblebee/Classes/ExEnums.csFlow diagramDescriptionCode Bumblebee/Classes/ExEnums.cs Flow diagram #mermaid-svg-FB98N7ZCCccQ4Z38 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-FB98N7ZCCccQ4Z38…

20.缓存的更新策略

定义 缓存中的旧数据与数据库不一致。 缓存更新策略的类型 1.内存淘汰,利用redis的内存淘汰机制,当内存不足时自动淘汰部分数据。下次查询时更新缓存。redis默认开启了此机制。这种保证数据的一致性差。 2.超时剔除,给缓存数据添加TTL时间…

一文搞清全钢防静电地板的生产过程

防静电地板是各类大小机房不可缺少的地面材料。其中全钢防静电地板应用较为广泛,全钢防静电地板为全钢结构特征,底边选用深级伸拉钢板,造成窝状结构特征,提升了全钢防静电地板的抗压强度,表层选用硬质SPCC钢板&#xf…

WPF书籍阅读不指南

<wpf编程宝典> 对于刚匆忙学完 c# 的我来说,非常费劲. 只能 依靠<WPF深入浅出>>来对照看. ...就算是两本书互相看,还是十分难受,非常不理解...... 古老丛书<<windows Presentation Foundation 编程指南>> 一本 非常非常厚 的书,看着也难受,案例非常…

c#透明悬浮球实现 从零开始用C#写一个桌面应用程序(三)

目标&#xff1a;透明悬浮球 记录日期&#xff1a;20240308 要求基础&#xff1a;C#语言基础部分事件与委托&#xff0c;c#桌面程序基础操作 注&#xff1a;可见前文 http://t.csdnimg.cn/9uWK8 今天开始做一个悬浮球软件。本以为最难的是让悬浮球的具体功能&#xff0c…

【Qt】常见控件 —— QPushButton | QRadioButton

文章目录 QPushButtonQPushButton 的基本功能介绍QPushButton 添加快捷键通过图片实现 上下左右实现方向键的槽函数设置快捷键连发功能 QRadioButtonQRadioButton 的基本功能介绍通过 QRadioButton 选择性别具有排他效果禁用 选项 槽函数的使用情况基于 QRadioButton 实现一个简…

爬虫使用代理IP:提升数据抓取效率的实践

爬虫使用代理IP的技巧和方法 在进行网络爬虫时&#xff0c;使用代理IP可以帮助你提高数据抓取效率和保护隐私。本文将介绍爬虫使用代理IP的技巧和方法&#xff0c;帮助你更好地进行数据抓取。 为什么爬虫需要使用代理IP 在进行大规模数据抓取时&#xff0c;目标网站可能会检…

数据仓库: 4- 数据质量管理 5- 元数据管理

目录 4- 数据质量管理4.1 数据清洗4.1.1 数据清洗的重要性4.1.2 数据清洗常见的问题4.1.3 数据清洗的步骤4.1.3.1 数据质量评估:4.1.3.2 制定清洗规则:4.1.3.3 执行清洗操作:4.1.3.4 验证清洗结果:4.1.3.5 迭代优化: 4.1.4 数据清洗的常用方法4.1.5 数据清洗的最佳实践4.1.6 总…

外贸管理系统采购销售报关计算机毕业设计VUE/PYTHON/MYSQL

开发一个基于Vue、Python和MySQL的外贸管理系统&#xff0c;用于处理采购、销售以及报关等业务流程。这样的系统通常涉及前端界面展示、后端逻辑处理以及数据库存储等多个部分。下面是一些关键组件的设计建议&#xff1a;1. 技术栈选择 前端: Vue.js 后端: Python (Flask/Djang…

大数据分析与挖掘技术实训室解决方案

一、大数据分析与挖掘技术概述 大数据分析与挖掘技术是指运用算法、工具和技术处理和分析大规模数据集的过程。这些数据集来源于多个渠道&#xff0c;例如传感器数据、社交媒体数据、网络日志和金融交易记录等。其目标是在这些海量数据中发现有价值的信息、模式和趋势&#xf…