Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

devtools/2024/11/16 10:40:12/

摘要

大型预训练语言模型已经被证明可以在其参数中存储事实性知识,并在下游自然语言处理(NLP)任务中通过微调取得了最先进的效果。然而,它们访问和精准操控知识的能力仍然有限,因此在知识密集型任务上,它们的表现往往落后于专门为任务设计的架构。此外,这些模型在决策时提供知识来源以及更新其世界知识仍是待解决的研究问题。通过引入与非参数化显式记忆相连的可微访问机制,预训练模型有望克服此问题,但迄今为止这仅在提取型下游任务中得到了研究。

介绍

我们探索了一种面向通用的微调方法,称为检索增强生成(RAG),这种方法将预训练的参数化记忆和非参数化记忆相结合用于语言生成。我们引入了 RAG 模型,其中参数化记忆为预训练的序列到序列(seq2seq)模型,非参数化记忆为维基百科的稠密向量索引,通过预训练的神经检索器来访问。我们比较了两种 RAG 形式,一种是在整个生成序列中使用相同的检索段落,另一种则允许在每个生成的 token 时使用不同的段落。

我们在一系列知识密集型 NLP 任务上对模型进行了微调和评估,在三个开放领域问答任务上达到了最先进的效果,优于仅参数化的 seq2seq 模型和专门为任务设计的检索和提取架构。在语言生成任务中,我们发现 RAG 模型生成的语言比最


http://www.ppmy.cn/devtools/134406.html

相关文章

SpringBoot(二十二)SpringBoot集成smart-doc自动生成文档

计划在项目中集成swagger日志框架,经过一顿折腾,发现一个小小的问题。我得springboot框架版本是2.6.13,swagger要匹配这个版本的springboot可能比较麻烦。 这可如何是好…… 经跟社区的大神得讨论,他在用的文档生成工具是smart-doc。我尝试一下集成这个工具。 官网:https:…

梧桐数据库中的循环函数统计提升数据库性能的详细指南

梧桐数据库中的循环函数统计提升数据库性能的详细指南 引言 在现代企业级应用中,数据库性能的优劣直接影响着用户体验和业务效率。梧桐数据库(WutongDB)作为一款高性能的分布式关系型数据库,提供了丰富的工具和功能来帮助开发者…

DFT下release的sdc讨论

DFT下release的sdc主要包括三部分: 1、shift_sdc: 主要是检查scan_chain上寄存器q到si的timing情况;同时还要注意edt_logic和scan_chian之间的时序关系;channel_in/out或者wrap_cell_input/output的接口处的timing;处…

logstash grok插件语法介绍

介绍 logstash拥有丰富的filter插件,它们扩展了进入过滤器的原始数据,进行复杂的逻辑处理,甚至可以无中生有的添加新的 logstash 事件到后续的流程中去!Grok 是 Logstash 最重要的插件之一。也是迄今为止使蹩脚的、无结构的日志结构化和可查询…

连续 Hopfield 神经网络深入探讨

连续 Hopfield 神经网络深入探讨 一、引言 人工神经网络在众多领域展现出了卓越的性能,连续 Hopfield 神经网络(Continuous Hopfield Neural Network,CHNN)作为其中的重要分支,为解决复杂的优化问题、模式识别以及联…

TCP/IP--Socket套接字--JAVA

一、概念 Socket套接字,是由系统提供⽤于⽹络通信的技术,是基于TCP/IP协议的⽹络通信的基本操作单元。 基于Socket套接字的⽹络程序开发就是⽹络编程。 二、分类 1.流套接字 使用传输层TCP协议。TCP协议特点:有链接、可靠传输、面向字节流…

革命性AI搜索引擎!ChatGPT最新功能发布,无广告更智能!

零、前言 大人,时代变了。 最强 AI 助力下的无广告搜索引擎终于问世。我们期待已久的这一刻终于到来了,从今天起,ChatGPT 正式转型为一款 AI 搜索引擎! 北京时间 11 月 1 日凌晨,恰逢 ChatGPT 两岁生日,O…

Linux(基本使用和配置 图片+大白话)

后面也会持续更新,学到新东西会在其中补充。 建议按顺序食用,欢迎批评或者交流! 缺什么东西欢迎评论!我都会及时修改的! 在这里真的很感谢这位老师的教学视频让迷茫的我找到了很好的学习视频 王晓春老师的个人空间…