AIGC 013-CoT用思维链挖掘自回归语言模型的潜在能力

server/2024/12/16 20:09:23/

AIGC 013-CoT用思维链挖掘自回归语言模型的潜在能力


文章目录

    • 0 论文工作
    • 1 论文方法
    • 2 实验结果

0 论文工作

纯自回归式语言模型,本来并不具备优秀推理能力,特别是在数学问题的推理。但是现在的生成模型是能实现一些数学的推理的。研究者认为当模型足够大他实际上能学习到很多潜在能力,如何让能力得以涌现也是一个重要问题。
思维链就是这方面的工作,研究如何去挖掘他的潜能。CoT(Chain of thought),思维链,通俗说就是激发LLM像人类一样有一个“思考”前摇动作来回答一些复杂性问题,这样能帮助模型有引导性提升推理能力。
这篇论文探索了生成思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。特别是,展示了这种推理能力如何通过一种简单的方法,称为思维链提示,在足够大的语言模型中自然地涌现,其中一些思维链演示作为提示中的示例提供。对三个大型语言模型的实验表明,思维链提示提高了模型在算术、常识和符号推理任务上的性能。实证增益可能非常显著。
在我的记忆中这个论文是我了解到的最早期的思维链论文,后面的对话模型等训练中都会使用思维链的思想。
paper

1 论文方法

请添加图片描述

这篇论文的核心工作是提出了一种名为“链式思考提示”(Chain-of-Thought Prompting)的方法,旨在提升大型语言模型在复杂推理任务中的表现。具体来说,该方法通过在提示中加入一系列中间推理步骤的示例,引导模型逐步进行推理,最终得出答案。
提出链式思考提示方法: 该方法的核心思想是,在给语言模型提供少量的示例时,不仅展示输入和输出,还加入中间的推理步骤(即思维链),让模型学习如何分解问题并逐步推理。
实验验证: 作者在三个大型语言模型(包括PaLM)上,对算术、常识和符号推理等多种任务进行了实验,结果表明,链式思考提示方法在这些任务上都能显著提升模型的性能,尤其是那些需要多步骤推理的复杂任务。
深入分析: 论文还通过人工分析模型生成的推理链,研究了该方法起作用的原因,以及模型在推理过程中出现的错误类型,并发现随着模型规模的增大,链式思考提示的效果会更显著
鲁棒性分析: 论文还探讨了链式思考提示方法在不同标注者、不同示例、不同示例顺序和不同语言模型上的鲁棒性,结果表明,该方法在多种情况下都表现出较好的效果。

2 实验结果

有效的引导,帮助模型思考。请添加图片描述


http://www.ppmy.cn/server/150714.html

相关文章

深入理解 XPath:XML 和 HTML 文档的利器

XPath(XML Path Language)是一种用于在 XML 和 HTML 文档中定位节点的语言。它常用于 XML 解析、Web 数据抓取(如 Selenium 或 Scrapy)以及配置文件解析。本文将带你深入了解 XPath 的语法、功能及其在实际中的应用。 目录 一、什…

Debezium OracleErrorHandler 分析

Debezium OracleErrorHandler 分析 目录 1. 概述2. 主要功能3. 实现分析4. 使用场景5. 示例6. 最佳实践7. 总结1. 概述 OracleErrorHandler 是 Debezium Oracle 连接器中的错误处理组件,负责处理连接器运行过程中遇到的各种异常情况。它主要用于: 判断错误是否可重试处理数…

revit转gltf,revit转3dtiles,如何将Revit模型转为3DTiles格式并在Cesiumjs中高效可视化

Revit模型导出gltf、glb与3dtiles有多种方式,但一般的商业工具收费普遍较高:Cesiumlab导出3dTile格式数据,Cesiumlab暂时可试用3天,会员版收费每年800;BimAngleEngine导出3dTile格式数据BimAngleEngine暂时可试用30天&…

架构未来:深入探索最热门的编程语言开发框架

开发框架组件简介 开发框架是程序员用来加速开发并确保代码质量的基础组件之一。在不同的编程语言中,开发框架为开发人员提供了丰富的工具、库和最佳实践,帮助构建高效、可维护和安全的应用程序。本文将介绍几种常见编程语言的开发框架组件,…

opencv——图片添加水印

本实验中添加水印的概念其实可以理解为将一张图片中的某个物体或者图案提取出来,然后叠加到另一张图片上。具体的操作思想是通过将原始图片转换成灰度图,并进行二值化处理,去除背景部分,得到一个类似掩膜的图像。然后将这个二值化…

前端 mp4 视频改成 m3u8 流模式

前端 mp4 视频改成 m3u8 流模式 mp4 视频的问题 1、mp4 视频通常对应一个文件,播放时需要加载全部文件,消耗网络资源。如果用户从中间某个时间访问,也会从头开始下载,浪费服务器性能。 2、mp4 视频文件容易被用户下载到本地。有…

相机(Camera)硬件组成详解

简介:个人学习分享,如有错误,欢迎批评指正。 写在前面:可以去B站观看一些相机原理的视频来配合学习,这里推荐:推荐1,推荐2,推荐3 相机(Camera)是一种复杂的光…

绘图方式集合

1. 流程图 1.1 PlantUML 代码绘制流程图 1.1.1 简介 1.1.2 网站 你可以使用以下网站来将 PlantUML 代码转换成可视化的流程图: PlantUML 官方网站 网站地址:https://plantuml.com/plantuml此网站提供了一个在线工具,可以直接输入 PlantUM…