论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(CoT)

server/2024/12/22 13:24:56/

最近以及本篇博客将记录博主最近接触的提升LLM的较新方法,总结其核心以备面试及其他场景回顾时所需。

一、简介

CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案,属于prompt中的技巧,可以提升LLM在复杂问题上的表现,并且能够增强其可解释性(指的是在输出错误时追溯哪一步解答方案出错)。

二、实例

在模型的prompt中给出一定的思维链方式问题答案对(few shot)可以提升语言模型在一定问题上的表现。

思维链的提示词带有以下性质,因此,可以改善LLM的性能:

1.使得模型将问题拆解多个中间步骤进行解答,意味着额外的算力能够被分配给需要更多推理步骤的问题上

2.对模型解答问题的步骤提供了可解释的窗口(指的是在模型给出的多步解答输出观察中观察模型的解答过程或出错所在的具体的步骤)

3.可被用于数学、常识推理等问题,有机会在任何人类语言可解决的问题上可用

4.可在众多LLM的prompt中简单应用

三、效果

在模型较大时提升明显

四、局限性

1.尽管思维链可以使得LLM模仿人类推理者,无法使得模型回答其真正在推理什么

2.人类构造fewshot中给的思维链例子花费很大,此问题可以用合成数据或者零次泛化来得到部分解决

3.没有对推理路径的正确性的有效保证

4.只在较大参数的模型中提升明显


http://www.ppmy.cn/server/152238.html

相关文章

python subplot函数应用 - 创建多个子图

subplot语法: plt.subplot 是 Matplotlib 库中的一个非常有用的函数,用于在一个图形窗口中创建多个子图 plt.subplot 函数用于在当前图形窗口中创建并激活一个子图。其基本语法如下: plt.subplot(nrows, ncols, index) 参数详解&#xff…

数据仓库有哪些?

数据仓库有多种类型,每种类型都有其特定的应用场景和优势。以下是一些常见的数据仓库类型: 企业数据仓库(EDW): 是最为关键的数据仓库类型,提供一个集中的存储库,集成来自不同来源的数据&#x…

MicroPython+ESP32:五.PC远程控制LED灯

1. 整体思路 2. 代码 # 整体流程 # 1. 链接wifi # 2. 启动网络功能(UDP) # 3. 接收网络数据 # 4. 处理接收的数据import socket import time import network import machinedef do_connect():wlan network.WLAN(network.STA_IF)wlan.active(True)if no…

Apache SeaTunnel 增强对csv读取时分割字段的能力

概述 本次修改基于 SeaTunnel-2.3.4 版本 在产品的业务里面,需要一个通过 CSV 来同步数据的功能,但 SeaTunnel 的 CSV 读取功能,并没有根据 CSV 规则来分隔字符串,而是简单的用换行符来分隔行,用 String.split 方法来分…

【序】前端监控:打造高效稳定的用户体验

前端监控:打造高效稳定的用户体验 为什么需要前端监控? 在现代前端开发中,用户体验至关重要。无论是页面性能问题、JavaScript 报错,还是网络请求的失败,都可能影响用户的满意度。前端监控可以帮助我们: …

Android-相对布局RelativeLayout

相对布局在摆放子视图位置时,按照指定的参考系来摆放子视图的位置,默认以屏幕左上角(0,0)位置作为参考系摆放位置 了解一下接下来都会以代码的方式可视化出来 属性 可选值 说明 layout_alignParentTop true/false 是否让控件相对于父容器顶部对齐 …

【Rust自学】4.2. 所有权规则、内存与分配

4.2.0 写在正文之前 在学习了Rust的通用编程概念后,就来到了整个Rust的重中之重——所有权,它跟其他语言都不太一样,很多初学者觉得学起来很难。这个章节就旨在让初学者能够完全掌握这个特性。 本章有三小节: 所有权&#xff1…