【LLM 论文】Step-Back Prompting:先解决更高层次的问题来提高 LLM 推理能力

ops/2024/9/24 13:25:23/

论文:Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

⭐⭐⭐⭐

Google DeepMind, ICLR 2024, arXiv:2310.06117

论文速读

该论文受到的启发是:人类再解决一个包含很多细节的具体问题时,先站在更高的层次上解决一些更加抽象的问题,可以拓展一个更宽阔的上下文环境,从而辅助解决这个具体的问题。

反应到 LLM 中,就是当问 LLM 一个具体的物理题目时,先让 LLM 解决一个更加高层次的抽象问题 这个问题背后用得到物理定律或法则是什么? ,然后再让 LLM 去解决那个包含了很多细节的具体的物理题目,可能效果就会更好,准确率更高。

因此,本论文提出了 Step-Backprompting 思路,示例如下:

image-20240510214918541

如上图所示,上半部分中,original question 是一个具体的物理问题,Step-Back Prompting 先让 LLM 进行抽象得到一个 StepBack Question,也就是“这个物理问题背后的物理定律是什么”,然后再去检索这个 StepBack Question 得到相关事实,然后基于以上信息去让 LLM 做 reasoning 得到 final answer。

简而言之,Step-Back Prompting 包含两个简单的步骤

  • Abstraction:先让 LLM 根据 original question 提出一个更高层次概念的 step-back question,并检索这个 step-back question 的相关事实
  • Reasoning:基于高层次概念或原则的事实,LLM 就可以去推理原始问题的解决方案了。

分析讨论

StepBack Prompting 思路中的“抽象”通过去除不相关的细节和提炼高级概念或原则来指导具体问题的解决

通过实验分析,abstraction 对于 LLM 来说是一个简单的任务,通过一些 few-shot exemplar 即可使用 in-context learning 来学会,但 reasoning 对于 LLM 来说仍然是最难学会的任务,在多个 error cases 上做分析,推理仍然是主要的错误来源。


http://www.ppmy.cn/ops/41025.html

相关文章

网络层协议之 IP 协议

IP 协议格式 4 位版本:此处的取值只有两个,4(IPv4)和 6(IPv6),即指定 IP 协议的版本。 4 位首部长度:描述了 IP 报头多长,IP 报头是变长的,因为报头中的选项部…

【simulink】Scrambling 加扰

https://ww2.mathworks.cn/help/comm/ug/additive-scrambling-of-input-data-in-simulink.html 草图 simulink 代码图

蓝桥杯-移动距离(最简单的写法)

X星球居民小区的楼房全是一样的,并且按矩阵样式排列。 其楼房的编号为 1,2,3…当排满一行时,从下一行相邻的楼往反方向排号。 比如:当小区排号宽度为 6 时,开始情形如下: 1 2 3 4 5 6 12 11 10 9 8 7 13 14 15 … 我…

攻防世界(CTF)~web-supersqli(详细解题思路)

题目介绍 题目描述“随便注” 先看一下是否存在注入 判断闭合方式 输入1’ and 11-- -正常回显 输入1and 12-- -无回显,确认是单引号闭合 看一下列数 输入1 order by 2-- - 有回显 输入1 order by 3-- - 报错,由此判断两列 使用union联合注入发现select被过滤了&a…

echarts legend图例颜色不统一问题

项目里发现这种图片,线和圈圈颜色不统一 查看代码后发现,设置了公共的color, 并且只作用在了series里, 并没有作用在option全局里, 所以需要在option里添加color. const chartObj {colors:[#49B3FF, #26C89A]}option {//echarts里的optioncolor: chartObj.colors,} 这样即可…

Photoshop中绘图及图像修饰工具的应用

Photoshop中绘图及图像修饰工具的应用 Photoshop中的颜色设置与取样前景色与背景色颜色取样 Photoshop中的颜色替换工具Photoshop中的渐变工具Photoshop中的描边命令Photoshop中的填充工具采用油漆桶进行填充采用填充命令进行填充 Photoshop中的擦除工具 Photoshop中的颜色设置…

微信小程序绕开wx.uploadFile,上传图片,(直接把图片上传到服务器)

用wx.request是可以上传文件的,区别在于需要通过路径读取文件,上传文件, 而wx.uploadFile的方法只需要用路径,无需读取文件 wx.chooseMedia({count: 1,mediaType: [image], // 只允许选择图片sourceType: [album, camera], // 可…

SpringJPA审计

1.实体类 package com.tiger.jpatest.entity;import jakarta.persistence.*; import lombok.Data; import org.springframework.data.annotation.CreatedBy; import org.springframework.data.annotation.CreatedDate; import org.springframework.data.annotation.LastModifi…