29种Prompt Engineering

devtools/2024/11/7 10:33:29/

A Systematic Survey of Prompt Engineering in Large Language Models:Techniques and Applications

时间:2024

期刊

  • arXiv 预印

创新点

  • 探讨了超过29种方法的优势和局限性

  • 总结了各种提示技术所使用的数据集、模型和关键点

prompt_engineering_16">prompt engineering

  • 新任务执行无需大量训练

  • 推理和逻辑

    • 思维链 CoT prompting

      • 例子:问题:一个火车从 A 地到 B 地要经过 3 个中转站,每个中转站停留 10 分钟。火车的平均速度是每小时 80 公里,总的行程距离是 400 公里。请问火车从 A 地到 B 地总共需要多少时间?

        • 总的行程距离是 400 公里,火车平均速度为 80 公里/小时。
          不考虑停留时间,火车需要的行驶时间是 400 / 80 = 5 小时。
          火车经过 3 个中转站,每个中转站停留 10 分钟,所以总的停留时间是 3 * 10 = 30 分钟,也就是 0.5 小时。
          因此,火车总共需要的时间是 5 + 0.5 = 5.5 小时。
    • 自动思维链 Auto-Cot prompting

      • 在使用GPT-3的算术和符号推理任务上,平均准确率分别提高了1.33%和1.5%,超过了CoT范式
    • self-consistency

      • 思维链的一个补充,它能让模型生成多个思维链,然后取最多数答案的作为最终结果。

        • 在这里插入图片描述
    • 逻辑思维链 LogiCoT

      • 一种神经符号框架,利用符号逻辑中的原则以连贯和结构化的方式增强推理
    • 符号链 CoS Chain-of-Symbol

      • 清晰简洁的提示,提高了LLM的空间推理,并提高了人类的可解释性
    • ToT Tree-of-Thoughts

      • ToT通过管理中间推理步骤的树结构来扩展CoT提示
    • GoT Graph-of-Thoughts

      • GoT推理模型比CoT基线有了显著的提高

      • 将推理过程建模为有向图,提供具有不同转换操作的模块化架构

    • S2A System 2 Attention

      • 采用两步过程,通过使用上下文再生和具有细化上下文的响应生成来提高注意力和响应质量
    • ThoT Thread of Thought

      • 旨在增强LLM在chaotic上下文中的推理能力
    • Chain-of-Table prompting

      • 通过动态生成和执行表上的常见SQL/DataFrame操作来使用分步表格推理
  • 减少幻觉

    • RAG Retrieval Augmented Generation 检索增强生成

      • RAG分析用户输入,制作有针对性的查询,并搜索预先构建的知识库以获取相关资源。检索到的片段被合并到原始提示中,通过上下文背景丰富它。增强的提示使LLM能够生成创造性的、事实上准确的响应。
    • ReAct prompting

      • 让语言模型不仅能够进行推理,还能根据推理结果采取行动,并且通过行动获取的新信息进一步完善推理
    • CoVe chain-of-verification

      • 四个步骤验证
    • CoN Chain-of-Note

      • 整合外部知识

        • 系统地评估文档相关性,强调关键且可靠的信息,以过滤掉不相关的内容,从而产生更精确且与上下文相关的响应。
    • CoK Chain-of-Knowledge

      • 将复杂的任务分解为协调良好的步骤,进入动态知识适应阶段,从各种来源(例如内部知识库、外部数据库和给定提示)精心收集证据
  • user interface

    • active prompting

      • 引入了一种机制,用于确定对注释最有影响力的问题,利用各种指标来表征不确定性,并选择最不确定的问题进行注释

        • 通过不确定性度量选择最不确定的问题进行人工标注,以生成更有效的示例提示,提高大型语言模型(LLMs)在复杂推理任务上的性能
  • 微调和优化

    • Automatic Prompt Engineer (APE)

      • APE通过为特定任务动态生成和选择最有影响力的提示,摆脱了静态、手工设计的提示的局限性。

      • 分析用户输入,制作候选指令,然后利用强化学习来选择最佳提示,使其动态适应不同的环境

  • 基于知识的推理和生成

    • Automatic Reasoning and Tool-use (ART)

      • 通过集成用于专业知识和计算的外部工具,ART释放了前所未有的多功能性,并为LLM输出提供了与现实世界相关的信息。
  • 提高一致性 和连贯性

    • CCoT Contrastive chain-of-Thought

      • 在原始提示的同时提供有效和无效的推理演示,从错误中学习

        • 想象一下探索一张有正确路径和错误转弯要避免的地图
  • 管理情绪和语气

    • Emotion

      • 解决LLM理解情感线索能力不确定性
  • code生成和执行

    • scratchpad

      • 使模型能够在提供最终答案之前生成任意序列的中间标记
    • PoT program of thoughts

      • 提倡使用外部语言解释器进行计算步骤,以增强数值推理
    • SCoT Structured Chain-of-Thought

      • 通过将程序结构(序列、分支和循环结构)整合到推理步骤中, 从源代码的角度考虑需求
    • CoC chain-of-code

      • 利用逻辑和语义任务的代码编写来改进LM推理
  • 优化和效率

    • OPRO Optimization by Prompting

      • 利用LLM作为优化器的新方法,利用自然语言提示根据问题描述迭代生成解决方案,从而能够快速适应不同的任务并定制优化过程
  • 了解用户意图

    • Rephrase and Respond (RaR)

      • 允许LLM在单个提示中改写和扩展问题,从而提高理解能力和回答准确性
  • Metacognition and Self-Reflection

    • Take a Step Back

      • 抽象

        • 针对原始问题,引导 LLM 提出关于更高层次概念或原理的通用回退问题,并检索相关事实。
      • 推理

        • 基于高层次概念或原理的相关事实,LLM 对原始问题的解决方案进行推理。

http://www.ppmy.cn/devtools/131991.html

相关文章

【k8s】ClusterIP能http访问,但是不能ping 的原因

ClusterIP 服务在 Kubernetes 中是可以访问的,但通常无法通过 ping 命令来测试连通性。这主要是因为 ClusterIP 是一个虚拟 IP 地址,而不是实际分配给某个网络接口的 IP 地址。以下是一些原因和解释: 1. 虚拟 IP 地址 ClusterIP 是一个虚拟…

5G周边知识笔记

这里写目录标题 3GPP 5G标准路径图5G协议规范5G新空口关键指标4G LTE和5G NR新空口技术对比5G新频段FR1FR2 信道带宽上下行解耦新频点规划,信道栅格FR1各频段实际信道栅格和NR-ARFCN范围定义 同步栅格大规模天线阵列新型调制编码技术大规模载波聚合设备到设备直接通…

如何通过CDN加速提升电商网站双十一购物节用户体验

随着双十一购物节的到来,电商平台迎来了一年中流量的高峰。各大电商平台如天猫、京东和抖音等纷纷推出了全新的促销活动和玩法。在这场购物狂欢中,用户体验成为了电商网站能否脱颖而出的关键。而CDN(内容分发网络)加速服务&#x…

【HarmonyOS Next】数据本地存储:@ohos.data.preferences

【HarmonyOS Next】数据本地存储:ohos.data.preferences 在开发现代应用程序时,数据存储是一个至关重要的过程。应用程序为了保持某些用户设置、应用状态以及其他小量数据信息通常需要一个可靠的本地存储解决方案。在 HarmonyOS Next 环境下&#xff0c…

【LeetCode】【算法】647. 回文子串

LeetCode 647.回文子串 题目描述 给你一个字符串s,请你统计并返回这个字符串中回文子串的数目。 回文字符串 是正着读和倒过来读一样的字符串。 子字符串是字符串中的由连续字符组成的一个序列。 思路 思路:中心拓展法 中心拓展法的意思是说&#xf…

pytorch3d导入maya相机位姿踩坑

目的是将maya中的相机无缝导入到pytorch3d中 坑1: 直接导出maya中相机的欧拉角以及Trans, 然后直接导入pytorch3d中 问题所在: maya中直接导出的相机旋转角以及Trans是 c2w, 而根据文档https://pytorch3d.org/docs/cameras 中的一句话, 经过R可以实现world to view的变换, 所…

【go从零单排】go中的基本数据类型和变量

Don’t worry , just coding! 内耗与overthinking只会削弱你的精力,虚度你的光阴,每天迈出一小步,回头时发现已经走了很远。 基本类型 go中的string、int、folat都可以用连接boolen可以用逻辑表达式计算 package mainimport "fmt&quo…

多模卫星手持电话|5G+天通卫星移动终端|卫星通信终端

全星魅5G天通北斗多模卫星移动终端QM630BS,作为新一代高端天通多模终端的杰出代表,凭借其强大的多模通信能力和丰富的功能配置,在户外通讯、应急通信、森林消防、水利防汛等特殊行业中展现出了卓越的性能与广泛的应用前景。本文将详细解析QM6…