The Prompt Report

提示工程调查报告《The Prompt Report: A Systematic Survey of Prompting Techniques》

主要内容

Core Prompting Techniques

• Text based Techniques：PRISMA流程，58中基于文本的提示技术，提示语术语分类表；
• MLT:Multilingual Techniques：多语言；
• MMT:Multimodel Techniques：多模态
• Agents：融入外部工具，如计算器；
• Safety：安全措施
• Evaluation：更好的评估输出，以避免出现幻觉；
• Security：安全性

1 Introduction

什么是提示 Prompt

Prompt：提示

• 生成式AI模型的输入，用于指导其输出；
• 可能包含文本、图像、声音或其他媒体数据；

Prompt Template：提示模版

• 可看做是一个包含一个或多个变量的函数，这些变量将被某些媒体数据（通常都是文本）替换，以创建提示；

# 一个应用于推文的二元分类任务，初始提示模版
Classify the tweet as positive or negative:
{TWEET}# 
Write a poem about the following topic:
{USER_INPUT}

术语 Terminology

提示的组件

• 指令 Directive，也称 意图 intent；如“Tell me five good books to read.”
  • 隐式的指令，如下翻译场景的示例(英语=>西班牙语)：

Night: Noche
Morning: 

• 样例 Examples，也称为样本或shots，作为GenAI完成任务的示范，上面翻译的示例就是一个One-Shot（单样本）提示；
• 输出格式 Output Formatting：以某种格式输出信息，添加说明，如{PARAGRAPH} Summarize this into a CSV；
• Style Instruments：从样式上修改输出（而非结构上）；如Write a clear and curt paragraph about llamas.中的clear and curt；
• Role：也称为人物角色，是一个可以改善写作和文本风格的常用组件；如Pretend(假装) you are a shepherd(牧羊人) and write a limerick about llamas.中的shepherd；
• Additional Information：包含在提示中的附加信息，如指令是写一封邮件，可能需要包含姓名、职位等信息，以便能够正确的签署电子邮件；
  • 附加的信息有时也被称为上下文context，但不鼓励使用这个术语，因为它在提示空间中承载着其他含义；

Prompt术语（表）结构章节对照：

Prompt 1.1

• Prompting 1.2.2
  • Context 1.2.1
  • Context Window A.2.1
  • Priming A.2.1
  • Prompting Technique 1.2.2
    • In-Context Learning 2.2.1 情境学习
      • Few-Shot Prompt 2.2.1
      • Exemplar 1.2.2 范例
    • Zero-Shot Prompt 2.2.2
  • Orthogonal Prompt Types A.2.4 正交提示类型
    • Density A.2.4.2 密度
      • Continuous Prompt A.2.4.2 连续提示
      • Discrete Prompt A.2.4.2 离散提示
    • Originator A.2.4.1 发起者
      • User Prompt A.2.4.1 用户提示
      • System Prompt A.2.4.1 系统提示信息
      • Assistant Prompt A.2.4.1 助手提示
    • Prediction Style A.2.4.3 预测类型
      • Prefix A.2.4.3 前缀
      • Cloze A.2.4.3 完形填空
  • Prompt Chain 1.2.2 提示链
• Prompt Template 1.1 提示模板
• Prompt Engineering 1.2.2 提示工程
  • Prompt Engineering Technique 1.2.2
  • Meta-Prompting 2.4 元提示
  • Answer Engineering 2.5 答案工程
    • Verbalizer 2.5.3 言语表达者
    • Extractor 2.5.3 提取器
  • Conversational Prompt Engineering A.2.2 对话提示工程
• Fine-Tuning A.2.3 微调
  • Prompt-Based Learning A.2.3 提示式学习
  • Prompt Tuning A.2.3 提示调优

不太常用的术语词汇 见 附录A.2；常见术语的定义 见 附录A.1；

Prompting 和 Prompt Chain：

• 提示和提示链
• 提示是指向GenAI提供提示信息，提示链由两个或多个连续使用的提示模版组成，第一个提示模版生成的提示输出，用于参数化第二个模版，一直持续到所有模版都用尽为止；

提示技术

• 描述如何构建提示，可能包括条件或分支逻辑、并行性或跨多个提示的架构考虑；

提示工程：

• 是通过修改或更改你正在使用的提示技术来开发提示的迭代过程；
  • Dataset Inference：使用Prompt Template 对数据集执行推理，对生成的结果使用Extractor（提取器）提取追中响应；
  • 使用效用函数，评估性能；
  • 修改Prompt Template （提示模版），重复上面的过程，指导期望满足；

提示工程技术：

• 是一种迭代提示以改进提示的策略，自动&手动；

Exemplar样本：

• 在提示中向模型战士的任务被完成的示例；

使用自然语言前缀（prefix）或提示来引导语言模型行为的想法和响应，早在GPT-2中就已存在，对提示的解释可能会有不同；