在人工智能的广袤领域中，大模型无疑是最为璀璨的明珠之一。它仿佛是一座连接人类与人工智能的桥梁，让我们能够更加深入地探索和利用人工智能的强大能力。而要实现与大模型的高效沟通，Prompt工程扮演着至关重要的角色。让我们一起走进Prompt工程的奇妙世界，探寻大模型沟通的奥秘。

人工智能到大模型

“人工智能是一种模拟人类智能的技术，目的是让计算机可以像人类一样进行学习、推理、感知、理解和创造等活动”

机器学习

• 基本概念：机器学习通过使用大量数据，自己发现数据中的规律，并用此规律作出预测和决策

• 例子：（图片分类）输入大量的猫的图片自行识别图片总结规律。这时再输入一张猫的图片时，提问这是猫还是狗时，机器就可以根据之前的例子进行学习然后分类，并得到图片中是猫的结果。

• 机器学习的短板：

• 图片处理的困难： 当提供给它一张照片时。首先，它需要把图片格式转换为机器能理解的像素，一张普通的1920*1080的黑白图像中，也包含超过200万的像素。其次在转换完成后，机器还要按顺序一个一个地查看这些像素。关键在于，它必须从头开始去学习这些原始像素和图像标签之间的映射或者关系，普通的一张照片就需要处理大量数据。

• 效率低： 假设一个多类别分类问题的例子，输出类别是[停车场、猫、摊子、动物园]。在机器学习中，大多是用训练好的模型，在大量特征集中进行模式识别，来找出对象的确切出现情况以进行分类。但在这个过程中要进行过多不必要的分析。例如，在检测的图片中，天空的蓝色、草地的绿色这些都并不重要。这些都会不必要地增加识别特征的数量。而所有的特征工程在推导这些特征图时都需要由数据科学家完成的预处理工作，并没有学习过程。

深度学习

• 基本概念：机器学习的一个子领域，其以分层的方式构建算法，以创建一个能够自行学习并做出智能决策的“人工神经网络”。
• 例子：在面对语言下一个预测的时候，对于机器学习，着也可以看作是一个分类任务。唯一的区别在于，现在不再是仅有两个或几个类别了，现在所有的类别数量与汉字数量一样多，那机器就要面对大约85000个庞大类别。（引入所以为什么需要语言模型）

大模型

• 基本概念：生成式AI中最重要的一环

• 大模型运作机制

• 自然语言的处理

• RNN：在处理文本时，RNN 能够利用其内部的记忆机制，将前面的信息保留并传递到后续的计算中。例如，在自然语言处理中，当分析一个句子时，RNN 可以根据前面的单词来理解当前单词的含义。但存在梯度消失问题，即随着序列的推进，早期输入的影响呈指数级减弱，这使得难以捕获长期依赖关系。

  • Transformer：并不依赖于循环，而是基于自注意力机制运行
  • 自注意力机制：自我注意力机制使模型在进行预测时能够权衡不同输入标记的重要性，使其能够在无需顺序处理的情况下捕获长距离依赖关系。解决长句理解的困难。
  • Token

• 运用场景

创作：

• 基础llm和指令微调LLM
• 基础LLM： 是基于文本训练数据，训练出预测下一个单词能力的模型。
• 指令微调LLM： 更好的理解并遵循指令

Prompt工程：大模型沟通的桥梁

• NLP发展范式：根据发展阶段串联知识点
• 特征工程—>预训练+精调—>Prompt
  • Transformer前：特征工程
  • ➡️ Transformer后：目标工程
  • ➡️ 现在：提示词工程
• Prompt 介绍
  那么，什么是Prompt呢？我们可以用做饭来类比。想象当你晚饭想吃西红柿炒鸡蛋的时候，你可以选择炒一盘味道都一样的预制菜，或者你也可以从挑选食材开始做起，最后炒出一盘符合你自己口味的西红柿炒鸡蛋。正如更好的食材可以做出味道更好的菜一样，对于大模型来说，更好的输入也可以带来更加符合你需求的结果。这些输入就是prompt。Prompt是一种要求生成式人工智能执行特定任务的自然语言文本。。
• Prompt概念：prompt是一种要求生成式人工智能执行特定任务的自然语言文本
  • Prompt 工程如何运作的？
    • Input、Processing、Output

Prompt工程主要涉及Input（输入）、Processing（处理）、Output（输出）三个环节。它的重要性不言而喻。例如，当我们询问大模型“9.11和9.9谁更大”时，根据我们提问的具体方式和上下文的不同，可能会得到不同的结果。如果表述不清晰，大模型可能无法准确理解我们的意图，给出的答案可能不符合我们的预期。

参考文献：飞桨AI Studio星河社区-人工智能学习与实训社区