概要

在自然语言处理（NLP）任务中，示例选择是提升模型性能的一个重要环节。合理的示例选择不仅可以提高模型的响应质量，还能优化上下文窗口的使用效率。本文将探讨如何使用LangChain库中的不同示例选择器来实现智能示例选择，并通过具体的代码示例来展示其应用。

选择示例的重要性
在构建提示词时，选择适当的示例至关重要。不恰当的示例可能导致模型生成无关或不符合预期的结果。特别是在处理长文本输入时，选择过多的示例可能会导致上下文窗口溢出，而选择太少的示例则可能导致上下文信息不足。

按长度选择示例
当构建的提示可能超过上下文窗口的长度时，按长度选择示例变得尤为重要。LangChain提供了一个名为LengthBasedExampleSelector的选择器，可以根据输入文本的长度动态选择适当数量的示例。

示例代码

1. 定义示例和提示模板
   首先，我们需要定义一些示例和一个提示模板：

python">from langchain.prompts import FewShotPromptTemplate, PromptTemplate
from langchain.prompts.example_selector import LengthBasedExampleSelector# 创建一个反义词的任务示例
examples = [{"input": "开心", "output": "伤心"},{"input": "高", "output": "矮"},{"input": "精力充沛", "output": "没精打采"},{"input": "粗", "output": "细"},
]example_prompt = PromptTemplate(input_variables=["input", "output"],template="Input: {input}\nOutput: {output}",
)

example_prompt定义了如何将示例格式化为字符串，每个示例将以Input: {input}\nOutput: {output}的形式呈现。
2. 定义示例选择器：

python">example_selector = LengthBasedExampleSelector(examples=examples,example_prompt=example_prompt,max_length=25,
)example_selector2 = MaxMarginalRelevanceExampleSelector.from_examples(examples,embeddings,FAISS,k=2,
)example_selector3 = NGramOverlapExampleSelector(examples=examples2,example_prompt=example_prompt,threshold=-1.0,
)

LengthBasedExampleSelector根据输入字符串的长度来选择一定数量的示例，以确保总长度不超过max_length。在这个例子中，max_length设置为25。

3.定义动态提示模板：

python">dynamic_prompt = FewShotPromptTemplate(example_selector=example_selector,example_prompt=example_prompt,prefix="给出每个输入的反义词",suffix="Input: {adjective}\nOutput:",input_variables=["adjective"],
)

FewShotPromptTemplate使用前面定义的示例选择器和示例提示模板来构建一个动态提示模板。它还包括一个前缀和后缀，用于指导模型完成任务。前缀告诉模型要做什么，后缀则包含输入变量adjective。
4.格式化提示：

python"># 示例输入量较小，因此选择所有示例。
prompt_txt = dynamic_prompt.format(adjective="big")
ollama_client = Ollama(model="qwen:7b")result = ollama_client.invoke(prompt_txt)
print(result)

这里使用dynamic_prompt.format()方法来格式化最终的提示字符串。当输入较短时，示例选择器会选择所有示例；当输入较长时，示例选择器会选择较少的示例以确保总长度不超过限制。

小结

通过本文的介绍，我们了解了LangChain库中几种不同的示例选择器，并通过具体的代码示例展示了它们的应用。无论是按长度选择、基于语义相似性选择还是基于n-gram重叠选择，都能帮助我们在构建提示词时做出更合适的选择，从而提高模型的性能和响应质量。希望这篇文章能够帮助你在实际项目中更好地应用这些技术。