完整代码:
import getpass
import os
from langchain.chat_models import init_chat_model
from langchain_core.tools import tool
from langchain_core.messages import HumanMessage, ToolMessage,SystemMessage# 如果没有设置 GROQ_API_KEY,则提示用户输入
if not os.environ.get("GROQ_API_KEY"):os.environ["GROQ_API_KEY"] = getpass.getpass("Enter API key for Groq: ")# 使用 @tool 装饰器注册工具函数
@tool
def abcefikfs(a: int, b: int) -> str:"""abcefikfs do nothing."""return 'ffffff'# 初始化 Llama 模型,使用 Groq 后端
llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)# 将工具绑定到模型上
tools = [abcefikfs]
llm_with_tools = llm.bind_tools(tools)messages=[SystemMessage(content="请只返回最终结果,不要解释,如果没有找到结果,请返回无法找到答案")]
query = "Use function abcefikfs with a=2 and b=3 and return the result."
# print(llm_with_tools.invoke(query).tool_calls)messages = [HumanMessage(query)]
ai_msg = llm_with_tools.invoke(messages)
messages.append(ai_msg)
for tool_call in ai_msg.tool_calls:selected_tool = {"abcefikfs": abcefikfs}[tool_call["name"].lower()]tool_output = selected_tool.invoke(tool_call["args"])messages.append(ToolMessage(tool_output, tool_call_id=tool_call["id"]))messages.append(HumanMessage(content=f"The function returned: {tool_output}. Please summarize."))
# 第二次调用:将工具输出和额外提示传回给模型,生成最终答案
response = llm.invoke(messages)
print("\nFinal Response:", response.content)
输出结果:
使用
llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)
初始化模型时,实际上是通过 Groq 后端加载和封装了 Llama 模型。而后调用
llm_with_tools = llm.bind_tools(tools)
进行工具绑定,这个功能是由 Groq 后端提供的封装机制实现的,而不是 Llama 模型原生具备的功能。
这种方式使得模型能够在生成响应时,自动识别并调用你绑定的工具函数。
- 举例说明:
比如你定义了一个工具函数abcefikfs
,通过bind_tools
后,模型在解析你的查询时,如果检测到需要调用这个工具,就会生成相应的调用请求,最终由 Groq 后端处理工具调用过程,再返回结果。
总之,工具的绑定和调用是在 Groq 后端层面实现的,而非 Llama 模型自带的原生功能。
是的,代码中通过调用
llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)
来初始化 Llama 模型,这里的 model_provider="groq"
就明确表明了模型调用的是 Groq 后端。
代码详细说明:
-
环境变量设置
代码中首先检查并设置了GROQ_API_KEY
,这说明后续所有的 API 调用都会使用这个密钥来访问 Groq 后端服务:if not os.environ.get("GROQ_API_KEY"):os.environ["GROQ_API_KEY"] = getpass.getpass("Enter API key for Groq: ")
-
模型初始化
调用init_chat_model
时,传入了模型名称"llama3-8b-8192"
以及model_provider="groq"
。这意味着该函数会请求 Groq 后端来加载对应的 Llama 模型:llm = init_chat_model("llama3-8b-8192", model_provider="groq", temperature=0)
-
工具绑定与调用
在初始化模型之后,通过llm.bind_tools(tools)
将工具绑定到模型上,使得模型可以在生成响应时调用预先注册的工具函数。
举例说明
假设你需要执行一个函数调用来处理简单的数值计算,模型在处理你的查询时可能识别到需要调用某个工具(比如 abcefikfs
),然后它会生成一个工具调用请求。代码随后会手动解析这个请求,并调用相应的函数来获取结果,最终再将结果反馈给模型。这整个过程中,所有对模型的请求都是通过 Groq 后端来完成的。
因此,可以总结为:
- 调用 Groq 后端: 通过
model_provider="groq"
参数确保所有 Llama 模型的推理任务都由 Groq 后端提供支持。 - API Key 的使用: 设置
GROQ_API_KEY
保证了请求能被正确认证,从而调用 Groq 服务。