Spring AI ChatClient

server/2025/1/12 16:12:00/

Spring AI中的ChatClient是一个提供流畅API（Fluent API）的客户端，它主要用于与各种AI模型进行通信。ChatClient 提供了与 AI 模型通信的 Fluent API，它支持同步和反应式（Reactive）编程模型。与 ChatModel、Message、ChatMemory 等原子 API 相比，使用 ChatClient 可以将与 LLM 及其他组件交互的复杂性隐藏在背后，因为基于 LLM 的应用程序通常要多个组件协同工作（例如，提示词模板、聊天记忆、LLM Model、输出解析器、RAG 组件：嵌入模型和存储），并且通常涉及多个交互，因此协调它们会让编码变得繁琐。当然使用 ChatModel 等原子 API 可以为应用程序带来更多的灵活性，成本就是您需要编写大量样板代码。

一、核心功能与特点

  1. 与AI模型通信：
    • ChatClient能够与各种支持HTTP请求交互的AI模型进行通信，如GPT系列模型、BERT模型等。
    • 它通过发送HTTP请求到AI模型的端点，并解析响应来实现与AI模型的通信。
  2. 流畅API设计：
    • ChatClient采用了Fluent API的设计模式，通过方法链的方式简化了与AI模型通信的过程。
    • 开发者可以通过链式调用的方式设置请求参数、发起请求，并获取响应结果。
    • 这种设计方式提高了代码的可读性，减少了样板代码的量。
  3. 支持同步和异步处理：
    • ChatClient支持同步和反应式（Reactive）编程模型。
    • 同步处理模式下，开发者可以直接获取AI模型的响应结果。
    • 异步处理模式下，开发者可以流式地接收AI模型的响应结果，提高系统的并发处理能力和响应速度。
  4. 丰富的响应格式化选项：
    • ChatClient提供了多种方法来格式化AI模型的响应结果。
    • 开发者可以根据需要选择返回字符串、实体对象或流式响应等不同类型的输出格式。
  5. 自定义提示与配置：
    • ChatClient允许开发者通过Prompt对象来自定义与AI模型的交互过程。
    • 开发者可以设置不同的提示语和参数来引导AI模型的回复方向和内容。
    • ChatClient还支持在运行时通过Prompt的配置项覆盖初始化的配置项，以实现更灵活的配置管理。

二、应用场景

ChatClient可以应用于多种业务场景，包括但不限于：

  1. 客户服务：
    • ChatClient可以用于构建智能客服系统，通过集成先进的AI模型（如ChatGPT），自动回答用户的问题，提供24/7不间断的服务。
    • 这不仅可以提高客户满意度，还能降低企业的人力成本。
  2. 教育培训：
    C - hatClient可以用于构建智能辅导系统，通过集成各种知识图谱和AI模型，根据学生的学习情况和兴趣爱好提供个性化的学习建议和辅导。
    • 这不仅可以提高学生的学习效率，还能激发他们的学习兴趣。
  3. 娱乐游戏：
    • ChatClient可以用于构建智能NPC（非玩家角色），通过集成先进的对话系统和情感计算模型，与玩家进行更加自然和有趣的互动。
    • 这不仅可以提高游戏的沉浸感和趣味性，还能增加玩家的粘性和活跃度。

三、使用方式

  1. 引入依赖：
    • 如果使用的是Maven项目，可以在pom.xml文件中添加Spring AI的依赖来引入ChatClient。
  2. 创建ChatClient实例：
    • 可以使用Spring Boot的自动配置功能来创建ChatClient实例，也可以通过编程方式来创建。
      自动配置方式下，只需在类中注入ChatClient的Bean即可。
    • 编程方式下，需要手动创建ChatClient.Builder实例，并通过它来构建ChatClient。
  3. 设置请求参数并发起请求：
    • 使用ChatClient的prompt()方法来设置请求参数，如用户输入、系统提示等。
    • 调用call()方法向AI模型发送请求，并获取响应结果。
    • 可以根据需要使用chatResponse()、entity()等方法来格式化响应结果。
  4. 处理响应结果：
    • 根据需要处理AI模型的响应结果，如将其映射为实体类、进行流式处理等。

四、源代码解读

ChatClient接口

public interface ChatClient {..... 创建ChatClient方法。create.......... 创建Builder方法builder..........用于设置聊天请求的规范，如提示信息等。ChatClientRequestSpec prompt();ChatClientRequestSpec prompt(String content);ChatClientRequestSpec prompt(Prompt prompt);..........用于创建新的 Builder  其设置将复制自当前客户端的默认Builder mutate();.....配置用户提示interface PromptUserSpec {......}..........配置系统提示interface PromptSystemSpec {......}.....interface AdvisorSpec {......}......回调的响应规格interface CallResponseSpec {......}............流式响应的规格interface StreamResponseSpec {......}......提示响应响应的规格interface CallPromptResponseSpec {......}............流式提示响应响应的规格	interface StreamPromptResponseSpec {......}......	......聊天客户端的请求规格interface ChatClientRequestSpec {......}............提供了一种构建 ChatClient 对象的方式，允许设置默认的顾问、选项、用户和系统提示等。interface Builder {Builder defaultAdvisors(Advisor... advisor);Builder defaultAdvisors(Consumer<AdvisorSpec> advisorSpecConsumer);Builder defaultAdvisors(List<Advisor> advisors);Builder defaultOptions(ChatOptions chatOptions);Builder defaultUser(String text);Builder defaultUser(Resource text, Charset charset);Builder defaultUser(Resource text);Builder defaultUser(Consumer<PromptUserSpec> userSpecConsumer);Builder defaultSystem(String text);Builder defaultSystem(Resource text, Charset charset);Builder defaultSystem(Resource text);Builder defaultSystem(Consumer<PromptSystemSpec> systemSpecConsumer);/*** @deprecated use {@link #defaultFunctions(FunctionCallback...)} instead.*/@Deprecated<I, O> Builder defaultFunction(String name, String description, java.util.function.Function<I, O> function);/*** @deprecated use {@link #defaultFunctions(FunctionCallback...)} instead.*/@Deprecated<I, O> Builder defaultFunction(String name, String description,java.util.function.BiFunction<I, ToolContext, O> function);Builder defaultFunctions(String... functionNames);Builder defaultFunctions(FunctionCallback... functionCallbacks);Builder defaultToolContext(Map<String, Object> toolContext);Builder clone();ChatClient build();}}

ChatClient 实现类 DefaultChatClient类

创建

使用 ChatClient.Builder 对象创建 ChatClient 实例，您可以自动注入由Spring Boot 自动配置创建的默认 ChatClient.Builder 实例，您也可以通过编程方式自行创建一个 ChatClient.Builder 实例并用它来得到 ChatClient 实例。

  1. 使用自动配置的 ChatClient.Builder
    在快速开始示例中，就是使用的 Spring Boot 自动装配默认生成的 ChatClient.Builder 的 bean，把它注入到您自己的类中。这里是根据用户提问并从模型得到文本回答的简单例子：
    @RestControllerpublic class ChatController {private final ChatClient chatClient;public ChatController(ChatClient.Builder builder) {this.chatClient = builder.build();}@GetMapping("/chat")public String chat(String input) {return this.chatClient.prompt().user(input).call().content();}}

在这个示例中，首先设置了用户消息的内容，call 方法向 AI 模型发送请求，content 方法以字符串形式返回 AI 模型的响应。

  1. 以编程方式创建 ChatClient
    可以通过设置属性 spring.ai.chat.client.enabled=false 来禁用 ChatClient.Builder bean 的自动配置，如果需要多个聊天模型一起使用，这会很有用，然后以编程方式创建 ChatClient.Builder，这样可以为每个聊天模型创建一个实例 ChatModel：
    ChatModel myChatModel = ... // usually autowiredChatClient.Builder builder = ChatClient.builder(myChatModel);// or create a ChatClient with the default builder settings:ChatClient chatClient = ChatClient.create(myChatModel);

ChatClient 响应

  1. 返回 ChatResponse
    AI 模型的响应是一种由ChatResponse类型定义的丰富结构。它包含响应生成相关的元数据，同时它还可以包含多个子响应（称为Generation），每个子响应都有自己的元数据。元数据包括用于创建响应的令牌（token）数量信息（在英文中，每个令牌大约为一个单词的 3/4）。
    ChatResponse
public class ChatResponse implements ModelResponse<Generation> {private final ChatResponseMetadata chatResponseMetadata;private final List<Generation> generations;@Overridepublic ChatResponseMetadata getMetadata() {...}@Overridepublic List<Generation> getResults() {...}// other methods omitted
}

Generation

public class Generation implements ModelResult<AssistantMessage> {private final AssistantMessage assistantMessage;private ChatGenerationMetadata chatGenerationMetadata;@Overridepublic AssistantMessage getOutput() {...}@Overridepublic ChatGenerationMetadata getMetadata() {...}// other methods omitted
}

下面的代码段显示了通过调用 chatResponse() 返回 ChatResponse 的示例，相比于调用 content() 方法，这里在调用 call() 方法之后调用 chatResponse()。

    ChatResponse chatResponse = chatClient.prompt().user("Tell me a joke").call().chatResponse();
  1. 返回实体类（Entity）
    Spring AI 框架可以自动替我们完成从 String 到实体类的转换，调用entity() 方法可完成响应数据转换。
  ActorFilms aFilms = chatClient.prompt().user("Generate the filmography for a random actor.").call().entity(ActorFilms.class);

entity 还有一种带有参数的重载方法 entity(ParameterizedTypeReference<T> type)，可让您指定如泛型 List 等类型：

    List<ActorFilms> aFilms = chatClient.prompt().user("Generate the filmography of 5 movies for Tom Hanks and Bill Murray.").call().entity(new ParameterizedTypeReference<List<ActorFilms>>() {});
  1. 流式响应
    stream 方法是一种异步的、持续的获得模型响应的方式：
    Flux<String> oput = chatClient.prompt().user("Tell me a joke").stream().content();

还可以使用 Flux<ChatResponse> chatResponse() 方法获得 ChatResponse 响应数据流。

call 返回值
ChatClient.call() 方法支持几种不同类型的响应格式。

  • String content()：返回响应的字符串内容
  • ChatResponse chatResponse()：返回ChatResponse包含多个代以及有关响应的元数据的对象，例如，使用了多少个令牌来创建响应。
  • entity 返回 Java 类型
    • entity(ParameterizedTypeReference type)：用于返回实体类型的集合。
    • entity(Class type): 用于返回特定的实体类型。
    • entity(StructuredOutputConverter structuredOutputConverter): 用于指定一个实例 StructuredOutputConverter，将 String 转换为实体类型。

stream() 返回值
还可以调用该stream方法而call不是，在指定stream方法后ChatClient，响应类型有几个选项：

  • Flux<String> content()：返回由AI模型生成的字符串的Flux。
  • Flux<ChatResponse> chatResponse()：返回对象的 Flux ChatResponse，其中包含有关响应的附加元数据。

示例代码：

由ChatClient.Builder创建

@RestController
public class MyController {private final ChatClient chatClient;// 通过构造函数注入ChatClient的Beanpublic MyController(ChatClient.Builder chatClientBuilder) {this.chatClient = chatClientBuilder.build();}@GetMapping("/ai")public String generateResponse(String userInput) {// 设置请求参数并发起请求ChatResponse chatResponse = chatClient.prompt().user(userInput) // 设置用户输入.call() // 向AI模型发送请求.chatResponse(); // 获取包含元数据的ChatResponse对象// 处理响应结果（这里只是简单地返回响应内容）return chatResponse.getContent();}
}

ChatClient 默认值

使用 ChatClient.Builder.build() 快速创建了一个 ChatClient 实例，开发者还可以通过修改 ChatClient.Builder 定制 ChatClient 实例。

注意，创建 ChatClient 时指定的配置将作为与模型交互时的默认参数，这样可以避免每次调用都重复设置。

  1. 示例：设置默认 System Message
    为 ChatClient 设置了一个默认的 system message（以海盗风格回答所有问题），这样，当 ChatClient 与模型交互时都会自动携带这条 system message，用户只需要指定 user message 即可。
       @Configurationclass Config {@BeanChatClient chatClient(ChatClient.Builder builder) {return builder.defaultSystem("You are a friendly chat bot that answers question in the voice of a {voice}").build();}}@RestControllerclass AIController {private final ChatClient chatClientAIController(ChatClient chatClient) {this.chatClient = chatClient;}@GetMapping("/ai")Map<String, String> completion(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message, String voice) {return Map.of("completion",chatClient.prompt().system(sp -> sp.param("voice", voice)).user(message).call().content());}}

启动示例，通过 curl 测试效果：

> curl http localhost:8080/ai?voice=='Robert DeNiro'{"completion": "You talkin' to me? Okay, here's a joke for ya: Why couldn't the bicycle stand up by itself? Because it was two tired! Classic, right?"}
  1. 其他默认设置

    • defaultOptions(ChatOptions chatOptions)：传入 ChatOptions 类中定义的可移植选项或特定于模型实现的如 DashScopeChatOptions 选项。有关特定于模型的ChatOptions实现的更多信息，请参阅 JavaDocs。

    • defaultFunction(String name, String description, java.util.function.Function<I, O> function)：name 用于在用户文本中引用该函数，description解释该函数的用途并帮助 AI 模型选择正确的函数以获得准确的响应，参数 function 是模型将在必要时执行的 Java 函数实例。

    • defaultFunctions(String… functionNames)：应用程序上下文中定义的 java.util.Function 的 bean 名称。

    • defaultUser(String text)、defaultUser(Resource text)、defaultUser(Consumer userSpecConsumer) 这些方法允许您定义用户消息输入，Consumer<UserSpec>允许您使用 lambda 指定用户消息输入和任何默认参数。

    • defaultAdvisors(RequestResponseAdvisor… advisor)：Advisors 允许修改用于创建 Prompt 的数据，QuestionAnswerAdvisor 实现通过在 Prompt 中附加与用户文本相关的上下文信息来实现 Retrieval Augmented Generation 模式。

    • defaultAdvisors(Consumer advisorSpecConsumer)：此方法允许您定义一个 Consumer 并使用 AdvisorSpec 配置多个 Advisor，Advisor 可以修改用于创建 Prompt 的最终数据，Consumer<AdvisorSpec> 允许您指定 lambda 来添加 Advisor 例如 QuestionAnswerAdvisor。

Advisors

使用上下文数据附加或扩充 Prompt，最终使用扩充后的 Prompt 与模型交互。
扩充 Prompt 的上下文数据可以是不同类型的，常见类型包括：
- 自己的数据：这是 AI 模型尚未训练过的数据，如特定领域知识、产品文档等，即使模型已经看到过类似的数据，附加的上下文数据也会优先生成响应。
- 对话历史记录：聊天模型的 API 是无状态的，如果告诉 AI 模型您的姓名，它不会在后续交互中记住它，每次请求都必须发送对话历史记录，以确保在生成响应时考虑到先前的交互。

检索增强生成（RAG）

向量数据库存储的是 AI 模型不知道的数据，当用户问题被发送到 AI 模型时，会在向量数据库中查询与用户问题相关的文档。
来自向量数据库的响应被附加到用户消息 Prompt 中，为 AI 模型生成响应提供上下文。
假设已将数据加载到中 VectorStore，则可以通过向 ChatClient 提供 QuestionAnswerAdvisor 实例来执行检索增强生成 (RAG ) 。

    ChatResponse response = ChatClient.builder(chatModel).build().prompt().advisors(new QuestionAnswerAdvisor(vectorStore, SearchRequest.defaults())).user(userText).call().chatResponse();

在此示例，SearchRequest.defaults() 将对 Vector 向量数据库中的所有文档执行相似性搜索。为了限制要搜索的文档类型。

记忆

ChatMemory 接口表示聊天对话历史记录存储，提供向对话添加消息、从对话中检索消息以及清除对话历史记录的方法。

目前提供两种实现方式 InMemoryChatMemory、CassandraChatMemory，分别为聊天对话历史记录提供内存存储和 time-to-live 类型的持久存储。
创建一个包含 time-to-live 配置的 CassandraChatMemory

CassandraChatMemory.create(CassandraChatMemoryConfig.builder().withTimeToLive(Duration.ofDays(1)).build());

以下 Advisor 实现使用 ChatMemory 接口来使用对话历史记录来增强（advice）Prompt，这些 advisor 实现在如何将对话历史记录添加到 Prompt 的细节上有所不同。

  • MessageChatMemoryAdvisor：内存被检索并作为消息集合添加到提示中
  • PromptChatMemoryAdvisor：检索内存并将其添加到提示的系统文本中。
  • VectorStoreChatMemoryAdvisor ：构造函数VectorStoreChatMemoryAdvisor(VectorStore vectorStore, String defaultConversationId, int chatHistoryWindowSize)允许指定要从中检索聊天历史记录的 VectorStore、唯一的对话 ID、要检索的聊天历史记录的大小（以令牌大小为单位）。

下面的 @Service 提供了一个使用多个 Advisor 的示例实现：

    import static org.springframework.ai.chat.client.advisor.AbstractChatMemoryAdvisor.CHAT_MEMORY_CONVERSATION_ID_KEY;import static org.springframework.ai.chat.client.advisor.AbstractChatMemoryAdvisor.CHAT_MEMORY_RETRIEVE_SIZE_KEY;@Servicepublic class CustomerSupportAssistant {private final ChatClient chatClient;public CustomerSupportAssistant(ChatClient.Builder builder, VectorStore vectorStore, ChatMemory chatMemory) {this.chatClient = builder.defaultSystem("""You are a customer chat support agent of an airline named "Funnair".", Respond in a friendly,helpful, and joyful manner.If there is a charge for the change, you MUST ask the user to consent before proceeding.""").defaultAdvisors(new PromptChatMemoryAdvisor(chatMemory),// new MessageChatMemoryAdvisor(chatMemory), // CHAT MEMORYnew QuestionAnswerAdvisor(vectorStore, SearchRequest.defaults()),new LoggingAdvisor()) // RAG.defaultFunctions("getBookingDetails", "changeBooking", "cancelBooking") // FUNCTION CALLING.build();}public Flux<String> chat(String chatId, String userMessageContent) {return this.chatClient.prompt().user(userMessageContent).advisors(a -> a.param(CHAT_MEMORY_CONVERSATION_ID_KEY, chatId).param(CHAT_MEMORY_RETRIEVE_SIZE_KEY, 100)).stream().content();}}

日志记录

SimpleLoggerAdvisor 是一个用于记录 ChatClient 的 request 和 response 数据 Advisor，这对于调试和监控 AI 交互非常有用。

要启用日志记录，请在创建 ChatClient 时将 SimpleLoggerAdvisor 添加到 Advisor 链中。建议将其添加到链的末尾：

    ChatResponse response = ChatClient.create(chatModel).prompt().advisors(new SimpleLoggerAdvisor()).user("Tell me a joke").call().chatResponse();

要查看日志，请将 Advisor 包的日志记录级别设置为 DEBUG：

org.springframework.ai.chat.client.advisor=DEBUG

将其添加到 application.properties 或 application.yaml 文件中。

可以使用以下构造函数自定义如何使用 SimpleLoggerAdvisor 记录来自 AdvisedRequest 和 ChatResponse 的数据：

    SimpleLoggerAdvisor(Function<AdvisedRequest, String> requestToString,Function<ChatResponse, String> responseToString)

使用示例：

    javaCopySimpleLoggerAdvisor customLogger = new SimpleLoggerAdvisor(request -> "Custom request: " + request.userText,response -> "Custom response: " + response.getResult());

参考项目

紫汐AI

综上所述，Spring AI的ChatClient是一个功能强大且灵活的客户端工具，它能够帮助开发者轻松地与各种AI模型进行通信，并实现丰富的交互功能。


http://www.ppmy.cn/server/157796.html

相关文章

CDA数据分析师一级经典错题知识点总结（3）

CDA数据分析师一级经典错题知识点总结（3）

1、SEMMA 的基本思想是从样本数据开始&#xff0c;通过统计分析与可视化技术&#xff0c;发现并转换最有价值的预测变量&#xff0c;根据变量进行构建模型&#xff0c;并检验模型的可用性和准确性。【强调探索性】 2、CRISP-DM模型Cross Industry Standard Process of Data Mi…
阅读更多...
嵌入式C语言：二维数组

嵌入式C语言：二维数组

目录 一、二维数组的定义 二、内存布局 2.1. 内存布局特点 2.2. 内存布局示例 2.2.1. 数组元素地址 2.2.2. 内存布局图&#xff08;简化表示&#xff09; 2.3. 初始化对内存布局的影响 三、访问二维数组元素 3.1. 常规下标访问方式 3.2. 通过指针访问 3.2.1. 指向数…
阅读更多...
用JAVA 源码角度看 客户端请求服务器流程中地址是域名情况下解析域名流程

用JAVA 源码角度看 客户端请求服务器流程中地址是域名情况下解析域名流程

1. 域名解析的入口点 getaddrinfo 或 getAllByName 方法&#xff1a;在底层&#xff0c;Java 使用 getaddrinfo&#xff08;在 Unix-like 系统中&#xff09;或类似的系统调用来解析域名。在 Java 的 InetAddress 类中&#xff0c;getAllByName 方法是解析域名的入口点之一。它…
阅读更多...
跨域问题,开发

跨域问题,开发

资料 1.【Vue】Access to XMLHttpRequest at XXX from origin XXX has been blocked by CORS policy&#xff08;Axios&#xff09;_uncaught runtime errors: 脳 error network error axi-CSDN博客 2.Vue | 基于 vue-admin-template 项目的跨域问题解决方法_vue-admin-templ…
阅读更多...
Java一个简单的反弹动画练习

Java一个简单的反弹动画练习

文章目录 说明代码详解创建窗体代码创建绘图板创建线程 运行结果完整代码 说明 做了一个小球和星型做反弹动画的窗体作为练习&#xff0c;分享给大家&#xff0c;为了方便和我一样的小白可以看的比较明白&#xff0c;所以尽量详细的标注了注释&#xff0c;希望能帮到同样在学习…
阅读更多...
前端组件开发：组件开发 / 定义配置 / 配置驱动开发 / 爬虫配置 / 组件V2.0 / form表单 / table表单

前端组件开发：组件开发 / 定义配置 / 配置驱动开发 / 爬虫配置 / 组件V2.0 / form表单 / table表单

一、最早的灵感 最早的灵感来自sprider / 网络爬虫 / 爬虫配置&#xff0c;在爬虫爬取网站文章时候&#xff0c;会输入给爬虫一个配置文件&#xff0c;里边的内容是一个json对象。里边包含了所有想要抓取的页面的信息。爬虫通过这个配置就可以抓取目标网站的数据。其实本文要引…
阅读更多...
【Uniapp-Vue3】表单focus和blue事件的用法

【Uniapp-Vue3】表单focus和blue事件的用法

focus就是input框聚焦时触发&#xff0c;blue就是input框失去焦点时触发。 分别用focus和blue触发事件。 下面这个例子中&#xff0c;就用focus和blur来改变Image的class样式。 触发函数时可以设置参数来获取输入框的值&#xff1a; 获取输入框的值就是e.detail.value 该案…
阅读更多...
axios的替代方案onion-middleware

axios的替代方案onion-middleware

onion-middleware的由来 嗯。。。闲来无事瞎搞的&#xff01;&#xff01;&#xff01;&#xff01;主要用来实现请求/相应拦截&#xff0c;当然队列性的数据操作都是可以的 直接上使用教程 安装 npm install onion-middleware使用 import { OnionMiddleware } from onion…
阅读更多...
最新文章

Copyright @ 2022~2023