LangChain:基于ChatGPT对话私有数据

news/2024/11/21 23:34:05/

一、架构图:

二、思路:

  1. 通过embbeding获得文本的语义,通过向量数据库获得近似记录,通过chatGPT得到问答内容
  2. 将文件拆分并embbeding后存入向量数据库
  3. 将用户问题embbeding后从向量数据库中找近似的文档数据作为prompt上下文

三、核心代码:

# pip install langchain chromadb openai tiktokenimport os
from langchain.document_loaders import TextLoader
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.chains import ConversationalRetrievalChain
from langchain.memory import ConversationBufferMemory
from langchain.llms import OpenAI# os.environ['OPENAI_API_KEY'] = 'ENTER YOUR API KEY'# 1、加载文件
file_path = "./孔乙己.txt"
loader = TextLoader(file_path)# 2、拆分文件
pages = loader.load_and_split()
embeddings = OpenAIEmbeddings()# 3、将拆分后的文本embeddings后存储到Vector数据库
vectordb = Chroma.from_documents(pages, embedding=embeddings,persist_directory=".")
vectordb.persist()# 4、保留对话记录到内存
memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)# 5、将用户的query文本embeddings后到向量数据库查询近似的记录作为prompt,一起发送给LLM,获得结果
self_qa = ConversationalRetrievalChain.from_llm(OpenAI(temperature=0.9), vectordb.as_retriever(), memory=memory)query = "孔乙己欠了酒店多少钱?"
result = self_qa({"question": query})
print("Answer:" + result["answer"])

http://www.ppmy.cn/news/949796.html

相关文章

【生活工作经验 十】ChatGPT模型对话初探

最近探索了下全球大火的ChatGPT,想对此做个初步了解 一篇博客 当今社会,自然语言处理技术得到了迅速的发展,人工智能技术也越来越受到关注。其中,基于深度学习的大型语言模型,如GPT(Generative Pre-train…

和ChatGPT的初次对话

ChatGPT是人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,使用了Transformer神经网络架构,也是GPT-3.5架构,这是一种用于处理序列数据的模型,拥有语言理解和文本生成能力,尤其是它会通过连接…

用winform开发ChatGPT对话应用

用winform开发ChatGPT对话应用 最近ChatGPT非常火热,本着有热闹就凑的心理,我也上手玩了一把。不玩不知道,玩了吓一跳,这家伙的火,是自己把自己点燃的。不客气的说,OpenAI给人类重新创造了一个神&#xff…

搭建ChatGPT对话式小说

牙叔教程 简单易懂 你只需要写一个开头 剩下的交给ChatGPT 视频查看效果 两个ChatGPT互聊-写小说_哔哩哔哩_bilibili 这是一种ChatGPT的展现方式, 他把你主动问ChatGPT的这种方式, 改为了ChatGPT和ChatGPT聊天的方式 我们只需要写一个开头, 小说的后续部分, 完全都交给了Chat…

99%的人还不懂怎么和ChatGPT对话(30万字ChatGPT手册)

关注公众号:人工智能学派 关于chatGPT相关的问题,都可以找我答疑解惑,相互交流学习,有问必应! 大家都知道ChatGPT是一个基于自然语言理解的模型,它总是试图根据对我们提出问题的理解来给出我们想听到的答…

教你快速导出 ChatGPT 对话数据!

距离 ChatGPT 上线已经过了半年,ChatGPT 已成为最有价值的工具,相信大家已经在使用 ChatGPT 高效地完成各项工作了。在 2023 年 4 月 25 日 OpenAI 开放了保存对话数据的功能,让我们在使用 ChatGPT 来进行创意写作或编码等工作时,…

ChatGPT对话聊天

工具说明 ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动。 站内地址 本站提供ChatGPT聊天工具,能满足日常使用,但由于对接国外接口,中间经…

基于Chatbot UI 实现ChatGPT对话-V1.0

基于Chatbot UI 实现ChatGPT对话-V1.0 前端基于开源项目:chatbot-ui进行二次开发,感兴趣的小伙伴可以自行研究。 本项目搭建初衷:在无法科学上网的情况下,实现ChatGPT对话。还有规避官方聊天时,长时间无链接导致的问题…