【deepseek】本地部署+RAG知识库挂载+对话测试

server/2025/2/22 15:56:21/

文章目录

  • 前言
  • 一、Deepseek模型下载(以7B为例)
  • 二、RAG本地知识库挂载
  • 三、创建本地对话脚本
  • 四、结果展示

前言

本文主要涵盖Deepseek在ubuntu系统中的部署全流程，包括模型的下载、系统部署、本地文档向量化、向量列表存储、RAG知识库挂载、对话测试等内容

一、Deepseek模型下载(以7B为例)

说明：以下安装步骤仅限于你的服务器可以ping 通huggingface.co，如果无法ping通请参考我上一篇博客:《【deepseek】Ubuntu/centos系统中无法直接git clone下载模型的解决方法》
1. 安装 huggingface_hub (如果尚未安装)：

首先，确保已经安装了 huggingface_hub Python 包，它是 Hugging Face CLI 的依赖项。

pip install huggingface_hub

2. 登录 Hugging Face：

使用 huggingface-cli login 命令登录你的 Hugging Face 账号。

huggingface-cli login

在这里插入图片描述

该命令会提示你输入你的 Hugging Face 账号的 token。 你可以在 Hugging Face 网站上找到你的 token：

  • 访问 https://huggingface.co/settings/tokens
  • 创建一个新的 token (如果还没有)。
  • 复制 token 并粘贴到终端中。

3. 安装 Git LFS (如果尚未安装)：

Git LFS (Large File Storage) 用于处理大型文件，例如模型文件。

sudo apt-get update
sudo apt-get install git-lfs
git lfs install

4. 克隆模型仓库：

使用 git clone 命令克隆模型仓库。

git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat

这会将 deepseek-llm-7b-chat 模型仓库克隆到你的本地目录。

5. 下载模型文件：

进入克隆的目录：

cd deepseek-llm-7b-chat

如果模型文件没有自动下载，可以使用以下命令手动下载：

git lfs pull

完整步骤：

# 1. 安装 huggingface_hub (如果尚未安装)
pip install huggingface_hub# 2. 登录 Hugging Face
huggingface-cli login# 3. 安装 Git LFS (如果尚未安装)
sudo apt-get update
sudo apt-get install git-lfs
git lfs install# 4. 克隆模型仓库
git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat# 5. 下载模型文件
cd deepseek-llm-7b-chat
git lfs pull

二、RAG本地知识库挂载

系统基本环境：Ubuntu 22.04.4 LTS
Python版本：3.10

1.安装必要的库

pip install langchain transformers sentence-transformers faiss-cpu unstructured pdf2image python-docx docx2txt
  • langchain: 用于构建 RAG 流程。
  • transformers: 用于加载 DeepSeek 7B 模型。
  • sentence-transformers: 用于生成文本嵌入 (embeddings)。
  • faiss-cpu: 用于存储和检索文本嵌入 (向量数据库)。
  • unstructured: 用于加载各种文档 (text, pdf, word)。
  • pdf2image: PDF 处理依赖。
  • python-docx: Word 文档处理依赖。
  • docx2txt: txt文档处理依赖。

2.加载文档并创建向量数据库
create_vector_db.py

import os
from langchain.document_loaders import TextLoader, PyPDFLoader, Docx2txtLoader, UnstructuredFileLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from tqdm import tqdmDATA_PATH = "data/"  # 你的知识库文档所在的目录
DB_FAISS_PATH = "vectorstore/db_faiss"  # 向量数据库保存路径def create_vector_db():"""加载文档，切分文本，生成 embeddings 并存储到 FAISS 向量数据库中。"""document_paths = []for root, _, files in os.walk(DATA_PATH):for file in files:file_path = os.path.join(root, file)document_paths.append(file_path)documents = []for doc_path in tqdm(document_paths, desc="加载文档"):try:if doc_path.endswith(".txt"):loader = TextLoader(doc_path, encoding="utf-8")elif doc_path.endswith(".pdf"):loader = PyPDFLoader(doc_path)  # 使用 PyPDFLoaderelif doc_path.endswith(".docx") or doc_path.endswith(".doc"):try:loader = Docx2txtLoader(doc_path)except ImportError:print(f"docx2txt 未安装，尝试使用 UnstructuredFileLoader 加载 {doc_path}")loader = UnstructuredFileLoader(doc_path)else:loader = UnstructuredFileLoader(doc_path)  # 尝试使用通用加载器documents.extend(loader.load())except Exception as e:print(f"加载文档 {doc_path} 失败: {e}")print(f"加载的文档数量: {len(documents)}")text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)texts = text_splitter.split_documents(documents)print(f"分割后的文本块数量: {len(texts)}")# 过滤掉空文本块texts = [text for text in texts if text.page_content.strip()]# 打印文本块内容# for i, text in enumerate(texts):#     print(f"文本块 {i}: {text.page_content}")embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",model_kwargs={'device': 'cuda' if torch.cuda.is_available() else 'cpu'})db = FAISS.from_documents(texts, embeddings)db.save_local(DB_FAISS_PATH)if __name__ == "__main__":import torchcreate_vector_db()print("向量数据库创建完成！")
  • DATA_PATH: 替换为你的本地知识库文档所在的目录。
  • DB_FAISS_PATH: 指定向量数据库的保存路径。
  • 文档加载: 使用 TextLoader, PDFLoader, Docx2txtLoader, UnstructuredFileLoader 加载不同类型的文档。 UnstructuredFileLoader 可以处理更多类型的文档，但可能需要安装额外的依赖。
  • 文本切分: 使用 RecursiveCharacterTextSplitter 将文档切分成小的文本块 (chunks)。 chunk_size 和 chunk_overlap 可以根据你的需求调整。
  • Embeddings: 使用 HuggingFaceEmbeddings 生成文本块的 embeddings。 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 是一个常用的多语言 embedding 模型。 也可以选择其他模型。
  • 向量数据库: 使用 FAISS 存储 embeddings。 FAISS 是一个高效的向量相似度搜索库。

三、创建本地对话脚本

chat_rag.py

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains import RetrievalQAMODEL_PATH = "./deepseek-llm-7b-chat"  # 你的模型路径
DB_FAISS_PATH = "vectorstore/db_faiss"  # 向量数据库路径def load_model():"""加载模型和 tokenizer"""tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto", torch_dtype=torch.float16)return model, tokenizerdef load_vector_db():"""加载 FAISS 向量数据库"""embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",model_kwargs={'device': 'cuda' if torch.cuda.is_available() else 'cpu'})db = FAISS.load_local(DB_FAISS_PATH, embeddings, allow_dangerous_deserialization=True)  # 添加 allow_dangerous_deserialization=Truereturn dbdef create_rag_chain(model, tokenizer, db):"""创建 RAG 链"""qa_chain = RetrievalQA.from_chain_type(llm=model,  #  这里的 llm 需要适配 langchain 的接口，需要做转换chain_type="stuff",  #  "stuff" 是最简单的 chain_type, 适合小文档retriever=db.as_retriever(search_kwargs={'k': 3}),  #  从向量数据库中检索最相关的 3 个文档return_source_documents=True,  #  返回源文档chain_type_kwargs={"prompt": prompt} # 使用自定义 prompt)return qa_chaindef generate_response(qa_chain, query):"""生成回复"""response = qa_chain({"query": query})return response["result"], response["source_documents"]# 自定义 Prompt
from langchain.prompts import PromptTemplate
prompt_template = """使用以下上下文来回答最后的问题。如果你不知道答案，就说你不知道，不要试图编造答案。
上下文：{context}
问题：{question}
有用的回答："""
prompt = PromptTemplate(template=prompt_template, input_variables=["context", "question"]
)if __name__ == "__main__":model, tokenizer = load_model()db = load_vector_db()#  适配 langchain 的 llm 接口from langchain.llms import HuggingFacePipelinefrom transformers import pipelinepipe = pipeline("text-generation",model=model,tokenizer=tokenizer,torch_dtype=torch.float16,device_map="auto",max_new_tokens=256,do_sample=True,top_p=0.9,temperature=0.7,num_return_sequences=1)llm = HuggingFacePipeline(pipeline=pipe)qa_chain = create_rag_chain(llm, tokenizer, db)print("欢迎使用 DeepSeek 7B Chat (RAG)！")print("输入 'exit' 退出对话。")while True:user_input = input("你: ")if user_input.lower() == "exit":print("感谢使用，再见！")breaktry:response, source_documents = generate_response(qa_chain, user_input)print("DeepSeek: " + response)print("\n来源文档:")for doc in source_documents:print(f"  - {doc.metadata['source']}")except Exception as e:print(f"发生错误: {e}")print("请检查你的输入和模型是否正确加载。")
  • MODEL_PATH: 替换为你的 DeepSeek 7B 模型路径。
  • DB_FAISS_PATH: 替换为你的向量数据库路径。
  • load_model(): 加载 DeepSeek 7B 模型和 tokenizer。
  • load_vector_db(): 加载 FAISS 向量数据库。
  • create_rag_chain(): 创建 RAG 链。
    • RetrievalQA.from_chain_type(): 使用 LangChain 的 RetrievalQA 类创建 RAG 链。
    • chain_type="stuff": 指定 chain type。 “stuff” 是最简单的 chain type，它将所有检索到的文档都塞到 prompt 中。 适合小文档。对于大文档，可以考虑使用 “map_reduce” 或 “refine” 等 chain type。
    • retriever: 使用 db.as_retriever() 创建 retriever。 search_kwargs={'k': 3} 表示从向量数据库中检索最相关的 3 个文档。
    • return_source_documents=True: 返回源文档。
  • generate_response(): 生成回复。
  • 自定义 Prompt: 使用 PromptTemplate 自定义 Prompt，让模型更好地利用上下文信息。
  • 适配 langchain 的 llm 接口: 由于 RetrievalQA 需要 langchain 风格的 llm 接口，所以需要用 HuggingFacePipeline 包装一下 transformers 的 pipeline。
  • 打印源文档: 在回复中打印源文档，方便验证信息的来源。

其他: 准备知识库文档

  1. 创建一个名为 data 的目录 (或者修改 DATA_PATH 变量)。
  2. 将你的 text, pdf, word 文档放到 data 目录中。

四、结果展示

  1. 首先运行 create_vector_db.py 创建向量数据库。
    在这里插入图片描述

  2. 然后运行 chat_rag.py 启动对话进行测试。
    在这里插入图片描述
    问：
    在这里插入图片描述
    答：
    在这里插入图片描述


http://www.ppmy.cn/server/169878.html

相关文章

Linux上Scapy完全指南：从入门到实战攻防

Linux上Scapy完全指南：从入门到实战攻防

Linux上Scapy完全指南：从入门到实战攻防 目录 Scapy简介与核心优势Linux环境安装与配置Scapy基础操作高级功能与协议分析实战案例：网络诊断与安全审计性能优化与调试技巧常见问题解答 一、Scapy简介与核心优势 1.1 什么是Scapy？ Scapy是一…
阅读更多...
【排版教程】如何在Word/WPS中优雅的插入参考文献

【排版教程】如何在Word/WPS中优雅的插入参考文献

材料展示 随便选取一段综述内容，以及对应的参考文献，如下图所示： 1 参考文献编辑 首先对参考文献部分进行编辑，将其设置自动编号 在段落中，选择悬挂缩进 在编号中，设置自定义编号，然后按照…
阅读更多...
Python爬虫基础文件操作

Python爬虫基础文件操作

文件操作 引言 爬虫爬取的一切内容都是在内存进行的，这样会有什么问题吗？如果一旦短电或着发生意外电脑关机了那么你的工作成果将瞬间消失。所以，我们还缺少数据在本地文件系统进行持久化的能力，简单的来说就是文件读写操作。文…
阅读更多...
【HBase】HBaseJMX 接口监控信息实现钉钉告警

【HBase】HBaseJMX 接口监控信息实现钉钉告警

目录 一、JMX 简介 二、JMX监控信息钉钉告警实现 一、JMX 简介 官网：Apache HBase ™ Reference Guide JMX （Java管理扩展）提供了内置的工具，使您能够监视和管理Java VM。要启用远程系统的监视和管理，需要在启动Java…
阅读更多...
RabbitMq 基础

RabbitMq 基础

文章目录 一、初识 MQ 1.1 同步调用：1.2 异步调用： 二、RabbitMQ三、SpringAMQP 3.1 依赖和配置文件3.2 消息发送和接收： 3.2.1 消息发送：3.2.2 消息接收： 3.3 WorkQueues 模型：3.4 交换机类型&#xff1a…
阅读更多...
AI工作流+专业知识库+系统API的全流程任务自动化

AI工作流+专业知识库+系统API的全流程任务自动化

我有点悲观，甚至很沮丧，因为AI留给普通人的机会不多了，这既是人类之间权力的斗争，也是硅基生命和碳基生命的斗争。AI自动化是无法避免的趋势，如果人类不能平权，那就只能跪下接受审判。 通过整合AI工作流、专…
阅读更多...
微服务入门-笔记

微服务入门-笔记

微服务入门-笔记 介绍 这个mvn工程里边包含了微服务里最基础的服务拆分、基于nacos的服务注册和发现、配置中心以及OpenFeign版的远程调用。 初始化这个工程是来源于阿里云的脚手架，https://start.aliyun.com/，从这上边创建一个包含各种依赖的工程&am…
阅读更多...
基于WebRTC与AI大模型接入EasyRTC：打造轻量级、高实时、强互动的嵌入式音视频解决方案

基于WebRTC与AI大模型接入EasyRTC：打造轻量级、高实时、强互动的嵌入式音视频解决方案

随着物联网和嵌入式技术的快速发展，嵌入式设备对实时音视频通信的需求日益增长。然而，传统的音视频解决方案往往存在体积庞大、实时性差、互动体验不佳等问题，难以满足嵌入式设备的资源限制和应用场景需求。 针对以上痛点，本文将介…
阅读更多...
最新文章

Copyright @ 2022~2023