【deepseek】本地部署+RAG知识库挂载+对话测试

embedded/2025/2/24 18:40:35/

文章目录

  • 前言
  • 一、Deepseek模型下载(以7B为例)
  • 二、RAG本地知识库挂载
  • 三、创建本地对话脚本
  • 四、结果展示

前言

本文主要涵盖Deepseek在ubuntu系统中的部署全流程，包括模型的下载、系统部署、本地文档向量化、向量列表存储、RAG知识库挂载、对话测试等内容

一、Deepseek模型下载(以7B为例)

说明：以下安装步骤仅限于你的服务器可以ping 通huggingface.co，如果无法ping通请参考我上一篇博客:《【deepseek】Ubuntu/centos系统中无法直接git clone下载模型的解决方法》
1. 安装 huggingface_hub (如果尚未安装)：

首先，确保已经安装了 huggingface_hub Python 包，它是 Hugging Face CLI 的依赖项。

pip install huggingface_hub

2. 登录 Hugging Face：

使用 huggingface-cli login 命令登录你的 Hugging Face 账号。

huggingface-cli login

在这里插入图片描述

该命令会提示你输入你的 Hugging Face 账号的 token。 你可以在 Hugging Face 网站上找到你的 token：

  • 访问 https://huggingface.co/settings/tokens
  • 创建一个新的 token (如果还没有)。
  • 复制 token 并粘贴到终端中。

3. 安装 Git LFS (如果尚未安装)：

Git LFS (Large File Storage) 用于处理大型文件，例如模型文件。

sudo apt-get update
sudo apt-get install git-lfs
git lfs install

4. 克隆模型仓库：

使用 git clone 命令克隆模型仓库。

git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat

这会将 deepseek-llm-7b-chat 模型仓库克隆到你的本地目录。

5. 下载模型文件：

进入克隆的目录：

cd deepseek-llm-7b-chat

如果模型文件没有自动下载，可以使用以下命令手动下载：

git lfs pull

完整步骤：

# 1. 安装 huggingface_hub (如果尚未安装)
pip install huggingface_hub# 2. 登录 Hugging Face
huggingface-cli login# 3. 安装 Git LFS (如果尚未安装)
sudo apt-get update
sudo apt-get install git-lfs
git lfs install# 4. 克隆模型仓库
git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat# 5. 下载模型文件
cd deepseek-llm-7b-chat
git lfs pull

二、RAG本地知识库挂载

系统基本环境：Ubuntu 22.04.4 LTS
Python版本：3.10

1.安装必要的库

pip install langchain transformers sentence-transformers faiss-cpu unstructured pdf2image python-docx docx2txt
  • langchain: 用于构建 RAG 流程。
  • transformers: 用于加载 DeepSeek 7B 模型。
  • sentence-transformers: 用于生成文本嵌入 (embeddings)。
  • faiss-cpu: 用于存储和检索文本嵌入 (向量数据库)。
  • unstructured: 用于加载各种文档 (text, pdf, word)。
  • pdf2image: PDF 处理依赖。
  • python-docx: Word 文档处理依赖。
  • docx2txt: txt文档处理依赖。

2.加载文档并创建向量数据库
create_vector_db.py

import os
from langchain.document_loaders import TextLoader, PyPDFLoader, Docx2txtLoader, UnstructuredFileLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from tqdm import tqdmDATA_PATH = "data/"  # 你的知识库文档所在的目录
DB_FAISS_PATH = "vectorstore/db_faiss"  # 向量数据库保存路径def create_vector_db():"""加载文档，切分文本，生成 embeddings 并存储到 FAISS 向量数据库中。"""document_paths = []for root, _, files in os.walk(DATA_PATH):for file in files:file_path = os.path.join(root, file)document_paths.append(file_path)documents = []for doc_path in tqdm(document_paths, desc="加载文档"):try:if doc_path.endswith(".txt"):loader = TextLoader(doc_path, encoding="utf-8")elif doc_path.endswith(".pdf"):loader = PyPDFLoader(doc_path)  # 使用 PyPDFLoaderelif doc_path.endswith(".docx") or doc_path.endswith(".doc"):try:loader = Docx2txtLoader(doc_path)except ImportError:print(f"docx2txt 未安装，尝试使用 UnstructuredFileLoader 加载 {doc_path}")loader = UnstructuredFileLoader(doc_path)else:loader = UnstructuredFileLoader(doc_path)  # 尝试使用通用加载器documents.extend(loader.load())except Exception as e:print(f"加载文档 {doc_path} 失败: {e}")print(f"加载的文档数量: {len(documents)}")text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)texts = text_splitter.split_documents(documents)print(f"分割后的文本块数量: {len(texts)}")# 过滤掉空文本块texts = [text for text in texts if text.page_content.strip()]# 打印文本块内容# for i, text in enumerate(texts):#     print(f"文本块 {i}: {text.page_content}")embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",model_kwargs={'device': 'cuda' if torch.cuda.is_available() else 'cpu'})db = FAISS.from_documents(texts, embeddings)db.save_local(DB_FAISS_PATH)if __name__ == "__main__":import torchcreate_vector_db()print("向量数据库创建完成！")
  • DATA_PATH: 替换为你的本地知识库文档所在的目录。
  • DB_FAISS_PATH: 指定向量数据库的保存路径。
  • 文档加载: 使用 TextLoader, PDFLoader, Docx2txtLoader, UnstructuredFileLoader 加载不同类型的文档。 UnstructuredFileLoader 可以处理更多类型的文档，但可能需要安装额外的依赖。
  • 文本切分: 使用 RecursiveCharacterTextSplitter 将文档切分成小的文本块 (chunks)。 chunk_size 和 chunk_overlap 可以根据你的需求调整。
  • Embeddings: 使用 HuggingFaceEmbeddings 生成文本块的 embeddings。 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 是一个常用的多语言 embedding 模型。 也可以选择其他模型。
  • 向量数据库: 使用 FAISS 存储 embeddings。 FAISS 是一个高效的向量相似度搜索库。

三、创建本地对话脚本

chat_rag.py

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains import RetrievalQAMODEL_PATH = "./deepseek-llm-7b-chat"  # 你的模型路径
DB_FAISS_PATH = "vectorstore/db_faiss"  # 向量数据库路径def load_model():"""加载模型和 tokenizer"""tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)model = AutoModelForCausalLM.from_pretrained(MODEL_PATH, device_map="auto", torch_dtype=torch.float16)return model, tokenizerdef load_vector_db():"""加载 FAISS 向量数据库"""embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",model_kwargs={'device': 'cuda' if torch.cuda.is_available() else 'cpu'})db = FAISS.load_local(DB_FAISS_PATH, embeddings, allow_dangerous_deserialization=True)  # 添加 allow_dangerous_deserialization=Truereturn dbdef create_rag_chain(model, tokenizer, db):"""创建 RAG 链"""qa_chain = RetrievalQA.from_chain_type(llm=model,  #  这里的 llm 需要适配 langchain 的接口，需要做转换chain_type="stuff",  #  "stuff" 是最简单的 chain_type, 适合小文档retriever=db.as_retriever(search_kwargs={'k': 3}),  #  从向量数据库中检索最相关的 3 个文档return_source_documents=True,  #  返回源文档chain_type_kwargs={"prompt": prompt} # 使用自定义 prompt)return qa_chaindef generate_response(qa_chain, query):"""生成回复"""response = qa_chain({"query": query})return response["result"], response["source_documents"]# 自定义 Prompt
from langchain.prompts import PromptTemplate
prompt_template = """使用以下上下文来回答最后的问题。如果你不知道答案，就说你不知道，不要试图编造答案。
上下文：{context}
问题：{question}
有用的回答："""
prompt = PromptTemplate(template=prompt_template, input_variables=["context", "question"]
)if __name__ == "__main__":model, tokenizer = load_model()db = load_vector_db()#  适配 langchain 的 llm 接口from langchain.llms import HuggingFacePipelinefrom transformers import pipelinepipe = pipeline("text-generation",model=model,tokenizer=tokenizer,torch_dtype=torch.float16,device_map="auto",max_new_tokens=256,do_sample=True,top_p=0.9,temperature=0.7,num_return_sequences=1)llm = HuggingFacePipeline(pipeline=pipe)qa_chain = create_rag_chain(llm, tokenizer, db)print("欢迎使用 DeepSeek 7B Chat (RAG)！")print("输入 'exit' 退出对话。")while True:user_input = input("你: ")if user_input.lower() == "exit":print("感谢使用，再见！")breaktry:response, source_documents = generate_response(qa_chain, user_input)print("DeepSeek: " + response)print("\n来源文档:")for doc in source_documents:print(f"  - {doc.metadata['source']}")except Exception as e:print(f"发生错误: {e}")print("请检查你的输入和模型是否正确加载。")
  • MODEL_PATH: 替换为你的 DeepSeek 7B 模型路径。
  • DB_FAISS_PATH: 替换为你的向量数据库路径。
  • load_model(): 加载 DeepSeek 7B 模型和 tokenizer。
  • load_vector_db(): 加载 FAISS 向量数据库。
  • create_rag_chain(): 创建 RAG 链。
    • RetrievalQA.from_chain_type(): 使用 LangChain 的 RetrievalQA 类创建 RAG 链。
    • chain_type="stuff": 指定 chain type。 “stuff” 是最简单的 chain type，它将所有检索到的文档都塞到 prompt 中。 适合小文档。对于大文档，可以考虑使用 “map_reduce” 或 “refine” 等 chain type。
    • retriever: 使用 db.as_retriever() 创建 retriever。 search_kwargs={'k': 3} 表示从向量数据库中检索最相关的 3 个文档。
    • return_source_documents=True: 返回源文档。
  • generate_response(): 生成回复。
  • 自定义 Prompt: 使用 PromptTemplate 自定义 Prompt，让模型更好地利用上下文信息。
  • 适配 langchain 的 llm 接口: 由于 RetrievalQA 需要 langchain 风格的 llm 接口，所以需要用 HuggingFacePipeline 包装一下 transformers 的 pipeline。
  • 打印源文档: 在回复中打印源文档，方便验证信息的来源。

其他: 准备知识库文档

  1. 创建一个名为 data 的目录 (或者修改 DATA_PATH 变量)。
  2. 将你的 text, pdf, word 文档放到 data 目录中。

四、结果展示

  1. 首先运行 create_vector_db.py 创建向量数据库。
    在这里插入图片描述

  2. 然后运行 chat_rag.py 启动对话进行测试。
    在这里插入图片描述
    问：
    在这里插入图片描述
    答：
    在这里插入图片描述


http://www.ppmy.cn/embedded/164883.html

相关文章

2025 PHP授权系统网站源码

2025 PHP授权系统网站源码

2025 PHP授权系统网站源码 安装教程： PHP7.0以上 先上传源码到服务器，然后再配置伪静态， 访问域名根据操作完成安装， 然后配置伪静态规则。 Ngix伪静态规则： location / { if (!-e $request_filename) { rewrite …
阅读更多...
Python基于Flask的豆瓣Top250电影数据可视化分析与评分预测系统（附源码，技术说明）

Python基于Flask的豆瓣Top250电影数据可视化分析与评分预测系统（附源码，技术说明）

博主介绍：✌IT徐师兄、7年大厂程序员经历。全网粉丝15W、csdn博客专家、掘金/华为云//InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇&#x1f3…
阅读更多...
美团一面：说说synchronized的实现原理？

美团一面：说说synchronized的实现原理？

在Java中，synchronized是用于实现线程同步的关键字，其底层实现原理涉及对象头、监视器锁（Monitor）以及锁升级机制。以下是详细解析： 1. 对象头与Mark Word 每个Java对象在内存中由三部分组成： 对象头（Header） ：存储对象的元数据，包括锁状态、GC分代年龄等。实例数据…
阅读更多...
【保姆级教程】DeepSeek R1+RAG，基于开源三件套10分钟构建本地AI知识库

【保姆级教程】DeepSeek R1+RAG，基于开源三件套10分钟构建本地AI知识库

一、总体方案 目前在使用 DeepSeek 在线环境时，页面经常显示“服务器繁忙，请稍后再试”，以 DeepSeek R1 现在的火爆程度，这个状况可能还会持续一段时间，所以这里给大家提供了 DeepSeek R1 RAG 的本地部署方案。最后实现…
阅读更多...
java:Apache Commons Configuration2占位符解析异常的正确解法:${prefix:name:-default}

java:Apache Commons Configuration2占位符解析异常的正确解法:${prefix:name:-default}

问题重现 在之前的博文《spring-boot:apache commons-configuration2 异常:java.lang.IllegalArgumentException: name原因分析》中，我们曾遇到Spring Boot Fat-Jar运行时因LaunchedURLClassLoader资源加载异常导致的启动失败问题。当时的解决方案是通过预创建空配…
阅读更多...
如何取消Word首字母自动大写？

如何取消Word首字母自动大写？

在英语语法中， 当英文单词位于句子开头时， 首字母要大写。 因此，为了输入方便， 我们常用的Word会默认 英文首字母大写。 但平时我们在输入中文的语境下， 偶尔加几个英语单词并不需要如此。 那么 如何取消Word…
阅读更多...
深入理解 Uniapp 中的 px 与 rpx

深入理解 Uniapp 中的 px 与 rpx

一、引言 在 Uniapp 开发中，页面布局是构建良好用户体验的基础，而选择合适的长度单位则是页面布局的关键一环。其中，px（像素）和 rpx（响应式像素）是我们最常接触到的两种单位。本文将深入浅出地…
阅读更多...
Debezium 与 Apache Kafka 的集成方式

Debezium 与 Apache Kafka 的集成方式

一、集成概述 Debezium 与 Apache Kafka 的集成主要通过 Kafka Connect 实现。 Kafka Connect 是一个用于数据集成的分布式平台，而 Debezium 作为 Kafka Connect 的 Source Connector，负责将数据库的变更数据捕获并发送到 Kafka。 二、集成步骤 1. 准…
阅读更多...
最新文章

Copyright @ 2022~2023