DeepSeek R1由于超强的推理能力,可以赋能很多真实场景,比如编程、数学、数据分析、办公提效等,最近刚开工,打工人们都惊叹其解决问题的能力之强,失业恐慌之感油然而生,所以大家都在加紧在研究DeepSeek怎么帮到自己的工作。
但是,一方面DeepSeek现在访问受限制,另一方面将DeepSeek用于自己的工作会带来数据隐私安全的风险,大家还是要慎重。我最近尝试使用离线部署的DeepSeek R1,基于AnythingLLM在本地搭建私有知识库,这样就避免了安全问题,还能高度定制化场景,可以无限访问。
如下是我搭建的汽车相关的私有知识库,供参考。
什么是私有知识库,有什么好处?
私有知识库是利用RAG(检索增强生成)技术,与大模型相结合,通过输入外部知识,来增强模型的效果和质量。似乎有点绕,下面举个简单的例子。
比如说,你问DeepSeek你公司的规章制度、奖惩机制,它肯定回答不出来,因为这是非公开资料。
怎么解决呢?你可以在公司内部部署离线DeepSeek模型,然后将公司文档和数据库喂给它训练,这样它就能检索并回答你公司相关的内容,还不妨碍大模型本身的性能,这就构成了私有知识库。
私有知识库的好处有三点:
1、结合大模型能力,相比传统搜索更加精准、灵活、可靠 2、本地化部署,数据安全有保障,且权限管控非常便捷 3、使用门槛低,降低企业内部培训和沟通成本
下面讲下搭建私有知识库需要哪些软件,以及如何配置。
软件配置要求
这次构建私有知识库使用的是最主流的AI软件Anything LLM,这是一款集成了RAG(检索增强生成)和AI大模型的应用,它可以收集各种外部资料(你提供的),转化为大模型能检索的信息形式,然后结合大模型对话能力,为你提供面向私有知识库的智慧检索服务。
总结一下,Anything LLM运行的流程是:
接受外部资料信息 -> 转化为模型能理解的向量形式 -> 接受用户提问 -> 检索相关信息 -> 生成回答。
Anything LLM可以接受各种格式的外部资料,比如PDF、Word(DOC、DOCX)、TXT 、PPT、Excel等,还支持URL检索,企业内部文档几乎都可以完美支持,所以不需要担心格式问题。
除了安装Anything LLM之外,你还需要在本地安装DeepSeek R1离线大模型,这个可以通过Ollama软件来实现,之前已经写过文章详细介绍过配置流程,可以参考下,这里不多赘述。
你需要根据自己的电脑配置,选择合适的参数版本,参数越高则私有知识库的回答质量也越高,我安装的是7b版本,效果还凑合。