春节期间我也尝试了一下Deepseek的本地部署,方案选用了Ollama + Chatbox或AnythingLLM。Chatbox里有很多有意思的“助手”,而AnythingLLM支持本地知识库。
网上教程很多,总的来说还是很方便的,不需要费太多脑子。甚至可以这么说,网络是否通畅才是决定安装体验的唯一制约因素。像Ollama,第一次运行需要下载模型;而AnythingLLM,安装过程中还要下载巨大的Ollama库包。其实我还想实验前端用Docker方式部署Open-WebUI,但现在还卡在尝试下载docker中。
以下是各工具的下载或部署方式链接:
Download Ollama on Windows
Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
Download AnythingLLM for Desktop
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
⏱️ Quick Start | Open WebUI
具体安装方式就不赘述了,这些工具的安装配置网上随便一搜就有很多博主喂饭级的教程,一步步跟着做就行了。这里说说我的实际使用感受吧。
必须首先提一下我的电脑配置。它是2年前买的当时想用来学AI画画。32G内存,12代i5,1T Nvme SSD,N记显卡 A2000 12G工包版。
看到一个说法,模型标号建议选和自己显卡内存接近的。我在刚装完Ollama之后首先选择的是deepseek-r1:7b模型。询问它的知识库截至日期,回答2024年7月,回答的没毛病并且速度能接受,优秀。但问多了也会犯天底下所有AI都会犯的错:一本正经的胡说八道。当然这跟模型规模也有关系。比如,问7b上海市长宁区有什么旅游景点,它的推荐名单里有“长宁区静安寺”。这是错误的,静安寺属于静安区,但确实离长宁和静安的交界处很近。所以直接上强度,下载32b模型再问。果然同样的问题32b上就不存在了,但代价是基本上只能每秒钟三四个汉字往外蹦的节奏。。。没事,能(mei)忍(qian)。
另一个很有意思的印象是,如果套用拟人化星座刻板印象来形容离线DS-R1,我会说它是处女座学霸。问它如何用1,2,3,6算24点,它原生就知道规则,但开启穷举尝试后一直都没能算对。鉴于我那破电脑感人的蹦字速度,算了十来次没成功后就按了ctrl + c放弃,并岔开话题问它24点是谁发明的。谁知它还会钻牛角尖,因为还处于同一个会话中,上下文中还保留着刚才的问题,所以居然又开始尝试用1,2,3,6怎么算24点。。。吐血。。。
不管怎样,总的说来DS确实很牛。尤其是配上AnythingLLM做前端之后上传自定义的文件做知识库。这对于一个注重隐私保护的应用(比如医院的业务)来说太重要了。