Ollama+Chatbox本地部署运行deepseek

文章目录

文件准备
安装OllamaSetup
加载deepseek模型
运行模型
安装chatbox
运行对比

文件准备

OllamaSetup.exe：链接：https://pan.baidu.com/s/1eXtbNBsxSCr_6_RxinUB_A 提取码：j1lw
Chatbox-1.9.1-Setup.exe：链接：https://pan.baidu.com/s/1z_zpOyseTnyuOvHOPLU6vQ 提取码：h5ii
deepseek7b模型:链接：https://pan.baidu.com/s/1kVwKpq3f97q9qb6TIJE3kg 提取码：d9hr
1.5b模型:链接：https://pan.baidu.com/s/16xhJlmIUWlPb1GM3h98t_g 提取码：xzzl

安装OllamaSetup

双击安装文件运行，一直下一步即可
在这里插入图片描述
安装完成
win +R 运行命令行窗口

执行ollama命令如下效果表示安装完成

ollama命令和docker 类似

ollama run 模型名称运行某一个模型
ollama stop 模型名称停止某一个正在运行的模型
ollama list 已加载的模型
ollama ps 正在运行的模型

加载deepseek模型

这里下载了 1.5b 和 7b 两个模型可以进行效果对比
编辑Modelfile 7b模型modelfile内容如下，文件内容为 from 加模型文件实际地址
在这里插入图片描述

编辑Modelfile 1.5b模型modelfile内容如下,文件内容为 from 加模型文件实际地址
在这里插入图片描述

ollama create ds1.5b -f D:\BaiduNetdiskDownload\DeepSeek-R1-1.5B\gguf\Modelfile
在这里插入图片描述
运行如下命令加载模型，文件路径根据自己存储路径修改

C:\Users\zxm>ollama create  ds1.5b  -f D:\BaiduNetdiskDownload\DeepSeek-R1-1.5B\gguf\Modelfile
gathering model components
copying file sha256:c2c43b6018cf7700ce0ddee8807deb1a9a26758ef878232f3a142d16df81f0fe 100%
parsing GGUF
using existing layer sha256:c2c43b6018cf7700ce0ddee8807deb1a9a26758ef878232f3a142d16df81f0fe
writing manifest
successC:\Users\zxm>ollama create  ds7b  -f D:\BaiduNetdiskDownload\DeepSeek-R1-7B\Modelfile
gathering model components
copying file sha256:78272d8d32084548bd450394a560eb2d70de8232ab96a725769b1f9171235c1c 100%
parsing GGUF
using existing layer sha256:78272d8d32084548bd450394a560eb2d70de8232ab96a725769b1f9171235c1c
writing manifest
success

可以看到已经加载了两个模型

  C:\Users\zxm>ollama list
NAME             ID              SIZE      MODIFIED
ds7b:latest      c1b8daaa4e42    4.7 GB    52 seconds ago
ds1.5b:latest    ccabd5395843    1.1 GB    2 minutes ago

运行模型

ollama run +模型名称即可运行模型，运行完即可通过命令行进行交互

在这里插入图片描述

C:\Users\zxm>ollama run ds1.5b
>>> deepseek 是什么
企业，有什么业务？我最近听说它在中国的某个地方有特别的地方政策。我想知道它是否是合法的，或者有没有可能被滥用。深Seek是一家专注于人工智能和大数据的公司吗？还是说他们主要是做其他的事情？DeepSeek在哪个领域发展更快？有没有一些技术突破或应用案例？深Seek是否在法律上有一定的规模呢？比如是否有政府监管机构对其进行监控？另外，我听说它们有一些联合 venture合作。那他们的业务是什么样子的呢？有没有什么特别的地方政策支持他们在一起工作。深Seek的发展前景怎么样？是不是只适合那些有一定技术背景的人，或者是整个行业都有人可以加入？我是不是应该先关注一下它在中国市场的表现？比如是否有任何成功案例或者市场占有率？>>> Send a message (/? for help)