最近国产大模型 DeepSeek 非常火,DeepSeek 是一个开源模型,我们可以通过本地部署在自己的终端上随时使用,而且部署到本地后无需联网即可直接使用,以windows为例。
一、安装Ollama
如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具,这是一个开源的本地大模型运行工具。
我们可以访问 Ollama 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。
下载完毕点Install即可,这里不能选择安装的磁盘,默认C盘,安装完后可以修改到其他磁盘。
修改Ollama安装磁盘及模型下载存放磁盘
1.在希望的存储位置新建一个文件夹D:\AI
将C:\Users\XX\AppData\Local\Programs\Ollama这个文件夹移动到目标文件夹D:\AI目录下
2.修改环境变量,将用户变量由C:\Users\XX\AppData\Local\Programs\Ollama修改为新的目录D:\AI\Ollama
3.修改系统变量,用于指定后续模型下载位置在D:\AI\Ollama目录下新建一个models文件夹,用于存放模型,新建环境变量OLLAMA_MODELS指向此文件夹。
验证是否安装成功
Win+R输入cmd打开控制台,输入ollama按回车
二:下载部署 Deepseek 模型
回到 Ollama 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。
点7b这里可以下拉选择,根据自己电脑配置,选择合适自己的模型。下表为建议,我这里选的8b的。
选择好模型后,复制右边的一个命令(ollama run deepseek-r1:8b)。回到cmd控制台,运行此命令,就会下载对应模型,耐心等待安装完毕即可。需要记住此命令,关闭后需要根据此命令再次进入命令行。
做一个简单的测试,输出100以内的质数,会显示思考过程,然后输出结果
三:可视化图文交互界面 Chatbox
点击Chatbox进入Chatbox,弹出的设置框选择下面的使用本地模型。
选择Ollama API
为了将 Chatbox 连接到远程 Ollama 服务,建议点击这里阅读远程连接指南
其实很简单,配置两个环境变量,然后重启下ollama就行了。
重启 ollama 程序后,我们需要将 Chatbox 设置界面关闭并重新打开,重新打开 Chatbox 设置界面后即可选择 Model了,选择完点SAVE即可。
继续那个简单的测试,输出100以内的质数。
四:通过postman测试接口调用
查看ollama官方文档GitCode - 全球开发者的开源社区,开源代码托管平台,都是英文,看不懂也可以参考Ollama接口系统详解-CSDN,本地ollama部署默认端口是11434,模型推理我们调用/api/chat接口。