下载安装Ollama
关于Ollama
在部署deepseek之前,需要首先安装Ollama。那么,Ollama是啥呢?是一个专注于本地运行大型语言模型(LLM)的工具,旨在简化 LLM 的部署和使用。它支持多种开源模型(访问Ollama官网如下图可以看到支持的LLM),并允许用户通过命令行与模型交互。
安装Ollama
如何安装Ollama呢?可以参考《Linux下安装Ollama指南》。根据该指南所示,可以在线安装或者离线安装。
在线安装
curl -fsSL https://ollama.com/install.sh | sh
离线安装
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
注册Ollama到systemd服务
创建用户、用户组和工作目录
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
创建ollama.service服务文件
touch /etc/systemd/system/ollama.service
[Unit] Description=Ollama Service After=network-online.target[Service] ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="PATH=$PATH"[Install] WantedBy=default.target
注册ollama服务开机自启(不必须)
sudo systemctl daemon-reload
sudo systemctl enable ollama
启动和验证服务
sudo systemctl start ollama
sudo systemctl status ollama
下载并运行DeepSeek模型
查看ollama的模型库,支持非常丰富的模型。我们这里安装的是deepseek,所以,其他LLM就略过了。
deepseek支持拉取并运行“deepseek-v3、deepseek-r1、deepseek-llm”等:
上面的1.5b、7b等是模型的参数量(“B”代表Billion/十亿),是衡量其规模和能力的重要指标。DeepSeek大模型的不同参数版本反映了计算资源、任务复杂度和实际应用场景的权衡。反映到拉取的介质上,就是大小差异、运行所需资源差异、响应性能等。deepseek-r1默认是7b(查看deepseek-r1镜像列表)可以看到deepseek-r1:latest和deepseek-r1:7b的镜像ID是一样的。
可以根据自己需要和设备性能拉取相应的镜像(1.5b最小1.1GB、671b最大404GB)。拉取的镜像默认存储在Linux用户家目录下的.ollama下:
~]# ll ~/.ollama/
总用量 12
-rw------- 1 root root 297 2月 6 16:00 history
-rw------- 1 root root 387 2月 5 16:45 id_ed25519
-rw-r--r-- 1 root root 81 2月 5 16:45 id_ed25519.pub
drwxr-xr-x 4 root root 36 2月 5 16:48 models
另外,Linux下默认没有WebUI,只有命令行这种交互方式:
同一个问题,我对比了1.5b和7b,后者就比前者更合理、清晰、准确。