文章目录
- 一、ollama
- ollama 安装
- ollama 配置
- 二、 Deepseek 模型下载
- 三、 Open WebUI
- 1、安装 Docker
- 2、安装 WebUI 镜像
- 3、确认镜像安装成功
- 4、客户端访问
- 5、平台使用
- 5、外部服务器
- 6、外部接入硅基流动API
I know, i know
地球另一端有你陪我
一、ollama
功能类似 docker,用于大数据模型的管理与应用,能够加载并执行大数据模型。
此处以 CentOS 7 为例
# 更新系统
sudo yum update -y# 安装必要的依赖
sudo yum install -y curl
ollama 安装
ollama linux版 官方地址
就是下面这句,可直接复制使用
curl -fsSL https://ollama.com/install.sh | sh
ollama 配置
确认安装完成。应能看到具体版本
ollama -v
启动服务
sudo systemctl start ollama
设置开机自启
sudo systemctl enable ollama
二、 Deepseek 模型下载
以 ollama提供的 deepseek-r1 为例 官方地址
拉取模型(同 docker 用法一致)
ollama pull deepseek-r1:7b
此处 7b 代表 7 billion ,即包含七十亿的训练模型参数,
通常参数越大模型效果越好,但会受到内存+显存的限制
满血的 Deepseek 有 671b 大小参数
展示本地模型
ollama list
运行模型
ollama run deepseek-r1:7b
/bye 退出
三、 Open WebUI
一个为大语言模型提供可视化界面的工具。为避免一些插件版本问题,尽量使用 docker 安装
1、安装 Docker
闭眼跑就完事了
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce
sudo systemctl start docker
sudo systemctl enable docker
docker --version
2、安装 WebUI 镜像
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这里的 3000 是外部端口号,可以自由修改成其他非冲突的端口,3001、3002等
3、确认镜像安装成功
正常盯着跑完就没问题的,可以看一眼 docker 容器
docker ps
4、客户端访问
服务器IP加上端口访问即可,如果无法访问可以看一下端口是否被禁
http://localhost:3000
http://XX.XX.XX.XX:3000
5、平台使用
第一步是注册,填写邮箱和用户名密码即可,之后可能会进入白屏,等待即可
正常本地安装完,这里可以正常看到 ollama 中存在的模型
5、外部服务器
如果是在外部服务器,这里需要多加一步
修改配置文件
vim /etc/systemd/system/ollama.servic
添加一句
Environment="OLLAMA_HOST=0.0.0.0:11434"
此时文件内容变成
...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...
重启 ollama
systemctl daemon-reload
systemctl restart ollama
此时刷新外部界面,应该可以看到正常的模型
6、外部接入硅基流动API
注册登录硅基流动官网
注册 API
ollama 界面中添加模型
URL 固定是 https://api.siliconflow.cn/v1
密钥中填写 API 内容
模型 ID 添加需要的模型(如:deepseek-ai/DeepSeek-R1)记得点 +
之后可以正常看到模型选择