环境准备

Docker

Ollama

Open-WebUi

Ollama

下载地址：Ollama

docker安装ollama

docker run -d \
-v /data/ollama/data:/root/.ollama \
-p 11434:11434 \
--name ollama ollama/ollama

下载模型

Ollama模型仓库

# 示例：安装deepseek-r1:7b
docker exec -it ollama ollama run deepseek-r1:7b# 下载完成会进入到模型界面，按ctrl+d退出

高级设置：Ollama使用GPU加速

安装驱动

参考教程

安装 NVIDIA Container Toolkit 软件包

Ollama使用GPU加速

# 配置存储库
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo# 安装 NVIDIA Container Toolkit 软件包
yum install -y nvidia-container-toolkit# 配置 Docker 以使用 Nvidia 驱动程序
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker# 启动ollama容器，添加参数--gpus=all
docker run -d \
--gpus=all \
-v /data/ollama/data:/root/.ollama \
-p 11434:11434 \
--name ollama ollama/ollama

Open-WebUi

官方文档

docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
--gpus all \
-v /data/open-webui/data:/app/backend/data \
--name open-webui ghcr.io/open-webui/open-webui:main# 设置账号和邮箱