全新服务器安装起始:
1. 安装ubuntu到服务器中
2. 安装docker
安装教程 ubuntu 安装 docker详细教程_ubuntu安装教程docker-CSDN博客
3. 安装 ollama
docker pull ollama/ollama
3.1 创建 存储目录 (示例放在/home/ollama中)
cd /home/
mkdir ollama
chmod 777 ollama
3.2 创建ollama 容器
docker run -d -v /home/ollama:/root/.ollama -p 11434:11434 --name ollama --restart=always ollama/ollama
3.3 验证是否安装成功
3.4 安装对应的deepseek 模型(示例安装 14b,目前纯cpu再跑,32核32G 照样100%)
docker exec -it ollama ollama run deepseek-r1:14b
3.5 安装完成尝试问答
4. 安装 open-webui
docker pull ghcr.io/open-webui/open-webui:main
4.1 创建存储目录
cd /home/
mkdir openui
chmod 777 openui
4.2 安装完成后创建容器
docker run -p 3030:8080 --add-host=host.docker.internal:host-gateway -v /home/openui:/app/backend/data --name open-webui --restart=always -d ghcr.io/open-webui/open-webui:main
4.3 验证是否安装成功
5. 安装 anythingllm
docker pull mintplexlabs/anythingllm
5.1 创建存储目录
cd /home/
mkdir anythingllm
chmod 777 anythingllm
cd anythingllm
mkdir storage
mkdir env
5.2 创建容器
docker run -d --name anythingllm --add-host=host.docker.internal:host-gateway --env STORAGE_DIR=/app/server/storage --health-cmd "/bin/bash/use/local/bin/docker-healthcheck.sh || exit 1" --health-interval 60s --health-start-period 60s --health-timeout 10s --cap-add SYS_ADMIN -p 3001:3001/tcp --restart=always --user anythingllm -v /home/anythingllm/env:/app/server/storage/.env -v /home/anythingllm/storage:/app/server/storage -w /app -d mintplexlabs/anythingllm
5.3 验证是否安装成功
6. 至此所有安装完成,愉快体验本地版 deepseek ,没显卡的话 速度非常感人。
7. 步骤 3 4 5 可以多开ssh 同时进行,安装都很慢
参考链接
LLM学习笔记2——使用Docker(Ollama+OpenWebUI)实现本地部署DeepSeek-R1-14B模型_ollama docompose-CSDN博客
ollama部署deepseek-r1+webUI实践 - 懒懒初阳 - 博客园
Docker环境安装anythingllm_docker安装anythingllm-CSDN博客