本地部署 DeepSeek R1 的几种常见方法
- 使用 Ollama 部署
- 使用量化模型部署
- 使用 Docker 部署（推荐）
- 硬件与性能要求
- 其他工具
使用 Ollama 部署
- 安装 Ollama：访问 Ollama 官网，根据系统类型下载并安装。
- 启动 Ollama：安装完成后，在开始菜单中找到 Ollama 图标启动。
- 下载并运行模型：
- 打开命令行工具（如 CMD 或 PowerShell）。
- 输入命令
ollama run deepseek-r1:{model_size}，其中{model_size}可根据硬件配置选择，如8b、14b或32b。 - 如果是首次运行，Ollama 会自动下载模型文件。
- 测试模型：下载完成后，输入问题（如“介绍一下你自己”）与模型进行对话。
- ollama命令：
与模型对话： ollama run deepseek-r1:1.5b ollama run deepseek-r1:8b查看已安装的模型： ollama list删除模型： ollama rm deepseek-r1:1.5b
使用量化模型部署
- 下载量化模型：
- 选择合适的量化版本（如 Q4_K_M），可从社区提供的链接下载。
- 例如，使用
git clone和git lfs pull命令下载 Q4_K_M 版本。
- 加载模型：
- 使用工具如
llama-cli，指定模型文件路径并启用交互模式。 - 示例命令：
build/bin/llama-cli -m /tmp/DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M-00001-of-00009.gguf -i。
- 使用工具如
使用 Docker 部署（推荐）
- 安装 Docker：确保系统已安装 Docker。
- 拉取模型镜像：
- 使用命令
docker pull {model_image}，其中{model_image}是 DeepSeek R1 的镜像地址。
- 使用命令
- 运行容器：
- 使用命令
docker run -it --rm {model_image}启动容器。 - 根据需要配置映射端口和挂载卷。
- 使用命令
硬件与性能要求
- 硬件配置：根据模型大小和量化方式，硬件需求有所不同。
- 8B 版本：RTX 3060 8G 显卡、16G 内存。
- 32B 版本：建议使用 RTX 4090 或更高配置。
- 性能优化：可参考 DeepSeek 官方文档中的优化选项。
其他工具
- 可结合 ChatBox 等工具，提升交互体验。
- 使用 Open WebUI 图形界面查看后台运行情况。
如果需要更详细的信息，可以参考 DeepSeek 官方部署文档。
