【Docker】Dify+ollama+deepseek（打造本地私有化大模型）

最近很流行私有化部署dp，之前已经尝试过ollama+webui+deepseek本地化部署，但是体验感官上不是很多，特别卡顿。然后今天突然了解到Dify，也支持私有化部署大模型。而且似乎功能更加强大，那不得实操一下啊。

1.初识Dify

Dify 是一个开源的大语言模型（LLM）应用开发平台。具体介绍如下：

功能特点
- 直观的 AI 工作流：用户可在可视化画布上构建和测试复杂的 AI 流程，通过拖拽操作轻松结合不同的 AI 组件，加快原型设计与迭代。
- 广泛的模型支持：支持从多个推理提供商处获取数百种专有及开源模型，涵盖 GPT、Mistral、Llama3 及任何 OpenAI API 兼容的模型，为用户提供了丰富的模型选择。
- Promptide 功能：提供直观的 IDE，用于撰写提示语并比较不同模型的表现，还能为基于聊天的应用程序添加语音合成等新特性。
- RAG 管道：拥有从文档摄取到检索的完整能力，能够支持从 PDF、PPT 等常见文档格式中提取文本，方便企业级文档处理。
- 智能代理功能：允许开发者基于 LLM 功能调用或 ReAct 定义智能代理，并为代理添加预建或自定义工具，平台现已内置超过 50 种工具，包括 Google 搜索、DALL・E、Stable Diffusion 及 Wolfram Alpha 等。
- LLMOps 支持：开发者可以持续监控和分析应用程序的日志及性能数据，根据生产数据和标注不断改进提示语、数据集和模型。
- 自助服务型后端：所有 Dify 的功能都提供相应的 API，方便用户将 Dify 集成到自身的业务逻辑中。
部署选项
- Dify Cloud 服务：无需任何设置即可尝试云版服务，并提供 200 次免费 GPT-4 调用。
- 本地部署社区版：可通过文档轻松进行自助部署，加快项目启动。
- 企业版：提供了专为企业设计的附加功能，满足企业的安全和合规需求，还提供一键部署到 AWS VPC 的选项。

具体的等部署好了都可以自行去了解探究，话不多数。直接从零开始吧~

老规矩，一元/天试用尝鲜版：

tips:高配置的服务器太贵了，但是咱们主要是体验这个过程。1元/天就这配置，还要啥自行车啊。学到了知识就是自己的。附上购买地址：https://www.rainyun.com/NjA3NDQx_

lz这是香港节点的，好处就是镜像拉取流畅，不会出现镜像源问题。访问也快。

2.Docker、docker-compose、git

熟悉lz的人都知道，能用命令行操作的，那肯定首选docker！拿到服务器链接之后第一件事：apt update 一下，更新一下依赖包。然后通过被动方式输入：docker ps 相关命令，就会出现对应的安装命令。因为找不到，所以直接友好提示了，非常的人性有木有~(ps:ubuntu系统，其他的自测)

通过这种被动触发方式，依次安装好docker、docker-compose、git。

3.安装Dify

//通过git拉取代码
git clone https://github.com/langgenius/dify.git //复制一份配置文件  
cd dify/docker   
cp .env.example .env//安装奔放~   
docker-compose up -d

因为dify涉及的镜像容器很多，共有9个。所以国内服务器很容易遇到镜像拉取失败的问题，这里再次老生常谈一下，如果遇到了，如何设置镜像源：进入daemon.json文件配置镜像源，没有就创建。

vi /etc/docker/daemon.json

然后使用 systemctl restart docker命令重启Docker即可。然后使用docker info命令查看镜像仓库信息，如果出现你所配置的源地址，就说明成功了。下面两个哪个能用就用哪个吧。

{"registry-mirrors": ["https://2cc2e98fbd5b4ca482a3faf3884425e2.mirror.swr.myhuaweicloud.com","https://docker.anyhub.us.kg","https://dockerhub.jobcher.com","https://dockerhub.icu"]
}

{
"registry-mirrors": [      "https://registry.docker-cn.com",       "https://docker.mirrors.ustc.edu.cn",       "http://hub-mirror.c.163.com",       "https://cr.console.aliyun.com/" ]
}

dify的安装就此结束，安装完后浏览器访问服务器ip即可进入页面，初次进入别忘了配置自己的账号：

4.ollama及deepseek 安装

前面lz出过关于ollama的两期博客，都有涉及ollama的安装。如今就当回顾下吧。这里直接通过docker命令安装即可：


###docker下载ollama部署
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

就这么简单，后面再通过ollama安装deepseek。直接参考这篇文章就行了。

【Docker】ollama部署deepseek-CSDN博客

5.Dify挂载启动ollama

模型都安装好之后，接下来就是通过dify链接上了。浏览器打开dify，右上角点击头像下拉中有一个设置，点进去从模型供应商中选中ollama，会弹出配置窗口。

主要配置下模型名称(deepseek模型名称)和基础url(ollama启动时的监听端口)。配置好之后就可以创建你的应用了。