最近很流行私有化部署dp,之前已经尝试过ollama+webui+deepseek本地化部署,但是体验感官上不是很多,特别卡顿。然后今天突然了解到Dify,也支持私有化部署大模型。而且似乎功能更加强大,那不得实操一下啊。
1.初识Dify
Dify 是一个开源的大语言模型(LLM)应用开发平台。具体介绍如下:
- 功能特点
- 直观的 AI 工作流:用户可在可视化画布上构建和测试复杂的 AI 流程,通过拖拽操作轻松结合不同的 AI 组件,加快原型设计与迭代。
- 广泛的模型支持:支持从多个推理提供商处获取数百种专有及开源模型,涵盖 GPT、Mistral、Llama3 及任何 OpenAI API 兼容的模型,为用户提供了丰富的模型选择。
- Promptide 功能:提供直观的 IDE,用于撰写提示语并比较不同模型的表现,还能为基于聊天的应用程序添加语音合成等新特性。
- RAG 管道:拥有从文档摄取到检索的完整能力,能够支持从 PDF、PPT 等常见文档格式中提取文本,方便企业级文档处理。
- 智能代理功能:允许开发者基于 LLM 功能调用或 ReAct 定义智能代理,并为代理添加预建或自定义工具,平台现已内置超过 50 种工具,包括 Google 搜索、DALL・E、Stable Diffusion 及 Wolfram Alpha 等。
- LLMOps 支持:开发者可以持续监控和分析应用程序的日志及性能数据,根据生产数据和标注不断改进提示语、数据集和模型。
- 自助服务型后端:所有 Dify 的功能都提供相应的 API,方便用户将 Dify 集成到自身的业务逻辑中。
- 部署选项
- Dify Cloud 服务:无需任何设置即可尝试云版服务,并提供 200 次免费 GPT-4 调用。
- 本地部署社区版:可通过文档轻松进行自助部署,加快项目启动。
- 企业版:提供了专为企业设计的附加功能,满足企业的安全和合规需求,还提供一键部署到 AWS VPC 的选项。
具体的等部署好了都可以自行去了解探究,话不多数。直接从零开始吧~
老规矩,一元/天试用尝鲜版:
tips:高配置的服务器太贵了,但是咱们主要是体验这个过程。1元/天就这配置,还要啥自行车啊。学到了知识就是自己的。附上购买地址:https://www.rainyun.com/NjA3NDQx_
lz这是香港节点的,好处就是镜像拉取流畅,不会出现镜像源问题。访问也快。
2.Docker、docker-compose、git
熟悉lz的人都知道,能用命令行操作的,那肯定首选docker!拿到服务器链接之后第一件事:apt update 一下,更新一下依赖包。然后通过被动方式输入:docker ps 相关命令,就会出现对应的安装命令。因为找不到,所以直接友好提示了,非常的人性有木有~(ps:ubuntu系统,其他的自测)
通过这种被动触发方式,依次安装好docker、docker-compose、git。
3.安装Dify
//通过git拉取代码
git clone https://github.com/langgenius/dify.git //复制一份配置文件
cd dify/docker
cp .env.example .env//安装奔放~
docker-compose up -d
因为dify涉及的镜像容器很多,共有9个。所以国内服务器很容易遇到镜像拉取失败的问题,这里再次老生常谈一下,如果遇到了,如何设置镜像源:进入daemon.json文件配置镜像源,没有就创建。
vi /etc/docker/daemon.json
然后使用 systemctl restart docker命令重启Docker即可。然后使用docker info命令查看镜像仓库信息,如果出现你所配置的源地址,就说明成功了。下面两个哪个能用就用哪个吧。
{"registry-mirrors": ["https://2cc2e98fbd5b4ca482a3faf3884425e2.mirror.swr.myhuaweicloud.com","https://docker.anyhub.us.kg","https://dockerhub.jobcher.com","https://dockerhub.icu"]
}
{
"registry-mirrors": [ "https://registry.docker-cn.com", "https://docker.mirrors.ustc.edu.cn", "http://hub-mirror.c.163.com", "https://cr.console.aliyun.com/" ]
}
dify的安装就此结束,安装完后浏览器访问服务器ip即可进入页面,初次进入别忘了配置自己的账号:
4.ollama及deepseek 安装
前面lz出过关于ollama的两期博客,都有涉及ollama的安装。如今就当回顾下吧。这里直接通过docker命令安装即可:
###docker下载ollama部署
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
就这么简单,后面再通过ollama安装deepseek。直接参考这篇文章就行了。
【Docker】ollama部署deepseek-CSDN博客
5.Dify挂载启动ollama
模型都安装好之后,接下来就是通过dify链接上了。浏览器打开dify,右上角点击头像下拉中有一个设置,点进去从模型供应商中选中ollama,会弹出配置窗口。
主要配置下模型名称(deepseek模型名称)和基础url(ollama启动时的监听端口)。配置好之后就可以创建你的应用了。