【Docker】Dify+ollama+deepseek(打造本地私有化大模型)

news/2025/3/1 17:14:25/

最近很流行私有化部署dp,之前已经尝试过ollama+webui+deepseek本地化部署,但是体验感官上不是很多,特别卡顿。然后今天突然了解到Dify,也支持私有化部署大模型。而且似乎功能更加强大,那不得实操一下啊。

1.初识Dify 

Dify 是一个开源的大语言模型(LLM)应用开发平台。具体介绍如下:

  • 功能特点
    • 直观的 AI 工作流:用户可在可视化画布上构建和测试复杂的 AI 流程,通过拖拽操作轻松结合不同的 AI 组件,加快原型设计与迭代。
    • 广泛的模型支持:支持从多个推理提供商处获取数百种专有及开源模型,涵盖 GPT、Mistral、Llama3 及任何 OpenAI API 兼容的模型,为用户提供了丰富的模型选择。
    • Promptide 功能:提供直观的 IDE,用于撰写提示语并比较不同模型的表现,还能为基于聊天的应用程序添加语音合成等新特性。
    • RAG 管道:拥有从文档摄取到检索的完整能力,能够支持从 PDF、PPT 等常见文档格式中提取文本,方便企业级文档处理。
    • 智能代理功能:允许开发者基于 LLM 功能调用或 ReAct 定义智能代理,并为代理添加预建或自定义工具,平台现已内置超过 50 种工具,包括 Google 搜索、DALL・E、Stable Diffusion 及 Wolfram Alpha 等。
    • LLMOps 支持:开发者可以持续监控和分析应用程序的日志及性能数据,根据生产数据和标注不断改进提示语、数据集和模型。
    • 自助服务型后端:所有 Dify 的功能都提供相应的 API,方便用户将 Dify 集成到自身的业务逻辑中。
  • 部署选项
    • Dify Cloud 服务:无需任何设置即可尝试云版服务,并提供 200 次免费 GPT-4 调用。
    • 本地部署社区版:可通过文档轻松进行自助部署,加快项目启动。
    • 企业版:提供了专为企业设计的附加功能,满足企业的安全和合规需求,还提供一键部署到 AWS VPC 的选项。

具体的等部署好了都可以自行去了解探究,话不多数。直接从零开始吧~

老规矩,一元/天试用尝鲜版:

tips:高配置的服务器太贵了,但是咱们主要是体验这个过程。1元/天就这配置,还要啥自行车啊。学到了知识就是自己的。附上购买地址:https://www.rainyun.com/NjA3NDQx_

lz这是香港节点的,好处就是镜像拉取流畅,不会出现镜像源问题。访问也快。

2.Docker、docker-compose、git

        熟悉lz的人都知道,能用命令行操作的,那肯定首选docker!拿到服务器链接之后第一件事:apt update 一下,更新一下依赖包。然后通过被动方式输入:docker ps 相关命令,就会出现对应的安装命令。因为找不到,所以直接友好提示了,非常的人性有木有~(ps:ubuntu系统,其他的自测)

通过这种被动触发方式,依次安装好dockerdocker-compose、git。

3.安装Dify

//通过git拉取代码
git clone https://github.com/langgenius/dify.git //复制一份配置文件  
cd dify/docker   
cp .env.example .env//安装奔放~   
docker-compose up -d   

        因为dify涉及的镜像容器很多,共有9个。所以国内服务器很容易遇到镜像拉取失败的问题,这里再次老生常谈一下,如果遇到了,如何设置镜像源:进入daemon.json文件配置镜像源,没有就创建。

vi /etc/docker/daemon.json

        然后使用 systemctl restart docker命令重启Docker即可。然后使用docker info命令查看镜像仓库信息,如果出现你所配置的源地址,就说明成功了。下面两个哪个能用就用哪个吧。

{"registry-mirrors": ["https://2cc2e98fbd5b4ca482a3faf3884425e2.mirror.swr.myhuaweicloud.com","https://docker.anyhub.us.kg","https://dockerhub.jobcher.com","https://dockerhub.icu"]
}
{
"registry-mirrors": [      "https://registry.docker-cn.com",       "https://docker.mirrors.ustc.edu.cn",       "http://hub-mirror.c.163.com",       "https://cr.console.aliyun.com/" ]
}   

dify的安装就此结束,安装完后浏览器访问服务器ip即可进入页面,初次进入别忘了配置自己的账号:

4.ollama及deepseek 安装

        前面lz出过关于ollama的两期博客,都有涉及ollama的安装。如今就当回顾下吧。这里直接通过docker命令安装即可:


###docker下载ollama部署
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

就这么简单,后面再通过ollama安装deepseek。直接参考这篇文章就行了。

【Docker】ollama部署deepseek-CSDN博客

5.Dify挂载启动ollama

        模型都安装好之后,接下来就是通过dify链接上了。浏览器打开dify,右上角点击头像下拉中有一个设置,点进去从模型供应商中选中ollama,会弹出配置窗口。

 

 主要配置下模型名称(deepseek模型名称)和基础url(ollama启动时的监听端口)。配置好之后就可以创建你的应用了。

 

 

 


http://www.ppmy.cn/news/1575825.html

相关文章

用pyside6创建一个界面并实现一个小功能且能打包成问题记录

现在我们要开发一个程序,让用户输入一段文本包含:员工姓名、薪资、年龄。该程序可以把薪资在 2万 以上、以下的人员名单分别打印出来。 1用designer创建界面并生成UI文件; 2直接调用ui文件实现功能; from PySide6.QtWidgets im…

爬虫项目:使用Python爬虫从电商平台采集评论数据并进行情感分析

文章目录 1. 环境搭建1.1 安装 Python1.2 安装依赖库2. 分析目标网站2.1 选择目标电商平台2.2 分析网页结构3. 采集 Amazon 评论数据4. 情感分析4.1 安装 TextBlob4.2 分析情感4.3 情感分类5. 完整示例7. 注意事项8. 总结在电商数据分析中,商品评论是了解用户反馈和产品表现的…

天佐.崆峒印 异常崩溃检测分析

天佐.崆峒印 天佐.崆峒印 简介 天佐.崆峒印 Windows平台下应用程序发生崩溃时, 生成崩溃转储文件用于分析定位到崩溃代码行,同时生成系统环境相关信息。 传说: 崆峒海上不死龙族的护守神器,其上刻塑有五方天帝形貌,并有玉龙盘绕。自古相传得…

深入浅出泰森多边形Voronoi算法

概述 Voronoi图,又称泰森多边形或狄利克雷镶嵌,是一种基于离散点集的空间划分方法。每个区域内的点到其对应控制点的距离比到其他控制点更近,边界由相邻控制点连线的垂直平分线构成。Voronoi图广泛应用于地理信息系统(如服务区划…

微信小程序读取写入NFC文本,以及NFC直接启动小程序指定页面

一、微信小程序读取NFC文本(yyy优译小程序实现),网上有很多通过wx.getNFCAdapter方法来监听读取NFC卡信息,但怎么处理读取的message文本比较难找,现用下面方法来实现,同时还解决几个问题,1、在回调方法中this.setData不更新信息,因为this的指向问题,2、在退出页面时,…

Qt中应用程序框架的体系说明 及应用程序类QApplication类深度解析与应用分析

作为Qt开发者,我们肯定经常见到过QApplication类,有时候可能你看到了都没注意,也没太关心这个类做什么用。那你只需随便建个窗体程序的工程,在自动生成的工程文件main.cpp中就能看到,像这样: #include &qu…

C++里面四种强制类型转换

static_cast, const_cast, reinterpret_cast, dynamic_cast static_cast:用于各种隐式转换,比如void*转ptr* const_cast: 只能应用于指针引用,用来移除变量的const或volatile限定符;不要妄图去修改const,const_cast转…

GD32F450 使用

GB32F450使用 1. 相关知识2. 烧写程序3. SPI3.1 spi基础3.2 spi代码 4. 串口4.1 串口引脚4.2 串口通信代码 问题记录1. 修改晶振频率 注意:GD32F450 总共有三种封装形式,本文所述的相关代码和知识,均为 GD32F450IX 系列。 1. 相关知识 参数配…