【Docker】Dify+ollama+deepseek(打造本地私有化大模型)

devtools/2025/3/4 17:16:13/

最近很流行私有化部署dp,之前已经尝试过ollama+webui+deepseek本地化部署,但是体验感官上不是很多,特别卡顿。然后今天突然了解到Dify,也支持私有化部署大模型。而且似乎功能更加强大,那不得实操一下啊。

1.初识Dify 

Dify 是一个开源的大语言模型(LLM)应用开发平台。具体介绍如下:

  • 功能特点
    • 直观的 AI 工作流:用户可在可视化画布上构建和测试复杂的 AI 流程,通过拖拽操作轻松结合不同的 AI 组件,加快原型设计与迭代。
    • 广泛的模型支持:支持从多个推理提供商处获取数百种专有及开源模型,涵盖 GPT、Mistral、Llama3 及任何 OpenAI API 兼容的模型,为用户提供了丰富的模型选择。
    • Promptide 功能:提供直观的 IDE,用于撰写提示语并比较不同模型的表现,还能为基于聊天的应用程序添加语音合成等新特性。
    • RAG 管道:拥有从文档摄取到检索的完整能力,能够支持从 PDF、PPT 等常见文档格式中提取文本,方便企业级文档处理。
    • 智能代理功能:允许开发者基于 LLM 功能调用或 ReAct 定义智能代理,并为代理添加预建或自定义工具,平台现已内置超过 50 种工具,包括 Google 搜索、DALL・E、Stable Diffusion 及 Wolfram Alpha 等。
    • LLMOps 支持:开发者可以持续监控和分析应用程序的日志及性能数据,根据生产数据和标注不断改进提示语、数据集和模型。
    • 自助服务型后端:所有 Dify 的功能都提供相应的 API,方便用户将 Dify 集成到自身的业务逻辑中。
  • 部署选项
    • Dify Cloud 服务:无需任何设置即可尝试云版服务,并提供 200 次免费 GPT-4 调用。
    • 本地部署社区版:可通过文档轻松进行自助部署,加快项目启动。
    • 企业版:提供了专为企业设计的附加功能,满足企业的安全和合规需求,还提供一键部署到 AWS VPC 的选项。

具体的等部署好了都可以自行去了解探究,话不多数。直接从零开始吧~

老规矩,一元/天试用尝鲜版:

tips:高配置的服务器太贵了,但是咱们主要是体验这个过程。1元/天就这配置,还要啥自行车啊。学到了知识就是自己的。附上购买地址:https://www.rainyun.com/NjA3NDQx_

lz这是香港节点的,好处就是镜像拉取流畅,不会出现镜像源问题。访问也快。

2.Docker、docker-compose、git

        熟悉lz的人都知道,能用命令行操作的,那肯定首选docker!拿到服务器链接之后第一件事:apt update 一下,更新一下依赖包。然后通过被动方式输入:docker ps 相关命令,就会出现对应的安装命令。因为找不到,所以直接友好提示了,非常的人性有木有~(ps:ubuntu系统,其他的自测)

通过这种被动触发方式,依次安装好dockerdocker-compose、git。

3.安装Dify

//通过git拉取代码
git clone https://github.com/langgenius/dify.git //复制一份配置文件  
cd dify/docker   
cp .env.example .env//安装奔放~   
docker-compose up -d   

        因为dify涉及的镜像容器很多,共有9个。所以国内服务器很容易遇到镜像拉取失败的问题,这里再次老生常谈一下,如果遇到了,如何设置镜像源:进入daemon.json文件配置镜像源,没有就创建。

vi /etc/docker/daemon.json

        然后使用 systemctl restart docker命令重启Docker即可。然后使用docker info命令查看镜像仓库信息,如果出现你所配置的源地址,就说明成功了。下面两个哪个能用就用哪个吧。

{"registry-mirrors": ["https://2cc2e98fbd5b4ca482a3faf3884425e2.mirror.swr.myhuaweicloud.com","https://docker.anyhub.us.kg","https://dockerhub.jobcher.com","https://dockerhub.icu"]
}
{
"registry-mirrors": [      "https://registry.docker-cn.com",       "https://docker.mirrors.ustc.edu.cn",       "http://hub-mirror.c.163.com",       "https://cr.console.aliyun.com/" ]
}   

dify的安装就此结束,安装完后浏览器访问服务器ip即可进入页面,初次进入别忘了配置自己的账号:

4.ollama及deepseek 安装

        前面lz出过关于ollama的两期博客,都有涉及ollama的安装。如今就当回顾下吧。这里直接通过docker命令安装即可:


###docker下载ollama部署
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

就这么简单,后面再通过ollama安装deepseek。直接参考这篇文章就行了。

【Docker】ollama部署deepseek-CSDN博客

5.Dify挂载启动ollama

        模型都安装好之后,接下来就是通过dify链接上了。浏览器打开dify,右上角点击头像下拉中有一个设置,点进去从模型供应商中选中ollama,会弹出配置窗口。

 

 主要配置下模型名称(deepseek模型名称)和基础url(ollama启动时的监听端口)。配置好之后就可以创建你的应用了。

 

 

 


http://www.ppmy.cn/devtools/164513.html

相关文章

奖学金(acwing)c++

某小学最近得到了一笔赞助,打算拿出其中一部分为学习成绩优秀的前 55 名学生发奖学金。 期末,每个学生都有 33 门课的成绩:语文、数学、英语。 先按总分从高到低排序,如果两个同学总分相同,再按语文成绩从高到低排序&#xff0c…

Github 2025-02-28 Java开源项目日报 Top9

根据Github Trendings的统计,今日(2025-02-28统计)共有9个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Java项目8非开发语言项目1《Hello 算法》:动画图解、一键运行的数据结构与算法教程 创建周期:476 天协议类型:OtherStar数量:63556 个Fork数…

yolov8训练模型、测试视频

yolov8先训练生成best.pt文件,用这个生成的模型进行视频的测试 因为本来用的代码生成的测试视频打不开,格式应该是损坏了,或者部分帧没有正常保存吧。 修改了一下代码,现状可以正常打开生成的视频了。 1、训练代码train.py im…

【Elasticsearch】修改数据流(Data Stream)

在Elasticsearch中,修改数据流(Data Stream)的操作主要包括更改映射(mappings)和设置(settings)。以下是关于如何修改数据流的详细步骤和方法: 1.修改数据流的映射 数据流的映射定…

win32汇编环境,窗口程序中使控件子类化的示例一

;运行效果 ;win32汇编环境,窗口程序中使编辑框控件子类化的示例一 ;窗口子类化,就是把某种控件,自已再打造一遍,加入自已的功能。比如弄个特殊形状的按钮,或只能输入特殊字符的编辑框 ;当然,一般来说,这都是…

iOS基础开发知识速览 - 理解你要逆向的目标

iOS基础开发知识速览 - 理解你要逆向的目标 正如上一篇文章结尾所预告的,在完成环境搭建后,我们需要了解iOS开发的基础知识。这不是要求你成为一名iOS开发者,而是为了让你在逆向分析过程中能够理解应用的代码结构和运行逻辑。正所谓"知…

灵鸢系统,引领车与无人机深度融合新潮流

越野灵鸢 即刻出片 这不是一次技术的革新,而是对未来出行的全新定义:比亚迪和大疆强强联合,想象一下,车载摄像头只能记录车头那点风景,现在呢 ? 直接召唤无人机一键起飞,不管是堵车、越野时可以…

MongoDB Compass中MONGOSH常用查询整理

MongoDB Compass中MONGOSH常用查询整理 选择数据库基本的查找指令find() 方法findOne() 方法 高级查询条件比较操作符逻辑操作符投影操作排序操作限制和跳过操作limit() 方法skip() 方法 正则表达式查询数组查询 MongoDB Compass 是一款可视化的 MongoDB 数据库管理工具&#x…