【LLM Agents体验 2】利用Dify本地部署Qwen2.5:7B大模型的安装指南

devtools/2024/11/13 16:02:35/

根据上一篇博客安装好了Dify框架:

 【LLM Agents体验 1】Dify框架的安装指南

一、安装Ollama

1. 从Ollama【官网】下载(需要科学下载):

下载完之后安装OllamaSetup.exe:

安装成功后,测试一下没问题: 

2. Ollama网站搜索Qwen ,打开此链接,选择7B模型:

补充知识:

Qwen2.5是最新的 Qwen 大型语言模型系列。对于 Qwen2.5,发布了一系列基础语言模型和指令微调模型,大小范围从 0.5 到 720 亿个参数。Qwen2.5 在 Qwen2 上引入了以下改进

  • 它拥有**显著更多的知识**,并且在**编码**和**数学**方面的能力得到了极大的提升,这得益于这些领域中专门的专家模型。
  • 它在**指令遵循**、**长文本生成**(超过 8K 个词元)、**理解结构化数据**(例如表格)和**生成结构化输出**方面取得了重大进展,尤其是在 JSON 格式方面。它也**对各种系统提示更加健壮**,改善了聊天机器人的角色扮演和条件设置。
  • 它支持高达 128K 个词元的**长上下文**,并可以生成高达 8K 个词元。
  • 它为 29 种以上的语言提供**多语言支持**,包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等等。

打开一个cmd输入以下指令:

下载安装需要一段时间。。。漫长的时间回来,安装之后,就可以提问了,恭喜你熬出头了。

3. 启动一个API端口,浏览器输入:http://localhost:11434/,证明模型运行成功。

二、配置Dify

1.点击Dify本地页面中自己的头像,选择“设置”——>模型供应商——>Ollama:

遇到问题(没有问题可以跳过此处):

An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f3dbd4cb790>: Failed to establish a new connection: [Errno 111] Connection refused'))

解决方案:设置OLLAMA_HOSTOLLAMA_MODELS(官网只说修改但是没给实例,醉了),这个问题查了好些资料没有关于win具体操作,本人反复琢磨修改发现解决答案

首选修改系统——>环境变量(OLLAMA_HOSTOLLAMA_MODELS)

最关键就是url地址:

http://host.docker.internal:11434

具体配置信息: 

配置成功后: 

跟之前一样新建一个应用:

可以进行问答: 

今天已经很晚,凌晨两点了,稍后更加精彩,持续更新!!! 

参考资料:

1. 在Windows上轻松部署本地大语言模型:Ollama与Open-WebUI的完整指南_windows安装ollama-CSDN博客

2. Llama + Dify,在你的电脑搭建一套AI工作流_an error occurred during credentials validation: a-CSDN博客


http://www.ppmy.cn/devtools/133066.html

相关文章

希尔排序算法

1、基本思想 希尔排序也称缩小增量排序&#xff0c;是插入排序的一种更高效的改进版本。它的基本思想是先将待排序的数组元素按照一定的间隔&#xff08;称为增量&#xff09;分成若干个子序列&#xff0c;分别对这些子序列进行插入排序&#xff0c;随着迭代的进行&#xff0c;…

什么岗位需要学习 OpenGL ES ?说说 3.X 的新特性

什么是 OpenGL ES OpenGL ES 是一种为嵌入式系统和移动设备设计的3D图形API(应用程序编程接口)。它是标准 OpenGL 3D 图形库的一个子集,专门为资源受限的环境(如手机、平板电脑、游戏机和其他便携式设备)进行了优化。 由于其在移动设备上的广泛适用性,OpenGL ES是学习移…

RabbitMQ的DLX(Dead-Letter-Exchange 死信交换机,死信交换器,死信邮箱)(重要)

RabbitMQ的DLX 1、RabbitMQ死信队列2、代码示例2.1、队列过期2.1.1、配置类RabbitConfig&#xff08;关键代码&#xff09;2.1.2、业务类MessageService2.1.3、配置文件application.yml2.1.4、启动类2.1.5、配置文件2.1.6、测试 2.2、消息过期2.2.1、配置类RabbitConfig2.2.2、…

如何解决后端开发时使用WebSocket服务部署问题

如何解决后端开发时使用WebSocket服务部署问题 WebSocket服务使用的为hocuspocus技术&#xff0c;启动WebSocket服务的命令为&#xff1a; npx hocuspocus/cli --port 2345 --sqlite该方式会自动下载依赖包&#xff0c;并进行启动服务。 启动服务的脚本如下&#xff1a; (b…

pyspark入门基础详细讲解

1.前言介绍 学习目标&#xff1a;了解什么是Speak、PySpark&#xff0c;了解为什么学习PySpark&#xff0c;了解课程是如何和大数据开发方向进行衔接 使用pyspark库所写出来的代码&#xff0c;既可以在电脑上简单运行&#xff0c;进行数据分析处理&#xff0c;又可以把代码无缝…

vue3学习:查询城市天气预报案例(vite组合式实现)

前面的学习中&#xff0c;实现过网页版的查询城市天气预报&#xff0c;今天新建了一个vite项目来实现&#xff0c;并且使用element-plus组件&#xff0c;把网页效果适当美化了一下&#xff0c;运行效果如图所示。 步骤如下&#xff1a; 一、新建项目 步骤如下&#xff1a; 1.…

SpringBoot健身房管理:敏捷与自动化

摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了健身房管理系统的开发全过程。通过分析健身房管理系统管理的不足&#xff0c;创建了一个计算机管理健身房管理系统的方案。文章介绍了健身房管理系统的系统分析部…

终端NuShell git权限异常处理

使用nushell git,关联老的秘钥文件 D:\phpstudy_pro\WWW\xmh\backend|10-312> mkdir d:\Users\Administrator\.ssh PC-20240719ZOSM||2411063145840 D:\phpstudy_pro\WWW\xmh\backend|10-312> cp -r c:\U…