根据上一篇博客安装好了Dify框架:
【LLM Agents体验 1】Dify框架的安装指南
一、安装Ollama
1. 从Ollama【官网】下载(需要科学下载):
下载完之后安装OllamaSetup.exe:
安装成功后,测试一下没问题:
2. Ollama网站搜索Qwen ,打开此链接,选择7B模型:
补充知识:
Qwen2.5是最新的 Qwen 大型语言模型系列。对于 Qwen2.5,发布了一系列基础语言模型和指令微调模型,大小范围从 0.5 到 720 亿个参数。Qwen2.5 在 Qwen2 上引入了以下改进
- 它拥有**显著更多的知识**,并且在**编码**和**数学**方面的能力得到了极大的提升,这得益于这些领域中专门的专家模型。
- 它在**指令遵循**、**长文本生成**(超过 8K 个词元)、**理解结构化数据**(例如表格)和**生成结构化输出**方面取得了重大进展,尤其是在 JSON 格式方面。它也**对各种系统提示更加健壮**,改善了聊天机器人的角色扮演和条件设置。
- 它支持高达 128K 个词元的**长上下文**,并可以生成高达 8K 个词元。
- 它为 29 种以上的语言提供**多语言支持**,包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等等。
打开一个cmd输入以下指令:
下载安装需要一段时间。。。漫长的时间回来,安装之后,就可以提问了,恭喜你熬出头了。
3. 启动一个API端口,浏览器输入:http://localhost:11434/,证明模型运行成功。
二、配置Dify
1.点击Dify本地页面中自己的头像,选择“设置”——>模型供应商——>Ollama:
遇到问题(没有问题可以跳过此处):
An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f3dbd4cb790>: Failed to establish a new connection: [Errno 111] Connection refused'))
解决方案:设置OLLAMA_HOST
、OLLAMA_MODELS(官网只说修改但是没给实例,醉了),这个问题查了好些资料没有关于win具体操作,本人反复琢磨修改发现解决答案
:
首选修改系统——>环境变量(OLLAMA_HOST
和OLLAMA_MODELS)
:
最关键就是url地址:
http://host.docker.internal:11434
具体配置信息:
配置成功后:
跟之前一样新建一个应用:
可以进行问答:
今天已经很晚,凌晨两点了,稍后更加精彩,持续更新!!!
参考资料:
1. 在Windows上轻松部署本地大语言模型:Ollama与Open-WebUI的完整指南_windows安装ollama-CSDN博客
2. Llama + Dify,在你的电脑搭建一套AI工作流_an error occurred during credentials validation: a-CSDN博客