FastGPT部署通义千问Qwen和智谱glm模型|OneAPI配置免费的第三方API

ops/2024/11/19 5:10:55/

继这篇博客之后 从零开始FastGPT本地部署|Windows

有同学问,不想在多个平台申请API-Key,不好管理且要付费,有木有白嫖方案呀?

答:有啊。用硅基流动

注册方法看这篇
【1024送福利】硅基流动送2000万token啦!撒花✿✿ 附使用教程

从零开始FastGPT本地部署|Windows 上回书说到,FastGPT通过OneAPI添加了“通义千问”大模型,使用的阿里官方的API-Key,我跟小伙伴们一样,欠费咯~

那就再配一个大模型吧。

OneAPI_14">一、OneAPI配大模型

1.1 选对话模型+嵌入模型

我这都选免费的,土豪们可以选择付费的模型
1. 选对话模型

2. 选嵌入模型

OneAPI__21">1.2 OneAPI 添加渠道和令牌

添加渠道

由于是第三方平台,这里可能测试不成功。

不过没关系,不影响后面的使用

FastGPT_33">二、FastGPT配置

2.1 修改docker-compose.yml

# 硅基平台URL
- OPENAI_BASE_URL=https://api.siliconflow.cn/v1
# API-KEY
- CHAT_API_KEY=sk-pkxxxxxxcje

2.2 修改config.json

"llmModels": [{"model": "Qwen/Qwen2-7B-Instruct","name": "通义千问2-7b","avatar": "/imgs/model/openai.svg","maxContext": 8000,"maxResponse": 4000,"quoteMaxToken": 20000,"maxTemperature": 1,"charsPointsPrice": 0,"censor": false,"vision": true,"datasetProcess": false,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": false,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "","defaultConfig": {}},{"model": "THUDM/glm-4-9b-chat","name": "智谱-4","avatar": "/imgs/model/openai.svg","maxContext": 8000,"maxResponse": 4000,"quoteMaxToken": 20000,"maxTemperature": 1,"charsPointsPrice": 0,"censor": false,"vision": true,"datasetProcess": false,"usedInClassify": true,"usedInExtractFields": true,"usedInToolCall": true,"usedInQueryExtension": true,"toolChoice": true,"functionCall": false,"customCQPrompt": "","customExtractPrompt": "","defaultSystemChatPrompt": "","defaultConfig": {}}],"vectorModels": [{"model": "BAAI/bge-large-en-v1.5", // 模型名(与OneAPI对应)"name": "bge-large-en-v1.5", // 模型展示名"avatar": "/imgs/model/openai.svg", // logo"charsPointsPrice": 0, // n积分/1k token"defaultToken": 700, // 默认文本分割时候的 token"maxToken": 3000, // 最大 token"weight": 100, // 优先训练权重"defaultConfig": {}, // 自定义额外参数。例如,如果希望使用 embedding3-large 的话,可以传入 dimensions:1024,来返回1024维度的向量。(目前必须小于1536维度)"dbConfig": {}, // 存储时的额外参数(非对称向量模型时候需要用到)"queryConfig": {} // 参训时的额外参数},{"model": "BAAI/bge-large-zh-v1.5", // 模型名(与OneAPI对应)"name": "bge-large-zh-v1.5", // 模型展示名"avatar": "/imgs/model/openai.svg","charsPointsPrice": 0,"defaultToken": 700,"maxToken": 3000,"weight": 100,"defaultConfig": {"dimensions": 1024}}],

有几个对话模型和嵌入模型,就写几个。

主要是红框部分的配置,其他参数按需修改。

FastGPT_124">2.3 重启FastGPT

如果修改前就启动了FastGPT,那就重启下

docker-compose down
docker-compose up -d

FastGPT_133">三、FastGPT测试

新建一个应用

可以看到我们刚才配置的两个模型

测试效果如下:

<a class=通义千问2-7b" />

智谱-4

测试成功,就可以开始其他功能的配置啦!


http://www.ppmy.cn/ops/134873.html

相关文章

笔记|M芯片MAC (arm64) docker上使用 export / import / commit 构建amd64镜像

很简单的起因&#xff0c;我的东西最终需要跑在amd64上&#xff0c;但是因为mac的架构师arm64&#xff0c;所以直接构建好的代码是没办法跨平台运行的。直接在arm64上pull下来的docker镜像也都是arm64架构。 检查镜像架构&#xff1a; docker inspect 8135f475e221 | grep Arc…

Qt 5.6.3 手动配置 mingw 环境

- 安装 qt 5.6.3 mingw 版 - 打开 qt creator - 找到选项 工具 - 选项- 构建和运行 - 找到 “编译器” 选项卡 ,点击 "添加" “编译器路径” 设置为 qt 安装目录下&#xff0c; tool 文件夹内的 g.exe 设置完成后&#xff0c;点击 "apply" ,使选项生…

Ubuntu24.04安装和配置Redis7.4

Ubuntu24.04安装和配置Redis7.4 #切换到root用户 sudo su -#更新源 apt update apt upgrade#安装 lsb-release、curl 和 gpg &#xff0c;以便能够添加 Redis 仓库 apt install lsb-release curl gpg#导入 Redis 的 GPG 密钥 curl -fsSL https://packages.redis.io/gpg | gpg …

华纳云:数据库一般购买什么服务器好?有哪些建议

选择数据库服务器时&#xff0c;需要考虑数据库的类型(如关系型数据库或NoSQL数据库)、数据量、并发访问量、读写频率、数据安全性要求等因素。以下是一些通用的建议&#xff0c;以帮助你选择合适的数据库服务器&#xff1a; 硬件配置推荐&#xff1a; 1. CPU&#xff1a;数据库…

HBase理论_HBase架构组件介绍

近来有些空闲时间&#xff0c;正好最近也在开发HBase相关内容&#xff0c;借此整理一下学习和对HBase组件的架构的记录和个人感受&#xff0c;付出了老夫不少心血啊&#xff0c;主要介绍的就是HBase的架构设计以及我的拓展内容。内容如有不当或有其他理解 matirx70163.com HB…

深入探讨 .NET Core 3.0 浮点计算差异与解决方案

在 .NET Core 3.0 中&#xff0c;对浮点解析和格式进行了更改&#xff0c;以符合 IEEE 754-2008 标准。您可以在这篇文章中阅读有关这些更改的更多信息。在使用 Stimulsoft 产品时&#xff0c;这些更改最常表现为舍入数字和出现“负号”零。 Stimulsoft Ultimate &#xff08;…

用 Python 从零开始创建神经网络(八):梯度、偏导数和链式法则

梯度、偏导数和链式法则 引言1. 偏导数2. 和的偏导数3. 乘法的偏导数4. Max 的偏导数5. 梯度&#xff08;The Gradient&#xff09;6. 链式法则&#xff08;The Chain Rule&#xff09; 引言 在我们继续编写我们的神经网络代码之前&#xff0c;最后两个需要解决的难题是梯度和…

Vue 与 React 前端框架差异对比及案例分析

一、设计理念 1.Vue&#xff1a; Vue 被设计为渐进式框架&#xff0c;能够自底向上逐层应用。这意味着可以将其灵活地应用于现有项目的一部分&#xff0c;无需对整个项目进行大规模重构。强调数据驱动视图&#xff0c;通过响应式数据绑定&#xff0c;当数据发生变化时&#x…