APIPark 新增 AI模型负载均衡,APIKey 资源池以及 AI Token 消耗统计等重磅功能!

devtools/2025/2/13 22:14:48/

开发者们好!APIPark V1.4 功能更新给大家带来「负载均衡」、「APIKey 资源池」以及「Token 消耗统计」等重要功能,看看是否能帮助到大家更好地使用 AI 大模型~

V1.4 版本说明

新功能

[❤️新增] 新增支持 AI 模型负载均衡:同时接入多款大模型,当原定的 AI 服务商无法访问时,实现平滑的故障转移,让您的客户不会受到 AI 服务商的异常影响。

[❤️新增] 新增支持 AI APIKey 资源池:可针对同一 AI 服务商录入多个APIKey,系统自动调度可用的APIKEY,摆脱原厂的各种限制。

[❤️新增] 新增 AI token 消耗统计:可查看指定时间范围内,调用各 AI 服务的 API 所消耗的 token数量。

点击跳转:Github 仓


🚀 负载均衡

AI 模型负载均衡是一种智能调度机制,旨在确保 AI 服务的高可用性和稳定性。

当主要的 AI 供应商服务出现故障时,负载均衡能够自动将请求切换到备用的 AI 供应商上。

负载均衡能有效避免因供应商问题导致的服务中断,保障 AI 应用的连续运行,提升用户体验。

负载优先级

APIPark 负载均衡支持对供应商进行优先级排序,确保在异常情况下,能够按照预设的优先级顺序进行切换,进一步优化资源利用和响应速度。

开源不易,点亮 Star 是对我们最大的支持~(´▽`ʃ♡ƪ) 跪谢 !!!

APIKey 资源池

APIKey 资源池是一个集中管理和调配 APIKey 的功能,为 AI 服务的稳定运行提供有力支持。

在资源池中,您可以查看和管理各个供应商的 APIKey,包括其状态(如正常、超额、过期等)和调用优先级。

只需要通过拖拉操作,您就可以轻松调整 APIKey 的优先级顺序,以适应不同的业务需求。

当某个 APIKey 出现超额或过期等问题时,系统自动按优先级启用其他 APIKey,确保 AI 服务的持续可用。

当然,您也可以使用 AI APIKey 资源池对 AI 调用资源额度进行统一再分配。

📊AI API 管理

AI API 管理用于集中展示和管理调用各个 AI 供应商的 API。您可以在 APIPark 上查看所有调用的 AI API 的详细信息以及 token 的消耗情况。

APIPark 支持在选定时间范围内查看调用了该模型供应商能力的所有 API,以及每一个API 的调用的模型和使用的 token 数量。

这一功能方便您对该模型的资源消耗进行成本管控。

此外,您还可以在 API 列表中查看特定 API 的路由配置以及该 API 的 Prompt 信息。

🔗更详细使用教程可以查看:APIPark 产品使用文档

记得 Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验!


http://www.ppmy.cn/devtools/158603.html

相关文章

《qt open3d网格拉普拉斯平滑》

qt open3d网格拉普拉斯平滑 效果展示二、流程三、代码效果展示 二、流程 创建动作,链接到槽函数,并把动作放置菜单栏 参照前文 三、代码 1、槽函数实现 void on_actionFilterLaplacian_triggered();void MainWindow::on_actionFil

华为云桌面CloudClient:云端办公的全新体验

华为云桌面CloudClient:云端办公的全新体验 【下载地址】华为云桌面CloudClient资源下载 本仓库提供华为云桌面CloudClient的资源文件下载。华为云桌面CloudClient是一款专为云桌面环境设计的客户端软件,帮助用户轻松访问和管理云桌面资源 项目地址: h…

【LeetCode】128. 最长连续序列

题目 128. 最长连续序列 思路 每个数都判断一次这个数是不是连续序列的开头那个数。用哈希表查找这个数前面一个数是否存在,即num-1在序列中是否存在。如果存在则这个数肯定不是开头,跳过。因此只需要对每个开头的数进行循环,直到这个序列…

ATF系统安全从入门到精通

CSDN学院课程连接:https://edu.csdn.net/course/detail/39573

计算机网络,大白话

好嘞,咱就从头到尾,给你好好说道说道计算机网络里这些“门门道道”的概念: 1. 网络(Network) 啥是网络? 你可以把网络想象成一个“大Party”,大家(设备)聚在一起&#…

vscode C/C++ CMake 调试

C/C插件: .vscode c_cpp_properties.jsonlaunch.jsonsettings.jsontasks.json CMake插件 CMakeLists.txt # CMakeLists.txt一、CMakeLists.txt 如何支持vscode在线调试? CMake支持调试; C/C插件也支持调试;二者有区别&#xf…

唯一值校验的实现思路(续)

本文接着上一篇文章《唯一值校验的实现思路》,在后端实现唯一值校验。用代码实现。 /*** checkUniqueException[唯一值校验]** param entity 新增或编辑的学生实体* param insert 是否新增,如果是传入true;反之传入false* return void* date…

Springboot 中如何使用Sentinel

在 Spring Boot 中使用 Sentinel 非常方便,Spring Cloud Alibaba 提供了 spring-cloud-starter-alibaba-sentinel 组件,可以快速将 Sentinel 集成到你的 Spring Boot 应用中,并利用其强大的流量控制和容错能力。 下面是一个详细的步骤指南 …