统一所有 LLM API:支持预算与速率限制 | 开源日报 No.229

embedded/2024/10/19 17:44:09/

picture

BerriAI/litellm

Stars: 6.7k License: NOASSERTION

picture

litellm 是一个使用 OpenAI 格式调用所有 LLM API 的工具。它支持 Bedrock、Azure、OpenAI、Cohere、Anthropic 等 100 多种 LLMs,提供企业级代理服务器和稳定版本 v1.30.2。
主要功能和优势包括:

  • 将输入转换为提供商的完成点、嵌入点和图像生成端点
  • 统一输出,文本响应始终可在 ['choices'][0]['message']['content'] 中获取
  • 跨多个部署(例如 Azure/OpenAI)的重试/回退逻辑
  • 设置每个项目、API 密钥或模型 OpenAI 代理服务器的预算与速率限制
  • 支持更多提供商,如有遗漏,请发起功能请求

通过 LiteLLM 可以实现异步调用,并支持流式传输模型响应及日志观测等功能。

elixir-lang/elixir

Stars: 23.0k License: Apache-2.0

elixir 是用于构建可扩展和易维护应用程序的动态功能语言。

  • 动态、函数式语言
  • 适合构建可扩展和易维护的应用程序
  • 提供安装和文档指南
  • 公布新版本公告并有安全策略保障
  • 遵守行为准则,提倡积极正面交流与友善互助

google/gvisor

Stars: 14.9k License: Apache-2.0

picture

gvisor 是一个为容器设计的应用内核。
该项目解决了在容器中运行不受信任或潜在恶意代码时缺乏额外隔离的问题。它通过实现大部分 Linux 系统接口,并提供一个名为 runsc 的 Open Container Initiative (OCI) 运行时,创建了应用程序与主机内核之间的隔离边界。runsc 运行时与 Docker 和 Kubernetes 集成,使得运行沙盒化容器变得简单。

  • 实现大部分 Linux 系统接口
  • 提供 OCI 运行时 runsc
  • 限制主机内核对应用程序可访问的范围
  • 通过利用现有主机内核功能并作为正常进程运行来实现资源灵活性

doocs/source-code-hunter

Stars: 14.6k License: CC-BY-SA-4.0

picture

source-code-hunter 是一个从源码层面剖析和挖掘互联网行业主流技术底层实现原理的项目,为开发者提供便利以提升技术深度。
该项目主要功能和核心优势包括:

  • 提供对 Spring 全家桶、Mybatis、Netty、Dubbo 框架等中间件的源码解析
  • 帮助开发者深入了解各种技术框架的内部工作原理
  • 记录阅读经验、个人理解及解析,使阅读源码变得简单有趣且有价值

HiddenStrawberry/Crawler_Illegal_Cases_In_China

Stars: 3.3k License: NOASSERTION

Crawler_Illegal_Cases_In_China 是一个用来整理中国大陆爬虫开发者涉诉与违规案例的项目。

  • 帮助爬虫行业从业者了解相关法律,避免触碰数据合规红线
  • 汇总中国大陆爬虫开发者涉诉与违规案例的新闻、资料与法律法规
  • 提供相关法律条文和专业律师观点等信息

http://www.ppmy.cn/embedded/6072.html

相关文章

SQLite FTS3 和 FTS4 扩展(三十二)

返回:SQLite—系列文章目录 上一篇:SQLite 的命令行 Shell(三十一) 下一篇:SQLite—系列文章目录 概述 FTS3 和 FTS4 是 SQLite 虚拟表模块,允许用户执行 对一组文档进行全文搜索。最常见(和最有效…

Go语言中通过数据对齐降低内存消耗和提升性能

数据对齐是一种安排数据分配方式以加速 CPU 访问内存的方法。 不了解这个概念会导致额外的内存消耗甚至性能下降。 要了解数据对齐的工作原理,让我们首先讨论没有它会发生什么。假设我们分配两个变量,一个 int32 类型的 (32 B) 和…

论文笔记:UrbanGPT: Spatio-Temporal Large Language Models

1 intro 时空预测的目标是预测并洞察城市环境随时间和空间不断变化的动态。其目的是预见城市生活多个方面的未来模式、趋势和事件,包括交通、人口流动和犯罪率。虽然已有许多努力致力于开发神经网络技术,以准确预测时空数据,但重要的是要注意…

NVIC简介

NVIC(Nested Vectored Interrupt Controller)是ARM处理器中用于中断管理的一个重要硬件模块。它负责处理来自多个中断源的中断请求,并根据中断的优先级来安排处理器执行相应的中断服务例程(ISR)。NVIC是ARM Cortex-M系…

OSPF的P2P和Broadcast

OSPF为什么会有P2P和BROADCAST两种类型 OSPF(开放最短路径优先)协议中存在P2P(点对点)和BROADCAST(广播多路访问)两种网络类型,主要是为了适应不同类型的网络环境和需求。具体分析如下&#xf…

WPF中TextBox失去焦点事件

限制TextBox只能输入整数&#xff0c;而且整数的数值范围为0-100。如果输入101后&#xff0c;弹窗提示输入超限 MainWindow.xaml <TextBox x:Name"textBox1" TextWrapping"Wrap" Text"TextBox" Width"120" Height"50" Lo…

【论文笔记 | 异步联邦】Asynchronous Federated Optimization

论文信息 Asynchronous Federated Optimization&#xff0c;OPT2020: 12th Annual Workshop on Optimization for Machine Learning&#xff0c;不属于ccfa introduction 背景&#xff1a;联邦学习有三个关键性质 任务激活不频繁&#xff08;比较难以达成条件&#xff09;&…

六边形酷科技特效单页源码

源码介绍 基于canvas画布绘制多个六边形追踪鼠标&#xff0c;科技感的几何图形酷炫动画特效&#xff0c; 单页html源码&#xff0c;可以做网站动态背景&#xff0c;喜欢的朋友可以拿去 效果截图 完整源码 <!doctype html> <html> <head> <meta charset…