GitHub地址：https://github.com/songquanpeng/one-api

前言

one-api接入了：
● OpenAI ChatGPT 系列模型（支持 Azure OpenAI API）
● Anthropic Claude 系列模型
● Google PaLM2/Gemini 系列模型
● Mistral 系列模型
● 百度文心一言系列模型
● 阿里通义千问系列模型
● 讯飞星火认知大模型
● 智谱 ChatGLM 系列模型
● 360 智脑
● 腾讯混元大模型
● Moonshot AI
● 百川大模型
● 字节云雀大模型 (WIP)
● MINIMAX
● Groq
● Ollama
● 零一万物
等大模型，并提供了统一的，遵循了OpenAI的API

一、Docker部署

java">docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /users/xiaoqi/one-api:/data justsong/one-api

启动完之后，访问：http://localhost:3000/

二、登录

然后进行登录，初始账号用户名为 root，密码为 123456。

三、添加渠道

四、调用

点击复制获得ApiKey，比如"sk-xxxxxx"，这个ApiKey是你现在搭建的本地的one-api得ApiKey，不能用于OpenAI或其他代理。

然后就可以像使用OpenAI一样进行调用了，把baseUrl和apiKey改为本地地址和刚刚生成的ApiKey即可：

java">package com.qjc.demo;import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.model.openai.OpenAiChatModel;/**** @projectName langchain4j-project-1* @packageName com.qjc.demo* @author qjc* @description TODO* @Email qjc1024@aliyun.com* @date 2024-10-15 10:30**/
public class TestAI {public static void main(String[] args) {ChatLanguageModel model = OpenAiChatModel.builder().baseUrl("http://localhost:3000/v1").apiKey("sk-xxxxxx").build();System.out.println(model.generate("你好"));}
}

总结

渠道可以简单理解为各个大模型厂商，可以是原始厂商，也支持代理厂商，每家厂商又可以支持多种模型。

仅超级管理员有权设置，普通用户是看不到的。作用就是为不同分组的用户添加可用的大模型，并设置可用额度。

如何理解呢？假如你要用这个系统来代理3种大模型并推广商用，别人花钱来买你这个服务。如果你确定VIP用户可以使用其中的2中模型，SVIP可以使用全部3种，那么你就在渠道中分别给VIP和SVIP分组添加相应的大模型渠道即可。当然，如果你只是自己用，随便折腾就行，怎么方便怎么来。

以上我们已经安装并配置好了One API系统，那么如何给终端使用呢？其实很简单，使用客户端或编程的方式调用One API的API接口就行了，使用方式与OpenAI API一致。相当于只需要将OpenAI的网址改成你部署的One API系统的网址、将OpenAI的API Key改成你的令牌即可。One API将代理用户向实际的大模型发出请求并接收响应，如下图所示：

另外需要特殊说明的下，上文我们提到每个用户分组是可以支持多个渠道的（即多个模型负载均衡），如果你在客户端想指定使用某个渠道，可以通过在令牌后面添加渠道 ID 的方式指定使用哪一个渠道处理本次请求，例如：Authorization: Bearer ONE_API_KEY-CHANNEL_ID。 注意，需要是管理员用户创建的令牌才能指定渠道ID。