LiteLLM - 集成 Qwen、智谱、Moonshot 等国内大模型 API

embedded/2024/12/22 14:56:32/

文章目录

- 配置模型
- 调用测试

目前 Qwen、智谱、Moonshot 等 LLM 的 API 都做了和 OpenAI 的兼容，所以按照 OpenAI-Compatible Endpoints 教程来配置即可：
https://docs.litellm.ai/docs/providers/openai_compatible

如果采用 Custom API Server (Custom Format) 的方式，可以调通，但 token 不会写入 usage 记录。
https://docs.litellm.ai/docs/providers/custom_llm_server
也可能是我操作使用有问题，欢迎反馈。

配置模型

方式一：
在后台管理页面，添加模型时，选择 OpenAI-Compatible...

在这里插入图片描述

方式二：编写配置文件

config.yaml 写入如下

api_key 写各个平台申请的key

# general_settings: master_key
model_list:- model_name: mistralai--Mistral-Nemo-Instruct-2407litellm_params:model: huggingface/mistralai/Mistral-Nemo-Instruct-2407api_key: os.environ/HUGGINGFACE_API_KEY- model_name: "my-custom-model"litellm_params:model: "my-custom-llm/my-model"- model_name: "glm-4"litellm_params:model: "openai/glm-4"api_key: "6eeeb...abPJyrc8e"api_base: "https://open.bigmodel.cn/api/paas/v4/"- model_name: "qwen-plus"litellm_params:model: "openai/qwen-plus"api_key: 'sk-40d1c7...1d4'api_base: "https://dashscope.aliyuncs.com/compatible-mode/v1"- model_name: "moonshot-v1-8k"litellm_params:model: "openai/moonshot-v1-8k"api_key: 'sk-d7YcsMzyml...SzPCzQMB5e'api_base: "https://api.moonshot.cn/v1"

运行服务

litellm --config  /Users/.../config.yaml  --detailed_debug

调用测试

import openai
client = openai.OpenAI(api_key="sk-1234",             # pass litellm proxy key, if you're using virtual keysbase_url="http://0.0.0.0:4000" # litellm-proxy-base url
)model_name = "glm-4"
model_name = 'qwen-plus'
model_name = 'moonshot-v1-8k'
response = client.chat.completions.create(model=model_name,messages = [{"role": "user","content": "你吃了吗？"}],
)print(response)

ChatCompletion(id='chatcmpl-66e4e28a9dce9c9fee5e5960', choices=[ Choice(finish_reason='stop', index=0, logprobs=None, message=ChatCompletionMessage(content='作为一个人工智能助手，我没有生理需求，所以不需要吃饭。但是，我很高兴为您提供帮助。请问有什么问题我可以帮您解答吗？', refusal=None, role='assistant', function_call=None, tool_calls=None))], created=1726276234, model='moonshot-v1-8k', object='chat.completion', service_tier=None, system_fingerprint=None, usage=CompletionUsage(completion_tokens=28, prompt_tokens=11, total_tokens=39, completion_tokens_details=None)
)