huggingface提供无需服务器就能调用在线大模型的方案。
1.首先打开huggingface官网
2.在model下选择搜索要使用的大模型,这里我以llama-70b为例,如下图
点击inference API,里面代码如下:
他们提供几种不同库接口openai,huggingface_hub,无需下载模型到本地部署环境,只需调用API即可,下面是huggingface_hub的代码:
openai源码如下:
from openai import OpenAIclient = OpenAI(base_url="https://api-inference.hug