huggingface serveless API调用第三方大模型

news/2024/12/22 15:30:32/

huggingface提供无需服务器就能调用在线大模型的方案。

1.首先打开huggingface官网

2.在model下选择搜索要使用的大模型,这里我以llama-70b为例,如下图

点击inference API,里面代码如下:

他们提供几种不同库接口openai,huggingface_hub,无需下载模型到本地部署环境,只需调用API即可,下面是huggingface_hub的代码:

openai源码如下:
 

from openai import OpenAIclient = OpenAI(base_url="https://api-inference.hug

http://www.ppmy.cn/news/1557221.html

相关文章

MySQL 数据库深度解析:历史、技术(b树和b+树)

一. MySQL 的历史与作用 MySQL 诞生于 90 年代,它具有免费开源的特性,这使得其在互联网开发领域广受欢迎,逐渐成为了互联网开发的主流标准。数据库最为核心的任务就是存储数据,并且能够实现快速查询,而在这当中&#x…

Python tkinter写的《电脑装配单》和 Html版 可打印 可导出 excel 文件

Python版 样图: 说明书: markdown # 电脑配置单使用说明书 ## 一、软件简介 电脑配置单是一个用于创建和比较两套电脑配置方案的工具软件。用户可以选择各种电脑配件,输入数量和价格,软件会自动计算总金额,并支持导出和打印配置单。 ## 二、主要功能 1. …

电脑excel词典(xllex.dll)文件丢失是或损坏是什么原因?“xllex.dll文件缺失“要怎么解决?

Excel词典(xllex.dll)文件丢失或损坏?别担心,这里有解决之道! 在日常的电脑使用和办公软件操作中,我们偶尔会碰到一些让人头疼的问题,比如Excel突然提示“Excel词典(xllex.dll&…

半连接转内连接规则的原理与代码解析 |OceanBase查询优化

背景 在查询语句中,若涉及半连接(semi join)操作,由于半连接不满足交换律的规则,连接操作必须遵循语句中定义的顺序执行,从而限制了优化器根据参与连接的表的实际数据量来灵活选择优化策略的能力。为此&am…

相机与NAS的奇妙组合,如何使用相机拍照自动上传或备份到NAS

相机与NAS的奇妙组合,如何使用相机拍照自动上传或备份到NAS 哈喽小伙伴们好,我是Stark-C~ 对于喜欢使用专业器材拍照摄影的小伙伴来说,想要将相机存储卡中的照片或视频导出到电脑上,要么是使用数据线直接和相机连接,…

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct

环境安装 git clone https://gitcode.com/gh_mirrors/ll/LLaMA-Factory.git 下载模型 pip install modelscope modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir /root/autodl-tmp/models/Qwen/Qwen2.5-7B-Instruct 微调 llamafactory-cli train \--st…

如何更改 maven 指定的 java 版本 set JAVA_HOME=C:\Program Files\Java\jdk1.8

当我们用 mvn 在终端执行的时候 例如 mvn clean test执行结果如下: 此时我们想要修改 maven 指定的JAVA_HOME 找到maven的安装目录,打开 mvn.cmd 然后鼠标右键,点击编辑按钮 将 第一行 JAVA_HOME 设置为自己的本地java目录即可 然后再次…

Vue 环境变量配置、使用方法、注意事项

注意事项: 环境变量必须以 VUE_APP_ 开头,只有 VUE_APP_ 开头的变量才会被 webpack 处理NODE_ENV 是内置的环境变量,NODE_ENV 不需要 VUE_APP_ 前缀修改环境变量后需要重启开发服务器才能生效环境变量在构建时会被静态替换环境变量在客户端代…