国内高速下载huggingface上的模型

news/2025/2/13 2:05:34/

目录

前言

modelscope 

huggingface安装

 Windows设置环境变量

 Linux设置环境变量 

设置国内镜像

 Windows(cmd.exe)

  当前窗口有效

  永久生效 

 Linux 

   当前窗口有效

   永久生效 

 下载模型


前言

国内优先使用modelscope,hugging face镜像站下载还是不怎么稳定。

modelscope 

modelscope:ModelScope - 模型列表页 

找下有没有需要的模型,有的话拷贝下 <namespace>/<model-name>,如图:

使用git clone:

git lfs clone https://www.modelscope.cn/<namespace>/<model-name>.git 

 比如我要下的是AI-ModelScope/stable-diffusion-xl-base-1.0,那么链接就是:

git lfs clone https://www.modelscope.cn/AI-ModelScope/stable-diffusion-xl-base-1.0.git


huggingface安装

Python版本至少是3.8 

安装hugging face官方提供的下载工具

pip install -U huggingface_hub hf-transfer

 Windows设置环境变量

在当前窗口设置临时环境变量(cmd.exe)

set HF_HUB_ENABLE_HF_TRANSFER 1

你也可以设置永久的环境变量(可能需要管理员权限)

setx HF_HUB_ENABLE_HF_TRANSFER 1

 Linux设置环境变量 

只是当前窗口下有效 

export HF_HUB_ENABLE_HF_TRANSFER=1

设置国内镜像

 Windows(cmd.exe)

  当前窗口有效

set HF_ENDPOINT https://hf-mirror.com

  永久生效 

setx HF_ENDPOINT https://hf-mirror.com

 Linux 

   当前窗口有效

export HF_ENDPOINT=https://hf-mirror.com

   永久生效 

# 配置环境变量
vim ~/.bashrc# 在打开文件中的最后一行添加
export HF_ENDPOINT="https://hf-mirror.com"

 下载模型

huggingface-cli download --token [访问令牌] --resume-download --local-dir-use-symlinks False [模型名] --local-dir [保存位置]

如果你使用的是conda,注意看下有没有切换对应的环境!!!

有些模型不需要token也能直接下载!!!把token选项去掉即可 

访问令牌获取链接:https://huggingface.co/settings/tokens

比如我要下载ChatGLM的模型,操作如下:

命令如:

 huggingface-cli download --resume-download --local-dir-use-symlinks False THUDM/chatglm3-6b --local-dir chatglm3-6b


参考文章

  • 如何快速下载huggingface大模型 – padeoe的小站
  • hf-mirror.com - Huggingface 镜像站

👍点赞,你的认可是我创作的动力 !
🌟收藏,你的青睐是我努力的方向!
✏️评论,你的意见是我进步的财富!     


http://www.ppmy.cn/news/1254834.html

相关文章

接口测试基础知识

一、接口测试简介 什么是接口测试&#xff1f; 接口测试是测试系统组件间接口的一种测试&#xff0c;主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。 测试的重点&#xff1a; 检查数据的交换&#xff0c;传递和控制管理过程&#xff1b;检查系统间的相互…

LLM;超越记忆《第 2 部分 》

一、说明 在这篇博客中&#xff0c;我深入研究了将大型语言模型&#xff08;LLM&#xff09;提升到基本记忆之上的数学框架。我们探索了动态上下文学习、连续空间插值及其生成能力&#xff0c;揭示了 LLM 如何理解、适应和创新超越传统机器学习模型。 LLM代表了人工智能的重大飞…

基于SSH的员工管理系统(一)——包结构

基于SSH的员工管理系统&#xff08;一&#xff09;——包结构 包结构 1、整体包结构 2、action包 3、domain实体包 4、service层 5、dao层 6、util工具包 7、页面层

【每日OJ —— 572. 另一棵树的子树】

每日OJ —— 572. 另一棵树的子树 1.题目&#xff1a;572. 另一棵树的子树2.解法2.1.算法讲解2.2.代码实现2.3.提交通过展示 1.题目&#xff1a;572. 另一棵树的子树 2.解法 2.1.算法讲解 通过深度优先遍历&#xff0c;来判断二叉树root的每个节点的值是否和subRoot的每个节点…

PHP+ajax+layui实现双重列表的动态绑定

需求&#xff1a;商户下面有若干个门店&#xff0c;每个门店都需要绑定上收款账户 方案一&#xff1a;每个门店下面添加页面&#xff0c;可以选择账户去绑定。&#xff08;难度&#xff1a;简单&#xff09; 方案二&#xff1a;从商户进入&#xff0c;可以自由选择门店&#…

C#编程题分享(5)

判断质数问题 输⼊⼀个正整数&#xff0c;判断该数是否是质数。如果为质数输出 yes&#xff0c;如果不是输出no 样例输⼊113 输出yes int n Convert.ToInt32(Console.ReadLine()); int count 0; for (int i 1; i < n 1; i) {if (n % i 0) // 判断该数能被整除{coun…

MySQL数据库从小白到入门(一)

MySQL概述&#xff1a; MySQL连接&#xff1a; 打开cmd窗口 window r 输入 cmd输入mysql -u用户名 -p密码&#xff1b; 示例&#xff1a;mysql -uroot -p1234&#xff1b; 这种方式登录mysql&#xff0c;会出现警告&#xff0c;建议使用下面这种。mysql -uroot -p 然后回车…

Android预加载Apk时注意事项

1.对于Apk中存在依赖的so库时&#xff0c;编写预加载库mk文件时需要将Apk解压的库链接过来&#xff0c;否则就会出现找不到so或者找到so库但是无法正常使用的情况(系统apk查找库的方式是先查找链接库后查找system/lib目录下的库&#xff0c;且采用预加载库方式apk中依赖的库默认…