解决下载huggingface模型权重无法下载的问题

news/2025/1/11 0:17:49/

文章目录

  • 方法一(推荐)
  • 方法二
  • 方法三
  • 依然存在的问题

由于某些原因,huggingface的访问速度奇慢无比,对于一些模型(比如大语言模型LLM)的权重文件动辄几十上百G,如果用默认下载方式,很可能中断,这里推荐几种方式。

方法一(推荐)

使用镜像站。
我个人比较常用的是:https://hf-mirror.com/
网站地址
这里直接转载一下命令。按照这个方式下载就可以:
1.进入你的虚拟环境,输入:

pip install -U huggingface_hub

2.输入:

export HF_ENDPOINT=https://hf-mirror.com

3.如果你下载的模型是xxx,希望保存在本地的路径是yyy

huggingface-cli download --resume-download --local-dir-use-symlinks False xxx --local-dir yyy

yyy(路径)自行指定,关于xxx(模型名称)怎么确定,这里举一个例子:
在这里插入图片描述
网址中的:meta-llama/Llama-2-7b就是模型名称
再举一个例子:
https://huggingface.co/tiiuae/falcon-40b-instruct

模型名称就是tiiuae/falcon-40b-instruct

第三步的下载命令为:
huggingface-cli download --resume-download --local-dir-use-symlinks False tiiuae/falcon-40b-instruct --local-dir ./falcon-40b-instruct

huggingface-cli download --resume-download --local-dir-use-symlinks False tiiuae/falcon-40b-instruct --local-dir ./falcon-40b-instruct

一些其他的问题
有些模型是需要认证或登录的,这个时候你需要在下载命令里面包含你的个人认证密匙。
比如你想使用llama,你首先需要去meta那里申请一个账号并且认证,和你的huggingface绑定后,进行下面的步骤。
下载命令(以llama为例):

huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

注意这个部分:

--token hf_*** 

需要把hf_***换成你自己的密匙。密匙的位置在你的个人主页下面。
在这里插入图片描述
进入settings:
在这里插入图片描述
复制你的一个token到之前的命令里面。

方法二

使用魔法。无需多言。

方法三

试试别的平台。
国内现在有modelscope社区。里面有一部分模型和数据。使用这个社区的话,代码部分也要用它的API。
https://www.modelscope.cn/
网站地址

百度的飞桨也可以找一找。还有网盘资源(可能有好心人下载好了放到百度网盘或者阿里网盘等里面)

依然存在的问题

实际下载的时候发现经常因为模型太大下载终止。有时候用镜像站也是这样,希望懂的朋友一起交流交流。


http://www.ppmy.cn/news/1270921.html

相关文章

言简意赅的 el-table 跨页多选

步骤一 在<el-table>中:row-key"getRowKeys"和selection-change"handleSelectionChange" 在<el-table-column>中type"selection"那列&#xff0c;添加:reserve-selection"true" <el-table:data"tableData"r…

IP与以太网的转发操作

TCP模块在执行连接、收发、断开等各阶段操作时&#xff0c;都需要委托IP模块将数据封装成包发送给通信对象。 网络中有路由器和集线器两种不同的转发设备&#xff0c;它们在传输网络包时有着各自的分工。 (1)路由器根据目标地址判断下一个路由器的位置 (2)集线器在子网中将网…

Cloudflare始终使用HTTPS且带参数跳转到www的域名

文章目录 设置教程设置图跳转实测 设置教程 关闭 SSL/TLS -> 边缘证书 的 Always Use HTTPS 规则 -> 页面规则 -> URL: http://www.example.com/* 设置成始终使用HTTPS 规则 -> 页面规则 -> URL: example.com/* 设置成 转发URL301重定向到 to https://www.ex…

图像色彩还原算法

图像色彩还原算法的目标是改善或修复图像中失真、退色或其他色彩问题。以下是一些常见的图像色彩还原算法&#xff1a; 白平衡算法&#xff1a; 白平衡算法旨在校正图像中的色温&#xff0c;使其看起来更自然。其中一种简单的方法是灰度世界假设&#xff0c;即假设整个图像的平…

java发起http、https请求,并携带cookie、header,post参数放body并可选关闭ssl证书验证,高可用版

公司有个需求是发起https请求对接国家数据接口&#xff0c;需要带header、cookie&#xff0c;并关闭ssl证书验证&#xff0c;搜了很多文章&#xff0c;都说用HttpsURLConnection发起请求&#xff0c;但不知为啥在封装body参数的时候一直报400封装出错&#xff0c;也欢迎指出不足…

spring面试:二、bean的生命周期和循环引入问题(三级缓存、@Lazy)

bean的生命周期 Spring容器在进行实例化时&#xff0c;会将xml配置的的信息封装成一个BeanDefinition对象&#xff0c;Spring根据BeanDefinition来创建Bean对象&#xff0c;里面有很多的属性用来描述Bean。 其中比较重要的是&#xff1a; beanClassName&#xff1a;bean 的类…

安装鸿蒙开发者工具DevEco Studio

1.进入官网下载工具 https://developer.harmonyos.com/cn/develop/deveco-studio/ 选择您电脑对应的系统下载即可 2.安装 很简单直接点击“next”,此处不做赘述 3.配置环境 安装完成后&#xff0c;打开DevEco Studio 会提示配置环境。安装node.js和ohpm 如果不小心关了&a…

代码随想录算法训练营第二十六天(回溯算法篇)|39. 组合总和,40. 组合总和Ⅱ

39. 组合总和 题目链接&#xff1a;39. 组合总和 - 力扣&#xff08;LeetCode&#xff09; 题目内容&#xff1a;给你一个 无重复元素 的整数数组 candidates 和一个目标整数 target &#xff0c;找出 candidates 中可以使数字和为目标数 target 的 所有 不同组合 &#xff0…