meta-llama/Llama-3.2-1B 微调记录

embedded/2024/12/21 7:49:35/

踩坑:

1.刚开始部署在自己的windows电脑上,semgrep不支持windows ,然后就换了linux服务器

2.服务器没有梯子,huggingface无法访问,模型数据集无法下载

解决方法:

        使用huggingface镜像网站下载模型, 网站在这HF-Mirror

注意:llama模型的下载需要申请权限(或者使用  魔搭社区 来下载),申请大概在1h内就能通过,看帖子说地区尽量选国外,这里我选的Australia

额,第一次遇到需要权限才能下载的模型,卡了一会。。。

权限申请通过之后,点击huggingface右上角头像,点击Access Tokens,创建一个token,复制下来

接下来在服务器中接种镜像网站进行下载,详细参考hf-mirror教程

huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hubCopy

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.comCopy

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"Copy

建议将上面这一行写入 ~/.bashrc
3.1 下载模型

huggingface-cli download --resume-download gpt2 --local-dir gpt2Copy

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitextCopy

补充:因为本模型需要权限,所以需要先登录一下

huggingface-cli login

然后把刚才的token输入即可安装上述教程下载、

3.数据集相关问题

由于服务器没法访问huggingface,我将数据集下载到了服务器本地。
这里记录下做的相关改动

补充:这里注意,要把下载的数据解压。。。。。。。。。这里没解压,以为是加载数据集方法的问题,又卡了一上午.....

4.为了能运行成功做的一些改动


http://www.ppmy.cn/embedded/147475.html

相关文章

vue 上传组件 vxe-upload 实现拖拽调整顺序

vue 上传组件 vxe-upload 实现拖拽调整顺序&#xff0c;通过设置 drag-sort 参数就可以启用拖拽排序功能 官网&#xff1a;https://vxeui.com/ 图片拖拽排序 <template><div><vxe-upload v-model"imgList" mode"image" multiple drag-sor…

每天40分玩转Django:实操博客应用

实操博客应用 一、内容概述 模块重要程度主要内容项目初始化⭐⭐⭐⭐创建项目和应用模型设计⭐⭐⭐⭐⭐文章、评论、用户模型视图实现⭐⭐⭐⭐⭐增删改查功能模板开发⭐⭐⭐⭐页面布局和样式用户认证⭐⭐⭐⭐⭐用户登录和权限 二、项目结构 blog_project/ ├── blog/ │ …

NOTEBOOK_11 汽车电子设备分享(工作经验)

汽车电子设备分享 摘要 本文主要列出汽车电子应用的一些实验设备和生产设备&#xff0c;部分会给予一定推荐。目录 摘要一、通用工具&#xff1a;二、测量与测试仪器2.1测量仪器2.2无线通讯测量仪器2.3元器件测试仪2.4安规测试仪2.5电源供应器2.6电磁兼容测试设备2.7可靠性环境…

rust与python互通

互通三件套 rust侧与python互通的三个库&#xff1a; pyo3 pythonize serde pyo3 pyo3跟用Python C API写python扩展有点类似&#xff0c;核心是&#xff1a; #[pymodule] #[pyfunction]两个注解。前者对应Py_InitModule&#xff0c;后者对应PyMethodDef。 下面是其它博…

SYD881X RTC定时器事件在调用timeAppClockSet后会出现比较大的延迟

RTC定时器事件在调用timeAppClockSet后会出现比较大的延迟 这里RTC做了两个定时器一个是12秒,一个是185秒: #define RTCEVT_NUM ((uint8_t) 0x02)//当前定时器事件数#define RTCEVT_12S ((uint32_t) 0x0000002)//定时器1s事件 /*整分钟定时器事件&#xff0c;因为其余的…

PHP基础

PHP代码标记 标准标记&#xff1a;<?php ?> PHP注释 单行&#xff1a;// # 多行&#xff1a;/* */ 两种浏览器输出文本的方式&#xff1a;echo 和 print echo <?php header("Content-Type:text/html;charsetutf-8"); // 输出字符串 ec…

将OBJ或GLB文件转换为3DTiles

格式简介 GLB文件&#xff08;.GLB&#xff09;代表“GL传输格式二进制文件”&#xff0c;是用于共享3D数据的标准化文件格式。确切地说&#xff0c;它可以包含有关三维模型、场景、模型、光源、材质、节点层次和动画的信息。 OBJ文件是一种文本文件格式&#xff0c;这就意味…

防御 XSS 的七条原则

前言 本文将会着重介绍防御XSS攻击的一些原则&#xff0c;需要读者对于XSS有所了解&#xff0c;至少知道XSS漏洞的基本原理&#xff0c; 攻击者可以利用XSS漏洞向用户发送攻击脚本&#xff0c;而用户的浏览器因为没有办法知道这段脚本是不可信的&#xff0c;所以依然会执行它…