llama-factory 微调 Qwen2.5-3B-Instruct

devtools/2025/3/24 3:26:42/

0、资源链接

官方 readme:  https://github.com/hiyouga/LLaMA-Factory/blob/v0.9.1/README_zh.md

官方文档:  https://llamafactory.readthedocs.io/zh-cn/latest/

官方推荐的知乎教程:https://zhuanlan.zhihu.com/p/695287607

1、安装 LLaMA Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

 笔者conda环境 Python 包如下:

accelerate==1.4.0
aiofiles==23.2.1
aiohappyeyeballs==2.6.1
aiohttp==3.11.13
aiosignal==1.3.2
airportsdata==20250224
annotated-types==0.7.0
anyio==4.8.0
astor==0.8.1
async-timeout==5.0.1
attrs==25.2.0
audioread==3.0.1
av==14.2.0
blake3==1.0.4
certifi==2025.1.31
cffi==1.17.1
charset-normalizer==3.4.1
click==8.1.8
cloudpickle==3.1.1
compressed-tensors==0.9.1
contourpy==1.3.1
cupy-cuda12x==13.4.0
cycler==0.12.1
datasets==3.3.2
decorator==5.2.1
depyf==0.18.0
dill==0.3.8
diskcache==5.6.3
distro==1.9.0
dnspython==2.7.0
docstring_parser==0.16
einops==0.8.1
email_validator==2.2.0
exceptiongroup==1.2.2
fastapi==0.115.11
fastapi-cli==0.0.7
fastrlock==0.8.3
ffmpy==0.5.0
filelock==3.17.0
fire==0.7.0
fonttools==4.56.0
frozenlist==1.5.0
fsspec==2024.12.0
gguf==0.10.0
gradio==5.21.0
gradio_client==1.7.2
groovy==0.1.2
h11==0.14.0
httpcore==1.0.7
httptools==0.6.4
httpx==0.28.1
huggingface-hub==0.29.3
idna==3.10
importlib_metadata==8.6.1
iniconfig==2.0.0
interegular==0.3.3
jieba==0.42.1
Jinja2==3.1.6
jiter==0.9.0
joblib==1.4.2
jsonschema==4.23.0
jsonschema-specifications==2024.10.1
kiwisolver==1.4.8
lark==1.2.2
lazy_loader==0.4
librosa==0.11.0
-e git+https://github.com/hiyouga/LLaMA-Factory.git@30038d9ce701b421bd521c72073fcc08909fe25a#egg=llamafactory
llvmlite==0.43.0
lm-format-enforcer==0.10.11
markdown-it-py==3.0.0
MarkupSafe==2.1.5
matplotlib==3.10.1
mdurl==0.1.2
mistral_common==1.5.3
mpmath==1.3.0
msgpack==1.1.0
msgspec==0.19.0
multidict==6.1.0
multiprocess==0.70.16
nest-asyncio==1.6.0
networkx==3.4.2
nltk==3.9.1
numba==0.60.0
numpy==1.26.4
nvidia-cublas-cu12==12.4.5.8
nvidia-cuda-cupti-cu12==12.4.127
nvidia-cuda-nvrtc-cu12==12.4.127
nvidia-cuda-runtime-cu12==12.4.127
nvidia-cudnn-cu12==9.1.0.70
nvidia-cufft-cu12==11.2.1.3
nvidia-curand-cu12==10.3.5.147
nvidia-cusolver-cu12==11.6.1.9
nvidia-cusparse-cu12==12.3.1.170
nvidia-cusparselt-cu12==0.6.2
nvidia-nccl-cu12==2.21.5
nvidia-nvjitlink-cu12==12.4.127
nvidia-nvtx-cu12==12.4.127
openai==1.66.3
opencv-python-headless==4.11.0.86
orjson==3.10.15
outlines==0.1.11
outlines_core==0.1.26
packaging==24.2
pandas==2.2.3
partial-json-parser==0.2.1.1.post5
peft==0.12.0
pillow==11.1.0
platformdirs==4.3.6
pluggy==1.5.0
pooch==1.8.2
prometheus-fastapi-instrumentator==7.0.2
prometheus_client==0.21.1
propcache==0.3.0
protobuf==6.30.0
psutil==7.0.0
py-cpuinfo==9.0.0
pyarrow==19.0.1
pybind11==2.13.6
pycountry==24.6.1
pycparser==2.22
pydantic==2.10.6
pydantic_core==2.27.2
pydub==0.25.1
Pygments==2.19.1
pyparsing==3.2.1
pytest==8.3.5
python-dateutil==2.9.0.post0
python-dotenv==1.0.1
python-multipart==0.0.20
pytz==2025.1
PyYAML==6.0.2
pyzmq==26.3.0
qwen-vl-utils==0.0.10
ray==2.40.0
referencing==0.36.2
regex==2024.11.6
requests==2.32.3
rich==13.9.4
rich-toolkit==0.13.2
rouge-chinese==1.0.3
rpds-py==0.23.1
ruff==0.11.0
safehttpx==0.1.6
safetensors==0.5.3
scikit-learn==

http://www.ppmy.cn/devtools/169311.html

相关文章

腾讯云golang一面面试题

1. Go 底层是否有自动回收对象的机制?(runtime.finalizer) Go 语言的垃圾回收机制(GC)会自动回收不再使用的对象。runtime.SetFinalizer 是 Go 的一个特性,允许为对象设置一个终结器(finalizer),当对象被垃圾回收时,会调用这个终结器。终结器通常用于释放资源,如关…

olap引擎底层原理

一、OLAP引擎核心原理 1. 多维数据模型 OLAP引擎的核心在于通过**多维数据立方体(Cube)**组织数据,将数据从多个维度(如时间、地域、产品等)进行抽象,支持快速切片、钻取、旋转等操作[6][7]。 维度&…

网络安全威胁与防护措施(中)

6. 拒绝服务攻击(DoS/DDoS, Denial of Service/Distributed Denial of Service) **拒绝服务攻击(DoS)和分布式拒绝服务攻击(DDoS)**是两种常见的网络攻击方式,旨在使目标计算机、服务器或网络资…

es6什么是暂时性死区,为何会存在

在 ES6 中,暂时性死区(Temporal Dead Zone,TDZ) 是与 let 和 const 声明相关的一个核心概念。它的存在是为了解决 JavaScript 早期设计中的一些问题(如变量提升导致的意外行为),并强制开发者遵循…

<项目> 主从Reactor模型的高并发服务器

目录 Reactor 概念 分类 单Reactor单线程 单Reactor多线程 多Reactor多线程 项目介绍 项目规划 模块关系 实现 TimerWheel -- 时间轮定时器 定时器系统调用 时间轮设计 通用类型Any Buffer Socket Channel Poller EventLoop(核心) eventfd 设计思路 …

机器学习中的分布统计量:从理论到应用

机器学习中的分布统计量:从理论到应用 1. 引言:统计量在机器学习中的重要性 在机器学习的生命周期中,从数据理解到模型部署,统计量扮演着至关重要的角色。它们不仅是理解数据分布的窗口,更是保障模型稳定性和可靠性的…

STM32---FreeRTOS内存管理实验

一、简介 1、FreeRTOS内存管理简介 2、FreeRTOS提供的内存管理算法 1、heap_1内存管理算法 2、heap_2内存管理算法 4、heap_4内存管理算法 5、heap_5内存管理算法 二、FreeRTOS内存管理相关API函数介绍 三、 FreeRTOS内存管理实验 1、代码 main.c #include "st…

SpringSecurity——前后端分离登录认证

SpringSecurity——前后端分离登录认证的整个过程 前端&#xff1a; 使用Axios向后端发送请求 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>登录</title><script src"https://cdn…