基于LLaMA完成第一个微调

一、LLaMA Factory 简介

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调。

# LLaMA Factory 访问地址
https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md

二、LLaMA Factory 搭建

1、下载工程代码

git clone https://github.com/hiyouga/LLaMA-Factory.git

2、创建Conda 环境

# 本机需要提前安装号conda 或者miniconda的环境
# 官方是以python=3.10为基础搭建
conda create -n llama_factory python=3.10
conda activate llama_factory

3、安装LLaMA

# 安装LLaMA-Factory 所需要的第三方基础库（requirements.txt包含的库）
# 安装评估指标所需要的库，包含nltk, jieba, rouge-chinese
# 安装LLaMA-Factory本身，然后在系统中生成一个命令 llamafactory-cli
cd LLaMA-Factory
pip install -e '.[torch,metrics]'

备注，当使用清华源安装时候，默认会安装成torch的cpu版本。本文提供另外的两种方式进行搭建。

# 方案一：
# 在清华源镜像里找到对应的安装包
# https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/
pytorch-2.2.2-py3.10_cuda11.8_cudnn8_0.tar.bz2
torchaudio-2.2.2-py310_cu118.tar.bz2
torchvision-0.18.0-py310_cu118.tar.bz2# 安装
conda install --offline {your_path}.tar.bz2# 方案二：
# 根据自己nvidia-smi的cuda版本去pytorch官网找对应的下载指令
# https://pytorch.org/get-started/previous-versions/
conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=11.8 -c pytorch -c nvidia# 安装完pytorch后，需要匹配Pillow 版本
pip uninstall Pillow
pip install Pillow==11.0.0# 把环境搭建好以后，最后在执行
cd LLaMA-Factory
pip install -e '.[torch,metrics]'

4、环境验证
pytorch 的环境验证

import torch
torch.cuda.current_device()
torch.cuda.get_device_name(0)
torch.__version__

LLaMA 的环境验证

llamafactory-cli train -h

三、模型推理
1、下载本地模型

# 推荐使用huggingface、modelscope 下载模型
# 以modelscope 为例（不推荐git）
from modelscope import snapshot_download
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct')

2、使用LLaMA自带的ChatBot推理页面, 帮助做模型效果的测试

# 方法一：
# CUDA_VISIBLE_DEVICES=0 是指定程序使用第0张卡，可以不加
CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat 
--model_name_or_path ./model/Meta-Llama-3-8B-Instruct  
--template llama3# 方法二：
# 修改examples/inference/llama3.yaml 文件model_name_or_path
llamafactory-cli webchat examples/inference/llama3.yaml# 访问地址
http://localhost:7860/

3、使用API的方式启动模型

# api的方式启动，方便Fastgpt 等应用的接入
# 端口号在api.py中设置
python src/api.py --model_name_or_path model/Meta-Llama-3-8B-Instruct --template llama3# 服务的方式启动
nohup bash -c "python src/api.py --model_name_or_path model/Meta-Llama-3-8B-Instruct --template llama3" > logs/output_llama3.log 2>&1 &

四、模型微调

1、修改数据集样本

# 以官方提供的identity.json 数据集为例
sed -i 's/{{name}}/PonyBot/g'  data/identity.json 
sed -i 's/{{author}}/LLaMA Factory/g'  data/identity.json

2、基于LoRA的sft指令微调

CUDA_VISIBLE_DEVICES=0 llamafactory-cli train \--stage sft \--do_train \--model_name_or_path ./model/Meta-Llama-3-8B-Instruct \--dataset alpaca_zh_demo,identity \--dataset_dir ./data \--template llama3 \--finetuning_type lora \--output_dir ./saves/LLaMA3-8B/lora/sft \--overwrite_cache \--overwrite_output_dir \--cutoff_len 1024 \--preprocessing_num_workers 16 \--per_device_train_batch_size 2 \--per_device_eval_batch_size 1 \--gradient_accumulation_steps 8 \--lr_scheduler_type cosine \--logging_steps 50 \--warmup_steps 20 \--save_steps 100 \--eval_steps 50 \--evaluation_strategy steps \--load_best_model_at_end \--learning_rate 5e-5 \--num_train_epochs 5.0 \--max_samples 1000 \--val_size 0.1 \--plot_loss \--fp16

3、通过ChatBot推理页面验证效果

llamafactory-cli webchat  --model_name_or_path ./model/Meta-Llama-3-8B-Instruct  
--adapter_name_or_path ./saves/LLaMA3-8B/lora/sft  
--template llama3  
--finetuning_type lora