快速对QWen2.5大模型进行微调

先看看训练结果：
在这里插入图片描述

前言

在当今人工智能领域，大模型（如LLaMA、GPT等）的微调已成为提升模型性能和适应特定任务的关键技术。LLaMA-Factory是一个强大的工具，可以帮助开发者高效地进行大模型的微调。本文将详细介绍如何使用LLaMA-Factory快速进行大模型的微调。

什么是LLaMA-Factory？

LLaMA-Factory是一个开源的工具集，旨在简化大模型的微调过程。它提供了丰富的功能和灵活的配置选项，使得即使是初学者也能轻松地进行模型微调。LLaMA-Factory支持多种大模型架构，并且集成了数据预处理、模型训练、评估和部署等功能。

安装LLaMA-Factory

首先，你需要安装LLaMA-Factory。你可以通过以下命令使用pip进行安装：

pip install llama-factory

确保你的环境中已经安装了必要的依赖项，如PyTorch和Transformers。

准备数据集

微调大模型的第一步是准备数据集。数据集应该包含输入和输出的配对，格式可以是JSON或CSV。以下是一个简单的JSON数据集示例：

[{"input": "你好，最近过的好吗？", "output": "我最近过得还好，谢谢关心。"},{"input": "你有几个孩子？", "output": "我有三个儿子和一个女儿。"}
]

将你的数据集保存为data.json文件。

配置微调参数

接下来，你需要配置微调参数。LLaMA-Factory提供了一个配置文件模板，你可以根据需要进行修改。以下是一个示例配置文件config.yaml：

model:name: "meta-llama/Llama-2-7b-hf"tokenizer: "meta-llama/Llama-2-7b-hf"data:train_file: "data.json"validation_file: "data.json"max_length: 512training:output_dir: "./results"learning_rate: 2e-5per_device_train_batch_size: 4per_device_eval_batch_size: 4num_train_epochs: 3weight_decay: 0.01evaluation_strategy: "epoch"

运行微调脚本

使用LLaMA-Factory提供的脚本进行微调。以下是一个示例脚本finetune.py：

python">from llama_factory import LLaMAFactory# 加载配置文件
config_path = "config.yaml"# 创建LLaMAFactory实例
factory = LLaMAFactory(config_path)# 进行微调
factory.finetune()

将上述脚本保存为finetune.py，然后运行它：

python finetune.py

评估和保存模型

微调完成后，你可以评估模型的性能，并保存微调后的模型。以下是一个示例脚本evaluate_and_save.py：

python">from llama_factory import LLaMAFactory# 加载配置文件
config_path = "config.yaml"# 创建LLaMAFactory实例
factory = LLaMAFactory(config_path)# 评估模型
factory.evaluate()# 保存模型
factory.save_model("./fine_tuned_llama")

将上述脚本保存为evaluate_and_save.py，然后运行它：

python evaluate_and_save.py

使用微调后的模型

加载并使用微调后的模型进行推理。以下是一个示例脚本inference.py：

python">from transformers import AutoModelForCausalLM, AutoTokenizermodel_name = "./fine_tuned_llama"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)prompt = "你好，最近过的好吗？"
messages = [{"role": "system", "content": "你是一个年过七旬的男性老人，性格内向，有三个儿子，一个女儿，他们经常不在身边"},{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)generated_ids = model.generate(**model_inputs,max_new_tokens=512
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

将上述脚本保存为inference.py，然后运行它：

python inference.py

可视化微调 大模型

运行下面命令，启动webui可视化页面：

 llamafactory-cli webui

会自动打开如下界面
在这里插入图片描述
选择需要微调的大模型和相应文件路径：

选择预先准备的数据集：

设置训练参数：

点击开始按钮，开始训练模型：

正在训练：

训练完成：

测试训练好的模型，选择之前训练好的模型，选择chat，提问一些测试问题：
在这里插入图片描述

可以看到大模型的生成的内容已经发生改变。