简介

LLaMA大部分是英文语料训练的，讲中文能力很弱。如果我们想微调训练自己的LLM模型，基于一个大规模中文语料预训练的模型比较好。目前开源项目很多，理想的项目要有以下特点：
模型开源、训练代码开源、代码结构简单、环境容易安装、文档清晰。
经过寻找与试验，我找到了一个比较好的项目。
https://github.com/ymcui/Chinese-LLaMA-Alpaca
本博文要点如下：
1 实战部分：模型下载与参数合并、模型命令行加载测试、模型部署为web网页（解决了一些报错问题）
2 代码走读：模型参数合并、词表扩充
3 原理分析：预训练与指令精调

实战

系统环境

系统：Ubuntu 20.10
CUDA Version: 11.8
GPU: RTX3090 24G
内存: 64 G
anaconda（python版本管理）

环境搭建

1下载代码

git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca.git

2安装python环境

conda create -n llm python=<