Llama3-Factory模型部署新手指南

一、介绍

为了保持其公司在人工智能开源大模型领域的地位，社交巨头Meta推出了旗下最新开源模型。当地时间4月18日，Meta在官网上宣布公布了旗下最新大模型Llama 3。目前，Llama 3已经开放了80亿（8B）和700亿（70B）两个小参数版本，上下文窗口为8k。Llama3 是 Meta 公司（前身为 Facebook）开发的一个大型语言模型（LLM），它属于人工智能和自然语言处理领域的一项技术成果。Llama3 的设计目的是理解和生成人类语言，以支持各种自然语言处理任务，包括但不限于文本生成、对话系统、问答、代码理解与生成、文本摘要、翻译等。Meta表示，通过使用更高质量的训练数据和指令微调，Llama 3比前代Llama 2有了“显著提升”。

未来，Meta将推出Llama 3的更大参数版本，其将拥有超过4000亿参数。Meta也将在后续为Llama 3推出多模态等新功能，包括更长的上下文窗口，以及Llama 3研究论文。Meta在公告中写道：“通过Llama 3，我们致力于构建能够与当今最优秀的专有模型相媲美的开源模型。我们想处理开发者的反馈，提高Llama 3 的整体实用性，同时，继续在负责地使用和部署LLM（大型语言模型）方面发挥领先作用。”

Llama3 通过深度学习技术，特别是基于 Transformer 架构的预训练模型，实现了对自然语言的高度理解和生成能力。它利用了海量的文本数据进行训练，从而能够捕获语言的复杂模式和规律，并在各种自然语言处理任务中展现出卓越的性能。

此外，Llama3 的开源性质使得它更容易被研究人员和开发者所利用，进一步推动了自然语言处理技术的发展和应用。通过再训练或微调 Llama3 模型，开发者可以针对特定领域或任务进行优化，构建出更加专业化和个性化的自然语言处理系统。

二、环境需求

操作系统：Ubuntu 22.04

Anconda3：Miniconda3-latest-Linux-x86_64.sh

GPU: RTX 3090 24G

微调时是两张4090

1.更新系统

输入下列命令将系统更新及系统缺失命令下载

apt-get update
apt-get upgrade
apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

2.创建conda环境

输入下列命令，创建一个名为“llama_factory ”且Python版本号为3.11的conda环境（环境名称可随意修改）

conda create --name llama_factory python=3.11

微信截图_20240730155518.png

3.激活conda环境

输入下列命令激活刚才所创建的conda环境：

conda activate llama_factory

微信截图_20240730155705.png

4.下载项目文件

输入下列命令进行下载模型：

git clone https://github.com/hiyouga/LLaMA-Factory.git

微信截图_20240730160007.png

如果出现提示错误的情况，则输入下列命令“rm -rf /llama_factor”删除文件后重新下载:

rm  -rf  /llama_factor

5.进入项目文件

首先输入命令 ls 查看一下“LLaMA-Factory”文件是否存在，其次输入“cd LLaMA-Factory”进入模型文件，最后再输入命令“python -m pip install --upgrade pip”升级pip版本号。

ls
cd LLaMA-Factory
python -m pip install --upgrade pip

6.下载项目依赖包

输入下列命令：

pip install -r requirements.txt --index-url https://mirrors.huaweicloud.com/repository/pypi/simple

7.下载Llama3模型

输入命令“mkdir model”新建一个名为“model”的文件夹

mkdir model

ls查看一些文件夹是否存在，输入“cd model”进入文件夹

cd model

输入下列命令下载模型和权重数据集

git clone https://LLM-Research/Meta-Llama-3-8B-Instruct.git

（此模型数据很大约15G，不建议下载到系统盘，下载过程很长切勿有其他操作）

8.运行

首先切换到LLama_Factory目录下

cd /LLaMA-Factory

运行下列命令运行：

CUDA_VISIBLE_DEVICES=0 
export PATH=$PATH:/path/to/llamafactory-cli 
export HF_ENDPOINT="https://hf-mirror.com" 
export GRADIO_SERVER_PORT=8080

python src/webui.py --model_name_or_path /model/Meta-Llama-3-8B-Instruct --template llama3 --infer_backend vllm \--vllm_enforce_eager

微信截图_20240730171339.png

三、界面演示

1. 成功界面

微信截图_20240731161619.png

2. 报错解决

微信截图_20240731153719.png