论文：LLaMA-2：Open Foundation and Fine-Tuned Chat Models, July. 2023.
链接：https://arxiv.org/abs/2307.09288

Introduction

1. 创新点
   7B - 70B
   预训练 + 微调
   开源Llama 2 和Llama 2-Chat，针对对话用例进行了优化
2. Motivation
   AI assistants 擅长复杂的推理任务，通过直观的聊天界面与人类进行交互
   大模型人类对齐（加强可用性和安全性）需要大量的成本，并且通常是不透明或容易重现的，限制了社区的进步
3. Details

• Llama 2 在公开可用的新混合数据上进行了训练，预训练语料库增加40%，增加模型的上下文长度，采用分组查询注意力，7B、13B 和70B
• Llama 2-Chat 同样包括7B、13B 和70B，训练数据不同（对话数据）

预训练

1. 预训练数据
   更鲁棒的数据清洗，更新数据混合，增加了40%的token（2 trillion tokens），double上下文长度，上采样most factual sources增加知识和抑制幻觉。
2. 训练细节
   结构上与lamma1一样，除了上下文长度和分组查询注意力grouped-query attention (GQA).

• 超参数：warmup 2000，cosine learning rate schedule, decay final learning rate down to 10% of the peak learning rate；AdamW optimizer β1 = 0.9, β2 = 0.95, eps = 10−5.
• Tokenizer：vocabulary size is 32k tokens，BPE + SentencePiece，数字成单个数字并使用字节来分解未知的 UTF-8 字符。

3. Llama 2 Pretrained Model Evaluation

闭源比较：

微调

1. Supervised Fine-Tuning (SFT)
   （1）使用公开可用的指令调整数据开始 SFT 阶段
   （2）Quality Is All You Need：SFT数据来源多，多样性和质量不足——特别是对于将LLM与对话风格的指令对齐。几万SFT数据足以获得高质量的结果。
   （3）微调细节：learning rate of 2 × 10−5, a weight decay of 0.1, a batch size of 64, and a sequence length of 4096 tokens；拼接prompt和answer，加入一个特殊token分割它们；2 epoch
2. Reinforcement Learning with Human Feedback (RLHF)
   进一步将模型行为与人类偏好和指令对齐; 采样人类偏好数据，人类注释者选择他们喜欢的两个模型输出中的哪一个用于训练奖励模型（学习人类注释者偏好的模式，然后自动化偏好决策）

• 人类偏好数据收集：除了偏好选择，还会有等级label：significantly better, better,slightly better, or negligibly better/ unsure.

• 奖励建模：奖励模型将模型响应及其对应的提示（包括来自先前回合的上下文）作为输入，并输出标量分数来指示模型生成的质量（例如，有用性和安全性）；训练了两个独立的奖励模型，一个针对有用性（称为帮助 RM）进行了优化，另一个针对安全（安全 RM）【预训练模型初始化RM，确保两个模型都受益于预训练中获得的知识】；下一个token预测的分类头被替换为回归头以输出标量奖励

• 训练目标：将收集到的成对人类偏好数据转换为binary ranking label format （i.e., chosen & rejected），并迫使选择的响应得分高于其对应的响应。
  
  为了利用偏好level，引入margin，m® 是偏好评级的离散函数。越相似的回答margin越小。m®可以调节两个回复之间的差值，如果对比结果为「显著更好」，则会增加梯度值，加快更新速度。

• 数据组合：首先使用开源数据集（已经收集偏好标注）训练奖励模型，开源数据没有任何负向作用，混合在训练数据中，提高奖励模型泛化性；有用性模型：all Meta Helpfulness data + 结合从 Meta Safety 和开源数据集中均匀采样的剩余数据的相等部分；安全模型：all Meta Safety and Anthropic Harmless data + Meta Helpfulness and open-source helpfulness data in a 90/10 proportion，有用性样本可以提高安全模型准确性。

• 训练细节：one epoch，训练太久会导致过拟合；maximum learning rate is 5 × 10−6 for the 70B parameter Llama 2-Chat and 1 × 10−5 for the rest，decreased on a cosine learning rate schedule, down to 10% of the maximum learning rate，warm-up of 3% of the total number of steps, with a minimum of 5. The effective batch size is kept fixed at 512 pairs, or 1024 rows per batch.

• 奖励模型结果：1000个样本的测试集，
  
  

Llama 2中的两个奖励模型分别侧重「有用性」（helpfulness）和「安全性」（safety），用于模型优化的最终奖励函数会将两个分数进行线性组合。

3. Iterative Fine-Tuning

• Proximal Policy Optimization (PPO)：
• Rejection Sampling fine-tuning： 模型在拒绝采样时会得到K个输出，在每次优化迭代时选择具有最高奖励的输出用于梯度更新，而PPO每次只基于单样本进行更新；仅使用最大的 70B Llama 2-Chat 执行拒绝采样，所有较小的模型都对来自较大模型的拒绝采样数据进行微调，从而将大模型能力提炼为较小的模型（蒸馏）。
  
  拒绝采样的增益：
  
  在迭代模型更新期间，最佳温度不是恒定的
  
  PPO：
  
  
  最初的RLHF模型在几轮对话后忘记最初的指令，提出Ghost Attention方法（Gatt，其实是一个训练trick）来增强模型对指令的遵从。
  假设多轮对话数据为 [u1,a1,…,un,an]，定义一条指令（inst），使得整个对话过程中都遵守该指令，然后将该指令综合连接到对话的所有用户消息，构造为 [inst+u1,a1,…,inst+un,an]。为了避免语句不匹配的问题，在训练过程中，保留第一轮的提示，并将中间轮数的损失置为0。