基于过程的自奖励语言模型：LLM优化的新范式

引言

大型语言模型（LLM）在多种任务中展现出了强大的能力，尤其是在使用人工标注的偏好数据进行训练时。然而，传统的自奖励范式在数学推理任务中存在局限性，甚至可能在迭代训练中导致模型性能下降。为了解决这些问题，论文《Process-based Self-Rewarding Language Models》提出了一种新的框架，该框架结合了长链推理、逐步LLM评判（LLM-as-a-Judge）以及逐步偏好优化，以增强LLM的数学推理能力。

背景

基于人类反馈的强化学习（RLHF）

RLHF通常用于利用人工标注的偏好数据对LLM进行微调。然而，该方法受限于人工标注的质量和外部奖励模型的表现。为克服这些限制，自奖励LLM被提出，使模型能够生成自身的训练数据，并通过迭代评估优化自身性能。

数学推理中的自奖励挑战

尽管自奖励技术在指令遵循任务中表现良好，但在数学推理任务中存在以下问题：

• 现有方法难以为复杂推理任务提供精细且准确的奖励信号。
• 对于多步推理过程，难以设计合理的评分标准。

基于过程的自奖励语言模型

论文提出了一种新的自奖励方法，整合了以下关键技术：

1. 逐步LLM评判（LLM-as-a-Judge）：模型不仅评估最终答案，还对每个中间推理步骤进行判断。
2. 逐步偏好优化：在每个推理步骤生成偏好对，实现更精确的优化。
3. 迭代自奖励：模型通过多轮自我评估和训练不断优化。

实验设置

论文在不同规模的模型（7B和72B参数）上进行了评测，测试数据集涵盖多个数学推理基准，包括GSM8k、MATH和OlympiadBench。实验采用准确率及逐步偏好学习的有效性作为关键评估指标。

主要发现

• 性能提升：基于过程的自奖励方法在数学推理任务上的表现显著提升，优于传统自奖励方法。
• 精细化学习：逐步LLM评判使得模型能更准确地评估中间推理步骤。
• 可扩展性：该方法在不同规模的模型上均表现良好，尤其是更大规模的模型表现更稳定。

结论

基于过程的自奖励范式为增强LLM能力提供了一种更结构化的方法，尤其适用于复杂推理任务。通过优化中间推理步骤并迭代偏好学习，该方法有潜力推动LLM的推理能力超越人类水平。

这一框架为需要结构化、多步推理的领域提供了一个有前景的优化方向，为更自主、能自我改进的AI系统奠定了基础。
论文链接：https://arxiv.org/pdf/2503.03746