【大语言模型】ACL2024论文-12 大型语言模型的能力如何受到监督式微调数据组成影响
论文：https://arxiv.org/pdf/2310.05492
目录
文章目录
大型语言模型的能力如何受到监督式微调数据组成影响》
摘要
本文研究了大型语言模型（LLMs）在数学推理、代码生成和一般人类对齐能力方面的多样化能力，以及这些能力如何通过监督式微调（SFT）得到增强。研究团队提出了四个研究问题来探索模型性能与数据量、数据组成比例、模型规模和SFT策略之间的关联。实验结果显示，不同的能力在数据量增加时表现出不同的扩展模式，且在相同数据量下，更大的模型通常表现出更优越的性能。数学推理和代码生成随着数据量的增加而持续改进，而一般能力在大约一千个样本后达到平稳。此外，数据组成在有限数据条件下似乎可以增强各种能力，但在数据充足时可能导致性能冲突。研究还发现，组成数据的数量比组成比例对性能的影响更大。在SFT策略分析中，研究者发现顺序学习多种技能可能导致灾难性遗忘。为此，提出了一种双阶段混合微调（DMT）策略，该策略提供了一个有希望的解决方案，用于学习具有不同扩展模式的多种能力。
研究背景
随着大型语言模型（LLMs）的发展，它们在处理自然语言任务方面展现出了卓越的能力。这些模型通过在大量预训练数据上训练，获得了包括数学推理、代码生成和遵循人类指令在内的多种能力。为了进一步提升这些能力，研究者们采用了监督式微调（SFT）的方法。然而，尽管已有研究探索了针对单一任务的SFT，但对于如何在多任务环境中通过SFT提升LLMs的多方面能力，仍缺乏深入理解。
问题与挑战
LLMs在多任务学习中面临的主要挑战包括：
- 数据量与性能的扩展模式：不同的任务（如数学推理和代码生成）在数据量增加时，其性能提升的模式可能不同。
- 多任务学习中的性能冲突：在同时微调多个任务时，可能会出现性能冲突，即某些任务的性能提升以牺牲其他任务的性能为代价。
- 灾难性遗忘：在顺序学习多个任务时，模型可能会忘记先前学习的任务，导致性能下降。
- 数据组成的影响：数据的组成比例和数量对模型性能有显著影响，但目前尚不清楚如何最佳地组合数据以提升多任务性能。
如何解决
为了解决上述挑战，研究者们采取了以下方法：
- 提出研究问题：通过定义四个研究问题来指导研究，这些问题涉及数据量、数据组成比例、模型规模和SFT策略对性能的影响。
- 实验设计：在不同的数据集和模型规模上进行广泛的实验，以评估不同因素对性能的影响。
- 双阶段混合微调（DMT）策略：提出了一种新的SFT策略，旨在减少多任务学习中的性能冲突，并减轻顺序学习中的灾难性遗忘问题。
创新点
本文的主要创新点包括：
- 多任务学习中的性能扩展模式：揭示了不同任务在数据量增加时的性能扩展模式，为理解LLMs的多任务学习能力提供了新的视角。
- 双阶段混合微调（DMT）策略：提出了一种新的SFT策略，有效地平衡了多任务学习中的性能冲突和灾难性遗忘问题。
- 数据组成的影响分析：通过实验分析了数据组成比例和数量对模型性能的影响，为如何组合数据提供了指导。
算法模型
本文中提到的算法模型主要是大型语言模型（LLMs），特别是LLaMA系列模型。这些模型在不同的数据集上进行微调，以激活数学推理、代码生成和一般人类对齐能力。研究者们探索了四种不同的SFT策略：
- 多任务学习：直接混合不同的SFT数据源进行微调。
- 顺序训练：按顺序在每个数据集上应用SFT。
- 混合顺序训练：先在专业数据集上进行多任务学习，然后在一般能力数据集上进行SFT。
- 双阶段混合微调（DMT）：首先在专业数据集上进行SFT，然后在一般数据和少量专业数据的混合数据集上进行第二阶段的SFT。
实验效果
实验结果表明：
- 性能扩展模式：数学推理和代码生成能力随着数据量的增加而持续改进，而一般能力在大约一千个样本后达到平稳。
- 数据组成的影响：在有限数据条件下，数据组成可以增强各种能力，但在数据充足时可能导致性能冲突。
- DMT策略的有效性：DMT策略在减少性能冲突和减轻灾难性遗忘方面表现出色，特别是在数学推理和代码生成任务上。
重要数据与结论
一些关键数据和结论包括：
- 模型规模的影响：更大的模型在相同数据量下通常表现出更好的性能。
- 数据量与性能的关系：不同任务的性能随着数据量的增加而表现出不同的扩展模式。
- DMT策略的优越性：DMT策略在多任务学习中有效地平衡了性能，减轻了灾难性遗忘问题。
推荐阅读指数：★★★★☆
后记
如果您对我的博客内容感兴趣，欢迎三连击 (***点赞、收藏和关注 ***）和留下您的评论，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。
