探索 Transformer²：大语言模型自适应的新突破

一、来源：

论文链接：https://arxiv.org/pdf/2501.06252

代码链接：SakanaAI/self-adaptive-llms

论文发布时间：2025年1月14日

二、论文概述：

图1 Transformer² 概述

图2 训练及推理方法概述

图3 基于提示的自适应

图4 奇异值微调（SVF）学习曲线

图5 视觉语言模型（VLM）领域的结果

三、总结

一、来源：

论文链接：https://arxiv.org/pdf/2501.06252

代码链接：SakanaAI/self-adaptive-llms

论文发布时间：2025年1月14日

二、论文概述：

Transformer² 的发布在性能提升、成本降低等方面展现出优势，有可能像 Transformer 当初一样带来新一轮技术革命，推动大模型技术进一步发展。

作者表示，这项研究为人们提供了一个未来 AI 模型不再静态的初步展望。这些系统将在测试时动态地调整其计算能力，以适应它们所遇到任务的复杂性，体现出能够持续变化和终生学习的”活“的智能。

Transformer² 主要具备以下三大亮点：

奇异值微调（SVF）
使用 SVF 和 RL 进行训练
自适应策略

接下来我们从论文中寻找他的技术细节，对Transformer²进行初步的探究。

正如图 1 所示，在训练时，Transformer²会精心调整权重矩阵的奇异值以获得‘专家’向量，这些向量在后续的推理过程中发挥着关键作用。在推理的第一阶段，模型依据任务特性调用合适的专家向量，为生成准确答案奠定基础，第二阶段则完成最终的答案生成。

图1 Transformer² 概述

从图 2 中我们能深入了解其构建过程。在训练环节（左图），SVF 与 RL 协同工作，学习得到具有针对性的专家向量。而在推理阶段（右图），Transformer² 提供了三种灵活的方法来应对不同的任务需求，如基于提示的方法通过巧妙构建提示来筛选专家向量，基于任务分类器的方法利用专门训练的分类器提高任务识别能力，基于混合的方法则通过创新的线性插值和 CEM 搜索实现更精准的自适应组合。

图2 训练及推理方法概述

Transformer²共有三种自适应策略，分别是

基于提示的适应：通过提示词，对任务进行分类并选择预训练的 z 向量。
基于分类器的适应：使用 SVF 训练的任务分类器，在推理中识别任务并选择合适的 z 向量。
少样本适应：通过加权插值组合多个预训练的 z 向量。根据少样本评估集上的性能调整权重。

其中从图 3 中可以清晰地看到，Transformer² 利用一种特殊的自适应提示，其核心目的是将接收到的任务提示分类到预定义的类别之中。这就好比为不同的任务提示找到了它们各自对应的 “收纳箱”，让模型能够更高效地处理这些信息。

举例来说，当用户输入一个关于数学计算的任务提示时，自适应提示会迅速将其归类到数学相关的预定义类别中，然后模型就能精准地调用擅长数学任务的 “专家” 向量，给出准确的计算结果或解决方案。

图3 基于提示的自适应

在探究 Transformer² 中奇异值微调（SVF）的效果时，图 4 为我们呈现了关键信息。从图中可以看到，那些虚线代表着 LLAMA3 - 8B INSTRUCT 在每个任务测试集上的性能表现。而 SVF 的强大之处在于，它通过有效的微调，成功地超越了基础性能。

为了更全面地展示 SVF 的学习能力，作者不仅展示了最终用于评估的最佳验证分数对应的检查点（用醒目的红点标记），还给出了完整的训练曲线，没有采用提前停止的策略。这意味着我们能清晰地看到 SVF 在整个训练过程中的学习进展。

图4 奇异值微调（SVF）学习曲线

同时，作者使用 SVF 对 LLAMA3 - LLAVA - NEXT - 8B 进行微调，使基础模型的性能提升超过 39%（见图 5）。为确保公平比较，在附录 4.3 中针对不同架构和优化目标，对模型和 LoRA 基线进行了广泛的消融实验。由于其关键的参数化方式，训练 SVF 所需资源大幅减少，其训练参数不到作者LoRA 实现的 10%。

（读论文看到这里我想到了刚发布的deepseekv3，其不仅在性能上霸榜，更是在训练效率上遥遥领先，值得大家关注！）

图5 视觉语言模型（VLM）领域的结果

当然，既然比其他模型多出了自适应功能，那么就需要相应的计算，作者解释："表 1 报告了 Transformer² 的提示自适应策略所需的推理时间，其中分别列出了第一遍和第二遍解决整个问题集所花费的时间。请注意，第二遍推理时间是解决问题所花费的时间，第一遍推理时间是自适应所花费的时间，第一遍与第二遍推理时间的比率在括号内。虽然额外的一遍推理可能看似使总体运行时间翻倍，但重要的是要注意，推理时间主要取决于生成的令牌数量。在我们的设定中，它是O(n)，其中 $n$ 是输入的长度。ARC-challenge 的成本比率较大，因为它们是单项选择题，因此第二遍的成本也是O(n) 。在一般情况下，我们认为假设这个比率更接近 MATH 和 Humaneval 的比率是合理的。"

三、总结：

在本文中，作者介绍了 Transformer²，为实现自适应大语言模型（LLMs）提供了一个全新蓝图。在此框架内，首先提出了奇异值微调（SVF）方法，与先前的微调方法相比，它性能更优，同时成本更低、组合性更强，还能对过拟合进行正则化处理 —— 这些都是实现可扩展自适应的关键特性。以一组 SVF 专家向量作为构建模块，我们开发了三种有效的自适应策略，每种策略都有独特优势，并且随着对测试时条件了解的增多，能带来持续的性能提升。

尽管 Transformer² 取得了令人瞩目的成果，但未来仍有诸多令人期待的研究方向。其局限性之一在于，SVF 专家向量的能力与基础模型的潜在组件紧密相关。为解决这一问题，模型融合提供了一个颇具前景的方向，它能将专门化的模型合并为一个能力更强的单一模型。此外，虽然我们基于交叉熵方法（CEM）的自适应策略能有效平衡性能与效率，但扩展到大量特定领域可能会导致一次性计算成本增加。不过，性能提升和自适应能力增强带来的好处抵消了这种权衡。模型融合和高效自适应技术的进步催生了在公开排行榜上名列前茅的模型，使其成为 Transformer² 基础模型的有力候选，为自适应大语言模型开辟了新的可能性。