Can GNN be Good Adapter for LLMs?
http://arxiv.org/abs/2402.12984
WWW '24: Proceedings of the ACM Web Conference 2024
研究背景和问题：
（1）实际应用场景和问题提出
大型语言模型（LLM）在自然语言处理（NLP）中取得了显著成效，但它们在处理图数据时存在局限。图数据广泛应用于社交网络、推荐系统等领域，然而，传统LLM在图数据任务（如节点分类、图分类）中表现较差。图神经网络（GNN）在处理图数据上表现优越，但缺乏与LLM的有效结合。本文提出将GNN作为适配器嵌入LLM中，提升LLM对图数据的处理能力。
（2）问题的研究意义
该研究能够弥补LLM在图数据处理上的不足，增强模型对图数据的理解能力，推动LLM在跨领域任务中的应用。
（3）问题的研究现状
目前已有一些研究尝试将GNN与LM结合（如GraphBERT），大多数方法仍将两者分开处理，未能实现紧密融合。现有一些方法如级联GNN-LM方法能够结合GNN和LM，但是计算开销太大；也有一些方法采用自监督GNN-LM的方法，但是GNN与LM结合不紧密；此外还有一些研究直接用LLM处理图数据，但是没有结合GNN。因此，如何将GNN有效地嵌入LLM，以提升其在图任务中的表现，仍是一个亟待解决的问题。
（4）本文的研究动机和核心贡献
本文主要研究如何本文的动机是将图神经网络（GNN）作为适配器嵌入大型语言模型（LLM），以提升LLM在图数据任务中的表现。通过这种方式，模型能够同时处理图数据的结构信息和文本信息，弥补LLM在图数据处理上的不足。
核心贡献包括：
- 提出将GNN作为适配器嵌入LLM的架构——GraphAdapter。
- 设计了联合训练机制，优化LLM与GNN适配器的协同工作。
- 通过实验验证了该方法在节点分类和图分类任务中的有效性，表现出显著的性能提升。
2.技术框架或方法论：
（1）相关知识和基本原理
图神经网络（GNN）：GNN是处理图数据的深度学习模型，能够通过图卷积等方法进行节点信息的聚合，从而捕捉图结构的特征。 大型语言模型（LLM）：LLM是基于Transformer架构的大规模预训练语言模型，能够通过大规模数据学习丰富的语言表达能力。然而，LLM的优势主要体现在自然语言处理任务中，对图结构数据的处理能力有限。 适配器（Adapter）：适配器是一种轻量级的模块，可以通过微调与主模型结合，提升模型的表现。本文提出的GNN适配器能够与LLM进行有效结合，提升其对图数据的处理能力。
（2）本文的方法概述
核心思想
在处理文本属性图（TAGs）时，很多结构相关的语义信息仅靠上下文是难以推断的。为此，GraphAdapter框架结合了结构信息和文本信息，增强了语言模型的语义理解能力。其中，GraphAdapter将GNN作为适配器，嵌入到预训练的语言模型（PLMs）中。通过这种方式，GNN负责提供图结构上的信息，而LLM则处理文本的语义信息，从而提高模型在处理文本属性图时的性能。
图结构表示提取 使用GNN作为适配器，提取TAG的图结构信息，得到每个节点的图结构表示。
文本表示提取 使用预训练语言模型（PLM）提取TAG中每个节点的文本信息，得到的每个节点的文本表示。 特征融合阶段 将图结构表示和文本表示融合成最终节点表示，用于各类下游任务。
预训练阶段 采用一种自回归训练，PLM编码一个节点的文本的前k个token，与图结构表示融合之后用于预测下一个文本，自回归训练使得模型能够将文本信息和图结构信息结合起来，能够使得模型捕捉到节点之间的语义关系以及其在图结构中的位置。
微调阶段 采用有监督学习方案，通过任务特定的提示将模型应用到下游任务中去。给定特定任务的输入数据，使得已经训练好的模型在特定任务上进一步优化其性能。微调过程中，模型可以根据任务需求，调整其对节点文本的处理方式，使得其在任务执行中表现得更加出色。
（3）方法的讨论与分析
优势分析
- 计算效率高： GraphAdapter通过将GNN作为适配器引入，仅引入少量可训练参数，显著降低了计算开销，避免了传统GNN和LLM结合时的高计算成本。
- 零样本推理能力： 该方法利用LLM的零样本学习能力，使其能够在没有专门训练的情况下，快速适应新任务，提高了模型的灵活性和适应性。
- 高扩展性与任务适应性： GraphAdapter通过微调机制，能够快速适应不同的下游任务（如节点分类、图分类等），展示了良好的任务通用性。
局限性分析
- 复杂图结构的处理限制： 对于极复杂的图数据，简单的GNN适配器可能无法捕捉到高阶的节点关系，影响模型性能。
- 表达能力的折中： 简化的GNN适配器可能无法与传统深层GNN在捕捉复杂图关系方面相匹敌，导致表达能力受限。
- 大规模数据集适应性问题： 在处理超大规模数据集时，可能需要进一步优化计算资源和训练稳定性，避免出现过拟合或欠拟合。
3.实验设计与结果分析：
验证GraphAdapter建模TAG的能力
GraphAdapter相较基线方法平均提高了1.98%的准确率，表明其能够有效地建模TAGs，特别是在结合LLM的强大文本处理能力时，能在图数据任务中提供显著的提升。
验证GraphAdapter在不同PLM上的泛化性
实验表明，GraphAdapter不仅适用于Llama 2，还能够成功适应其他PLMs，且在某些数据集上，使用不同PLM时，仍能保持良好的性能。这验证了GraphAdapter的通用性和适应性，能够在多种PLM上进行有效的迁移学习。
验证GraphAdapter上各种组件的有效性
消融实验：结果显示，去掉GNN适配器或自回归训练后，模型性能显著下降，特别是在节点分类任务中的准确率下降较为明显。这表明，GNN适配器和自回归训练是GraphAdapter有效性的关键组件，证明了这些设计在模型中的重要性。
验证GraphAdapter的效率是否有所提高
实验显示，GraphAdapter大大降低了计算开销，特别是在处理大规模数据集时，训练时间和计算资源消耗明显低于传统方法。相比GNN-LLM联合模型，GraphAdapter减少了约30%-40%的计算时间，这表明它在保持性能的同时，显著提高了计算效率。
4.结论与展望：
本文提出了一种新的方法——GraphAdapter，将图神经网络（GNN）与大规模语言模型（LLM）结合，有效地提升了LLMs在处理文本属性图时的计算效率。该方法展示了其在节点分类任务中的显著性能提升，证明了该框架在图数据任务中的应用潜力。 尽管GraphAdapter在实验中表现良好，但在处理极为复杂或庞大的图结构时，可能仍会面临一定的局限性。未来的研究可以进一步提升模型在捕捉复杂依赖关系方面的能力，并扩展到更多类型的任务，以验证其普适性和灵活性。
