SIGformer: Sign-aware Graph Transformer for Recommendation（Sigir24）

摘要

在推荐系统中，大多数基于图的方法只关注用户的正面反馈，而忽略了有价值的负面反馈。将正反馈和负反馈结合起来形成一个带符号的图，可以更全面地理解用户的偏好。然而，现有的两类反馈融合算法存在两个主要局限性：1）它们分别处理正反馈和负反馈，无法从整体上利用签名图中的协作信息; 2）它们依赖于MLP或GNN从负反馈中提取信息，可能效果不佳.为了克服这些局限性，我们引入了SIGformer，一种新的基于符号感知的图推荐方法。SIGformer结合了两种创新的位置编码，可捕获带符号图的频谱属性和路径模式，从而能够充分利用整个图。

引言

普通的Transformer只关注通过自我注意的语义相似性，缺乏显式编码的协作信息的签名图。尽管现有的图Transformer模型[6，36，65]引入了微妙的位置编码来捕获图结构，但它们既不是专门为签名图设计的，也不是为推荐任务设计的。为了解决这些挑战，我们引入了两种为基于符号感知图的推荐量身定制的新颖位置编码：
(1)信号感知频谱编码（SSE）。为了整合整个符号图的结构，我们提出了在符号图上使用节点谱表示。具体地说，我们将符号图的拉普拉斯矩阵的低频特征向量作为位置编码。我们的理论分析支持了这种方法的有效性：配备SSE的Transformer可以被解释为一个低通滤波器，使具有正反馈的用户-项目对的嵌入更近，而使具有负反馈的用户-项目对的嵌入更远。
(2)信号感知路径编码（SPE）。为了进一步捕捉用户和项目之间的协作关系，我们关注符号图中的路径模式，将这些路径沿着的距离和边的符号编码成可学习的参数，以捕捉这些路径所连接的节点之间的亲和力。此设计基于我们的直觉，即不同的路径类型反映不同的相似性级别。

方法

基于图的信号感知推荐

Transformer

协同过滤相关

Transformer架构与协同过滤的基本原则紧密结合。Transformer首先基于用户和项目的投影特征来估计用户和项目之间的相似性，然后根据该相似性来聚集来自其他实体的信息，其中来自相似实体的贡献更大。该比对结果为该Transformer在符号感知图推荐中的应用提供了启发。

SIG Transformer

嵌入层

符号感知Transformer

预测层

符号感知频谱编码

图谱理论[12，49]表明谱特征的有效性（例如，Laplacian特征向量）来捕捉图形结构。频谱特征也被用来增强信号图上的GNN或Transformer模型[36，47，55]。受这些成功的启发，我们建议利用频谱特征来增强我们的符号感知Transformer模型。我们开始结合正图和负图的拉普拉斯算子如下：

符号感知路径编码

进一步利用符号图中的路径信息，这些信息显式地反映了用户和项目之间的协作关系。我们的基本直觉是，不同的路径类型表明它们所连接的节点之间的亲和力水平不同。如上图所示，我们首先根据路径中的长度和边的符号枚举所有路径类型，并为每个路径类型分配一个唯一的枚举ID。为了限制潜在的巨大空间的路径类型，我们限制我们的考虑路径不超过一个阈值的长度，因为过长的路径往往提供有限的协作信息。

框架汇总（GPT）