推荐系统领域最新研究进展（0410-0417）

本文精选了上周（0410-0417）最新的20篇推荐系统相关的论文，方向主要包括去偏推荐、对话推荐、基于负采样的推荐、联邦推荐、公平性推荐、序列化推荐、加速推荐系统训练、时尚推荐、新闻推荐、基于内容的协同过滤推荐等的推荐算法，应用涵盖会话推荐、序列推荐以及组推荐、新闻推荐等。为节省大家时间，只整理了论文标题以及摘要，如果感兴趣可移步原文精读。

论文标题：

Self-Guided Learning to Denoise for Robust Recommendation, SIGIR2022
A Unified Multi-task Learning Framework for Multi-goal Conversational Recommender Systems
To What Extent do Deep Learning-based Code Recommenders Generate Predictions by Cloning Code from the Training Set?
Optimizing generalized Gini indices for fairness in rankings, SIGIR2022
Negative Sampling for Recommendation
CARCA: Context and Attribute-Aware Next-Item Recommendation via Cross-Attention
Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation, ICML2021
Decentralized Collaborative Learning Framework for Next POI Recommendation
Heterogeneous Acceleration Pipeline for Recommendation System Training
Recommender May Not Favor Loyal Users
HAKG: Hierarchy-Aware Knowledge Gated Network for Recommendation, SIGIR2022.
OutfitTransformer: Learning Outfit Representations for Fashion Recommendation
FUM: Fine-grained and Fast User Modeling for News Recommendation, SIGIR2022.
News Recommendation with Candidate-aware User Modeling, SIGIR2022
ProFairRec: Provider Fairness-aware News Recommendation, SIGIR2022
Denoising Neural Network for News Recommendation with Positive and Negative Implicit Feedback, NAACL2022
IA-GCN: Interactive Graph Convolutional Network for Recommendation
GRAM: Fast Fine-tuning of Pre-trained Language Models for Content-based Collaborative Filtering, NAACL2022
Positive and Negative Critiquing for VAE-based Recommenders
CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU

论文简介：

1. Self-Guided Learning to Denoise for Robust Recommendation, SIGIR2022

Yunjun Gao, Yuntao Du, Yujia Hu, Lu Chen, Xinjun Zhu, Ziquan Fang, Baihua Zheng
https://arxiv.org/abs/2204.06832
隐性反馈无处不在，使得它们成为构建现代推荐系统的默认选择。一般来说，观察到的互动被认为是正样本，而未观察到的互动被认为是负样本。然而，隐性反馈本质上是有噪声的，因为无处不在的噪声阳性和噪声阴性互动的存在。最近，一些研究已经注意到对隐性反馈去噪的重要性，并在一定程度上增强了推荐模型的稳健性。然而，他们通常不能(1)捕捉到用于学习全面的用户偏好的硬而干净的交互，以及(2)提供一个通用的去噪解决方案，可以应用于各种推荐模型。
在本文中，我们深入研究了推荐模型的记忆效应，并提出了一种新的去噪范式，即自我指导去噪学习（SGLD），它能够在训练的早期阶段（即 “抗噪期”）收集记忆的交互，并利用这些数据作为去噪信号，以元学习的方式指导模型的后续训练（即 “抗噪期”）。此外，我们的方法可以在记忆点自动切换其学习阶段，从记忆到自我指导的学习，并通过一个新的自适应去噪调度器选择干净和有信息的记忆数据，以提高鲁棒性。我们将SGLL与四种有代表性的推荐模型（即NeuMF、CDAE、NGCF和LightGCN）和不同的损失函数（即二元交叉熵和BPR损失）相结合。在三个基准数据集上的实验结果表明，SGLL比最先进的去噪方法如T-CE、IR、DeCA，甚至最先进的基于图的鲁棒性方法如SCCN和SGL更有效。
在这里插入图片描述

2. A Unified Multi-task Learning Framework for Multi-goal Conversational Recommender Systems

Yang Deng, Wenxuan Zhang, Weiwen Xu, Wenqiang Lei, Tat-Seng Chua, Wai Lam
https://arxiv.org/abs/2204.06923
近年来，在开发多目标对话推荐系统（MG-CRS）方面取得了一些进展，该系统能够主动吸引用户的兴趣，并自然地引导用户参与到具有多个对话目标和不同主题的对话中。在MG-CRS中通常涉及四个任务，包括目标规划、主题预测、项目推荐和响应生成。大多数现有的研究只涉及其中的一些任务。为了处理MG-CRS的整个问题，采用了模块化的框架，其中每个任务都是独立处理的，没有考虑它们之间的相互依赖关系。在这项工作中，我们提出了一个新的统一多目标对话重组系统，即UniMIND。具体来说，我们将这四个具有不同表述的任务统一到相同的序列到序列（Seq2Seq）范式中。我们研究了基于提示的学习策略，以赋予统一的模型以多任务学习的能力。最后，整个学习和推理过程由三个阶段组成，包括多任务学习、基于提示的调整和推理。在两个MG-CRS基准（DuRecDial和TG-ReDial）上的实验结果表明，UniMIND在所有的任务上都能以统一的模型达到最先进的性能。大量的分析和讨论为MG-CRS提供了一些新的视角。

3. To What Extent do Deep Learning-based Code Recommenders Generate Predictions by Cloning Code from the Training Set?

Matteo Ciniselli, Luca Pascarella, Gabriele Bavota
https://arxiv.org/abs/2204.06894
深度学习（DL）模型已被广泛用于支持代码完成。这些模型一旦经过适当的训练，就可以把不完整的代码组件（例如，不完整的函数）作为输入，并预测缺少的标记来最终完成它。GitHub Copilot是一个代码推荐器的例子，它是通过对数以百万计的开放源码库进行DL模型训练而建立的。这些资源库的源代码作为训练数据，使模型能够学习 “如何编程”。这些代码的使用通常由自由和开放源码软件（FOSS）许可证来管理，这些许可证规定在哪些条件下可以重新分配或修改。到今天为止，还不清楚在开放源代码上训练的DL模型产生的代码是否应该被视为 "新的 "或 "衍生 "作品，这可能会对许可证的侵犯产生影响。在这项工作中，我们进行了一项大规模的研究，调查DL模型在推荐代码补全时倾向于克隆其训练集的代码的程度。这样的探索性研究可以帮助评估前面提到的潜在许可问题的规模。如果这些模型倾向于生成训练集中未见过的新代码，那么许可问题就不太可能发生。否则，对这些许可的修订敦促规范这些模型产生的代码在使用时应如何处理，例如在商业环境中。我们的结果显示，由最先进的基于DL的代码完成工具生成的预测中，有10%到0.1%是训练集中实例的第一类克隆，这取决于预测代码的大小。长预测不太可能被克隆。

4. Optimizing generalized Gini indices for fairness in rankings, SIGIR2022

Virginie Do, Nicolas Usunier
https://arxiv.org/abs/2204.06521
人们对设计旨在对物品生产者或其最不满意的用户公平的推荐系统越来越感兴趣。受经济学中不平等测量领域的启发，本文探讨了使用广义基尼福利函数（GGFs）作为一种手段来指定推荐系统应该优化的规范标准。吉尼福利函数根据个人在人口中的排名进行加权，给较差的个人更多的权重以促进平等。根据这些权重，GGF最小化项目暴露的基尼指数，以促进项目之间的平等，或专注于最不满意的用户的特定数量级的表现。排名的GGFs在优化方面具有挑战性，因为它们是不可区分的。我们通过利用非光滑优化的工具和可微分排序中使用的投影算子来解决这一挑战。我们使用多达15000个用户和项目的真实数据集进行了实验，结果表明我们的方法在各种推荐任务和公平性标准上获得了比基线更好的折衷。

5. Negative Sampling for Recommendation

Bin Liu, Bang Wang
https://arxiv.org/abs/2204.06520
如何有效地对高质量的负面实例进行抽样，对于很好地训练一个推荐模型是很重要的。我们认为，高质量的负样本应该同时具备信息量和无偏性。虽然以前的研究提出了一些解决负面抽样中信息量的方法，但对于无偏的负面抽样，很少有人对假负面和真负面进行区分，更不用说同时考虑两者了。本文首先从参数学习的角度分析了基于损失梯度的模型训练中的负面信息性和无偏性。我们认为，负面抽样和协同过滤都包括一个隐含的负面分类任务，从中我们报告了一个关于预测的负面分数的顺序关系的深刻而有益的发现。基于我们的发现，并通过将负数视为随机变量，我们接下来推导出真负数和假负数的类别条件密度。我们还设计了一个用于阴性分类的贝叶斯分类器，并从中定义了阴性的定量无偏性测量。最后，我们建议使用信息量和无偏倚性的调和平均值来对高质量的负面信息进行采样。实验研究验证了我们的负面抽样算法在更好的抽样质量和更好的推荐性能方面优于其他同行。

6. CARCA: Context and Attribute-Aware Next-Item Recommendation via Cross-Attention

Ahmed Rashed, Shereen Elsayed, Lars Schmidt-Thieme
https://arxiv.org/abs/2204.06519
在稀疏的推荐设置中，用户的上下文和项目属性在决定下一步推荐哪些项目方面起着关键作用。尽管如此，最近在顺序和时间感知推荐方面的工作通常要么忽略了这两个方面，要么只考虑其中之一，限制了他们的预测性能。在本文中，我们通过提出一个上下文和属性感知的推荐模型（CARCA）来解决这些局限性，该模型可以通过专门的多头自我关注块来捕捉用户档案在上下文特征和物品属性方面的动态特性，从而提取档案级特征并预测物品分数。此外，与目前许多最先进的顺序项目推荐方法不同的是，CARCA使用最新项目的潜在特征和目标项目嵌入之间的简单点积来进行评分，CARCA使用所有档案项目和目标项目之间的交叉注意力来预测它们的最终得分。这种交叉关注使CARCA能够利用用户档案中旧的和新的项目之间的相关性，以及它们对决定下一步推荐哪个项目的影响。在四个真实世界的推荐系统数据集上的实验表明，所提出的模型在项目推荐任务中明显优于所有最先进的模型，在归一化折现累积收益（NDCG）和命中率方面取得了高达53%的改进。结果还显示，CARCA仅仅通过利用从预先训练好的ResNet50中提取的图像属性，以黑箱的方式，就超过了几个最先进的基于图像的专门推荐系统。

7. Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation, ICML2021

Chao Chen, Haoyu Geng, Nianzu Yang, Junchi Yan, Daiyue Xue, Jianping Yu, Xiaokang Yang
https://arxiv.org/abs/2204.06517
在现实世界中，用户的兴趣通常是动态的，这给从丰富的行为数据中学习准确的偏好带来了理论和实践上的挑战。在现有的用户行为建模解决方案中，注意力网络因其有效性和相对简单性而被广泛采用。尽管被广泛研究，现有的注意网络仍然存在两个局限性：i）传统的注意网络主要考虑用户行为之间的空间相关性，而不考虑这些行为在连续时间空间中的距离；ii）这些注意网络大多对所有过去的行为提供一个密集的、无差别的分布，然后将它们殷勤地编码到输出的潜在表示中。然而，这在实际场景中并不适合，因为用户的未来行为与她/他的历史行为的一小部分相关。在本文中，我们提出了一个新的注意力网络，名为自我调节注意力，它可以模拟复杂和非线性发展的动态用户偏好。我们用经验证明了我们的方法在top-N顺序推荐任务上的有效性，在三个大规模的真实世界数据集上的结果表明，我们的模型可以达到最先进的性能。

8. Decentralized Collaborative Learning Framework for Next POI Recommendation

Jing Long, Tong Chen, Nguyen Quoc Viet Hung, Hongzhi Yin
https://arxiv.org/abs/2204.06516
下一个兴趣点（POI）推荐已经成为基于位置的社交网络（LBSNs）中不可或缺的功能，因为它能有效地帮助人们决定下一个要访问的兴趣点。然而，准确的推荐需要大量的历史签到数据，从而威胁到用户的隐私，因为位置敏感的数据需要由云服务器处理。尽管已经有一些设备上的框架用于保护隐私的POI推荐，但当涉及到存储和计算时，它们仍然是资源密集型的，并且对用户与POI互动的高稀疏度表现出有限的稳健性。在此基础上，我们提出了一个新颖的分散式协作学习框架，允许用户以协作的方式在本地训练他们的个性化模型，用于POI推荐。DCLR大大减少了本地模型对云端训练的依赖，并可用于扩展任意的集中式推荐模型。为了抵消学习每个本地模型时设备上用户数据的稀疏性，我们设计了两个自我监督信号来预训练服务器上的POI表征与POI的地理和分类相关性。为了促进协作学习，我们创新性地提出将地理上或语义上相似的用户的知识纳入到每个本地模型中，并注意聚合和相互信息最大化。协作学习过程利用了设备之间的通信，同时只需要中央服务器在识别用户群方面的少量参与，并且与常见的隐私保护机制兼容，如差异化隐私。
在这里插入图片描述

9. Heterogeneous Acceleration Pipeline for Recommendation System Training

Muhammad Adnan, Yassaman Ebrahimzadeh Maboud, Divya Mahajan, Prashant J. Nair
https://arxiv.org/abs/2204.05436
推荐系统是独特的，因为它们由于深度学习和大量的嵌入表而显示了计算和内存强度的混合。训练这些模型通常涉及CPU-GPU的混合模式，其中GPU加速深度学习部分，而CPU存储和处理内存密集型的嵌入表。混合模式产生了大量的CPU到GPU的传输时间，并依靠主内存带宽将嵌入物送入GPU进行深度学习加速。另外，我们可以将整个嵌入存储在GPU上，以避免传输时间并利用GPU的高带宽内存（HBM）。这种方法需要GPU到GPU的后端通信，并随着嵌入表的大小而扩展GPU的数量。为了克服这些问题，本文提供了一个异构加速管道，称为热线。
Hotline利用了只有少数嵌入条目被频繁访问的洞察力，并且可以很容易地适应单个GPU的HBM。Hotline实现了一个数据感知和模型感知的调度管道，利用（1）CPU主内存来处理不经常访问的嵌入，以及（2）GPU的本地内存来处理经常访问的嵌入。热线通过一个新的硬件加速器动态地拼接执行流行和不流行的输入，并反馈给GPU，从而提高了训练的吞吐量。真实世界数据集和推荐模型的结果显示，与英特尔优化的CPU-GPU DLRM和HugeCTR优化的GPU-only基线相比，热线将平均训练时间分别减少3倍和1.8倍。与英特尔优化的DLRM基线的5.3 epochs/小时相比，热线将整体训练吞吐量提高到35.7epochs/小时。
在这里插入图片描述

10. Recommender May Not Favor Loyal Users

Yitong Ji, Aixin Sun, Jie Zhang, Chenliang Li
https://arxiv.org/abs/2204.05927
在学术研究中，推荐系统往往是在基准数据集上进行评估的，而没有过多考虑全局的时间线。因此，我们无法回答以下问题。忠诚的用户是否比非忠诚的用户享有更好的推荐？忠诚度可以通过用户在推荐系统中的活跃时间段来定义，也可以通过用户的历史互动次数来定义。在本文中，我们对沿着全球时间线的推荐结果进行了全面分析。我们在四个基准数据集，即MovieLens-25M、Yelp、Amazon-music和Amazon-electronic，对五个广泛使用的模型，即BPR、NeuMF、LightGCN、SASRec和TiSASRec进行了实验。我们的实验结果对上述问题给出了 "否 "的答案。有很多历史互动的用户受到的推荐相对较差。在系统中停留时间较短的用户则享受更好的推荐。这两个发现都是反直觉的。有趣的是，就测试实例的时间点而言，最近与系统互动的用户享有更好的推荐。关于经常性的发现适用于所有用户，无论用户的忠诚度如何。我们的研究为理解推荐人的表现提供了一个不同的视角，我们的发现可以引发对推荐人模型设计的重新审视。

11. HAKG: Hierarchy-Aware Knowledge Gated Network for Recommendation, SIGIR2022.

Yuntao Du, Xinjun Zhu, Lu Chen, Baihua Zheng, Yunjun Gao
https://arxiv.org/abs/2204.04959
知识图谱（KG）在提高推荐性能和可解释性方面发挥着越来越重要的作用。最近的一个技术趋势是设计基于信息传播方案的端到端模型。然而，现有的基于传播的方法未能（1）对底层的层次结构和关系进行建模，以及（2）捕捉项目的高阶协作信号以学习高质量的用户和项目表征。
在本文中，我们提出了一个新的模型，称为层次感知知识门控网络（HAKG），以解决上述问题。在技术上，我们在双曲空间中对用户和项目（由用户-项目图捕获）以及实体和关系（由KG捕获）进行建模，并设计一个双曲聚合方案来收集KG上的关系背景。同时，我们引入了一个新的角度约束来保留嵌入空间中的项目特征。此外，我们提出了一种双项嵌入设计，以分别表示和传播协作信号和知识关联，并利用门控聚合来提炼出区别性的信息，以更好地捕捉用户行为模式。在三个基准数据集上的实验结果表明，与最先进的方法如CKAN、Hyper-Know和KGIN相比，HAKG取得了明显的改进。对学到的双曲嵌入的进一步分析证实，HAKG对数据的层次结构提供了有意义的见解。

12. OutfitTransformer: Learning Outfit Representations for Fashion Recommendation

Rohan Sarkar, Navaneeth Bodla, Mariya Vasileva, Yen-Liang Lin, Anurag Beniwal, Alan Lu, Gerard Medioni
https://arxiv.org/abs/2204.04812
学习一个有效的装备级表征对于预测装备中物品的兼容性，以及为部分装备检索互补的物品至关重要。我们提出了一个框架，OutfitTransformer，它使用所提出的特定任务标记，并利用自我注意机制来学习有效的装备级表示，编码整个装备中所有物品之间的兼容性关系，以解决兼容性预测和互补物品检索任务。对于兼容性预测，我们设计了一个装备标记来捕捉一个全局的装备表示，并使用分类损失来训练该框架。对于补充性项目的检索，我们设计了一个目标项目标记，该标记还考虑到了目标项目的规格（以类别或文本描述的形式）。我们使用一个拟议的套装排名损失来训练我们的框架，以生成一个目标项目嵌入，并将目标项目规格作为输入。然后，生成的目标项目嵌入被用来检索与服装其他部分相匹配的兼容项目。此外，我们采用预训练方法和课程学习策略来提高检索性能。由于我们的框架是在装备层面上进行学习的，它使我们能够比成对的方法更有效地学习捕捉装备中多个项目之间高阶关系的单一嵌入。实验表明，我们的方法在兼容性预测、填空和互补性项目检索任务上优于最先进的方法。我们通过一项用户研究进一步验证了我们检索结果的质量。在这里插入图片描述

13. FUM: Fine-grained and Fast User Modeling for News Recommendation, SIGIR2022.

Tao Qi, Fangzhao Wu, Chuhan Wu, Yongfeng Huang
https://arxiv.org/abs/2204.04727
用户建模对新闻推荐很重要。现有的方法通常首先将用户点击的新闻独立编码为新闻嵌入，然后再将其汇总为用户嵌入。然而，这些方法忽略了同一用户不同点击新闻之间的词级交互，这些交互包含了推断用户兴趣的丰富细节线索。在本文中，我们提出了一个细粒度的快速用户建模框架（FUM），从细粒度的行为互动中为用户兴趣建模，用于新闻推荐。FUM的核心思想是将点击的新闻串联成一个长文档，并将用户建模转化为一个具有新闻内和新闻间词级交互的文档建模任务。由于vanilla转化器不能有效地处理长文档，我们应用了一个名为Fastformer的高效转化器来建模细粒度的行为互动。在两个真实世界的数据集上进行的大量实验证明，FUM可以有效地对用户的兴趣进行建模，用于新闻推荐。在这里插入图片描述

14. News Recommendation with Candidate-aware User Modeling, SIGIR2022

Tao Qi, Fangzhao Wu, Chuhan Wu, Yongfeng Huang
https://arxiv.org/abs/2204.04726
新闻推荐的目的是将新闻与个性化的用户兴趣相匹配。现有的新闻推荐方法通常从历史点击的新闻中建立用户兴趣模型，而不考虑候选新闻。然而，每个用户通常有多种兴趣，这些方法很难将候选新闻与特定的用户兴趣准确匹配。在本文中，我们提出了一种用于个性化新闻推荐的候选者意识的用户建模方法，该方法可以将候选新闻纳入用户建模，以实现候选新闻和用户兴趣之间的更好匹配。我们提出了一个候选者意识的自我关注网络，以候选新闻为线索，建立候选者意识的全球用户兴趣模型。此外，我们还提出了一个候选者意识的CNN网络，将候选新闻纳入本地行为背景建模，学习候选者意识的短期用户兴趣。此外，我们使用一个候选者意识的注意力网络来聚合以前点击的新闻，并根据它们与候选新闻的相关性进行加权，以建立候选者意识的用户表征。在真实世界的数据集上进行的实验表明，我们的方法在提高新闻推荐性能方面是有效的。
在这里插入图片描述

15. ProFairRec: Provider Fairness-aware News Recommendation, SIGIR2022

Tao Qi, Fangzhao Wu, Chuhan Wu, Peijie Sun, Le Wu, Xiting Wang, Yongfeng Huang, Xing Xie
https://arxiv.org/abs/2204.04724
新闻推荐的目的是帮助在线新闻平台用户找到他们喜欢的新闻文章。现有的新闻推荐方法通常从用户的历史新闻行为中学习模型。然而，这些行为通常对新闻提供者有偏见。在有偏见的用户数据上训练的模型可能会捕捉甚至放大对新闻提供者的偏见，并且对一些少数新闻提供者是不公平的。在本文中，我们提出了一个供应商公平意识的新闻推荐框架（名为ProFairRec），它可以从有偏见的用户数据中学习对不同新闻供应商公平的新闻推荐模型。ProFairRec的核心思想是学习提供者公平的新闻表征和提供者公平的用户表征以实现提供者公平。为了从有偏见的数据中学习提供者公平的表征，我们采用有偏见的提供者表征来继承数据中的提供者偏见。提供者公平和有偏见的新闻表征分别从新闻内容和提供者ID中学习，这些表征被进一步汇总以建立基于用户点击历史的公平和有偏见的用户表征。所有这些表征都被用于模型训练，而只有公平表征被用于用户-新闻匹配，以实现公平的新闻推荐。此外，我们提出了一个关于新闻提供者歧视的对抗性学习任务，以防止提供者的公平新闻表示被编码为提供者的偏见。我们还提出了一个关于提供者-公平和有偏见的表示的正交正则化，以更好地减少提供者-公平表示中的提供者偏见。此外，ProFairRec是一个通用框架，可以应用于不同的新闻推荐方法。在一个公共数据集上的广泛实验证明，我们的ProFairRec方法可以有效地改善许多现有方法的提供者公平性，同时保持其推荐精度。
在这里插入图片描述

16. Denoising Neural Network for News Recommendation with Positive and Negative Implicit Feedback, NAACL2022

Yunfan Hu, Zhaopeng Qiu, Xian Wu
https://arxiv.org/abs/2204.04397
新闻推荐与电影或电子商业推荐不同，因为人们通常不会对新闻进行评分。因此，用户对新闻的反馈总是隐性的（点击行为、阅读时间等）。不可避免地，隐性反馈中存在噪音。一方面，用户可能在点击新闻后立即退出，因为他不喜欢这个新闻内容，在他的正面隐性反馈中留下噪音；另一方面，用户可能同时被推荐多个有趣的新闻，但只点击其中一个，在他的负面隐性反馈中产生噪音。对立的隐性反馈可以构建更完整的用户偏好，并相互帮助，以减少噪音的影响。以前的新闻推荐工作只使用正隐性反馈，并受到噪音的影响。在本文中，我们提出了一个具有正负隐性反馈的新闻推荐的去噪神经网络，名为DRPN。DRPN利用两种反馈进行推荐，并有一个模块对正负隐性反馈进行去噪，以进一步提高性能。在真实世界的大规模数据集上的实验证明了DRPN的最先进的性能。

17. IA-GCN: Interactive Graph Convolutional Network for Recommendation

Yinan Zhang, Pei Wang, Xiwei Zhao, Hao Qi, Jie He, Junsheng Jin, Changping Peng, Zhangang Lin, Jingping Shao
https://arxiv.org/abs/2204.03827
最近，图卷积网络（GCN）已经成为基于协作过滤（CF）的推荐系统（RS）的一种新的先进技术。通常的做法是通过对用户-物品的二元图进行嵌入传播来学习信息丰富的用户和物品表征，然后根据这些表征向用户提供个性化的物品建议。尽管有效，但现有的算法在嵌入过程中忽略了用户-物品对之间宝贵的互动特征。在预测用户对不同物品的偏好时，他们仍然以相同的方式聚合用户树，而不强调用户邻域中的目标相关信息。这种统一的聚合方案很容易导致次优的用户和物品表示，在一定程度上限制了模型的表现力。
在这项工作中，我们通过在每个用户-物品对之间建立双边互动指导来解决这个问题，并提出了一个名为IA-GCN（InterActive GCN的缩写）的新模型。具体来说，当从邻居那里学习用户表征时，我们给那些与目标项目相似的邻居分配更高的注意力权重。相应地，当学习项目表征时，我们更关注那些与目标用户相似的邻居。这导致了互动和可解释的特征，通过每个图卷积操作有效地提炼出目标特定信息。我们的模型建立在LightGCN之上，这是一个最先进的用于CF的GCN模型，可以以端到端的方式与各种基于GCN的CF架构相结合。在三个基准数据集上进行的广泛实验证明了IA-GCN的有效性和稳健性。在这里插入图片描述

18. GRAM: Fast Fine-tuning of Pre-trained Language Models for Content-based Collaborative Filtering, NAACL2022

Yoonseok Yang, Kyu Seok Kim, Minsam Kim, Juneyoung Park
https://arxiv.org/abs/2204.04179
基于内容的协同过滤（CCF）根据用户的交互历史和项目的内容信息提供个性化的项目推荐。最近，预训练的语言模型（PLM）被用来为CCF提取高质量的项目编码。然而，在CCF中以端到端（E2E）的方式对PLM进行微调是资源密集型的，因为它具有多模式的特性：优化涉及到用户互动的冗余内容编码。为此，我们提出了GRAM（多模式GRadient Accumulation for Multi-modality）。(1)单步GRAM，在保持理论上与E2E等价的同时，对每个项目进行梯度累积；(2)多步GRAM，在多个训练步骤中进一步累积梯度，其GPU内存占用率低于E2E的40%。我们通过经验证实，GRAM在知识追踪和新闻推荐两个任务领域的五个数据集上实现了显著的训练效率提升，其中单步和多步GRAM分别实现了平均4倍和45倍的训练速度提升。在这里插入图片描述

19. Positive and Negative Critiquing for VAE-based Recommenders

Diego Antognini, Boi Faltings
https://arxiv.org/abs/2204.02162
为推荐的项目提供解释，允许用户通过批评解释的部分内容来完善推荐。作为从多模态生成模型角度重新审视批评的结果，最近的工作提出了M&Ms-VAE，它在推荐、解释和批评方面达到了最先进的性能。M&Ms-VAE和类似的模型允许用户进行负面的批评（即明确表示不同意）。然而，它们都有一个明显的缺点：用户不能进行积极的批评（即，突出所需的特征）。我们用M&Ms-VAE+来解决这个缺陷，它是M&Ms-VAE的一个扩展，能够进行积极和消极的批评。除了对用户的互动和关键词使用偏好进行建模，我们还对他们不喜欢的关键词使用进行建模。此外，我们设计了一个新的批评模块，以自我监督的方式进行训练。我们在两个数据集上的实验表明，M&Ms-VAE+在推荐和解释性能上与M&Ms-VAE相匹配甚至超过了M&Ms-VAE。此外，我们的结果表明，以不同的方式表示积极和消极的批评，使M&Ms-VAE+在积极和消极的多步骤批评中大大超过了M&Ms-VAE和其他模型。

20. CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU

Zangwei Zheng, Pengtai Xu, Xuan Zou, Da Tang, Zhen Li, Chenguang Xi, Peng Wu, Leqi Zou, Yijie Zhu, Ming Chen, Xiangzhuo Ding, Fuzhao Xue, Ziheng Qing, Youlong Cheng, Yang You
https://arxiv.org/pdf/2204.06240
点击率（CTR）预测的任务是预测用户是否会点击推荐的项目。由于每天在网上产生的数据量大得惊人，加快CTR预测模型的训练对于确保最新的模型和降低训练成本至关重要。提高训练速度的一种方法是应用大批量训练。然而，正如在计算机视觉和自然语言处理任务中所显示的那样，大批量的训练很容易遭受准确性的损失。我们的实验表明，以前的缩放规则在CTR预测神经网络的训练中失败了。为了解决这个问题，我们首先从理论上表明，不同频率的id使得在缩放批量大小时，超参数的缩放具有挑战性。为了在大批量的设置中稳定训练过程，我们开发了自适应的Column-wise Clipping（CowClip）。它为嵌入提供了一个简单而有效的缩放规则，使学习率保持不变，并对L2损失进行缩放。我们在两个真实世界的数据集上对四个CTR预测网络进行了广泛的实验，并成功地将原始批处理规模扩展了128倍，而没有准确性的损失。特别是，对于CTR预测模型DeepFM在Criteo数据集上的训练，我们的优化框架将批次大小从1K扩大到128K，AUC提高了0.1%以上，在单个V100 GPU上的训练时间从12小时减少到10分钟。我们的代码在https://github.com/zhengzangw/LargeBatchCTR。