Knowledge Prompt-tuning for Sequential Recommendation
论文介绍
本文主要介绍了一种新的序列推荐方法——Knowledge Prompt-tuning for Sequential Recommendation (KP4SR)，该方法通过引入外部知识库，使用知识提示来同时利用领域内和通用知识，从而提高推荐系统的准确性和可解释性。具体而言，KP4SR将结构化的知识图转化为知识提示，并引入了知识树和知识树掩码来处理知识噪声问题。实验结果表明，KP4SR在三个真实世界数据集上均优于其它方法。
本文最主要的创新点
- 提出了一种知识提示调整（Knowledge
Prompt-tuning，简称KP4SR）方法，将结构化知识图谱转换为知识提示，以改善序列推荐（Sequential Recommendation，SR）中的语义差距问题。 - 设计了一组关系模板，将三元组转换为三元组提示，并将它们组合成知识提示，以丰富项目的语义特征，提高推荐结果的准确性和可解释性。
- 提出了一种提示去噪（Prompt Denoising）方法，构建了一个知识树，并提出了一种知识树掩码，以恢复数据结构并减轻噪声问题。
- 在三个实际数据集上评估了KP4SR，实验结果表明，该方法在多个评估指标上优于现有的最先进方法。
Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)
论文介绍
本文主要介绍了一种称为"Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)“的泛学术类文献阅读助手。该助手通过将各种推荐相关任务整合到一个共享的条件语言生成框架中，提出了一个统一的"预训练、个性化提示和预测范式”。文章通过实际数据的评估和与其他方法的对比，回答了关于P5方法的几个研究问题。
本文最主要的创新点
- 提出了一种统一的"Pretrain, Personalized Prompt & Predict
Paradigm"（P5），将不同的推荐任务整合到一个共享的自然语言生成框架中。 - 设计了一个覆盖五个推荐任务家族的个性化提示集合，将用户-项目交互、用户描述、项目元数据和用户评论转换为相同的输入-目标文本对格式。
- 通过在全语言环境中预训练P5，使其能够发现各种推荐任务的深层语义，从而在五个任务家族上实现与多任务提示为基础的训练相当或更好的性能。
- 证明了P5在新项目、新领域和新个性化提示上具有零样本泛化能力。
Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders
论文介绍
论文试图解决的问题是如何学习具有可迁移性的序列推荐器的向量量化项目表示。通过提出一种名为VQ-Rec的新方法，作者通过将项目文本映射到离散编码作为项目索引，从而在多个领域中实现高效的迁移学习。该方法通过使用优化的产品量化（OPQ）技术对项目的文本编码进行量化，从而在项目集合中均匀分布离散编码，以实现高度可区分的项目表示。实验证明了该方法在多个基准测试中的有效性和可迁移性。
本文最主要的创新点
本文最主要的创新点是提出了一种新的项目表示方案，用于可迁移的序列推荐器。该方案首先将项目文本映射到一个离散索引向量（称为项目代码），然后使用这些索引查找代码嵌入表以生成项目表示。这种方案可以表示为“文本 ⇒ 代码 ⇒ 表示”。为了学习和迁移这些项目表示，作者还提出了特定的对比推荐器预训练和跨域推荐器微调策略。
One Person, One Model, One World: Learning Continual User Representation without Forgetting
论文介绍
本文的主要内容是介绍了一个称为Conure的任务级终身用户表示模型。该模型通过连续学习不同的任务来学习用户的表示，可以用于个性化推荐系统和用户属性预测等多个用户相关任务。作者通过实验证明了Conure模型在多个任务上取得了与经典学习范式相当或更好的性能。
本文最主要创新点
本文最主要的创新点包括以下几点：
- 提出了一个新的研究领域和学习范式，用于处理一系列不同任务，这些任务可以依次或分开地出现。
- 提出了Conure，一个具有终身学习能力的用户表示学习框架，它可以在不忘记旧任务的情况下通过重要知识保留实现对新任务的正向迁移，以及在训练过程中动态调整参数。
- 通过实验证明，Conure可以在保持较低存储开销的同时，实现与传统学习范式（包括单任务、多任务和迁移学习）相当或更好的性能。
- 证明了Conure框架可以应用于其他类型的网络结构，例如自注意力Transformer。
Towards Open-World Recommendation with Knowledge Augmentation from Large Language Models
论文介绍
本文的主要内容是关于如何利用大型语言模型（LLM）从开放世界中提取知识，并将其应用于推荐系统中。作者介绍了一个名为KAR（Knowledge Augmentation from Large Language Models）的框架，该框架包括三个阶段：知识推理和生成、知识适应以及知识利用。通过使用LLM，可以从用户和物品的角度生成推理知识和事实知识，然后将这些知识与原始领域特征相结合，用于推荐模型的预测。作者还提出了因子分解提示的方法，将复杂的用户偏好推理问题分解成几个关键因素，以生成开放世界知识。最后，作者在华为的新闻和音乐推荐平台上部署了KAR，并取得了显著的改进。
创新点
- 提出了一个开放世界推荐系统框架（KAR），利用大型语言模型将领域外知识与推荐系统相结合。KAR首先通过因子分解提示从大型语言模型中提取与推荐相关的知识，然后通过混合专家适配器将这些知识转换为与推荐任务兼容的增强向量。最后，将增强向量与原始领域特征相结合，以提高推荐模型的性能。
- KAR采用三个阶段：知识推理与生成、知识适应和知识利用。在知识推理与生成阶段，避免复合差距，通过因子分解提示将复杂的偏好推理问题分解为几个关键因素，以生成用户偏好的推理知识和项目特性的事实知识。在知识适应阶段，将生成的知识转换为推荐空间中的增强向量。在这个阶段，提出了混合专家适配器模块，以降低维度并集成多个专家以进行稳健的知识学习，从而提高生成知识的可靠性和可用性。
- KAR在Huawei新闻和音乐推荐平台部署，并取得了显著的改进。这是首次成功地将基于大型语言模型的推荐系统部署到实际应用中。在公共数据集上进行的大量实验表明，KAR明显优于现有的最先进模型，并且与各种推荐算法兼容。我们相信，KAR不仅为将大型语言模型的知识注入到推荐模型提供了一种方法，而且为大规模应用中的开放世界推荐系统提供了一个实用的框架。
Behavior Alignment: A New Perspective of Evaluating LLM-based Conversational Recommendation Systems
论文主要介绍
本文的主要内容是介绍了一种新的评估指标——Behavior Alignment，用于评估基于大语言模型的对话推荐系统的回复质量。文章通过比较Behavior Alignment与传统的评估指标（如BLEU和DIST）在用户偏好上的一致性，验证了Behavior Alignment的有效性。同时，文章还提出了一种基于分类的方法来隐式估计Behavior Alignment，以解决获取真实行为标签的困难。
论文创新
本文最主要的创新点是提出了一种新的评估指标——行为对齐度（Behavior Alignment），用于评估基于大型语言模型（LLM）的对话式推荐系统（CRS）的表现。该指标能够更好地反映用户偏好，并区分不同能力的LLM-based CRS系统。此外，为了降低成本和时间消耗，文章还提出了一种基于分类的方法来隐式地估计行为对齐度，无需获取推荐策略的人工标注。实验结果证实了所提出的隐式行为对齐度度量在多个CRS数据集上的稳健性。
大型语言模型的通用语义增强基于知识的推荐
论文主要介绍
本文介绍了一种将常识知识融入知识推荐系统的方法，并通过大型语言模型进行增强。文章首先介绍了基于语言模型的推荐任务，并提出了一种结合常识的推荐模型框架CSRec。该框架包括了常识图的构建和基于常识的推荐过程。实验结果表明，将常识图集成到知识推荐模型中能够显著提高推荐的性能。
论文创新
- 提出了一种知识图谱推荐框架CSRec，将常识知识与基于元数据的知识图谱相结合，为推荐系统提供了更全面的用户偏好理解。
- 通过大型语言模型获取物品类别之间的互补和替代关系，构建基于常识的知识图谱，从而弥补了元数据知识图谱的局限性。
- 提出了一种基于互信息最大化理论的知识融合方法，以连接常识知识图谱与元数据知识图谱，从而提高现有基于知识图谱的推荐模型的有效性。
- 实验结果表明，CSRec在公共数据集上的表现优于传统的基于知识图谱的推荐模型，证明了将常识知识融入推荐系统的潜力和可靠性。
Representation Learning with Large Language Models for Recommendation
论文主要介绍
本文的主要内容是介绍了一种利用大型语言模型进行推荐的表示学习方法。该方法使用了大规模语言模型来生成用户和物品的描述，以捕捉用户的偏好和物品的特征。通过结合用户对物品的反馈信息和物品本身的描述，语言模型能够准确地捕捉用户的真实偏好。文章还介绍了该方法的实验评估结果，并讨论了与推荐相关的挑战和解决方案。
论文创新
- 提出了一种模型无关的框架RLMRec（Representation Learning with Large Language Models
for Recommendation），利用大型语言模型（LLMs）提高推荐系统的表示性能。 - 通过引入协作分析和大型语言模型相结合的范式，提高了用户和项目的描述生成能力。
- 使用对比和生成对齐技术将CF侧关系嵌入与LLM侧语义表示对齐，有效降低了特征噪声。
- 通过理论分析和实验评估，验证了RLMRec框架在现实世界数据集上的有效性和鲁棒性
。
Adapting Large Language Models by Integrating Collaborative Semantics for Recommendation
论文主要介绍
本文主要介绍了一种将大型语言模型与协同语义相结合的方法来进行推荐的研究。文章提出了两个主要的技术方向：项目索引和对齐调整。项目索引通过将项目表示为学习到的离散ID，并利用统一的语义映射方法来解决索引分配冲突的问题。对齐调整通过设计一系列特定的调整任务，增强语言语义和协同语义在大型语言模型中的整合，从而提高推荐性能。文章还介绍了几个针对推荐任务的调整任务，包括序列项目预测、显式索引-语言对齐、隐式推荐导向对齐等。实验结果表明，该方法能够有效地整合语言语义和协同语义，并显著提高推荐性能。
论文创新
- 通过提出一种新的项目索引方法，有效地整合了语言和协作语义，进一步改进了大型语言模型在推荐系统中的表现。该方法使用基于文本嵌入的向量量化技术为项目生成几个学习到的离散ID，从而捕捉项目信息的文本语义相似性。
- 设计了一系列精心设计的调整任务，通过项目索引实现有效的语义集成，使大型语言模型能够更好地适应推荐系统。这些调整任务包括**显式的索引-语言对齐和隐式的推荐导向对齐，**旨在实现语言语义和协作语义的深度集成，以便在实际推荐场景中（例如全排序）实现有效的语义集成。
- 通过在三个公共数据集上进行的大量实验，证明了所提出的方法LC-Rec在集成协作语义到大型语言模型中的有效性。与所有基线方法相比，LC-Rec在全排序评估中实现了平均性能提升25.5%。
E4SRec: An Elegant Effective Efficient Extensible Solution of Large Language Models for Sequential Recommendation
论文主要介绍
本文的主要内容是介绍了一种名为E4SRec的解决方案，用于将大型语言模型应用于顺序推荐任务。作者指出了现有方法在处理ID和生成效率方面的局限性，并提出了E4SRec的解决方案。E4SRec能够有效地处理ID信息，提高生成效率，并构建一个可扩展的工业级推荐系统。通过在几个真实数据集上的实验，作者展示了E4SRec模型的优越性和有效性。
论文创新
LLM4Vis: Explainable Visualization Recommendation using ChatGPT
论文主要介绍
本文的主要内容是介绍了一种名为LLM4Vis的可解释的可视化推荐方法。该方法通过使用ChatGPT生成解释，帮助用户理解推荐结果的原因。文章提出了几个关键步骤，包括特征描述、演示示例选择、解释生成引导、提示构建和推理。通过实验证明，在推荐可视化类型方面，LLM4Vis在零样本和少样本情况下都有较好的性能。
创新点
本文的最主要创新点是提出了一种基于ChatGPT的可解释可视化推荐方法，称为LLM4Vis。**该方法通过自然语言处理和少量数据集-可视化对的学习，为用户提供高质量的可视化推荐及对应的解释。**与传统的机器学习方法相比，LLM4Vis在少样本和全样本训练设置下表现出更高的准确性。此外，通过迭代优化策略，LLM4Vis生成了更高质量的可视化类型预测及相应解释，从而提高了可解释性和用户体验。
LLaRA: Large Language-Recommendation Assistant
论文介绍
本文介绍了一种名为LLaRA的新型框架，旨在将大型语言模型（LLM）与顺序推荐模型结合起来，提升推荐效果。LLaRA引入了混合提示方法，将世界知识和行为模式融合到项目表示中，并采用课程提示调整策略，实现多模态对齐。实验结果表明，LLaRA在多个数据集上的表现优于传统顺序推荐模型和基于LLM的方法。
创新点
本文介绍了一种名为LLaRA的新型框架，旨在将大型语言模型（LLM）与顺序推荐模型结合起来，提升推荐效果。LLaRA引入了混合提示方法，将世界知识和行为模式融合到项目表示中，并采用课程提示调整策略，实现多模态对齐。实验结果表明，LLaRA在多个数据集上的表现优于传统顺序推荐模型和基于LLM的方法。
Leveraging Large Language Models for Sequential Recommendation
论文介绍
本文主要介绍了如何利用大型语言模型（LLMs）来解决顺序推荐问题。作者提出了三种方法来利用LLMs进行顺序推荐：**LLMSeqSim、LLMSeqPrompt和LLM2BERT4Rec。**实验结果表明，利用LLMs初始化顺序模型可以显著提高推荐准确度。文章还讨论了LLMs在推荐系统领域的应用和潜在研究方向。
创新点
- 提出了三种利用大型语言模型（LLM）进行序列推荐的方法：LLMSeqSim（通过LLM嵌入找到语义相关的项目进行推荐），LLMSeqPrompt（通过微调的LLM生成基于提示的推荐）和LLM2BERT4Rec（使用LLM增强的序列模型进行推荐）。
- 通过实验发现，使用LLM嵌入初始化现有序列模型（如BERT4Rec）能够显著提高准确性，使其成为实验中表现最佳的模型。
- 发现在某些应用中，仅使用LLM嵌入找到给定会话的合适项目（LLMSeqSim）可以达到最先进的性能。
Large Language Models as Zero-Shot Conversational Recommenders
论文介绍
本文主要研究了将大型语言模型应用于零样本对话推荐系统，并对语言模型的推荐能力进行了实证研究。研究包括数据、评估和分析三个方面的贡献。文章通过实验和分析发现，大型语言模型主要依赖内容/上下文知识进行推荐，而不是协同知识。同时还发现了模型在推荐过程中存在受欢迎度偏见和数据稀疏性的问题。
创新点
- 提出了使用大型语言模型（LLMs）作为零样本对话式推荐器的方法，并在ReDIAL、INSPIRED和Reddit数据集上评估了这一方法的性能。
- 分析了LLMs在对话式推荐任务中的内容/上下文知识和协作知识的使用情况，发现LLMs主要依赖其优越的内容/上下文知识进行推荐。
- 发现现有的对话式推荐系统（CRS）数据集中的协作信息可能不足以支持令人满意的推荐，因此需要更先进的模型或训练方法以更好地理解CRS数据集中的协作信息。
- 揭示了LLMs作为零样本对话式推荐器的局限性，例如受欢迎度偏差和对地理区域的敏感性。
Prompt Distillation for Efficient LLM-based Recommendation
论文介绍
本文主要介绍了一种针对泛学术类文献阅读的助手工具，名为"readpaper academic llm"。该工具可以帮助用户解答与论文阅读相关的问题，并提供严谨的解答。如果用户需要实现与论文相关的代码，该工具也可以提供支持。
论文创新点
- 提出了一种名为任务交替训练（Task-alternated Training）的策略，通过在同一任务的一批样本上训练大型语言模型（LLM），然后在另一个任务的一批样本上训练，以此类推。由于每个任务的数据通常具有相同的长度，因此这种训练策略不会在填充上浪费太多内存，从而提高了训练效率。
- 提出了一种名为PrOmpt Distillation（POD）的方法，将离散提示中的知识蒸馏到连续提示向量中。在训练每个推荐任务时，使用一个连续提示向量数组和一组离散提示模板。
- 在测试阶段，仅保留连续提示以提高推理效率。虽然离散提示可能在表面上具有吸引力，但它可能无法有效地指导LLM，例如：“总结表格中的内容”。这在推荐系统中可能会成为一个严重问题，特别是当两个不同任务的输入数据格式非常相似时。此外，当提示模板较长时，它可能会遮挡关键信息（即ID）并增加训练和推理时间。为解决这些问题，提出了一种PrOmpt Distillation (POD)方法。
LLMRec: Benchmarking Large Language Models on Recommendation Task
论文介绍
本文主要介绍了一个基于大型语言模型（LLM）的推荐系统 - LLMRec，旨在探索LLM在推荐领域的应用潜力。作者使用了多个基于LLM的模型，在5个不同的推荐任务中进行了测试和比较，并研究了有监督的微调对LLM指令遵循能力的影响。作者还通过定性评价，展示了LLM在推荐领域的优越性能。此外，本文还提供了数据集、代码和实验结果等资源，供读者参考。
创新点
本文的主要创新点是提出了一个基于大型语言模型（LLMs）的推荐系统，名为LLMRec，用于评估LLMs在各种推荐任务上的性能。具体而言，作者对ChatGPT、LLaMA、ChatGLM等多种流行的现成LLMs在五个推荐任务上进行了基准测试，包括评分预测、顺序推荐、直接推荐、解释生成和评论摘要。此外，还研究了有监督微调对提高LLMs指令遵从能力的有效性。基准结果表明，LLMs在基于准确性的任务（如顺序和直接推荐）中表现一般，但在可解释性任务中与现有最先进方法相当。通过对不同模型生成的内容进行定性评估，结果表明LLMs可以真正理解提供的信息并生成更清晰、更合理的结果。作者希望这个基准能激发研究者更深入地探索LLMs在提高推荐性能方面的潜力。相关的代码、处理过的数据和基准结果可以在以下网址找到：https://github.com/williamliujl/LLMRec。
Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models
论文介绍
本文主要研究了在大规模语言模型时代下，对话式推荐系统（CRS）的评估方法。作者通过比较现有的CRS方法和ChatGPT模型的性能，提出了一种新的评估方法，并对ChatGPT在推荐准确度和可解释性方面的表现进行了分析。研究结果表明，ChatGPT在多轮对话中具有较强的语言生成能力，并且能够提供高质量和有说服力的推荐。本文的贡献包括：提出了一种新的评估方法，揭示了现有CRS方法的优势和不足，并提出了改进的方向。
创新点
本文最主要的创新点包括以下几点：
- 对ChatGPT在现有基准数据集上的会话推荐性能进行系统性评估，并提出一种交互式评估方法（iEvaLM），使用基于大型语言模型（LLM）的用户模拟器来评估会话推荐系统（CRS）的性能。
- 该评估方法不仅关注准确性，还关注解释性，通过查询LLM-based评分器生成的解释来评估推荐的解释性。
- 提出了一种基于LLM的用户模拟器，它具有很强的指令遵循能力，可以灵活地适应不同的CRS，而无需进一步调整。
- 通过在两个公共CRS数据集上进行的实验，证明了所提出的评估方法的有效性和可靠性。
Large Language Models are Zero-Shot Rankers for Recommender Systems
论文介绍
本文主要研究了大型语言模型（LLMs）在推荐系统中的零-shot排序能力。传统的推荐系统模型通常只能根据用户的历史行为进行推荐，难以捕捉到用户更复杂但明确的兴趣。而LLMs作为“窄专家”，在解决依赖于背景知识或常识的复杂推荐任务方面缺乏综合性的知识。本文通过实证研究，探索了影响LLMs零-shot排序性能的因素，并提出了相应的解决方法。
本文最主要的创新点是什么？
- 将大型语言模型（LLMs）应用于推荐系统的排名任务，研究其作为零样本排名器的能力。
- 提出了一些特定设计的提示策略，以提高LLMs在感知序列化历史交互时的排名性能。
- 系统地研究了LLMs在排名过程中可能存在的偏差，如位置偏差和流行度偏差，并提出了相应的策略来缓解这些问题。
- 通过对比不同方法在多个候选生成模型检索的候选项目上的排名性能，评估了LLMs在零样本设置下的排名能力。
- 分析了LLMs在不同数据集上的排名性能，以及它们如何根据项目流行度、文本特征以及用户行为进行排名。
Zero-Shot Next-Item Recommendation using Large Pretrained Language Models
论文介绍
本文的主要内容是提出了一种名为Multi-factor Sequential Re-ranking with Perception-Aware Diversification (MPAD)的泛学术类文献阅读助手。该助手通过综合考虑准确性和多样性来优化文献推荐的顺序，以满足用户连续阅读的兴趣演化。具体而言，MPAD首先通过图聚类方法提取用户不同尺度的兴趣点，然后通过两个子模型分别评估给定文献的准确性和多样性，最后通过选择最佳文献来生成返回列表。MPAD在淘宝的首页推荐中得到了应用，并取得了良好的效果。
本文最主要的创新点
- 提出了一种零样本下一个项目推荐（NIR）提示方法，通过3步提示策略显著提高了零样本设置下的推荐准确性。
- 采用用户过滤和项目过滤技术限制了推荐空间，从而提高了推荐质量。
- 设计了一个3步提示策略，分别用于捕捉用户偏好、从用户以前观看的电影中选择代表性电影，以及推荐一个包含10部电影的排名列表。
- 引入了一种格式技巧，便于从GPT-3生成的回答文本中提取电影项目（即"观看过的电影：<-候选电影->"）。
TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model with Recommendation
论文介绍
本文主要介绍了一种名为TALLRec的框架，旨在将大型语言模型（LLM）与推荐任务相结合。作者通过两个调优阶段（Alpaca调优和推荐任务调优）来有效地对LLM进行调优，以提高其在推荐任务中的性能。实验结果表明，使用TALLRec框架训练的LLM在推荐任务中表现出色，并具有跨领域的泛化能力。
本文最主要的创新点
本文的最主要创新点是提出了一个轻量级调优框架TALLRec，用于将大型语言模型（LLMs）与推荐任务对齐。TALLRec通过在指令调优过程中将推荐数据结构化为指令，从而有效地调优LLMs以适应推荐任务。此外，TALLRec采用轻量级调优方法，以在较低的计算资源消耗下高效地适应LLMs与推荐任务。实验结果表明，使用TALLRec框架训练的LLMs在推荐任务中的表现优于传统模型，并具有强大的跨领域泛化能力。
GPT4Rec: A Generative Framework for Personalized Recommendation and User Interests Interpretation
论文介绍
本文主要介绍了一种基于生成式框架的个性化推荐系统——GPT4Rec。与传统的推荐系统不同，**GPT4Rec将推荐任务视为查询生成和搜索的过程，并通过生成式语言模型和搜索引擎来处理推荐任务。**具体来说，GPT4Rec首先基于用户历史记录中的物品标题生成多个搜索查询，然后使用搜索引擎来检索查询所对应的物品，并生成推荐结果。GPT4Rec的主要优点是可以完全利用物品的内容信息和自然语言处理模型的语言建模能力，同时提供了可解释的用户兴趣表示，从而提高了推荐的相关性和多样性。本文还对GPT4Rec的实现细节和实验结果进行了详细的介绍和分析。
创新点
- 提出了GPT4Rec，一个新颖且灵活的生成框架，用于个性化推荐和用户兴趣解释。
- 通过多查询束搜索策略生成具有不同方面和粒度的用户兴趣表示，从而提高推荐结果的相关性和多样性。
- 在两个公共数据集上的实验表明，GPT4Rec在Recall@K方面比现有的最先进方法提高了75.7%和22.2%。
- 通过定性案例研究，讨论了生成查询的适应性和可解释性。
A Survey on Large Language Models for Recommendation
论文介绍
本文主要介绍了大型语言模型在推荐系统中的应用。文章首先介绍了大型语言模型的基本概念和训练方式，然后分类介绍了两种利用大型语言模型进行推荐的范式：**判别式大型语言模型和生成式大型语言模型。**文章还介绍了这两种范式在推荐系统中的应用，并对目前的研究现状进行了总结和分析。最后，文章提出了一些可能存在的问题和挑战，并探讨了未来的研究方向。
论文创新点
- 提供了一个关于基于大型语言模型（LLM）的推荐系统的全面调查，着重关注其在提高推荐质量方面的潜力。
- 从建模范式的角度将现有的LLM推荐方法分为三个不同的思想流派，这为这个快速发展的领域提供了清晰的概述。
- 对现有方法的优点、缺点和局限性进行了深入分析，找出了LLM推荐系统面临的关键挑战，并提出了一些有价值的发现，以激发该领域的进一步研究。
- 首次对生成式大型语言模型在推荐领域进行了全面和最新的综述，为研究者和从业者提供了启发。
U-BERT: Pre-training User Representations for Improved Recommendation
论文介绍
本文主要介绍了一种基于预训练和微调的推荐系统框架U-BERT。该框架通过在内容丰富的领域中预训练用户表示，并在内容不足的领域中微调，来提高推荐性能。U-BERT使用了两个自监督任务来学习用户表示：遮蔽意见标记预测和意见评分预测。在微调阶段，U-BERT引入了一个项目编码器和一个审核协同匹配层来进一步提高推荐性能。本文还提供了实验结果，证明了U-BERT在六个基准数据集上的卓越性能。
论文主要创新点
本文最主要的创新点是提出了一种基于预训练和微调的方法 U-BERT，用于改进推荐系统中的用户表示学习。U-BERT 在预训练阶段关注内容丰富的领域，引入了用户编码器和评论编码器来模拟用户行为。在微调阶段，U-BERT 关注目标内容不足的领域，除了从预训练阶段继承的用户和评论编码器外，还引入了一个项目编码器来模拟项目表示。此外，提出了一个评论共匹配层来捕捉用户和项目评论之间的更多语义交互。最后，U-BERT 将用户表示、项目表示和评论交互信息相结合，以提高推荐性能。实验结果表明，U-BERT 在不同领域的六个基准数据集上表现出了最先进的性能。
Do LLMs Understand User Preferences? Evaluating LLMs On User Rating Prediction
论文介绍
本文主要研究了大型语言模型（LLMs）在用户评分预测任务中的表现，包括零-shot、few-shot和fine-tuning三种情况。通过与传统的协同过滤推荐方法进行比较，发现LLMs在没有用户交互数据的情况下表现不如传统方法，但在fine-tuning的情况下，LLMs表现出了与传统方法相当甚至更好的性能，同时仅需少量的训练数据。文章的贡献在于对不同大小的LLMs进行了全面的比较，并且提出了fine-tuning对于提升LLMs性能的重要性。
创新点
- 对现有的大型语言模型（LLMs）进行全面评估，以预测用户评分。这涉及到从250M到540B参数的不同大小的LLMs，以及零样本、少样本和微调场景的性能评估。
- 与强大的协同过滤方法进行详尽比较。研究发现，零样本LLMs在没有访问用户交互数据的情况下仍落后于传统的推荐模型，这表明用户交互数据的重要性。
- 通过微调，LLMs仅使用训练数据的一小部分就可以达到与传统推荐模型相当甚至更好的性能，这表明LLMs具有数据效率潜力。
Ada-Retrieval: An Adaptive Multi-Round Retriev
论文介绍
本文介绍了一种名为Ada-Retrieval的自适应多轮检索范式，用于顺序推荐系统。传统的推荐系统采用单轮推理范式，可能无法很好地捕捉用户偏好的动态性和物品空间的多样性。Ada-Retrieval采用多轮自适应学习的方式逐步生成多个用户表示，从而更好地捕捉用户兴趣的多样性，提高推荐准确性。文章通过实验证明了Ada-Retrieval在多个数据集上的优越性能。
创新点
本文的最主要创新点是提出了一种自适应多轮检索范式（Ada-Retrieval），用于序列推荐系统。该范式通过在多个回合中进行检索和反馈，为用户提供更动态、更多样化的推荐。Ada-Retrieval 在不同数据集上的实验结果表明，它能显著提高各种基本模型的性能。
Enhancing Job Recommendation through LLM-based Generative Adversarial Networks
论文介绍
本文的主要内容是介绍了一种基于LLM（大型语言模型）和生成对抗网络（GANs）的互动式工作推荐方法。该方法通过利用LLM的知识和生成能力来完善用户简历的描述，从而提高工作推荐的准确性和效率。同时，通过使用GANs来对少样本用户生成的简历进行优化，进一步改善了推荐的质量。
创新点
本文的主要创新点包括以下几点：
