History Repeats: Overcoming Catastrophic Forgetting For Event-Centric Temporal Knowledge Graph Completion

本文是关于如何用一种通用的持续框架来解决TKG补全的问题。时间知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG补全的目的是预测缺失的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者提出了两个主要的想法：（i）一个时间正则化，它鼓励模型利用不重要的参数来学习新的知识，（ii）一个基于聚类的经验回放，它通过选择性地保留一小部分过去的数据来强化过去的知识。作者在几个常用的事件中心的TKG数据集上进行了实验，证明了他们的框架在适应新事件的同时减少了灾难性遗忘。作者还进行了消融实验，展示了他们框架中每个组件的有效性。最后，作者探讨了经验回放所占用的内存和聚类采样策略带来的收益之间的关系。

• 论文地址
  https://arxiv.org/abs/2305.18675

Learning Joint Structural and Temporal Contextualized Knowledge Embeddings for Temporal Knowledge Graph Completion

这篇文章是关于如何用一种基于预训练语言模型（PLM）的方法来学习结合结构和时间的上下文化知识嵌入，从而提高时间知识图谱（TKG）补全的性能。时间知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG补全的目的是预测缺失的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者认为，现有的方法忽略了TKG结构的上下文性质，即每个查询相关的子图包含了结构和时间上的邻近事实。作者提出了SToKE，一种新颖的方法，它利用PLM来学习结构和时间上下文化知识嵌入。具体来说，作者首先为每个查询构建一个事件演化树（EET），将TKG转换为一个记录查询相关结构和时间上下文的结构化事件序列，从而使PLM能够处理TKG。然后，作者提出了一个新颖的时间嵌入和结构矩阵，来学习EET中事实的时间信息和结构依赖性。最后，作者将TKG补全视为一个掩码预测问题，通过掩盖查询中缺失的实体来微调预训练语言模型。作者在三个广泛使用的数据集上进行了实验，证明了他们的模型的优越性。

• 论文地址
  https://aclanthology.org/2023.findings-acl.28.pdf

Learning Latent Relations for Temporal Knowledge Graph Reasoning

这篇文章是关于如何用一种新颖的方法来学习潜在的关系，从而提高时序知识图谱（TKG）推理的性能。时序知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG推理的目的是根据历史数据来预测未来的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者认为，现有的方法忽略了TKG结构的上下文性质，即每个查询相关的子图包含了结构和时间上的邻近事实。作者提出了L2TKG，一种新颖的方法，它利用一个结构编码器（SE）和一个潜在关系学习（LRL）模块来获取实体在每个时间戳的表示，并挖掘和利用横跨时间和结构的潜在关系。最后，作者将TKG推理视为一个实体预测问题，并从SE和LRL的输出中提取时序表示进行预测。作者在四个数据集上进行了实验，证明了他们的模型的优越性。

• 论文地址
  https://aclanthology.org/2023.findings-acl.28.pdf

Logic and Commonsense-Guided Temporal Knowledge Graph Completion

这篇文章是关于如何用一种新颖的方法来学习时序知识图谱（TKG）补全的问题。作者认为，现有的方法不能同时表示事件的时效性和因果性，这两个属性对于理解事件的本质是很重要的。作者提出了一个逻辑和常识引导的嵌入模型（LCGE），它能够同时学习事件的时效性和因果性，以及从常识的角度来学习事件的时间无关的表示。具体来说，作者设计了一个时序规则学习算法，来构建一个规则引导的谓词嵌入正则化策略，用于学习事件之间的因果关系。此外，作者还利用辅助的常识知识来准确地评估事件的合理性。作者在几个常用的TKG数据集上进行了实验，证明了他们的模型相比于现有的方法有显著的性能提升。更有趣的是，作者的模型还能够提供预测结果的可解释性，从因果推理的角度来说明为什么某个事件会发生。

• 论文地址
  https://arxiv.org/abs/2211.16865
• GitHub
  https://github.com/ngl567/LCGE

Modeling Precursors for Temporal Knowledge Graph Reasoning via Auto-encoder Structure

这篇文章是关于如何用一种新颖的自编码器结构来进行时序知识图谱（TKG）推理的问题。时序知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG推理的目的是根据历史数据来预测未来的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者认为，当预测一个未来事件时，必须有一个由紧密相关的历史事实组成的叙事演化过程来支持事件的发生，这些事实称为事实前驱。然而，现有的模型采用了一种顺序推理过程，以自回归的方式进行，这不能捕捉前驱信息。作者提出了一种新颖的自编码器结构，引入了一个关系感知图注意力层到变换器（rGalT），以适应TKG上的推理。具体来说，作者首先通过沿着图内和图间维度的多个注意力机制计算历史和预测事实之间的相关性，然后将这些相互关联的事实构成多样化的事实片段。接下来，作者借鉴了翻译生成的思想，以并行方式解码与给定查询相关的前驱信息，从而使模型能够通过逐步生成图结构来推断未来未知的事实。作者在四个基准数据集上进行了实验，证明了他们的模型优于其他最先进的方法，并且前驱识别为预测提供了支持证据。

• 论文地址
  https://www.ijcai.org/proceedings/2022/284

Learning to Sample and Aggregate: Few-shot Reasoning over Temporal Knowledge Graphs

这篇文章是关于如何用一种新颖的方法来进行时序知识图谱（TKG）推理的问题。时序知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG推理的目的是根据历史数据来预测未来的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者关注的是一种实际但很少被探讨的问题，叫做少样本时序知识图谱推理，它旨在根据极少量的观测数据来预测新出现的实体的未来事实。这对于那些需要在最小监督下从时序知识图谱中获取新实体的即时新知识的应用具有实用价值。这个问题的挑战主要来自于新实体的少样本和时间漂移属性。首先，与它们相关的有限观测数据不足以从头训练一个模型。其次，从最初可观测的事实到未来事实的潜在动态分布要求显式地建模新实体的演化特征。作者相应地提出了一个新颖的元时序知识图谱推理（MetaTKGR）框架。不同于以往的工作，它们依赖于刚性的邻域聚合方案来增强低数据实体表示，MetaTKGR动态地调整从最近事实中采样和聚合邻居的策略，通过对未来事实的时序监督信号作为即时反馈。此外，这样一个元时序推理过程超越了现有的静态知识图谱上的元学习范式，它们无法处理具有大量实体变化的时序适应问题。作者还提供了一个理论分析，并提出了一个时序适应正则化器，来稳定时间上的元时序推理。在三个真实世界的TKG数据集上进行了广泛的实验，证明了MetaTKGR相比于最先进的基线有很大的优势。

• 地址
  https://arxiv.org/abs/2210.08654

Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion

这篇文章是关于如何用一种基于预训练语言模型（PLM）和提示（Prompts）的方法来进行时序知识图谱（TKG）补全的问题。时序知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG补全的目的是根据已知的时间戳来预测缺失的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者认为，现有的方法主要基于图神经网络来学习表示，但是不能准确地从时间戳中提取信息，也不能充分地利用关系中隐含的信息。为了解决这些问题，作者提出了一种新颖的TKG补全模型，叫做预训练语言模型与提示的时序知识图谱补全（PPT）。作者将一系列采样的四元组转换为预训练语言模型的输入，并将时间戳之间的间隔转换为不同的提示，以构造出包含隐含语义信息的连贯句子。作者用一个掩码策略来训练模型，将TKG补全任务转化为一个掩码词预测任务，从而能够利用预训练语言模型中的语义信息。作者在三个基准数据集上进行了实验，并进行了广泛的分析，证明了他们的模型相比于其他模型在四个指标上有很强的竞争力。作者的模型能够有效地将时序知识图谱中的信息融入到语言模型中。

• 地址
  https://arxiv.org/abs/2305.07912
• GitHub
  https://github.com/JaySaligia/PPT

TeAST: Temporal Knowledge Graph Embedding via Archimedean Spiral Timeline

这篇文章是关于如何用一种新颖的方法来进行时序知识图谱（TKG）补全的问题。时序知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。作者认为，现有的方法将时间信息融合到实体中，可能导致实体信息的演化，从而限制了TKG的链接预测性能。同时，当前的TKG补全模型通常缺乏同时建模重要关系模式和提供可解释性的能力，这阻碍了它们的有效性和潜在应用。为了解决这些限制，作者提出了一种新颖的TKG补全模型，叫做TeAST，它通过阿基米德螺旋时间线来编码时序知识图谱嵌入。具体来说，作者首先将关系映射到相应的阿基米德螺旋时间线上，并将四元组补全转化为三阶张量补全问题。阿基米德螺旋时间线保证了同时发生的关系被放置在同一条时间线上，并且所有的关系随着时间而演化。同时，作者提出了一个新颖的时序螺旋正则化器，使螺旋时间线有序。此外，作者还提供了数学证明，展示了TeAST能够编码各种关系模式的能力。实验结果表明，作者提出的模型显著优于现有的TKG补全方法。

• 论文地址
  https://aclanthology.org/2023.acl-long.862.pdf
• GitHub
  https://github.com/IMU-MachineLearningSXD/TeAST

Temporal Knowledge Graph Completion Using Box Embeddings

这篇文章是关于如何用一种新颖的方法来进行时序知识图谱（TKG）补全的问题。时序知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG补全的目的是根据已知的时间戳来预测缺失的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者提出了BoxTE，一种基于盒子嵌入（Box Embeddings）的TKG补全模型，它建立在静态知识图谱嵌入模型BoxE的基础上，并用专门的时间嵌入来灵活地表示时间信息。作者证明了BoxTE具有完全表达性和强大的归纳能力，并在几个TKG补全数据集上进行了实验，显示了它的优越性。

• 论文地址
  https://arxiv.org/abs/2109.08970

Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

这篇文章是关于如何用一种新颖的方法来进行时序知识图谱（TKG）推理的问题。时序知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG推理的目的是根据历史数据来预测未来的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者认为，现有的方法过于依赖于事件的重复性或周期性，这给那些缺乏历史交互的实体相关的未来事件的推理带来了挑战。事实上，当前时刻往往是一小部分历史信息和那些未观测到的潜在因素的综合效应。为了解决这个问题，作者提出了一种新的事件预测模型，叫做对比事件网络（CENET），它基于一种新颖的历史对比学习的训练框架。CENET同时学习历史和非历史依赖性，以区分最有可能与给定查询匹配的实体。同时，它通过对比学习来训练查询的表示，以探究当前时刻是更依赖于历史事件还是非历史事件。这些表示进一步帮助训练一个二分类器，其输出是一个布尔掩码，用于指示搜索空间中的相关实体。在推理过程中，CENET采用一个基于掩码的策略来生成最终结果。作者在五个基准图上进行了实验，结果表明CENET在大多数指标上显著优于所有现有方法，在基于事件的数据集上至少相对提高了8.3%的Hits@1。

• 论文地址
  https://arxiv.org/abs/2211.10904
• GitHub
  https://github.com/xyjigsaw/CENET

TiRGN: Time-Guided Recurrent Graph Network with Local-Global Historical Patterns for Temporal Knowledge Graph Reasoning

是一篇关于时序知识图谱推理的论文，它提出了一种新的表示学习模型，利用历史事件的特征来预测未来的事实1。时序知识图谱（TKGs）是一种在不同领域广泛使用的模型，它可以沿着时间线描述事实的动态变化。在TKG推理的外推设置中，由于未来发生的事实是完全不可知的，所以对历史的洞察是预测未来事实的关键。然而，这对现有的模型来说仍然是一个很大的挑战，因为它们很难充分地学习历史事件的特征。从历史发展规律的角度来看，综合考虑历史事实的顺序、重复和周期性模式有利于预测未来事实。为此，论文提出了一种新的表示学习模型，即TiRGN，一个带有局部-全局历史模式的时间引导的循环图网络。具体来说，TiRGN使用一个局部循环图编码器网络来建模相邻时间戳上事件的历史依赖性，并使用全局历史编码器网络来收集重复的历史事实。在两个编码器之间进行权衡后，最终由一个具有周期性的解码器进行推理。论文使用了六个基准数据集来评估所提出的方法，实验结果表明TiRGN在大多数情况下都优于最先进的TKG推理方法。

• 论文地址
  https://www.ijcai.org/proceedings/2022/299
• GitHub
  https://github.com/Liyyy2122/TiRGN

TLogic: Temporal Logical Rules for Explainable Link Forecasting on Temporal Knowledge Graphs

是一篇关于时序知识图谱推理的论文，它提出了一种基于时序逻辑规则的可解释的框架，通过时序随机游走来提取规则，并用于预测未来的事件。时序知识图谱（tKGs）是一种在不同领域广泛使用的模型，它可以沿着时间线描述事实的动态变化。在tKGs上进行链接预测是一种重要的任务，它可以帮助发现潜在的知识和关系。然而，现有的基于嵌入的方法通常缺乏可解释性和可理解的推理链，而且很难处理链接预测中的外推问题，即预测未来时间戳上发生的事件。为了解决这个问题，论文提出了TLogic，一个基于时序逻辑规则的可解释的框架，它可以从tKGs中提取具有时间一致性的规则，并用于链接预测。TLogic使用时序随机游走来生成候选规则，并使用一个神经网络来评估规则的质量和可信度。然后，TLogic使用这些规则来对未来时间戳上的事件进行推理，并给出相应的解释。论文使用了三个基准数据集来评估所提出的方法，实验结果表明TLogic在大多数情况下都优于最先进的tKGs推理方法，同时也提供了可解释性和时间一致性。此外，与大多数基于嵌入的方法不同，TLogic在归纳设置下也表现良好，即可以将已经学习到的规则转移到具有共同词汇表的相关数据集上。

• 论文地址
  添加链接描述
• GitHub
• https://github.com/liu-yushan/tlogic

Tucker Decomposition with Frequency Attention for Temporal Knowledge Graph Completion

是一篇关于时序知识图谱补全的论文，它提出了一种新的张量分解模型，利用频率注意力机制来捕捉关系和时间戳之间的全局时序依赖性。时序知识图谱（TKG）是一种在不同领域广泛使用的模型，它可以沿着时间线描述事实的动态变化。在TKG上进行链接预测是一种重要的任务，它可以帮助发现潜在的知识和关系。然而，现有的基于张量分解的方法只考虑了单个关系和单个时间戳的组合，忽略了嵌入的全局性质。为了解决这个问题，论文提出了一种基于Tucker分解的模型，使用离散余弦变换（DCT）来捕捉时间戳嵌入的频率特征，并进一步计算频率注意力权重来缩放嵌入。同时，论文还提出了一种正交正则化（OR）方法来约束核张量，从而提高优化性能。论文在三个标准的TKG数据集上进行了实验，结果表明该方法在多个指标上优于最先进的TKG推理方法。论文还进行了额外的分析，显示了该方法即使在较小的嵌入维度下也具有有效性。

• 论文地址
  https://arxiv.org/abs/2011.07751