可靠冲突性多视角学习：通过证据驱动的多视角融合提供决策可靠性

2024年2月28日，由多位作者联合提出了一种名为可靠冲突性多视角学习（RCML）的框架，其核心贡献在于为含有冲突性实例的多视角数据提供决策结果与可靠性评估。该方法通过证据驱动的多视角融合（ECML）策略，在6个公开数据集上验证了其在准确性、可靠性和鲁棒性上的优势。

研究强调，传统方法仅通过消除冲突实例（如删除或替换）来处理多视角数据，而ECML首次将可靠性建模引入冲突性数据决策流程，填补了实际应用中对冲突实例直接决策的需求空白。

一、研究背景

多视角学习旨在通过整合多个特征视角实现对数据的全面描述，广泛应用于推荐系统、视觉理解等领域。例如，自动驾驶系统通过相机、雷达等多传感器融合环境信息，推荐系统则需整合用户生成的文本、视觉内容等多视角数据。然而，现实数据往往存在冲突性实例，即同一数据实例在不同视角下呈现矛盾信息（如用户提到千岛酱，图像显示的是汉堡）

目前遇到困难和挑战：

1、传统方法的局限性：现有研究主要通过多视角异常值检测或部分视角对齐消除冲突实例，但实际应用中需对冲突实例做出决策（如推荐系统需预测用户偏好），而非简单剔除。

2、可靠性建模缺失：现有模型（如EDL）虽能提供决策结果，但未明确评估决策的可靠性，尤其在冲突性数据中，预测结果的置信度需与冲突程度动态关联。

3、多视角融合的冲突性处理：简单平均融合可能忽视视角间冲突性差异，导致可靠性过度乐观或低估。例如，当一个视角数据质量低但被赋予过高权重时，融合结果可能更不可靠。

在实际场景中（如医疗诊断、智能推荐），模型需同时回答“决策结果是什么”和“该决策是否可靠”。ECML通过构建观点聚合策略，理论上证明其能精确建模多视角共性与视角特异性可靠性关系，为冲突性数据提供可靠决策支持。

二、让我们一起看一下ECML

ECML（证据冲突多视图学习）

ECML是针对RCML问题提出的一种解决方案。它通过以下步骤实现对冲突多视图数据的处理和决策：

1、特定视图的证据学习：ECML首先通过特定视图的证据深度神经网络（DNN）从数据中收集每个类别的支持量（证据）。这些证据用于构建狄利克雷分布，从而为每个视图生成包含置信质量、不确定性质量以及先验概率分布的意见。

2、冲突意见聚合：在多视图融合阶段，ECML提出了一种新的冲突意见聚合策略。该策略通过计算不同视图之间的冲突度（基于预测概率的投影距离和连接确定性），并根据这些冲突度来调整融合过程。当视图之间的意见冲突较大时，聚合后的不确定性会增加，从而更准确地反映决策的可靠性。

3、理论证明与优化：ECML从理论上证明了其冲突意见聚合策略可以精确地模拟多视图公共可靠性和特定视图可靠性的关系。此外，ECML还通过最小化视图之间的冲突度来优化模型，确保在训练阶段不同视图之间的一致性。

4、实验验证：在多个数据集上的实验结果表明，ECML在准确性、可靠性和鲁棒性方面均优于现有的多视图学习方法。

RCML和ECML的提出，为处理现实世界中多视图数据的冲突问题提供了新的思路和方法。RCML定义了一个新的问题场景，强调了在冲突数据中进行可靠决策的重要性；而ECML则通过证据学习和冲突意见聚合，为这一问题提供了有效的解决方案。

ECML 图示。特定于视图的 DNN 收集证据，这可以称为对每个类别的支持量。然后，我们形成由所有类别的信念量和不确定性（倒置为可靠性）组成的特定于视图的观点。最后，我们通过冲突意见聚合来整合意见。如果特定于视图的意见存在冲突，则汇总意见的不确定性可能会增加。

三、让我们来看一下ECML应用场景

通常呢，我们在工业生产线上会安装多种传感器来监测设备的运行状态，比如温度传感器、压力传感器、振动传感器等。

以前，我们主要依靠单一传感器的数据来判断设备是否正常。

比如，如果温度传感器显示设备运行温度在正常范围内，我们就会认为设备没有问题。但如果压力传感器突然显示异常，我们就会很困惑，因为不知道该相信哪个传感器。这种情况下，我们通常会派人去现场检查，这不仅耗时耗力，还可能导致生产中断。而且，以前我们很难提前预测设备故障。只有当某个传感器的数据明显超出正常范围时，我们才会意识到可能有问题。这就导致我们总是处于被动维修的状态，设备的突发故障会严重影响生产进度。

哈哈，现在有了ECML,那可就不一样了：

首先，ECML能够综合多个传感器的数据，即使这些数据之间存在冲突，也能给出更可靠的判断。比如，当温度传感器显示设备运行正常，但压力传感器显示异常时，ECML会综合考虑这两个传感器的数据，以及它们的历史数据和相关性，来判断设备的真实状态。它会告诉我们，这个异常是真正的故障迹象，还是只是传感器的误报。

其次，ECML可以提前预测设备故障。通过分析多传感器数据的趋势和模式，它能够在故障发生之前就发出预警。这样，我们就可以提前安排维修，避免设备突发故障导致的生产中断。

最后，ECML还提高了故障诊断的准确性。它能够处理来自不同传感器的复杂数据，包括非线性关系和非高斯特性。这意味着我们能够更准确地定位故障点，减少误判和漏判。

ECML让我们的工作变得更加高效和主动。避免了因为误判来回跑着去检查，同时我们能够更及时地发现和处理设备问题，避免了不必要的生产损失。