【论文推荐|深度学习，滑坡检测，多光谱影像，自然灾害，遥感】2022年Landslide4Sense竞赛成果：基于多源卫星影像的先进滑坡检测算法研究（五）

文章目录

【论文推荐|深度学习，滑坡检测，多光谱影像，自然灾害，遥感】2022年Landslide4Sense竞赛成果：基于多源卫星影像的先进滑坡检测算法研究（五）
- V. 第二名团队
- - A. 框架介绍
  - - 光谱选择：
    - 平衡训练：
    - 测试数据自训练：
  - B. 实验结果
- 第三届通信网络与机器学习国际学术会议(CNML 2025)

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议详细信息可参考：https://ais.cn/u/mmmiUz

论文DOI：10.1109/JSTARS.2022.3220845

V. 第二名团队

我们为L4S竞赛提出的网络结构如图8所示。以下详细讨论了该结构中各个组件的细节。
在这里插入图片描述

A. 框架介绍

我们模型的主要框架是编码器-解码器网络，采用类似U-Net[30]的跳跃连接结构，可以更好地融合浅层和深层特征。受到计算机视觉领域基于Transformer模型快速发展的影响[34]，[35]，我们在该结构中引入了Swin Transformer[34]作为编码器部分。为了使Swin Transformer能够合理地捕捉滑坡区域在多光谱数据中的关联，我们进行了光谱选择实验，使用适合自注意力机制的光谱。随后，为了缓解滑坡检测中正负样本不平衡的问题，我们设计了一种不平衡训练策略，首先利用不平衡损失训练紧凑的特征表示，然后用这些特征表示对分类器进行微调。最后，我们采用自训练策略进一步增强模型在测试领域的泛化能力。

光谱选择：

基于视觉Transformer的模型使用自注意力机制进行特征聚合，以捕捉像素之间的关系[34]。如果无关的光谱信息占据主导地位，可能会降低模型性能。然而，在多光谱数据中，不同光谱对滑坡区域的响应差异较大，有些光谱对滑坡甚至不敏感。因此，这些“无关”的光谱会干扰自注意力机制的执行。我们进行了光谱选择实验，结果如表III所示，发现全卷积模型U-Net在输入更多光谱的情况下表现更好，而Transformer模型在仅输入RGB光谱时表现更好。我们进一步可视化了将对滑坡反应不敏感的光谱输入模型时自注意力的负面影响，如图9所示。最终，我们使用RGB光谱作为模型输入。
在这里插入图片描述

平衡训练：

我们设计了一个两阶段训练方法，以减少正负样本比例不平衡的影响。在第一阶段，编码器和解码器同时训练。对于任何输入样本 $x_i∈R^{w×h×3}$ ，我们使用加权交叉熵损失 $L_{wce}$ 和Lovasz损失 $L_{lov}$ [36] 进行平衡训练，公式如下：
在这里插入图片描述

$L_{ice}$ 是在编码器的高层语义特征中执行的图像级损失，帮助训练，定义如下：

在这里插入图片描述
其中，其中 $δ$ 是一个指针函数。如果 $y$ 中存在正样本（滑坡），则 $δ$ 的值为1；否则为0。
$MP (\cdot)$ 是具有全局池化操作的全连接层， $X$ 表示总数据集。优化 $L_{ice}$ 可以增加模型对滑坡的关注，因为在图像中找到滑坡比定位滑坡位置要容易得多。

为了重新加权负样本和正样本的学习， $L_{wce}$ 的定义如下：
在这里插入图片描述

其中 $N_{neg}$ 表示任意输入图像 $x$ 中的负样本数量（非滑坡）， $N_{pos}$ 表示正样本数量（滑坡）。
如[45]所述，这种重新加权损失 $L_{wce}$ 对平衡正负样本的特征分布起到了积极作用。然而，分类器仍然会有偏差。因此，在第二阶段，我们固定已训练的编码器 $E$ ，并使用标准的交叉熵损失 $L_{ce}$ 训练解码器 $D$ 。一旦我们获得了平衡的特征表示，就可以进一步利用这些表示来消除分类器的偏差。

测试数据自训练：

遥感影像常常面临由于地理差异和采样时间差异导致的数据分布偏移问题。为了使模型完全适应测试数据的分布，我们采用自训练策略[37] 来增强模型的泛化能力。我们对前阶段预测的输出概率进行排序，选择前 λ% 高置信度的像素级伪标签，并将其加入到训练数据中进行自训练。

B. 实验结果

在本节中，我们报告了平衡训练和自训练方法的性能。

表IV显示，两阶段平衡训练方法比focal loss[46]和其他常见方法[36]更好地减弱了不平衡问题的影响。其中，正常训练是使用交叉熵损失的一阶段训练方法。对于加权交叉熵损失，我们使用正负样本的比例作为负样本的损失加权系数。此方法通过加权正负像素取得了一定的改善，但改善相对有限。focal loss[46]通过修改梯度来平衡易样本和难样本，已广泛应用于许多不平衡场景。但在此任务中，当添加focal loss时，性能反而下降。我们的分析认为，它对梯度有较大影响，不合适的超参数会极大地影响性能。Lovasz损失[36]是一种直接优化IoU系数的损失，效率较高，并作为我们平衡训练的第一阶段损失。基于此，两阶段平衡训练方法取得了更好的性能，进一步修正了分类器的偏差。最终，采用的两阶段平衡训练方法在基准上提高了4.1%的F1分数。
在这里插入图片描述

图10展示了 $λ$ 设置对伪标签选择的影响。可以观察到，随着 $λ$ 增加，更多的样本被选择，其中包括高置信度和低置信度的样本。表V说明，所提出的自训练方法能够增强模型的性能，并且通过调整 $λ$ 值，平衡精确率和召回率。当 $λ$ 较小时，选择了高置信度区域的伪标签。由于混淆区域易出现在正样本（滑坡）和负样本（非滑坡）的邻近区域，因此高置信度样本大多出现在中心区域。使用这样的伪标签后，我们发现模型预测更多区域为正样本，减少了漏检，提高了召回率。然而，边界区域更加模糊，导致过度检测增加。随着 $λ$ 增加，更多的伪标签被选择，包括不确定的样本。这部分样本提供了更多关于混淆区域的有价值信息，使得模型不会过于偏向正样本区域。尽管这些样本包含噪声，但深度模型可以通过微调和早期停止训练来减少噪声的影响[47]。当 $λ$ 设置为100时，所有伪标签都用于自训练，实验结果表明，在精确率和召回率之间达到了更好的平衡。总的来说，我们认为不同的 $λ$ 值可以在不同场景中使用。
在这里插入图片描述

最终，所提出的方法在测试排行榜中获得了第二名，F1分数为73.99%，与第一名74.54%仅相差0.55%。总之，我们使用的基于Transformer的解决方案能够有效地检测多光谱遥感场景中的滑坡区域。未来，我们团队认为自适应光谱选择或融合技术是进一步探索该Transformer模型性能的必要方法，并将成为我们团队后续研究的重点。

下节请参考：【论文推荐|深度学习，滑坡检测，多光谱影像，自然灾害，遥感】2022年Landslide4Sense竞赛成果：基于多源卫星影像的先进滑坡检测算法研究（六）

第三届通信网络与机器学习国际学术会议(CNML 2025)

2025 3rd International Conference on Communication Networks and Machine Learning
会议官网：www.iccnml.org
大会时间：2025年2月21日-23日
大会地点：中国南京
接受/拒稿通知：投稿后1周内
收录检索：EI Compendex, Scopus