RIP-AV: Joint Representative Instance Pre-training with Context Aware Network for Retinal Artery/Vein Segmentation

摘要

背景： 基于深度学习的视网膜动脉和静脉 （A/V） 准确分割可以改进眼底疾病和全身性疾病的诊断、监测和管理。然而，由于背景与 A/V 比率不平衡和上下文有限，现有的调整大小和基于贴片的算法面临着冗余、忽略薄血管以及在视网膜图像的低对比度边缘区域表现不佳等挑战。
目的： 开发了一种用于视网膜 A/V 分割的新型深度学习框架，名为 RIP-AV，它首次将代表性实例预训练 （RIP） 任务与用于视网膜 A/V 分割的上下文感知网络集成在一起。
方法： 最初，我们开发了一种直接而有效的血管patch对选择 （PPS） 算法，然后引入了一个 RIP 任务，该任务被表述为多标签问题，旨在增强网络从血管补片的不同空间位置学习潜在动静脉特征的能力。随后，在训练阶段，我们介绍了两个新颖的模块：Patch Context Fusion （PCF） 模块和距离感知 （DA） 模块。它们旨在通过协同和互补地利用血管斑块与其周围环境之间的关系，提高细血管的辨别力和连续性，尤其是在低对比度边缘区域。
结果： RIP-AV 的有效性已在三个公开可用的视网膜数据集上得到验证：AV-DRIVE、LES-AV 和 HRF，分别显示出 0.970、0.967 和 0.981 的显着准确性，从而优于现有的最先进的方法。值得注意的是，我们的方法在 HRF 数据集上的准确性显着提高了 1.7%，特别是增强了细边缘动脉和静脉的分割
代码地址

方法

1. 预训练任务（RIP）：所有随机裁剪的斑块分为四类：Pa（仅动脉）、Pv（仅静脉）、Pav（包含动脉和静脉）和 Pb （无血管结构），PPS 被设计成排除 Pb，从而提高训练集的特异性
2. 从卷积神经网络 （CNN） 在浅层捕获边缘细节的先天能力中汲取灵感，设计了 DA 模块，该模块由一系列卷积层组成，通过提炼 浅层特征图来增强对血管边缘的感知。
3. PCF 包括两条主要路径，分别处理局部patch特征映射及其上下文特征映射 ，结合注意力和交叉注意力

实验结果