用于病理图像诊断的跨尺度多实例学习|文献速递-基于深度学习的医学影像分类，分割与多模态应用

Title

题目

Cross-scale multi-instance learning for pathological image diagnosis

用于病理图像诊断的跨尺度多实例学习

文献速递介绍

病理学是诊断炎症性肠病（如克罗恩病）的金标准（Gubatan等，2021；Yeshi等，2020）。在当前的临床实践中，病理学家通过显微镜观察多尺度的形态模式（Bejnordi等，2017），这一过程非常繁琐。随着全片扫描成像和深度学习技术的快速发展，计算机辅助临床诊断和数字病理学领域的探索潜力正迅速增加，使其成为一个极具前景的研究领域（Kraszewski等，2021；Con等，2021；Kiyokawa等，2022；Syed和Stidham，2020）。然而，在标准的监督式深度学习系统中，对图像进行像素级或块级标注计算成本非常高（Hou等，2016；Mousavi等，2015；Maksoud等，2020；Dimitriou等，2019）。为了从具有弱标注的图像（如病人级别的诊断）中获得准确的诊断，多实例学习（MIL）作为一种流行的弱监督学习范式，在数字病理学任务中得到了广泛应用（Wang等，2019；Skrede等，2020；Chen等，2021；Lu等，2021b,a）。例如，DeepAttnMISL（Yao等，2020）使用MIL将图像块分组为不同的“包”，以对多种局部特征进行建模和聚合，用于病人级别的诊断。

Aastract

摘要

Analyzing high resolution whole slide images (WSIs) with regard to information across multiple scales poses a significant challenge in digital pathology. Multi-instance learning (MIL) is a common solution for working with high resolution images by classifying bags of objects (i.e. sets of smaller image patches). However, suchprocessing is typically performed at a single scale (e.g., 20× magnification) of WSIs, disregarding the vitalinter-scale information that is key to diagnoses by human pathologists. In this study, we propose a novel crossscale MIL algorithm to explicitly aggregate inter-scale relationships into a single MIL network for pathologicalimage diagnosis. The contribution of this paper is three-fold: (1) A novel cross-scale MIL (CS-MIL) algorithmthat integrates the multi-scale information and the inter-scale relationships is proposed; (2) A toy datasetwith scale-specific morphological features is created and released to examine and visualize differential crossscale attention; (3) Superior performance on both in-house and public datasets is demonstrated by our simple cross-scale MIL strategy.

分析高分辨率的全片扫描图像（Whole Slide Images, WSIs）时，跨多个尺度的信息处理在数字病理学中是一个显著的挑战。多实例学习（MIL）是处理高分辨率图像的常用方法，通过对一组对象（即多个较小的图像块集）进行分类。然而，这种处理通常是在单一尺度（例如，20×放大倍数）下进行的，忽视了跨尺度信息，而这种信息对病理医生的诊断至关重要。在本研究中，我们提出了一种新颖的跨尺度多实例学习算法，明确地将跨尺度关系整合到单一的MIL网络中，用于病理图像诊断。本文的贡献有三点：(1) 提出了一个新颖的跨尺度多实例学习（CS-MIL）算法，该算法整合了多尺度信息和跨尺度关系；(2) 创建并发布了一个具有尺度特异性形态学特征的玩具数据集，以检查和可视化跨尺度注意力的差异；(3) 我们的简单方法在内部数据集和公开数据集上展示了优越的性能。

Method

方法

The overall pipeline of the proposed CS-MIL is presented in Fig. 2.c.We propose a novel attention-based ‘‘early fusion’’ paradigm that aimsto capture inter-scale relationships in a holistic manner. First, patcheswith similar center coordinates but from different scales are jointlytiled from the WSIs. Then, patch-wise phenotype features are extractedusing a self-supervised model. Local feature-based clustering is appliedto each WSI, which distributes the phenotype patterns into each MILbag. Next, cross-scale attention-guided MIL is performed to aggregate features across multi-scale and multi-clustered settings. Finally, across-scale attention map is generated for human visual examination.

我们提出的CS-MIL总体流程如图2.c所示。

我们提出了一种基于注意力机制的“早期融合”范式，旨在整体上捕捉不同尺度间的关系。首先，从全组织切片图像（WSIs）中提取具有相似中心坐标但不同尺度的图像块。接着，利用自监督模型提取图像块的表型特征。对每个全组织切片图像应用基于局部特征的聚类，将表型模式分布到每个多实例学习（MIL）包中。随后，执行跨尺度注意力引导的MIL，以在多尺度和多聚类设置中聚合特征。最后，生成跨尺度注意力图供人类视觉检查。

Conclusion

结论

In this study, we introduce a novel cross-scale MIL approach thateffectively integrates multi-scale features with inter-scale knowledge.Additionally, the proposed method utilizes cross-scale attention scoresto generate importance maps, enhancing the interpretability and comprehensibility of the CS-MIL model. Our experimental and simulatedresults reveal that the proposed approach outperforms existing multiscale MIL benchmarks. The visualization of cross-scale attention produces scale-specific importance maps that potentially assists cliniciansin interpreting image-based disease phenotypes. This contribution highlights the potential of cross-scale MIL in digital pathology and encourages further research in this area.

在本研究中，我们提出了一种新颖的跨尺度多实例学习（MIL）方法，该方法有效地整合了多尺度特征与尺度间知识。此外，所提出的方法通过跨尺度注意力分数生成重要性图，增强了 CS-MIL 模型的可解释性和可理解性。我们的实验和模拟结果表明，所提出的方法在性能上优于现有的多尺度 MIL 基准。跨尺度注意力的可视化生成了特定尺度的图像重要性图，能够帮助临床医生解读基于图像的疾病表型。这一贡献突显了跨尺度 MIL 在数字病理学中的潜力，并鼓励了该领域的进一步研究。

Results

结果

Table 5 presents the bag-level classification performanceon the two toy datasets. The proposed method differentiates distinctivepatterns at different scales in a stable manner. Fig. 6 displays the crossscale attention maps at the instance level and multiple scales. For theMicro-anomaly dataset, the instance attention successfully highlightspositive regions with higher attention scores in corresponding regionsat 20×. For the Macro-anomaly dataset, the instance attention locatesellipses instead of circles with higher attention scores at 5×. Thebox plots in the right panel illustrate the attention score distributionat different scales, attesting to the cross-scale attention mechanism’sreliability in providing scores across various scales and demonstratingits capability in localizing scale-specific knowledge. The cross-scaleattentions can be further utilized to offer AI-based guidance for knowledge exploration in pathological images in future work, distinguishingit from other methods.

表 5 展示了两个玩具数据集上的包级分类性能。所提出的方法能够在不同尺度上稳定地区分出不同的模式。图 6 展示了实例级别和多尺度的跨尺度注意力图。在微观异常数据集中，实例注意力成功在对应的 20× 区域内突出显示了正区域，分配了较高的注意力分数。在宏观异常数据集中，实例注意力则在 5× 下为椭圆分配了较高的注意力分数，而不是圆形。右侧面板中的箱线图展示了不同尺度下的注意力分数分布，证明了跨尺度注意力机制在多个尺度上提供分数的可靠性，并展示了其定位特定尺度知识的能力。跨尺度注意力机制在未来的工作中可以进一步用于为病理图像中的知识探索提供基于人工智能的指导，使其与其他方法区分开来。

Figure

图

Fig. 1. Multi-scale awareness. Given the heterogeneous structural patterns in tissuesamples at different resolutions, human pathologists need to carefully examine biopsiesat multiple scales across a whole slide image to capture morphological patterns fordisease diagnosis.

图1. 多尺度感知。鉴于不同分辨率下组织样本中存在的异质结构模式，病理学家需要在全片图像上仔细检查活检样本的多个尺度，以捕捉形态学模式用于疾病诊断。

Fig. 2. Multi-scale MIL designs. a. Previous work did not take into account the inter-scale relationships across different resolutions. b. Our solution enables the identificationof significant regions using cross-scale attention maps, and aggregates the cross-scale features into a cross-scale representation by multiplying the cross-scale attention scores fordiagnosing pathological images. c. The cross-scale attention mechanism is employed to merge the cross-scale features with different attention scores. Cross-scale representationsfrom various clusters are concatenated for pathological classification.

图 2. 多尺度 MIL 设计。a. 以往的研究没有考虑到不同分辨率之间的尺度间关系。b. 我们的解决方案通过跨尺度注意力图识别重要区域，并通过跨尺度注意力分数的加权聚合，将跨尺度特征融合为跨尺度表示，用于病理图像的诊断。c. 跨尺度注意力机制被用来合并具有不同注意力分数的跨尺度特征，来自不同簇的跨尺度表示被拼接起来用于病理分类。

Fig. 3. ROC curves with AUC scores and PR curves with AP scores. This figure illustrates the receiver operating characteristic (ROC) curves and precision–recall (PR) curves forboth baseline models and the proposed model, along with the corresponding area under the curve (AUC) scores and average precision (AP) scores. The results indicate that theproposed model with cross-scale attention outperformed the baseline models in terms of both metrics

图 3. ROC 曲线与 AUC 得分及 PR 曲线与 AP 得分。该图展示了基线模型和所提出模型的受试者工作特征（ROC）曲线和精确率-召回率（PR）曲线，以及相应的曲线下面积（AUC）得分和平均精度（AP）得分。结果表明，带有跨尺度注意力的所提出模型在这两个指标上均优于基线模型。

Fig. 4. Attention map visualization. This figure displays the cross-scale attention maps generated by the proposed model for a CD WSI. The attention map at 20× highlights thechronic inflammatory infiltrates, whereas the attention map at 10× focuses on the crypt structures. These regions of interest indicate the distinctive areas for CD diagnosis thatare discernible across multiple scales.

图 4. 注意力图可视化。该图展示了所提出模型为一个 CD 全切片图像（WSI）生成的跨尺度注意力图。20× 放大倍数的注意力图突出显示了慢性炎症浸润区域，而 10× 放大倍数的注意力图则集中在隐窝结构上。这些感兴趣区域表明了在不同尺度上可用于 CD 诊断的特定区域。

Fig. 5. Two toy dataset. This figure demonstrates two toy datasets to evaluate thefunctionality of the cross-scale attention mechanism. In the micro-anomaly dataset,the white cross pattern is only observed at 20×. In the macro-anomaly dataset, theabnormal shape (ellipse) is easily recognized at 5×.

图 5. 两个玩具数据集。该图展示了两个玩具数据集，用于评估跨尺度注意力机制的功能。在微观异常数据集中，白色十字图案仅在 20× 放大倍数下可见。而在宏观异常数据集中，异常形状（椭圆）在 5× 放大倍数下很容易识别。

Fig. 6. Results for toy datasets This figure exhibits attention maps at both instance level and multiple scales. In the case of the Micro-anomaly dataset, the instance attentiongenerates higher attention scores for the positive regions in their corresponding regions at 20×. Similarly, for the Macro-anomaly dataset, the instance attention identifies ellipseswith higher attention scores rather than circles at 5×. Additionally, the box plots in the right panel display the attention score distribution at different scales, confirming thereliability of the cross-scale attention mechanism in generating scores at multiple scales.

图 6. 玩具数据集结果。该图展示了实例级别和多尺度的注意力图。在微观异常数据集中，实例注意力为对应的 20× 放大倍数下的正区域生成了较高的注意力分数。同样地，在宏观异常数据集中，实例注意力在 5× 放大倍数下识别出了椭圆，并为其生成了较高的注意力分数，而不是圆形。此外，右侧面板中的箱线图展示了不同尺度下的注意力分数分布，验证了跨尺度注意力机制在生成多尺度分数方面的可靠性。

Table

表