小罗碎碎念
这一期选择的五篇文章都是病理AI相关的，切均来自北航郑钰山老师的团队，所以内容上会有一些衔接和递进。
最早的是22年的一篇，最新的也有今年7月发表的，时效性还是可以保证的。不过，这些文章更偏向方法学，所以看起来会更吃力一点。
其中第二篇是我觉得比较有意思的一篇，涉及到了诊断报告和病理切片的配准（其实之前也推荐过这篇文章，但是没有今天详细），这是后续研究多模态和大模型绕不开的领域。
一、利用位置感知图编码和深度哈希进行组织病理学图像检索
一作&通讯
| 作者类型 | 姓名 | 单位 |
|---|---|---|
| 第一作者 | Yushan Zheng | 北京航空航天大学生物医学工程高级创新中心 |
| 通讯作者 | Zhiguo Jiang | 北京航空航天大学生物医学工程高级创新中心 |
| 通讯作者 | Jun Shi | 合肥工业大学软件学院 |
文献概述
这篇文章是关于一种新型的基于位置感知图和深度哈希技术的大规模组织病理学全切片图像（WSI）数据库检索框架的研究。
这个框架旨在帮助病理学家通过检索与兴趣区域（ROI）内容相似的区域来提供辅助诊断信息。
文章提出了一个新颖的内容基于图像检索（CBHIR）框架，该框架使用图卷积和自注意力操作来编码WSI中的ROIs，同时保留它们的结构信息和全局位置信息。这种方法对组织分布相似的区域更敏感，并且具有良好的可扩展性，能够适应ROIs的大小和形状变化。
研究者们设计了一个基于位置感知图编码网络（LAGE-Net），它使用图卷积和自注意力操作来编码LA-Graph，并将信息转换为二进制代码以实现高效检索。实验结果表明，该方法在内部数据集（包含2650个WSI）和公共ACDC-LungHP数据集（包含150个WSI）上的性能优于现有方法，平均检索时间仅为0.752毫秒。
文章还讨论了相关工作，包括基于细胞和图像块的检索方法，以及整个切片图像数据库检索的研究进展。此外，文章还详细介绍了所提出方法的各个方面，包括LA-Graph的构建和LAGE-Net的结构。
最后，文章总结了贡献，并提供了源代码的链接。
简要分析
图1展示了所提出的基于内容的组织病理学全切片图像检索（CBHIR）框架的流程。
该框架分为离线阶段和在线检索阶段：
-
离线阶段：
- 图像分块：首先，将全切片图像（WSI）按照滑动窗口范式分割成小块（patches）。
- 特征提取：使用基于patch标签训练的卷积神经网络（CNN）提取图像特征。
- 子区域划分：根据图像特征和块之间的空间邻接性，将WSI划分为子区域（sub-regions）。
- 图构建：对每个子区域构建图（graph），将区域内的块视为节点，块之间的空间邻接性视为边。同时考虑块到组织边缘的距离。
- 图编码和索引：使用针对图的LAGE-Net模型进行训练，以对子区域进行编码和建立索引。
-
在线检索阶段：
- 查询区域编码：病理学家查询的区域被转换成二进制代码，使用训练好的模型。
- 相似性度量：通过测量查询代码与数据库中代码之间的相似性来检索最相关的区域。
- 结果返回：检索到的最相关区域最终返回给病理学家，作为诊断参考。
整个框架的核心在于使用图结构来编码WSI中的子区域，同时考虑了局部特征、空间邻接性和全局位置信息，并通过深度哈希技术实现高效的检索。这种方法能够提高检索系统对组织分布相似区域的敏感性，并允许病理学家使用自由曲线定义查询区域，从而提高了检索的灵活性和实用性。
关键问题
如何理解位置感知图和深度哈希技术？
位置感知图（Location-aware Graph）和深度哈希技术是这篇文章提出的CBHIR框架中的两个关键概念。
-
位置感知图（Location-aware Graph）：
- 图的构建：在WSI中，每个子区域（sub-region）被构建为一个图。在这个图中，每个图像块（patch）被视为一个节点，块之间的空间邻接关系被视为边。这样，图不仅包含了图像块的特征信息，还包含了它们之间的空间关系。
- 位置信息：除了图像块的特征和它们之间的空间关系，位置感知图还考虑了图像块相对于整个组织切片的空间位置信息。具体来说，计算每个图像块到组织边缘的最小距离，并将这个距离信息嵌入到图中。这种位置信息有助于反映组织结构的全局分布，例如肿瘤的大小和侵犯深度等。
- 应用：通过这种图结构，可以更准确地捕捉到组织病理学图像中的局部和全局特征，从而提高检索系统对相似区域的识别能力。
-
深度哈希技术：
- 哈希编码：深度哈希技术是一种将数据编码为二进制代码的方法。在这篇文章中，使用深度神经网络（特别是LAGE-Net）将位置感知图编码为紧凑的二进制代码。
- 相似性检索：这些二进制代码用于表示WSI中的子区域，并存储在数据库中。在检索阶段，通过计算查询区域的二进制代码与数据库中代码之间的汉明距离（Hamming distance），可以快速找到与查询区域相似的区域。
- 效率：深度哈希技术的一个主要优点是它能够显著提高检索效率。由于汉明距离的计算非常快速，这使得系统能够在短时间内处理大规模的图像数据库，这对于实时或近实时的病理学图像分析尤为重要。
总的来说，位置感知图通过结合局部特征、空间关系和位置信息，为病理学图像提供了一种丰富的表示方法。而深度哈希技术则利用这种表示来实现快速且准确的相似性检索，这对于提高病理学家的诊断效率和准确性具有重要意义。
二、基于诊断报告的组织病理学图像检索
一作&通讯
| 作者角色 | 姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | Dingyi Hu | 北京航空航天大学生物医学工程高级创新中心 |
| 通讯作者 | Yushan Zheng | 北京航空航天大学生物医学工程高级创新中心 |
文献概述
这篇文章是关于一种新型的细粒度数字病理跨模态检索框架，该框架通过学习与病理报告配对的组织病理学全切片图像（WSIs）来提取细粒度语义。
这个框架包括一个基于锚点的WSI编码器，用于提取层次化的区域特征，以及一个基于提示的文本编码器，用于从诊断报告中学习细粒度语义。
该框架通过多变量跨模态损失函数进行训练，以便在实例级别和区域级别从诊断报告中学习语义信息。训练完成后，它能够执行四种类型的检索任务，以支持基于多模态数据库的诊断需求。
研究人员在内部数据集和公共数据集上进行了实验，以评估所提出的方法。实验结果表明，该方法有效，并且比现有的组织病理学检索方法有优势。代码已在GitHub上提供。
文章还讨论了与组织病理学图像检索和语言-图像表示学习相关的工作，并详细描述了所提出方法的预备工作、锚点基础的WSI编码器、提示基础的报告编码器、图像-语言对齐、检索过程以及实验设置。此外，还提出了新的评估指标，用于衡量模型的性能，并与其他方法进行了比较。
最后，文章还提供了一些可视化结果，展示了锚点-提示对齐和检索结果，以证明所提出方法的有效性。作者指出，未来的工作将集中在基于WSIs的标题生成上，以为临床诊断提供更直接和简洁的帮助。
简要分析
Fig. 1 展示的是所提出的跨模态检索框架的流程图，该框架分为两个主要阶段：归档（a-c）和检索（d）。
在归档阶段：
- 首先，将全切片图像（WSIs）分割成小块（patches），这些小块被送往特征提取模块以获取它们的特征表示。
- 同时，生成锚点（anchors）和软掩模（soft-masks）来表示图像中的区域。
- 诊断报告被分词成单词，并嵌入到向量空间中以获得单词表示。
- 此外，诊断报告中的提示（prompts）被编码为提示表示。
- 然后，WSIs和配对的诊断报告被编码成紧凑的特征，并作为多模态数据库归档。
在检索阶段：
- 提出的框架能够执行四种类型的检索任务：图像到图像（image-to-image）、图像到文本（image-to-text）、文本到文本（text-to-text）和文本到图像（text-to-image）。
- 病理学家可以输入图像或文本数据，并从数据库中检索出诊断相关的案例。
这个框架的设计允许病理学家以更灵活的方式输入查询，无论是图像还是文本，都能够检索出与之语义相似的病理案例，从而为临床诊断提供支持。通过这种方式，框架能够提高病理图像检索的效率和准确性，帮助病理学家做出更准确的诊断。
关键问题
如何理解锚点、软掩膜和细粒度？
在这篇文章中，锚点（anchors）、软掩膜（soft-masks）和细粒度（fine-grained）是实现组织病理学全切片图像（WSIs）和诊断报告之间精确匹配的关键概念。
-
锚点（Anchors）：
- 锚点是一种用于识别和定位WSI中特定区域的方法。在这篇文章中，锚点是通过聚类算法（如K-means）确定的，它们代表了WSI中的关键区域或感兴趣的区域。
- 这些锚点作为参考点，帮助模型专注于图像中与诊断相关的部分，从而提取这些区域的特征。
- 锚点的数量和位置是根据图像中补丁（patches）的位置动态确定的，这使得模型能够适应不同大小和复杂性的WSI。
-
软掩膜（Soft-Masks）：
- 软掩膜是一种表示锚点区域的权重图，它为每个锚点分配一个权重，表明该锚点与WSI中每个补丁的关联程度。
- 这些权重通常使用高斯函数或其他相似的函数生成，以确保与锚点位置接近的补丁有更高的权重。
- 软掩膜允许模型在考虑全局信息的同时，也能够捕捉到局部区域的细节，这对于细粒度的图像分析至关重要。
-
细粒度（Fine-Grained）：
- 细粒度通常指的是在非常详细的层面上进行分析或处理，这在本文中体现在对WSI的局部区域进行精确的特征提取和语义分析。
- 在这个框架中，细粒度分析是通过锚点和软掩膜实现的，它们帮助模型在不同尺度上捕捉图像的特征，从而实现对图像区域的精确表示。
- 细粒度的跨模态检索意味着模型不仅能够识别图像和文本之间的一般匹配，还能够理解它们在更具体层面上的语义对应关系，这对于提高检索的准确性和相关性至关重要。
总的来说，锚点和软掩膜是实现细粒度分析的工具，它们使得模型能够精确地从WSI中提取与诊断报告相匹配的区域特征，从而提高病理图像检索的准确性和效率。
三、Kernel Attention Transformer：提升组织病理学全切片图像分析和辅助癌症诊断的模型
一作&通讯
| 角色 | 姓名 | 单位 |
|---|---|---|
| 第一作者 | Yushan Zheng | 北京航空航天大学工程医学院，北京先进技术研究院生物医学工程中心，中国北京 |
| 通讯作者 | Zhiguo Jiang | 北京航空航天大学宇航学院图像处理中心，北京先进技术研究院生物医学工程中心，中国北京 |
| 通讯作者 | Jun Shi | 合肥工业大学软件学院，中国合肥 |
文献概述
这篇文章介绍了一种名为Kernel Attention Transformer（KAT）的新型模型，它用于分析组织病理学全切片图像（WSI）并辅助癌症诊断。
KAT通过在局部区域的WSI上提取分层上下文信息，并提供多样化的诊断信息，从而克服了传统Transformer在处理千兆像素级别的WSI时的局限性。
KAT的核心是通过与一组与WSI上补丁空间关系相关的核函数进行交叉注意力来实现信息传递。这种方法显著减少了计算量，提高了效率。
文章的主要贡献包括：
- 提出了KAT模型，它通过交叉注意力机制替代了传统的Transformer中的逐令牌自注意力，降低了计算复杂度。
- 设计了一种基于锚点的令牌掩码方法，通过创建层次化的锚点基础软掩码来引导交叉注意力，从而感知WSI的多尺度特征。
- 提出了一种核对比表示学习（KCL）策略，以提高KAT在WSI分析中的有效性和可解释性。
KAT在三个大规模数据集上进行了评估，并与八种最先进的方法进行了比较。实验结果表明，KAT在组织病理学WSI分析任务中是有效和高效的，并且优于现有的最先进方法。
此外，文章还讨论了KAT的计算复杂度，并提供了可视化分析，以展示KAT在识别代表性区域和检索相似区域方面的性能。
简要分析
Fig. 1 展示了所提出的组织病理学全切片图像（WSI）分析框架。
该框架的核心是Kernel Attention Transformer（KAT），它负责处理和分析WSI以辅助癌症诊断。
(a) 原始WSI：这是病理学家在显微镜下观察到的完整组织切片图像，包含了大量的组织信息。
(b-d) 锚点定义和锚点相关掩码生成：这一步骤涉及将WSI的前景区域划分为多个小块（patches），并基于这些块的空间位置生成一组锚点。锚点是均匀分布在组织区域内的，用于描述组织结构信息。接着，为每个锚点生成软掩码，这些掩码描述了锚点与图像块之间的空间关系。
(e-f) 特征提取流程图：这一步骤使用卷积神经网络（CNN）从每个图像块中提取特征，形成特征矩阵。这些特征随后被用来进行进一步的分析。
(g) 可训练的嵌入核：这里指的是一组可训练的嵌入向量，它们与锚点绑定并用于信息传递。这些核函数有助于捕捉局部区域的上下文信息。
(h) 用于信息聚合和WSI分类的可训练向量：这是一个用于聚合来自核函数的信息并进行最终分类决策的向量。
(i-l) 框架输出：包括WSI的亚型概率、感兴趣区域的热图指示以及最关注的区域及其从数据库中检索到的相似区域/案例。这些输出为病理学家提供了关于哪些区域是诊断相关的关键信息，以及可能的诊断建议。
总体而言，Fig. 1 描述了一个从原始WSI到最终诊断输出的完整分析流程，强调了KAT在处理过程中的核心作用，包括特征提取、信息传递、聚合和分类。这个框架通过结合图像处理和深度学习技术，提高了对组织病理学图像的分析能力和诊断准确性。
关键问题
如何理解交叉注意力机制、逐令牌自注意力和核对比表示学习策略？
这三个概念是深度学习，特别是在自然语言处理（NLP）和计算机视觉（CV）领域中，用于增强模型对数据中不同部分之间关系理解的技术。
-
交叉注意力机制（Cross-Attention Mechanism）：
交叉注意力机制是一种允许模型在处理一种类型的输入（如图像块）时，考虑到另一种类型输入（如与空间关系相关的核函数）的信息。在KAT模型中，交叉注意力是通过在WSI的局部特征（patches）和一组与空间关系相关的核函数（kernels）之间进行信息传递来实现的。这种机制使得模型能够捕捉到局部特征之间的空间和光谱关系，同时考虑到它们在整体图像中的上下文信息。 -
逐令牌自注意力（Token-Wise Self-Attention）：
自注意力机制是Transformer模型的核心组成部分，它允许模型在处理序列数据时，对序列中的每个元素（或称为“令牌”）分配不同的权重，这些权重基于元素之间的相互关系计算得出。在NLP中，这意味着模型可以识别出句子中不同单词之间的关联；在CV中，则可以识别图像中不同区域之间的关系。逐令牌自注意力是自注意力的一种形式，它对每个令牌单独进行操作，计算其与序列中其他令牌的关系。 -
核对比表示学习策略（Kernel Contrastive Representation Learning, KCL）：
核对比表示学习策略是一种自监督学习方法，它通过对比正样本（相似的样本）和负样本（不相似的样本）的特征表示来训练模型。在KAT模型中，KCL用于提高核函数表示的区分度，使得模型能够学习到更具辨别力的特征表示。这通常通过构建一个对比损失函数来实现，该函数鼓励模型将相似的样本映射到相近的特征空间位置，而将不相似的样本映射到不同的位置。
总结来说，交叉注意力机制允许模型在处理WSI时考虑到空间关系，逐令牌自注意力关注于令牌之间的相互关系，而核对比表示学习策略则通过自监督学习增强模型对特征表示的区分能力。这些技术共同作用，使得KAT模型能够有效地分析和理解复杂的组织病理学图像。
四、组织病理学全切片图像中的生物标志物预测
一作&通讯
| 角色 | 姓名 | 单位（中文） |
|---|---|---|
| 第一作者 | Yushan Zheng | 北京航空航天大学工程医学院，北京先进技术研究院生物医学工程中心 |
| 通讯作者 | Zhiguo Jiang | 北京航空航天大学宇航学院图像处理中心 |
| 通讯作者 | Wei Wang | 中国科学技术大学第一附属医院病理科，生命科学与医学部，智能病理研究所 |
文献概述
这篇文章是关于一种新的部分标签对比表示学习方法，用于从组织病理学全切片图像（WSI）中预测细粒度的生物标志物。
这种方法旨在解决组织亚型复杂性和标签噪声问题，以提高生物标志物预测的准确性。文章提出了一种新颖的部分标签对比聚类（PLCC）模块，用于部分标签的消歧，以及一种动态聚类算法，用于在对比学习过程中采样每个类别最具代表性的特征。
通过在三个基因突变预测数据集上的实验，包括USTCEGFR、BRCA-HER2和TCGA-EGFR，展示了该方法在准确性、AUC和F1分数方面的优越性能。特别是，该方法在TCGA-EGFR数据集的EGFR突变亚型中实现了0.950的AUC，在BRCA-HER2数据集的HER2 0/1+/2+/3+分级中实现了0.853的AUC。
文章还讨论了相关工作，包括对比表示学习、基于MIL的弱监督WSI分类和病理图像分析的部分标签学习。此外，文章详细介绍了所提出方法的各个方面，包括WSI生物标志物预测中部分标签问题的定义、对比表示学习框架、部分标签消歧、类别感知聚类更新以及如何利用训练好的编码器进行WSI分析任务。
最后，文章通过实验验证了PLCC方法的有效性，并与其他九种方法进行了比较，证明了其在病理图像特征学习领域的先进性。文章还提供了源代码的链接，供有兴趣的研究人员进一步探索和使用。
简要分析
Fig. 1 展示了所提出的部分标签对比学习框架的概览，该框架由两个主要模块组成：部分标签消歧模块（a）和样本过滤模块（b）。
-
部分标签消歧模块（Partial-label Disambiguation Module）：
- 这个模块的目的是从一个样本的可能标签集合（候选标签）中挖掘出真实的类别标签。
- 在这个模块中，每个样本都会被分配一个候选标签集合，这个集合基于诊断先验的共存依赖关系。
- 模块通过对比学习过程，使用设计的消歧策略，从候选标签集合中识别出每个样本的真实标签。
- 这个过程有助于提高表示学习的能力，使得模型能够区分微妙但重要的病理模式。
-
样本过滤模块（Sample Filter Module）：
- 该模块的目标是更新聚类队列，确保聚类队列中存储的是最有代表性的样本特征。
- 在对比学习过程中，动态聚类算法会持续地将每个类别最具代表性的特征样本加入到聚类队列中。
- 这个模块通过计算样本与聚类队列中已有样本的相似度，来决定哪些样本应该被添加到聚类队列中，以及哪些样本应该被移除。
- 通过这种方式，模型能够不断地更新和优化聚类队列，从而提高部分标签消歧的性能，并确保模型的稳定收敛。
整体来看，Fig. 1 中的框架通过结合部分标签学习和对比学习，旨在提高在弱监督环境下病理图像表示学习的质量和效果。通过这种结构，模型能够更好地处理病理图像中的复杂性和变异性，从而在细粒度的生物标志物预测任务中取得更好的性能。
关键问题
如何理解对比表示学习？
对比表示学习（Contrastive Representation Learning）是一种自监督学习方法，它通过对比样本之间的相似性来学习数据的表示。
这种方法的核心思想是，如果两个样本在语义上是相似的，那么它们的表示（即模型学习到的特征向量）也应该在向量空间中彼此接近；反之，如果两个样本在语义上不相似，它们的表示应该相距较远。通过这种方式，模型可以学习到能够捕捉数据本质特征的表示。
在基因突变预测的上下文中，对比表示学习可以用于学习组织病理学全切片图像（WSI）中不同组织类型的区分性特征。通过这种方式，模型能够识别出与特定基因突变相关的组织模式，即使在只有有限的标注信息（即弱监督）的情况下也能进行有效的预测。
总的来说，对比表示学习通过利用数据本身的结构信息，而不是依赖于大量的标注数据，来学习数据的区分性表示。这种方法在许多视觉任务中，尤其是在标注数据稀缺的情况下，显示出了强大的性能。
五、基于自监督学习的病理WSI数据增强和表示学习方法
一作&通讯
| 角色 | 姓名 | 单位（中文） |
|---|---|---|
| 第一作者 | Kunming Tang | 北京航空航天大学宇航学院图像处理中心、生物医学工程北京高级创新中心、天目山实验室 |
| 通讯作者 | Yushan Zheng | 北京航空航天大学生物医学工程北京高级创新中心 |
| 通讯作者 | Haibo Wu | 中国科学技术大学附属第一医院病理科、生命科学与医学部、智能病理学研究所 |
文献概述
这篇文章是关于一种用于病理组织切片图像（Whole Slide Images, WSIs）分类的自监督表示分布学习方法，该方法名为SSRDL（Self-Supervised Representation Distribution Learning），它结合了在线表示采样策略（ORS）来实现可靠的数据增强。
这种方法基于MIL（Multiple Instance Learning）框架，通过从WSIs中提取的图像块（patches）的表示来进行分类。文章提出，现有的MIL方法通常使用在ImageNet上预训练的模型或在病理图像数据集上通过自监督学习训练的模型来提取图像块的表示，然后在MIL分类器训练中固定这些表示，以提高效率。
然而，这种表示的不变性不能满足训练一个健壮的MIL分类器所需的多样性，从而限制了WSI分类的性能。
为了解决这个问题，研究者们提出了SSRDL框架，它在自监督表示学习中加入了一个新的在线表示采样策略（ORS），用于图像块特征提取和WSI级别的数据增强。通过在三个数据集上评估该方法，并在三个MIL框架下进行实验，结果表明该方法在病理图像表示学习和数据增强方面取得了最佳性能，超越了不同WSI分类框架下的最新方法。
文章还讨论了自监督表示学习、深度学习中的数据增强以及WSI分析中的数据增强的相关研究工作。作者介绍了所提出方法的详细架构，包括自监督框架DINO的扩展，以及如何通过估计图像块的表示分布来进行数据增强。
此外，文章还提供了实验设置、超参数验证、消融研究和与其他方法的比较，以证明所提出方法的有效性。最后，文章还探讨了将WSI级预训练与SSRDL框架和ORS策略整合的可能性，并通过t-SNE可视化展示了所采样表示的可靠性。
简要分析
Fig. 1 展示了现有方法与本文提出方法在进行全切片图像（WSI）数据增强方面的比较。图中的虚线表示离线训练过程，而实线表示在线训练过程。
(a) 最简单的WSI增强方法，耗时较长：
这种方法直接对整个WSI进行增强处理，如旋转、缩放、裁剪等，然后提取图像块（patches）进行特征提取。这种方法简单直观，但由于WSI的尺寸通常非常大，包含数十亿像素，因此直接处理整个WSI会非常耗时。
(b) 使用额外训练的生成模型进行WSI增强：
这种方法通过训练一个生成模型（如生成对抗网络GAN或变分自编码器VAE）来生成新的数据增强样本。这些生成的样本可以是全新的图像块，也可以是图像块的变换版本。这种方法能够在特征空间中生成新的数据，但需要额外的训练步骤来训练生成模型，增加了计算成本。
© 通过多种方式混合两个包来实现WSI增强：
这种方法，如Mixup，通过将两个或多个图像块以不同的方式混合来生成新的增强样本。例如，可以将两个图像块的像素值按一定比例混合，或者将它们的表示向量混合。这种方法能够生成新的数据样本，但混合后的样本可能丢失原始样本的语义信息，导致模型性能不稳定。
(d) 本文提出的在线表示采样策略（ORS）：
与上述方法不同，本文提出的方法在特征提取之后进行数据增强。首先，使用自监督学习框架（如DINO）提取图像块的特征表示，然后通过一个分布估计器为每个图像块估计一个表示分布。在WSI分类器的在线训练过程中，动态地从这些分布中采样新的表示，以实现数据增强。这种方法不需要额外训练生成模型，也不需要对整个WSI进行处理，因此计算成本较低，同时能够生成具有多样性和可靠性的数据增强样本。
总结来说，Fig. 1 展示了不同WSI数据增强方法的流程和特点，其中本文提出的在线表示采样策略（ORS）在效率和效果上都具有优势。
