摘要 （ABSTRACT）

• 本文主要介绍了一种医学图像拼接方法，该方法采用了增量搜索策略（incremental searching strategy）以及GPU加速。实验表明，这种方法相比于传统的通用软件（如ImageJ，Photoshop，Autostitch）在准确率和速度上都取得了先进的水平。

引言（Introduction）

• 显微结构
  • 显微结构是金相学中描述小尺寸结构特征的经典术语。
  • 材料的显微结构对机械、物理、腐蚀性能具有重要的影响。
  • 具有微观分辨率的材料或元件的大尺度全景图有助于材料和元件的多尺度集成设计。
  • 获得一张高分辨率的单个图像来查看大尺寸的整个样本是很困难的。
  • 通常采用拼接的方法，将几个局部图像与重叠区域缝合，形成一个全局合成图像、
  • 拼接过程的挑战：①复杂多样→鲁棒性；②高分辨率→效率；③拍摄路径不稳定→需要自适应各种情况
    
• 两种类型的拼接方法

  • 基于特征的拼接（Feature based）

    • 优点：可以在保持特征不变的情况下实现高精度。
    • 算法：SIFT、 SURF、 ORB
    • 原理：这些方法在点、线、边、角或其他几何图元之间建立对应关系。
    • 鲁棒检测器的特性：图像噪声不变性、尺度不变性、平移变换和旋转变换。
    • 在显微图像上存在的问题：由于微观结构往往是高度复杂的，这些方法大多可以提取数千个特征进行匹配，这可能会造成时间消耗和计算量大，不能实时应用。
    • 现有解决方法： 图像采样，减少特征→不可避免地会丢失显微图像中的信息。

  • 基于相位相关的拼接（Phase correlation based）

    • 优点：实时拼接。
    • 原理：通过使用快速傅里叶变换（FFT）实现。
    • 不足：当显微照片包含许多类似的微观结构时，这些可能会产生不明确的结果[26]，这将导致缝合时的精度较低。
• 本文方法：VFSMS（very fast sequential micrograph stitching ）
  • 增量搜索策略与相应的匹配和融合方法。→准确率高
  • GPU加速。→实时性
  • 顺序缝合。→路径自适应

方法（Method）

• 框架：Framework of the VFSMS

  • feature based
  • 增量搜索策略（incremental searching strategy）+GPU加速（GPU acceleration）
  • 流程图如下：
    

• 增量搜索策略：Incremental searching strategy

  • 示意图：（local direction equals 0 and incremental parameter equals 1；$$localdirectio{n}_{next}的计算公式：localdirectio{n}_{next}=(localdirectio{n}_{previous}+Incrementalparameter)mod4$$）

  • 流程图：

  • 三个参数影响算法的性能：

    • 局部方向（Local direction）：【两张图的相对方向】0、1、2、3
    • 增量参数（Incremental parameter ）：【下一步两幅图拼接的方向的改变】-1、0、1
    • 特征搜索长度（☆feature search length☆）：【重叠区域占比】20%→50%

  • 可自定义Local direction与Incremental parameter使算法改变特征搜索长度增量的方向

  • 计算公式：$$localdirectio{n}_{next}=(localdirectio{n}_{previous}+Incrementalparameter)mod4$$

  • 上图的（a）（b）个人理解：需要考虑到某些方向匹配失败的情况。

• 步骤：

  • ①初始化Local Direction和Incremental Parameter
  • ②初始化Feature Search Length
  • ③特征搜索（搜索长度＜阈值）
  • ④特征点匹配
  • ⑤四个方向都匹配不到，则特征长度加倍
  • ⑥记录成功匹配图像的偏移位置

• 匹配：Matching

  • 传统方法的不足：无法有效地检测到不匹配
  • 本文方法：构建了一种适合增量搜索策略的匹配方法。

  我们假设重叠图像之间的所有转换仅为平移，这对于最常用的显微镜技术来说是合理的，其中静态固定样品位于由机动工作台移动的水平显微镜载玻片上。

  • 实现：
    • ①采用SURF算法进行特征提取
    • ②使用每个关键点的最近邻与次最近邻的比率[8]来注册关键点对。计算每一对的偏移量。
    • ③可以得到偏移的模式
  • 图示：

• 图像融合：Image fusion

  • 问题：重叠区域问题、缝线问题
  • 解决方法：
    • 使用三角函数融合两个重叠区域
    • 该方法设计用于融合成对显微照片。我们根据顺序缝合策略进行了改进，特别是“角”缝合【下午红色区域的角区域】
    • 
    • 
    • 

实验（Experimental results）

• 数据集（Datasets）
  • 选择了三种不同材料、不同结构和不同成像模式的显微照片作为数据集。
    • 类型1显微照片是纯铁多晶结构（铁多晶OM）的光学显微镜（OM）图像，作为多晶晶粒结构的样品。
    • 类型2显微照片是Al-La合金枝晶结构的OM图像（枝晶OM），作为分形结构的样本。
    • 类型3显微照片是嵌入树脂基体中的锆英石块的扫描电子显微照片，其为复反射模式（SEM-re）、透射模式（SEM-TR）、黑色散射模式（SEM-BS）和阴极发光模式（SEM-CL），作为两相/成分结构的样品。
  • 图像的特点：
    • 类型1和类型2显微照片有数千个详细的高度复杂和多样的微小微结构，具有不同的尺寸和形状，这增加了对方法有效性和效率的要求。科学家需要图像拼接方法来观察和分析高分辨率的大规模微观结构。
    • 类型3显微照片在一个局部图像中有少量锆石块，但是，锆石的纹理非常相似，这增加了对方法鲁棒性的要求。检查员需要大量的样品来测量地质年龄。
  • 实验数据：
    • 每种类型都有不同的尺寸（图像大小，单位为像素）。
    • 每种类型有10组子图像数据集进行并行测试，以确保实验结果的可靠性。
    • 根据拍摄情况，每组有不同数量的显微照片，如表1所示。
    • 每组的所有局部显微照片都可以缝合，形成一个整体合成照片。
    • 我们总共有1584张用于缝合性能测试的显微照片
      
• 实施和评估细节（Implementation and evaluation details）

  • 实验环境：pythton、numpy、opencv

  • 评估指标：使用精度和时间消耗来评估缝合策略和软件的性能

    • 判断是否正确：通过观察缝合线两侧是否有肉眼可以辨别的错位来判断缝合是否正确
    • 准确率计算公式：$$Accurac{y}_{{}_T}=\frac{N_{right}}{N_{total}}\times 100\%$$
    • 时间消耗：增量搜索策略与传统方法对比

    对于特征点多的情况下，增量搜索的优势比较明显；而对于特征点数量少的情况下，GPU加速策略把大多数时间花费在将数据从CPU迁移到GPU上，优势不明显。
    

  • 性能评估（VFSMS与ImageJ、Photoshop、AutoStitch比较）

    • ImageJ（1.51秒）中有三种拼接策略：网格缝合（grid stitch），顺序缝合（sequential stitch and）和成对缝合（pairwise stitch）。
      • 网格缝合：需要用户指定网格大小和拍摄路径，以便通过使用多线程CPU编程来提高缝合精度和减少时间消耗。
      • 顺序缝合：不需要和VFSMS一样设计拍摄路径。
      • 成对缝合：只能缝合两张连续的显微照片，不适合大量的局部显微照片。
    • 使用photomerge中的拼贴模式。
    • ImageJ和Photoshop使用基于相位相关的拼接策略。
    • Autostitch使用基于特征的缝合策略。所有试验均在第3.2节所述的机器上进行
    • 实验结果：
      • VFSMS在精度方面比ImageJ更健壮。
      • VFSMS在精度和速度方面都在多个微观数据集上实现了最先进的性能
      • 时间消耗：
      • 精度：
      • 缝合结果示意图（与ImageJ对比）：

分析与比较（Analysis and comparison）

• results of VFSMS and ImageJ
  • 网格缝合需要用户指定拍摄路径和网格大小。它可以消除累积误差，使一行中的误差不会影响另一行（上图第一行的第二幅图像）。
  • ImageJ是一个基于相位相关的软件。当显微照片包含许多相似的微结构时，可能会产生模糊的结果。
  • ImageJ不会分割不匹配的结果，这会给用户带来麻烦。
• results of VFSMS and Photoshop
  • Photoshop是一个基于相位相关的软件。
  • 可以检测图像的旋转。
  • 当显微照片包含许多相似的微观结构时，会产生模糊的结果。
• results of VFSMS and AutoStitch
  • AutoStitch是一种基于特征的软件。
  • 适合在自然场景中缝合图像，但在显微照片缝合中效果不佳。
  • 应用于显微图像拼接时，会造成较大变形。
  • 检测到不匹配时将中止缝合

总结

• 任务：处理显微图像拼接
• 提出方法：一种非常快速的序列显微图像拼接方法VFSMS
• 核心思路：采用增量搜索策略和GPU加速来保证拼接结果的准确性和速度。
• 目的：可以将多个局部图像与重叠区域缝合，形成最终的具有巨大分辨率的全局合成图像。
• 实验结果：VFSMS在三种微观数据集的精度和速度方面都达到了最先进的性能。此外，它的性能明显优于最著名和常用的软件，如ImageJ、Photoshop和Autostitch。
• 局限性：①只在灰度模式下融合局部显微图像，而不在RGB通道中融合显微图像，这将丢失显微图像中的颜色信息。②由于显微镜成像原理的影响，树枝状晶体的拼接结果有微小的畸变。