论文阅读：Generating Synthetic Data for Medical Imaging

Abstract

背景：

医学成像任务，如分类或分割，需要大量不同的图像数据集。

挑战：

合成图像的真实性和多样性，同时保持数据的不可识别性，评估基于合成数据训练的模型的性能和通用性，以及高计算成本。

贡献：

本文综述了当前医学影像学中合成数据的研究现状，并重点介绍了该领域当前面临的主要挑战，以指导今后的研究和发展。

0

在合成医学成像中，生成模型已用于生成脑部MRI扫描（16）、视网膜图像（17）和数字病理图像中的乳腺癌组织（18）。
合成数据有更多潜在的应用，例如在相同或不同模式之间转换图像、生成合成对比度增强图像、AI解释性（即使AI对人类可理解）和放射科医师培训。
本综述旨在为放射科医生和影像学研究人员提供一个关于合成数据的综合参考，作为确定该领域关键挑战和指导未来工作的路线图。

（由扩散模型生成并由放射科医师标记的合成胸片。随机抽取50张生成图像和50张真实胸片，由具有10年以上心胸成像临床经验的委员会认证放射科医师独立标记为合成或真实。最上面一行显示了被放射科医生误认为真实的合成胸片。下面一行显示了正确识别为合成的合成胸片。两行图像都是通过扩散模型生成的，扩散模型是根据美国国立卫生研究院胸片数据集的正常胸片样本训练的。在烧录的文本中，删除了注释以消除文本瑕疵。）

Synthetic Data: Promises and Potential——合成数据：前景与潜力

用于合成医学图像的生成模型：变分自动编码器、生成对抗网络（GANs）和扩散模型（19-21）。

Dataset Enrichment——数据集扩展

Amirrajab和Al-Khalil等人（24）使用GAN生成具有成对分割掩模的心脏MRI扫描，随后用于训练分割模型。作者指出，用合成数据代替真实训练数据会降低心脏腔分割的性能。然而，在真实数据中添加合成图像显著提高了定量和定性评估的性能。
Pan等人（25）使用扩散模型生成的图像来训练分类器；四个不同的模型用四个数据集进行训练，生成合成胸片、心脏MRI、盆腔CT和腹部CT图像。在一项读者研究中评估，生成的图像与真实的胸片和心脏MRI扫描无法区分，而骨盆和腹部的合成CT图像被认为不太真实。

Deidentification and Data Sharing——身份识别和数据共享

Federated learning（联邦学习），一种去中心化的人工智能技术，它通过多个远程设备或独立的数据中心（如医院）训练模型，同时保持数据本地化。

Chang 等人（35）提出了通过去中心化训练的生成对抗网络（GAN）生成大脑 MRI 扫描图像。该 GAN 包含一个中央生成器，生成器无法访问敏感的患者数据。多个分布式鉴别器位于不同的医疗中心，用于判断生成的图像是实图还是合成图。
恶意贡献者可能通过逆向训练过程推断出其他贡献者的私人数据集的一些信息（36）

Autoencoders （自动编码器），可用作识别器。它们压缩图像，隐藏或消除图像注释或面部特征等隐私细节。

Kim等人（37）训练了一种识别自动编码器，该编码器在保留大脑分割所需信息的同时，混淆了三维脑MRI扫描中显示隐私的特征。他们用一个判别器来训练模型，该判别器试图对一对表示是否属于同一个人进行分类，如果隐私敏感信息被正确删除，这将更加困难。然后，所得到的隐私保护表示可以安全地与其他机构共享用于下游任务，例如分类或解码回未识别的合成图像。

A search was conducted on PubMed, Scopus, and arXiv using the search terms synthetic data, medical imaging, and artificial intelligence. （在PubMed、Scopus和arXiv上使用搜索词合成数据、医学影像和人工智能进行搜索。）

Explainability and Professional Training——可解释性与专业培训

Cohen等人（42）开发了一种方法，通过使用自动编码器探索胸片预测的属性。此方法仅修改导致特定预测的最有语义意义的像素。例如，将心脏扩大的预测值反向传播到图像表示，可以综合放大心脏。
使用文本到图像伦琴模型生成的示例图像，该模型可以使用放射报告中遇到的文本合成胸片（92）。例如，这些合成图像可在教育设置中用于描绘用于指示细菌性肺炎的轮廓迹象或轮廓缺失（箭头）。

（可以使用文本到图像伦琴模型生成的示例图像，该模型可以使用放射报告中遇到的文本合成胸片（92）。例如，这些合成图像可在教育设置中用于描绘用于指示细菌性肺炎的轮廓迹象或轮廓缺失（箭头）。）

Streamlined Clinical Workflow——简化的临床工作流程

Intra- and intermodality translation（模态内和模态间转换）

模态内转换：

低剂量 PET 成像会影响图像噪声水平和放射性示踪剂摄取的局部值。因此，像去噪等简单的后处理技术无法准确地将低剂量 PET 图像重建为标准剂量 PET 图像（43）。
陈等人（44）训练了一种模型，将来自 39 名患者的低剂量 PET 和对比增强 MRI 扫描图像转换为标准剂量的淀粉样蛋白 PET 图像。使用 PET 和 MRI 图像作为输入的合成图像，在淀粉样蛋白状态的读取上比仅使用 PET 图像的输入具有更高的准确性、灵敏度和特异性。

模态间转换：

从 PET 到 CT（45,46）。
AbuSrhan 等人（47）提出了一种基于 GAN 的模型，该模型能够学习将 MRI 转换为 CT 或将 CT 转换为 MRI。
刘等人（48）通过将真实的 T2 加权图像与其互补的合成 T1 加权图像、T1 对比增强图像和流体衰减反转恢复图像一起增强，提升了大脑 MRI 分割模型的准确性。

（使用两种生成性对抗网络（GAN）模型对MRI到CT和CT到MRI的多模态转换结果显示：（A）输入图像，（B）使用目标模态获取的真实图像，（C）使用cycleGAN转换的图像，以及（D）使用uagGAN转换的图像。顶行显示MRI到CT的转换，底行显示CT到MRI的转换。经允许转载自参考文献47。）

（不同MRI序列的模内转换结果。第一行显示四个MRI序列的输入图像：T1、T1对比增强（T1ce）、T2和液体衰减反转恢复（FLAIR）。其他行显示输入图像到目标序列的已翻译图像，这些图像由列标题指示。左栏显示目标序列的真值（GT）图像。在输入序列和目标序列相同的情况下，利用自平移得到对角结果。翻译后的图像在视觉上与真实图像相似，证明了模内翻译的有效性。）

Contrast synthesis（对比度合成）

Contrast media（对比剂），可以提高许多病症的医学影像诊断质量，但也存在一些缺点，例如肾毒性、可能引发严重过敏反应和环境污染（49,50）。

生成模型已尝试将无对比或低剂量对比图像转换为全剂量对比图像，或反之（51–54）。
Azarfar 等人（56）回顾了 18 项合成对比研究，并得出结论，低剂量和标准剂量对比 CT 可以分别准确地生成合成的全剂量对比增强和无对比 CT。
Haubold 和 Hosch 等人（53）训练了一个 GAN，用于合成增强腹部和肺部 CT 扫描，在这些图像中，使用双能 CT 模拟了 50% 或 80% 降低的对比剂剂量。使用基于 GAN 的对比增强可以实现 50% 对比剂剂量的减少。然而，由于回顾研究之间的结果相互矛盾，目前尚不清楚无增强 CT 是否包含足够的信息来区分所有超增强、低增强和无增强区域（56）。

Providing Training Data for Rare Conditions——提供罕见情况下的训练数据

Walsh 和 Tardy（57）将合成的乳腺 X 光图像添加到恶性少数类的训练集中，或者使用其他平衡技术，如过采样或类别加权，来训练多个模型。
Rouzrokh 等人（61）利用扩散模型对不同序列（T1 加权、T2 加权和流体衰减反转恢复）采集的大脑 MRI 扫描图像中的病变或无肿瘤组织进行修复。该模型可以修复用户定义的感兴趣区域，生成具有可配置特征的高级胶质瘤病变或正常脑组织。

（图像修复的结果来自于脑MRI的修复。图像修复是利用周围区域的信息对图像中的区域进行替换的过程。（A）该模型能够修复预先确定的肿瘤成分（任务I）、具有未确定成分的随机肿瘤（任务II）或无瘤（明显正常）脑组织（任务III）的感兴趣区域（ROI）。（B）该模型能够同时执行任务二和任务三。（C）该模型能够在两种不同的输入感兴趣区域模式（即自由形式和包围盒感兴趣区域）上执行任务II。）

Synthetically Generated Images: Concerns and Limitations——综合生成图像：关注点和局限性

Reliability in Generating Realistic Images: Can the Data Be Trusted?——生成真实图像的可靠性：数据是否可信？

医学影像中的病理特征可以同时具有局部和全局效应。

肺水肿可能导致肺部和心脏整体大小和形状的全局变化，并且会在肺泡的密度和外观上造成局部变化（63）。局部和全局图像特征的共现对分类任务非常重要。然而，生成满足这些标准的合成图像并非易事，可能会导致生成的图像无法真实反映某些解剖或病理特征。

（（A）合成图像与视觉伪影生成的一个生成的对抗网络（GAN）模型和（B）他们的真实最近邻图像从训练数据集。红色圆圈突出显示不现实的图像区域。工件是由support devices类引起的。）

Biased Data——偏差数据

AI 模型能够在公开数据集中将胸部 X 光片与同一人的 X 光片配对并重新识别（72）。

Tools and Technologies to Synthesize Images: Benefits and Ongoing Challenges——合成图像的工具和技术：优点和持续的挑战

Evolution of Generative Models——生成模型的演变

（Venn图显示了生成合成图像时的权衡。保真度、速度和多样性与变分自动编码器（VAE）、生成对抗网络（GAN）和扩散模型有关。保真度度量生成的样本与实际数据分布的匹配程度，速度度量生成过程的速度，多样性度量生成的样本的变化程度。变分自动编码器可以实现高速和多样性，但可能是不切实际的。GANs具有高保真度、高速度、低分集的特点。扩散模型具有高保真性和多样性，但采样速度较慢。）

扩散模型通过最初向真实图像添加噪声，直到它们变得无法识别，然后逆转这一过程，逐步去除噪声以恢复细节（见图 8）（73）。

（训练和采样设置中扩散模型的示意图概述。在第一行，训练扩散模型并创建马尔可夫链，将高斯噪声添加到真实图像中，得到噪声向量z′。然后，该模型通过预测图像的下一个状态来反转马尔可夫链，这相当于对图像进行去噪。在采样过程中（底层），该模型从随机噪声向量出发，应用逆马尔可夫链生成合成图像。）
最近的变体，如潜在扩散模型，通过去噪压缩版本的图像，开始解决速度和分辨率的问题（78）。
关于新架构、训练技术和混合方法的持续研究正在不断提升 GAN 的性能（82）。
像变分自编码器、归一化流和基于能量的模型等其他技术也找到了它们在该领域中的位置，但它们也有各自的局限性（83）。
变分自编码器可以将图像压缩到低维潜在空间并重建图像，但由于输出不够真实，它们在医学影像中的应用相对较少。
归一化流和基于能量的模型具有更高的复杂性和潜力，但它们的训练较为缓慢，并且在医学数据中尚未得到充分探索。
与医学影像相关的信息可以从基础模型中提取，并作为新生成模型的基础（84）。