来源：专知
本文为论文介绍，建议阅读5分钟
我们使用多模态深度学习联合检查来自14种癌症类型的病理全图像和分子剖面数据。

快速出现的计算病理学领域已经证明有希望从组织学图像开发客观的预后模型。然而，大多数预后模型要么仅基于组织学，要么仅基于基因组学，并没有解决如何整合这些数据源来开发联合的图像组学预后模型。此外，从这些模型中确定可解释的形态和分子描述符来控制这种预后也很有意义。我们使用多模态深度学习联合检查来自14种癌症类型的病理全图像和分子剖面数据。我们的弱监督、多模态深度学习算法能够融合这些异质模式来预测结果，并发现与不良和有利结果相关的预后特征。我们在一个交互式开放数据库中对14种癌症类型在疾病和患者水平上的患者预后的所有形态学和分子相关性进行了分析，以允许进一步的探索、生物标志物发现和特征评估。

癌症是由肿瘤和组织微环境中的标志性组织病理学、基因组和转录组异质性定义的，这些异质性有助于治疗缓解率和患者结果的可变性(Marusyk et al., 2012)。目前许多癌症类型的临床模式包括对肿瘤侵袭、间变性、坏死和有丝分裂等组织病理学特征的手工评估，然后将其作为分级和分期标准，将患者划分为不同的风险组，以便做出治疗决策。例如，在肿瘤、淋巴结和转移(TNM)分期系统中，根据肿瘤的严重程度(如大小、生长、异型性)将原发肿瘤分为不同阶段，这些阶段随后用于治疗计划、外科手术的资格、放疗剂量和其他治疗决定(Amin et al., 2017)。然而，对组织病理学特征的主观解释在观察者之间和观察者内部存在较大的可变性，同一分级或阶段的患者在结果上仍然存在显著的可变性。虽然已经建立了许多用于诊断任务的组织病理学生物标志物，但大多数仅基于肿瘤细胞的形态和位置，缺乏对基质细胞、肿瘤细胞和免疫细胞在更广泛的肿瘤微环境中的空间组织如何影响患者风险的精细理解(Marusyk et al., 2012; Chang et al., 2013; Heindl et al., 2015; Kather et al., 2018; Tarantino et al., 2021)。

最近在计算机病理学的深度学习方面取得的进展使全切片图像(WSIs)能够用于自动癌症诊断和肿瘤微环境中形态学表型的量化。使用弱监督学习，slide临床注释可用于指导深度学习算法概述常规诊断任务，如癌症检测、分级和亚型(Campanella et al., 2019; Lu et al., 2021)。尽管这种算法可以在狭义问题上达到与人类专家相同的性能，但对新的预后形态特征的量化是有限的，因为使用主观的人类注释进行训练可能无法提取迄今未被识别的属性，而这些属性可以用于改善患者的预后(Echle et al., 2021)。为了捕获常规临床工作流程中没有提取的更客观和预后的形态学特征，最近基于深度学习的方法建议使用基于结果的标签进行监督，如无病和总生存时间作为基础事实(Harder et al., 2019; Courtiol et al., 2019; Kather et al., 2019a, 2019b; Kulkarni et al., 2020; Wuclzyn et al., 2020, 2021)。事实上，最近的工作表明，使用深度学习自动发现新的和预后形态学决定因素的生物标志物具有巨大的潜力(Beck et al., 2011; Echle et al., 2021; Diao et al., 2021)。

https://www.cell.com/cancer-cell/pdfExtended/S1535-6108(22)00317-8