跨中心模型自适应牙齿分割|文献速递-医学影像人工智能进展

Title

题目

Cross-center Model Adaptive Tooth segmentation

跨中心模型自适应牙齿分割

文献速递介绍

三维（3D）口腔内扫描牙齿模型的自动、准确分割是计算机辅助正畸治疗不可或缺的先决条件。具体而言，口腔内扫描（IOS）呈现为一个三维网格表面，捕捉牙齿解剖结构的数字印模。该表面由大约 10 万到 40 万个三角形网格面组成，每个面的分辨率高达 0.008 至 0.02 毫米。三维牙齿分割的目标是按照国际牙科联盟（FDI）（赫尔曼，1967 年）的标准，准确地对每个网格面进行分类，区分牙龈和不同的牙齿。大量研究（徐等人，2018b；郝等人，2022；连等人，2020；张等人，2021b；何等人，2021；熊等人，2023；赞贾尼等人，2021；陈等人，2023）在自动三维牙齿分割方面取得了出色且有前景的成果，旨在降低人类专家昂贵且耗时的标注成本，即标注半副颌骨需要 15 至 30 分钟的人工劳动。他们设计了特定领域的深度神经网络，利用来自 IOS 的原始网格或简化点云进行牙齿分割。然而，这些方法大多需要大量标注的 IOS 数据来训练出令人满意的模型，并且在实际应用中，将其部署到具有复杂病例的各个医疗中心时，在隐私和准确性方面存在局限性（崔等人，2021；田等人，2019；徐等人，2018c）。

问题体现在两个方面。一方面，不同的医疗中心，包括大型医院和小型诊所，通常从不同年龄、种族和地理区域的患者处获取口腔内扫描（IOS）数据。这种数据分布差异导致将在一个中心训练的模型直接部署到另一个新中心时，模型性能显著下降。另一方面，尽管利用新中心的额外标注样本或其他中心的现有标注对预训练模型进行微调有助于提高分割性能，但标注过程既费力又昂贵，而且由于隐私或监管问题，通常无法获取其他中心的标注数据。因此，迫切需要一种新的解决方案，既能弥合跨中心数据分布差距以避免性能下降，同时又无需额外标注的 IOS 数据或医疗中心之间的数据交换，以便在不同医疗中心部署现有模型。

为了缓解源域（现有中心）和目标域（新中心）之间的数据分布差距，且无需额外标注数据，人们提出了各种无监督域适应（UDA）方法，包括通过对抗学习（曾等人，2017；张等人，2018；邹等人，2018a）、基于统计的方法（龙等人，2015；孙和塞内科，2016）以及语义对齐（潘等人，2019；谢等人，2018；罗等人，2019）。然而，这些方法需要同时访问源数据和目标数据，由于隐私问题，这可能并不适用。在这种背景下，无源数据域适应（SFDA）范式提供了一种有前景的替代解决方案，它在不使用源数据的情况下解决 UDA 问题（邱等人，2021；斯坦和罗斯塔米，2021；昆杜等人，2021；刘等人，2021b；贝茨森等人，2021；科坦达拉曼等人，2021；杜等人，2023；周等人，2024）。

在本文中，我们提出了一种跨中心模型自适应牙齿分割框架（CMAT），以应对上述挑战。CMAT 利用训练良好的源模型，在无需额外标注的口腔内扫描（IOS）数据的情况下，实现跨不同医疗中心的隐私保护模型自适应。CMAT 通过针对跨中心牙齿分割中三种常见临床场景的定制方法，展现了其通用性：

MATS（无源数据模型自适应牙齿分割）：MATS 的目标是将在一个中心训练良好的源模型适配到新中心的无标注目标数据上。

MS - MATS（无多源数据模型自适应牙齿分割）：在标注数据分散在多个中心且无法跨中心共享的场景中，MS - MATS 至关重要。MS - MATS 旨在将多个训练良好的源模型融合到无标注的目标数据上，而无需访问源数据。由于不同源域之间可能存在错位，以及需要从不同源进行聚合，这一过程带来了新的挑战。

TT - MATS（测试时模型自适应牙齿分割）：TT - MATS 旨在满足即时预测的临床需求，这对于及时诊断和治疗至关重要。在临床应用中，单个样本或一批样本可以随时按顺序输入，并且应立即给出预测结果。由于测试样本只能访问一次，且数据分布可能动态变化，这也带来了新的挑战。

充分利用牙齿的特征，我们的 CMAT 设计了三个模块来执行跨中心模型自适应。首先，我们提出了一个牙齿级别特征原型学习模块，以利用每颗牙齿的空间关系和局部几何特征进行一致的知识转移。在这方面，目标域的特征与牙齿级别特征原型对齐，从而学习到与源模型更一致的表示。我们进一步采用渐进式伪标签转移策略，鼓励模型向困难区域进行自适应。这包括对模型预测的置信度进行排序，并自动将点分类为高置信度（容易）和低置信度（困难）。通过自训练，可靠的知识从容易的点转移到困难的点。最后，如果目标数据的学习表示与源数据的表示一致，那么源模型对某一类别做出的预测将具有高置信度，即分类输出接近独热向量。通过这种方式，我们整合牙齿的自然分布特征，形成不同牙齿与牙龈之间对应表面积的牙齿比例先验。在自适应过程中，牙齿比例先验用于最大化互信息。

我们的实验主要在一个自行收集的真实世界数据集 CrossTooth 上进行。CrossTooth 从 5 个真实世界医疗中心收集而来，符合跨中心场景。实验在 MATS、MS - MATS 和 TT - MATS 设置下进行，结果表明我们的 CMAT 能够显著且持续地超越现有基线方法。我们还构建了另一个关于牙齿异常（即牙齿萌出异常、牙间隙过大和牙齿缺损）的数据集 AbnTooth，它模拟了牙齿分割中医疗中心之间最大的域分布差异。结果表明，CMAT 在复杂临床病例中同样有效。进一步的统计分析和消融研究展示了我们框架中每个模块的有效性，以及其优缺点。我们的工作证实了最先进的隐私保护深度学习解决方案在未来数字牙科领域的巨大潜力。

本文在以下几个方面扩展了我们早期的工作 MATS（陈等人，2023）。我们额外提出了将 MATS 扩展到多源自适应（MS - MATS），目的是利用多个源中心的知识来增强目标中心的泛化能力。对于原型对齐，我们提出了一种两阶段对齐策略。首先，我们计算中心级别的目标特征，将目标数据对齐到与其最相似的源域。然后，我们执行牙齿级别对齐，以学习更适合源域的特征，并结合中心级距离的权重。我们还通过调整三个自适应模块的重要性，将其扩展到测试时自适应设置（TT - MATS）。通过这种方式，我们为三种跨中心牙齿分割场景提出了一种统一的方法，从而扩展了我们先前工作的适用性。我们还扩展了在 MS - MATS 和 TT - MATS 场景下的实验评估，进一步证明了 CMAT 的有效性，同时经许可使用了 MATS（陈等人，2023）设置下的原始实验结果和图表。最后，我们提供了更详细的模型分析，以评估所提出的方法，包括在公共数据集上的有效性、在有限源数据下的有效性以及超参数敏感性。

Abatract

摘要

Automatic 3-dimensional tooth segmentation on intraoral scans (IOS) plays a pivotal role in computer-aidedorthodontic treatments. In practice, deploying existing well-trained models to different medical centers suffersfrom two main problems: (1) the data distribution shifts between existing and new centers, which causessignificant performance degradation. (2) The data in the existing center(s) is usually not permitted to be shared,and annotating additional data in the new center(s) is time-consuming and expensive, thus making re-trainingor fine-tuning unfeasible. In this paper, we propose a framework for Cross-center Model Adaptive Toothsegmentation (CMAT) to alleviate these issues. CMAT takes the trained model(s) from the source center(s)as input and adapts them to different target centers, without data transmission or additional annotations.CMAT is applicable to three cross-center scenarios: source-data-free, multi-source-data-free, and test-time. Themodel adaptation in CMAT is realized by a tooth-level prototype alignment module, a progressive pseudolabeling transfer module, and a tooth-prior regularized information maximization module. Experiments underthree cross-center scenarios on two datasets show that CMAT can consistently surpass existing baselines.The effectiveness is further verified with extensive ablation studies and statistical analysis, demonstrating itsapplicability for privacy-preserving model adaptive tooth segmentation in real-world digital dentistry

口腔内扫描（IOS）中的自动三维牙齿分割在计算机辅助正畸治疗中起着关键作用。在实际应用中，将现有的训练良好的模型部署到不同的医疗中心面临两个主要问题：（1）现有中心与新中心之间的数据分布存在差异，这会导致模型性能显著下降。（2）现有中心的数据通常不允许共享，而在新中心标注额外数据既耗时又昂贵，因此重新训练或微调模型并不可行。在本文中，我们提出了一种跨中心模型自适应牙齿分割（CMAT）框架来缓解这些问题。CMAT 以源中心训练好的模型作为输入，使其适应不同的目标中心，无需进行数据传输或额外标注。CMAT 适用于三种跨中心场景：无源数据、无多源数据以及测试时自适应。CMAT 中的模型自适应通过牙齿级别原型对齐模块、渐进式伪标签转移模块以及牙齿先验正则化信息最大化模块来实现。在两个数据集上三种跨中心场景下的实验表明，CMAT 能够持续超越现有基线方法。通过大量的消融实验和统计分析进一步验证了其有效性，证明了它在现实世界数字牙科领域中对隐私保护的模型自适应牙齿分割的适用性。

Conclusion

结论

In this paper, we address two primary challenges encountered inpractical tooth segmentation task: the high cost of annotations andprivacy concerns. Our method aims to establish a unified tooth segmentation framework, facilitating cross-center 3D tooth segmentation inreal-world dental clinics. This goal is achieved by thoroughly exploitingtooth characteristics and designing three tooth prior-based modules.Extensive experiments conducted across three scenarios demonstratestate-of-the-art performance, underscoring our method’s superiorityover existing approaches.Moreover, our research provides a valuable solution for cross-centertooth segmentation while ensuring patient dental data privacy. Thesecontributions are not only significant for current clinical applicationsbut also pave the way for future research in this area. Specifically, potential directions include enhancing segmentation algorithms to handlemore complex dental abnormalities and improving model adaptation indata-scarce scenarios. In the future, we believe further exploration isneeded to strengthen multi-center collaboration, improve data utilization efficiency, and integrate advanced artificial intelligence technologies in dental diagnostics and treatments. We hope our work offers newperspectives and insights that will inspire future research and practicaladvancements in the dental field.

在本文中，我们解决了实际牙齿分割任务中遇到的两个主要挑战：高昂的标注成本和隐私问题。我们的方法旨在建立一个统一的牙齿分割框架，促进在现实世界牙科诊所中的跨中心三维牙齿分割。通过充分挖掘牙齿特征并设计三个基于牙齿先验的模块，达到了这一目标。通过在三种场景下进行的大量实验，证明了我们的研究方法在性能上的先进性，突出了其优于现有方法的优势。此外，我们的研究为跨中心牙齿分割提供了一个有价值的解决方案，同时确保了患者牙科数据的隐私保护。这些贡献不仅对当前临床应用具有重要意义，还为未来该领域的研究铺平了道路。具体来说，未来的潜在方向包括增强分割算法以处理更复杂的牙齿异常，并改进数据稀缺场景下的模型适应能力。我们相信，未来还需要进一步探索，加强多中心合作，提高数据利用效率，并将先进的人工智能技术整合到牙科诊断和治疗中。我们希望我们的工作能为未来的研究和实践进展提供新的视角和启示。

Figure

图

Fig. 1. Illustration of our CMAT under the multi-source scenario. The generation of the source models is conducted in the source centers. The trained source models is sharedwith the target center without the source data. In the target center, we adapt the source models with unlabeled target data utilizing the three modules: (a) tooth-level prototypealignment, (b) progressive pseudo-label transfer, and (c) information maximization with tooth-ratio priors.

图 1. 我们的CMAT框架在多源场景下的示意图。源模型的生成在源中心进行。训练好的源模型与目标中心共享，而无需源数据。在目标中心，我们利用三个模块对源模型进行适配，使用未标注的目标数据：(a) 牙齿级特征原型对齐，(b) 渐进式伪标签传递，(c) 结合牙齿比率先验的最大化信息。

Fig. 2. An illustration of the normal spatial relationships of dental arch (Braun et al.,1998)

图 2. 牙弓正常空间关系的示意图（Braun 等，1998）。

Fig. 3. Visualization of the confidence maps generated by the source model. ‘‘Red’’points represents points with a confidence lower than the threshold 𝜏 = 0.9, and ‘‘White’’points otherwise. The low-confidence points are concentrated in abnormal (i.e., defector eruption) areas.

图 3. 源模型生成的置信度图可视化。 “红色”点表示置信度低于阈值 𝜏 = 0.9 的点，“白色”点则表示置信度高于该阈值的点。低置信度点集中在异常（即缺陷或萌出）区域。

Fig. 4. More visualizations on teeth abnormalities. The ‘‘red box’’ indicates abnormal areas. Left: Abnormal Tooth Eruption in an improper location. Mid: Dentural Diastema (visible gaps between teeth). Right: Teeth Defects (incomplete molar)

图 4. 牙齿异常的更多可视化。 "红框"表示异常区域。左：牙齿在不正确位置的异常萌出。中：牙齿间隙（牙齿之间可见的缝隙）。右：牙齿缺陷（不完全的磨牙）。

Fig. 5. Cosine similarity between different prototypes (0, 11–17). (A) before separationoperation, and (B) after separation operation

图 5. 不同原型之间的余弦相似度（0，11–17）。(A) 分离操作前，(B) 分离操作后

Fig. 6. Sensitivity analysis results of the confidence threshold 𝜏 and the temperature

图 6. 信心水平 𝜏 和温度  的敏感性分析结果

Fig. 7. Sensitivity analysis results of hyper-parameters 𝛼, 𝛽 and 𝛾.

图 7. 超参数 𝛼、𝛽 和 𝛾 的敏感性分析结果。

Fig. 8. Visualization of segmentation for three different cases, comparing various baselines with our method. The ’black box’ denotes areas of abnormality

图 8. 三种不同病例的分割可视化，将我们的方法与各种基准方法进行比较。‘黑框’表示异常区域。

Table

表

Table 1Tooth ratios (T-R) in terms of gender (male and female) and the whole dataset (all). ‘‘0’’, ‘‘11’’, .. ., and ‘‘18’’ denote tooth labels in FDI standards (Herrmann, 1967). T-R denotes the area ratio of the tooth and the whole intraoral scan

表 1 按性别（男性和女性）以及整个数据集（所有）计算的牙齿比例（T-R）。 ‘‘0’’, ‘‘11’’, …, 和 ‘‘18’’ 表示根据 FDI 标准（Herrmann, 1967）中的牙齿标签。T-R 表示牙齿与整个口内扫描图像的面积比例。

Table 2Statistics (i.e., gender and age distributions) of the CrossTooth dataset in terms ofcenters.

表 2 按中心统计的 CrossTooth 数据集的统计信息（即性别和年龄分布）。

Table 3Comparison results (in mIoU) of different methods on the dataset CrossTooth under single-source (MATS) and test-time (TT-MATS) settings. ‘‘1’’, ‘‘2’’, ‘‘3’’, ‘‘4’’ represent 4 centers.We use bold to denote the best performance under UDA and SFDA settings, while underline indicates the best performance under the TTA settings. ‘‘*’’ indicates the bestperformance under all settings.

表 3在单源（MATS）和测试时（TT-MATS）设置下，针对CrossTooth数据集，不同方法的比较结果（以mIoU为单位）。“1”、“2”、“3”、“4”代表4个中心。我们使用加粗来表示在UDA和SFDA设置下的最佳性能，而下划线表示在TTA设置下的最佳性能。 "*" 表示在所有设置下的最佳性能。

Table 4Statistics (i.e., number of count) of the Abntooth dataset in terms of three dentaldiseases.

表 4Abntooth 数据集在三种牙科疾病方面的统计数据（即计数）。

Table 5Comparison of different methods on the dataset AbnTooth. ATE, DD, and TD represent three subset of AbnTooth. We use bold to denote the best performance.

表 5不同方法在 AbnTooth 数据集上的比较。ATE、DD 和 TD 代表 AbnTooth 的三个子集。我们使用加粗来表示最佳性能。

Table 6Comparison of different methods (in mIoU) on the dataset CrossTooth under multisource adaptation (MS-MATS). ‘‘1’’, ‘‘2’’, ‘‘3’’, ‘‘4’’ and ‘‘5’’ represent 5 centers. ‘‘→1’’is the abbreviation of ‘‘2, 3, 4, 5→1’’. We use bold to denote the best performance.

表 6在多源适应（MS-MATS）下，针对 CrossTooth 数据集的不同方法比较（以 mIoU 为单位）。‘‘1’’、‘‘2’’、‘‘3’’、‘‘4’’ 和 ‘‘5’’ 代表 5 个中心。‘‘→1’’ 是 ‘‘2, 3, 4, 5→1’’ 的缩写。我们使用加粗来表示最佳性能。

Table 7Results on public PointSegDA dataset. A., F., and S. denotes the subsets of PointSegDA, which formulate domain adaptation tasks.

表 7在公共 PointSegDA 数据集上的结果。A.、F. 和 S. 表示 PointSegDA 的子集，构成了领域适应任务。

Table 8Ablation study of the losses. The ‘‘▵’’ represents 𝐼𝑀 without tooth-ratio prior. The ‘‘*’’represents unweighted ?

表 8 损失函数的消融研究。 "▵" 表示没有牙齿比例先验的 𝐼𝑀。 "＊" 表示未加权的 ?。

Table 9Results (Accuracy with standard deviation) in terms of tooth category on ATE. ‘‘c-incisor’’, ‘‘canine’’, .. ., and ‘‘molar’’ denote different tooth categories. We use bold to denote the best performance. 𝑠 indicates the availability of the source data

表 9 以牙齿类别为单位的结果（准确率及标准差）在 ATE 上。 "c-incisor"、"canine"、... 和 "molar" 表示不同的牙齿类别。我们使用粗体来表示最佳表现。 *𝑠 表示源数据的可用性。