Title

题目

Automated ultrasonography of hepatocellular carcinoma using discrete wavelet transform based deep-learning neural network

基于离散小波变换的深度学习神经网络在肝细胞癌自动超声成像中的应用

01

文献速递介绍

全球健康挑战：肝细胞癌的诊断与人工智能的应用

1. 肝细胞癌的流行趋势及诊断挑战

肝癌仍然是全球性的健康挑战，其发病率正在持续上升（Llovet et al., 2021）。其中，肝细胞癌（HCC）作为最常见的原发性肝癌，其影响尤为显著（Tümen et al., 2022）。2020年，HCC在全球范围内位列第六大常见癌症，同时是癌症相关死亡的第四大原因，并且在男性中成为第二大癌症相关死亡原因（Devarbhavi et al., 2023）。幸运的是，HCC的早期发现可通过手术切除实现较好的预后，五年生存率可超过70%（Zhang et al., 2004）。因此，建议高危人群定期进行HCC筛查（Tsuchiya et al., 2015）。

超声检查（US）是HCC筛查的首选方法，相较于磁共振成像（MRI）或计算机断层扫描（CT），其主要优势在于成本较低且无辐射暴露问题（Ahn et al., 2022）。然而，超声诊断的敏感性和特异性仍然不尽如人意，主要受医生经验和专业知识的影响（Michał et al., 2018）。目前，研究人员正在开发先进的影像技术，以提高HCC的检测能力，并优化HCC结节的特征识别（Gad et al., 2022; Cwiklinska et al., 2023）。

近年来，人工智能（AI）技术，尤其是深度学习（Deep Learning），在医学影像领域取得了显著进展，有助于提高HCC的诊断准确性（Rhyou and Yoo, 2021; Shanmugapriya et al., 2022; Ming et al., 2022; Rhyou and Yoo, 2023; Yusuke et al., 2010; Wei et al., 2022; Zhang et al., 2022b）。许多基于深度学习的AI方法已被用于解决HCC超声诊断的准确性问题，同时降低对医生专业知识的依赖（Schmauch et al., 2019; Ryu et al., 2021; Yamakawa et al., 2019; Yang et al., 2020; Xu et al., 2023; Mitrea et al., 2023; Feng et al., 2023）。

2. 现有人工智能方法的局限性

Schmauch et al.（2019）采用了一种监督注意力机制（Supervised-Attention Mechanism）进行肝脏病灶（FLL）检测与特征分析，该方法使用ResNet-50提取特征，并结合注意力机制提高病灶定位的准确性。然而，该方法将240 × 345像素的图像划分为8 × 11的小块进行处理，这种分割方式限制了病灶的精准定位，影响了诊断的准确性。

Ryu et al.（2021）开发了一种基于卷积神经网络（CNN）的联合分割和分类系统，该系统包括一个共享编码器，并通过两个推理分支分别进行语义分割和分类。虽然该方法取得了90.4%的准确率，但其依赖于用户手动点击以精确标注病灶，限制了全自动化的可能性。

Yamakawa et al.（2019）提出了一种用于肝脏和乳腺肿瘤的计算机辅助检测与诊断（CAD）系统，该系统采用CNN网络（少于20层），诊断准确率达91.4%。然而，该方法仍然依赖于手动标注感兴趣区域（ROI），容易漏检小病灶，而这对于HCC的早期诊断至关重要。

Yang et al.（2020）提出了一种基于ResNet的深度卷积神经网络（DCNN-US）用于鉴别良恶性FLLs，其诊断敏感性和特异性均优于15年经验的放射科医生。然而，该方法依赖于额外的临床信息（如病史、病灶血流特征等），若缺少这些信息，其性能可能会大幅下降。

Xu et al.（2023）开发了一种完全自动化的人工智能管道系统，利用超声视频而非静态图像进行HCC检测和诊断。虽然视频可以提供更丰富的病灶形态信息，但该方法在需要处理静态超声图像的应用场景下受到限制。

Mitrea et al.（2023）提出了一种结合传统方法和深度学习技术的HCC自动识别方法，尽管分类准确率超过95%，但其方法主要是将现有深度学习特征简单拼接，缺乏创新性。

Feng et al.（2023）提出了一种基于多视角学习的神经网络模型，通过超声造影图像提取灌注特征以区分肝癌类型。然而，该方法仅使用三个时间点的超声造影图像，可能无法提供足够的信息来准确诊断HCC。此外，该研究要求医生从八个时间点选择关键帧，而最佳时间点尚不明确。

3. HCC-Net：基于小波变换的深度学习方法

为克服上述方法的局限性，本研究提出了一种新颖的基于小波变换（Wavelet-based）方法——HCC-Net。该方法利用人工神经网络从腹部超声图像中更准确地诊断HCC，并主要采用以下技术：

(a) 病灶检测：采用分层粗到细（Coarse-to-Fine）策略从超声图像中提取病灶。我们使用多种预训练YOLO模型（Redmon et al., 2016; Reis et al., 2024; Sohan et al., 2024）并通过迁移学习进行病灶定位与裁剪操作。该部分由两个层次化的神经网络组成，即CoarseNet和FineNet。其中，CoarseNet进行初步病灶定位，而FineNet则用于检测CoarseNet可能遗漏的病灶。此外，病灶裁剪过程中，HCC-Net同步提取检测病灶的小波分量，以保留病灶特征。(b) 分类：该阶段利用检测到的病灶小波分量合成多个模式增强（Pattern-Augmented）图像，并使用深度学习网络进行分类，最终依据多数投票原则将图像归类为“正常”（Normal）、“良性”（Benign）或“恶性”（Malignant）。深度学习网络的一个核心能力是能够通过监督学习提取有利于病灶检测和分类的特征向量。

为提高分类性能，我们引入了一种新的模式增强技术，通过生成多个模式增强版本的病灶，提高分类器对特征的识别能力，增强模型的泛化性。

HCC-Net的分层病灶检测方法有效减少了病灶遗漏，而模式增强分类进一步增强了病灶特征，使得输入数据更加具有信息量，从而提高分类准确率。实验结果表明，该方法的诊断准确性与超声放射科医师的水平相当。

4. 研究结构

在接下来的章节中，我们将详细介绍HCC-Net的实现：

第2.1节 介绍用于训练HCC-Net的腹部超声图像数据集及其预处理方法；

第2.2节 详细解析HCC-Net的网络结构；

第3节 展示实验结果，并评估HCC-Net的性能；

第4节 总结研究成果，并讨论未来研究方向。

本研究表明，HCC-Net在HCC筛查中具有良好的应用潜力，为超声诊断的自动化和精准化提供了新的可能。

Abatract

摘要

itial lesion localization, while FineNet identifies any lesions that were missed. In the classification phase, the wavelet components of detected lesions are synthesized to create pattern-augmented images that enhance feature distinction, resulting in highly accurate classifications. These augmented images are classified into ’Normal,’ ’Benign,’ or ’Malignant’ categories according to their morphologic features on sonography. The experimental results demonstrate the significant effectiveness of the proposed coarse-to-fine detection framework and pattern-augmented classifier in lesion detection and classification. We achieved an accuracy of 96.2 %, a sensitivity of 97.6 %, and a specificity of 98.1 % on the Samsung Medical Center dataset, indicating HCC-Net’s potential as a reliable tool for liver cancer screening.

本研究提出了一种新颖的基于小波变换的方法——HCC-Net，该方法利用人工神经网络从腹部超声（US）图像中精准诊断肝细胞癌（HCC）。HCC-Net集成了离散小波变换（DWT）对超声图像进行分解，生成四个子带图像，并结合病灶检测器进行分层病灶定位，以及采用模式增强分类器对病灶图像进行模式增强后进行分类。病灶检测采用分层的粗到细（coarse-to-fine）策略，以最大程度减少漏检。CoarseNet用于初步病灶定位，而FineNet则用于检测任何可能被遗漏的病灶。在分类阶段，HCC-Net合成检测到的病灶的小波分量，生成模式增强图像以提高特征区分度，从而实现高精度分类。这些增强后的病灶图像根据其在超声影像中的形态特征被分类为“正常”、“良性”或“恶性”类别。实验结果表明，该粗到细检测框架和模式增强分类器在病灶检测和分类方面具有显著优势。我们在三星医疗中心数据集上取得了96.2%的准确率、97.6%的敏感性和98.1%的特异性，表明HCC-Net在肝癌筛查中具有潜在的可靠性。

Conclusion

结论

It is estimated that more than one million individuals will be diagnosed with liver cancer annually by 2025. HCC accounts for 75–85 % of these liver cancer cases (London et al., 2018). Luckily, if HCC is diagnosed early enough, it can be appropriately treated before causing serious liver damage; hence, effective screening strategies for high-risk patients are of utmost importance. However, fully automatic classification of liver cancer has been challenging due to inherent limitations in US imaging. These include speckle noise, low contrast between tumors and surrounding tissues, as well as varied morphology and echogenicity, which restrict its usability in clinical practice. Recently, to overcome these limitations, numerous computer-aided systems for hepatic lesion detection and classification, including those based on deep learning, have been developed (Schmauch et al., 2019; Ryu et al., 2021; Yamakawa et al., 2019; Yang et al., 2020; Xu et al., 2023; Mitrea et al., 2023; Feng et al., 2023)This study presents HCC-Net, a pioneering approach leveraging Wavelet-based techniques, aimed at enhancing the accuracy of HCC diagnosis from abdominal US images using deep learning neural networks. The HCC-Net integrates 2D- DWT to effectively reduce speckle noise while simultaneously enabling the generation of abundant pattern-augmented images. The DWT generates sub-band images needed for performing the wavelet-based pattern augmentation of the detected lesions while providing CoarseNet & FineNet with speckle noise-reduced US images. This approach reduces the computational load by reusing the wavelet coefficients for both pattern-enhanced augmentation and lesion detection. Its primary advantage lies in its ability to seamlessly perform lesion detection and pattern augmentation-based classification, thereby enabling fully automated classification of liver cancer. Our lesion detection uses two hierarchically connected neural networks, CoarseNet and FineNet, which employ pretrained YOLO models to progressively refine the lesion extraction process, thereby minimizing missed lesions. Additionally, the Wavelet-supported pattern augmentation successfully synthesizes PA-WLIs to enrich data samples, enhancing the distinctive features of lesions and providing more informative inputs for the classification network. In our approach, we focus on leveraging low-frequency components (LL) exclusively for fast lesion detection. This method integrates YOLOv5 models, renowned for its state-of-the-art performance in AI object detection, with a hierarchical coarse-to-fine scheme and K-fold cross-validation. By employing this AIbased object detection strategy, our approach eliminates the reliance on conventional filtering and thresholding techniques, facilitating rapid and accurate lesion detection. Moreover, the WDI generated through this object detection process are seamlessly incorporated into pattern augmentation and subsequent classification, thereby enhancing the overall analytical framework and improving diagnostic precisionWe achieved an accuracy of 97.86 %, a sensitivity of 97.32 %, and a specificity of 97.62 % on the Samsung Medical Center dataset, demonstrating the potential of HCC-Net as a reliable tool for liver cancer screening.However, our study has several limitations. Although our dataset was collected from SMC, it does not encompass the diverse types of machines available in clinical practice. Therefore, the results may not be entirely applicable to US machines not represented in this study. In addition, the optimal weight sets for generating PA-WLIs, which are crucial for the proposed network’s performance, may vary depending on the US equipment used by each hospital. Therefore, determining theappropriate weight sets through trial and error is necessary to achieve the best results. We expect that our new method will be applicable to other disease diagnoses using US images that exhibit the textural and morphological characteristics of the disease.

预计到2025年，每年将有超过一百万例肝癌新发病例。其中，肝细胞癌（Hepatocellular Carcinoma, HCC）占所有肝癌病例的75%至85%（London等，2018）。幸运的是，如果HCC能够及早诊断，就可以在对肝脏造成严重损害之前进行有效治疗。因此，对高危人群进行有效的筛查策略至关重要。然而，由于超声（US）成像固有的局限性，实现肝癌的全自动分类仍然面临巨大挑战。这些局限性包括斑点噪声（speckle noise）、肿瘤与周围组织之间的低对比度，以及病灶的形态和回声特征的多样性，限制了其在临床实践中的可用性。

近年来，为了克服这些局限性，已经开发了多种基于计算机辅助的肝病灶检测与分类系统，包括基于深度学习的方法（Schmauch等，2019；Ryu等，2021；Yamakawa等，2019；Yang等，2020；Xu等，2023；Mitrea等，2023；Feng等，2023）。本研究提出了一种创新性方法HCC-Net，该方法利用基于小波变换（Wavelet-based）的技术，结合深度学习神经网络，旨在提高腹部超声图像中HCC的诊断准确性。HCC-Net集成了二维离散小波变换（2D-DWT），能够有效减少斑点噪声，同时生成丰富的模式增强图像。DWT能够生成用于执行基于小波的模式增强（pattern augmentation）的子带图像，并为CoarseNet和FineNet提供噪声减少后的超声图像。这一方法通过重复利用小波系数来进行模式增强和病灶检测，从而降低计算负担。其主要优势在于能够无缝地执行病灶检测和基于模式增强的分类，实现全自动肝癌分类。

在病灶检测方面，我们采用了两个层次连接的神经网络——CoarseNet和FineNet，这两个网络利用预训练的YOLO模型逐步优化病灶提取过程，以最大程度地减少漏检。此外，基于小波的模式增强方法成功合成了PA-WLIs（Pattern-Augmented Wavelet-processed Lesion Images），丰富了数据样本，增强了病灶的特征表现，为分类网络提供了更具信息量的输入。在我们的方法中，我们专注于利用低频分量（LL）进行快速病灶检测。这种方法集成了以其在AI目标检测领域的最新性能而闻名的YOLOv5模型，并结合了分层粗到细（coarse-to-fine）方案和K折交叉验证（K-fold cross-validation）。通过采用这一基于人工智能的目标检测策略，我们的方法摒弃了传统的滤波和阈值分割技术，从而实现了快速且精准的病灶检测。此外，病灶检测过程中生成的WDI（Wavelet-processed Detection Images）被无缝整合到模式增强和后续分类任务中，从而提升了整体分析框架，并提高了诊断精度。

在三星医学中心（Samsung Medical Center, SMC）数据集上的实验结果表明，我们的方法达到了97.86%的准确率、97.32%的敏感性和97.62%的特异性，证明了HCC-Net在肝癌筛查中的可靠性。然而，本研究仍然存在一些局限性。首先，我们的数据集仅来自SMC，并未涵盖临床实践中使用的多种超声设备类型。因此，研究结果可能不完全适用于本研究未涉及的超声设备。此外，用于生成PA-WLIs的最优权重参数对于不同医院使用的超声设备可能有所不同，因此需要通过反复试验来确定最佳权重，以获得最优结果。尽管如此，我们期待这一新方法能够适用于其他超声图像相关的疾病诊断，特别是具有相似纹理和形态特征的疾病。

Results

结果

Our proposed “HCC-Net” was implemented using MATLAB on a computer with a GeForce RTX 3090 GPU with 24 GB of memory. Liver US images were collected from Samsung Medical Center, with experts annotating the images, to verify the performance of the proposed model. As demonstrated by the following experimental results, the proposed coarse-to-fine paradigm and PA-WLIs, essentially adopted in HCC-Net, significantly contribute to achieving superior results that surpass those anticipated by traditional methods. They enhance the ability to locate and classify lesions more accurately in a given original US image.

本研究提出的 HCC-Net 在 MATLAB 平台上实现，并运行于配备 GeForce RTX 3090 GPU（24GB 显存） 的计算机上。肝脏超声（US）图像数据来自 三星医疗中心，并由专家进行标注，以验证所提出模型的性能。实验结果表明，HCC-Net 采用的粗到细（Coarse-to-Fine）检测框架及模式增强小波病灶图像（PA-WLIs） 在病灶检测和分类方面显著优于传统方法。这一策略有效提高了病灶的定位精度，同时增强了病灶分类的准确性，使得在原始超声图像中能更精准地识别和区分病灶。

Figure

图

Fig. 1. Examples from the dataset. The left image shows a benign lesion, and the right image shows a malignant lesion.

图 1. 数据集示例。左侧图像显示的是良性病灶，右侧图像显示的是恶性病灶。

Fig. 2. Training dataset establishment for FineNet (a) The primary dataset split into a training set (ΩC) of 900 US images and a test set(ΩTest) with the remaining 234 US images. The training set ΩC is used to train CoarseNet using the CV approach, while the test set ΩTest is used to evaluate the whole HCC–Net model. (b) To establish the dataset ΩF, the training set ΩC is partitioned into K folds using CV. In each iteration, K-1 folds are used for training each object detection model, and onefold (red) is used for evaluating the model. This validation fold is rotated until all folds are used as a validation fold once and only once, resulting in K iterations. Each object detection model is alternately trained as the iterations progresses and subsequently assessed using its validation fold, while the members of the dataset ΩF are harvested.

图 2. FineNet 训练数据集的构建 (a) 初始数据集被划分为训练集 (ΩC) 和测试集 (ΩTest)，其中训练集包含 900 张超声图像，测试集包含剩余的 234 张超声图像。训练集 ΩC 采用交叉验证（CV）方法用于训练 CoarseNet，而测试集 ΩTest 则用于评估整个 HCC-Net 模型。 (b) 为构建数据集 ΩF，训练集 ΩC 采用 K 折交叉验证（CV）进行划分。在每次迭代中，K-1 折用于训练目标检测模型，而剩余的一折（红色部分）用于验证。该验证折轮换进行，确保每一折仅被用作验证折一次，最终完成 K 轮迭代。每个目标检测模型在训练过程中依次进行迭代训练，并使用其对应的验证折进行评估，同时收集数据集 ΩF 的成员。

Fig. 3. The overall structure of HCC-Net where the localization of lesions is carried out in a hierarchical way. It includes (a) 2D-DWT for decomposing the original US images (OUS) into four sub-band images representing LL, LH, HL, and HH. (b) a Lesion-Detector for locating lesions on LL with a coarse-to-fine scheme, resulting in L.The detected bounding boxes are then fused into the most probable bounding box using weighted boxes fusion (WBF) (Solovyev et al., 2019). (c) a Pattern-Augmented Classifier for performing the data augmentation of lesions (yielding IL +) and subsequently categorizing the IL + as one of three groups, either normal, benign or malignant

图 3. HCC-Net 的整体结构，其中病灶定位采用分层方式进行。(a) 2D 离散小波变换（2D-DWT）：将原始超声图像 (O\\US) 分解为四个子带图像 (LL, LH, HL, HH)，以提取不同频率的信息。 (b) 病灶检测器（Lesion-Detector）：采用粗到细（coarse-to-fine）策略，在 LL 子带图像上定位病灶，得到病灶区域 L。随后，利用加权框融合（Weighted Boxes Fusion, WBF）（Solovyev et al., 2019）将检测到的边界框融合为最可能的病灶区域。 (c) 模式增强分类器（Pattern-Augmented Classifier）：对病灶区域 L进行数据增强，生成模式增强图像 (IL +)，并将其分类为三种类别之一：正常（Normal）、良性（Benign）或恶性（Malignant）。

Fig. 4. Wavelet decomposition of OUS by 2D-DWT (a) OUS: benign (b) WDI contains sub-band elements representing the components of LL, LH, HL, and HH. The LL represents a version of US image with reduced speckle noise, which is usually present in US images.

图 4. 通过 2D 离散小波变换（2D-DWT）对 OUS 进行小波分解(a) OUS：良性病灶的超声图像。 (b) WDI：包含四个子带分量 (LL, LH, HL, HH)，分别表示超声图像在不同频率方向上的成分。其中，LL 子带图像提供了去除部分散斑噪声（Speckle Noise）后的超声图像版本，散斑噪声通常存在于原始超声图像中。

Fig. 5. Lesion cropping involves the spatially synchronized extraction of the three Wavelet components (LL, LH, and HL) from the WDI portions (indicated by red boxes) corresponding to the set L, yielding {LLL, LLH, LHL}.

图 5. 病灶裁剪过程涉及从 WDI 中空间同步提取三种小波分量 (LL, LH, HL)。红色框标注的区域对应于病灶集合 L，从中提取相应的小波分量，生成 {L_LL, L_LH, L_HL}，用于后续分析和分类。

Fig. 6. Ten PA-WLIs generated via IDWT using the weights (P1 to P10) enumerated in Table 1. Pattern-augmentation offers significant and probable diversity by highlighting edges and textures while preserving the unique patterns of the lesions. Therefore, it is evident that the subsequent classification results becomemore confident.

图 6. 通过逆离散小波变换（IDWT）使用表 1 中列举的权重 (P1 至 P10) 生成的 10 个 PA-WLIs（模式增强小波病灶图像）。模式增强（Pattern-Augmentation）通过突出病灶的边缘和纹理，同时保留其独特模式，从而提供显著且合理的多样性。因此，这种增强方法有助于提高分类的可信度，使后续分类结果更加可靠。

Fig. 7. An example of lesion detection. (a) The boxes indicate candidate lesions detected by CoarseNet. (b) Those boxes are fused into the most probable single box via WBF. (c) This process involves spatially synchronized cropping of the three Wavelet components (LL, LH, and HL) associated with the detected lesions. Here, LLL, LLH and LHL indicate the corresponding WDI portions to LL, LH, and HL components of lesions, respectively

图 7. 病灶检测示例(a) CoarseNet 检测到的候选病灶区域（标注框表示候选病灶）。 (b) 采用 加权框融合（WBF） 方法将候选框融合为最可能的单一病灶区域。 (c) 该过程中，对检测到的病灶区域进行空间同步裁剪，提取其对应的三种小波分量 (LL, LH, HL)。其中，L_LL, L_LH 和 L_HL 分别对应病灶在 WDI 中的 LL, LH, HL 组成部分。

Fig. 8. Some examples of ten PA-WLIs (Left: WDI, Right: Ten PA-WLIs) (a) PA-WLIs of benign cases (b) PA-WLIs of malignant cases

图 8. 十个模式增强小波病灶图像（PA-WLIs）示例（左：WDI，右：十个 PA-WLIs）(a) 良性病灶的 PA-WLIs 示例 (b) 恶性病灶的 PA-WLIs 示例PA-WLIs 通过增强病灶的特征模式，提高分类器对良性和恶性病灶的区分能力。

Fig. 9. Accuracy and loss curves of the classification model during training on dataset (a) Accuracy and (b) Loss.

图 9. 分类模型在数据集上的训练过程中准确率和损失曲线(a) 准确率曲线（Accuracy）——显示模型在训练过程中分类准确率的变化趋势。 (b) 损失曲线（Loss）——反映训练过程中损失函数值的下降趋势，表明模型的收敛情况。

Fig. 10. Comparison of performance across different architectures on the test set ΩTest using evaluation metrics such as classification accuracy, sensitivity, and specificity. (a) CoarseNet without pattern augmentation (b) CoarseNet + FineNet without pattern augmentation (c) CoarseNet + FineNet with pattern augmentation.

图 10. 不同模型架构在测试集 ΩTest 上的性能对比，评估指标包括分类准确率（Accuracy）、敏感性（Sensitivity）和特异性（Specificity）。(a) 仅使用 CoarseNet（无模式增强） (b) CoarseNet + FineNet（无模式增强） (c) CoarseNet + FineNet（结合模式增强）

Table

表

Table 1 Weight sets (P1 to P10) for generating ten PA-WLIs

表 1用于生成 10 个 PA-WLIs（模式增强小波病灶图像，Pattern-Augmented Wavelet Lesion Images）的权重集合（P1 至 P10）。

Table 2 Performance of lesion detection with respect to the mean Average Precision (mAP), accuracy, and false alarm rate, tested over the set ΩTest. (1: When the WBF is applied to the Lesion-Detector).

表 2病灶检测性能评估，基于 ΩTest 数据集，衡量指标包括 平均精度均值（mAP）、准确率（Accuracy）、误报率（False Alarm Rate）。(1: 当加权框融合（WBF）应用于病灶检测器时的结果)。