扩散模型(Diffusion Models)是一种生成模型,广泛用于图像生成、文本生成等领域。在异常检测任务中,扩散模型也可以被用来识别和检测异常数据点。该文章对近几年利用扩散模型进行异常检测的文章进行了整理:
2024
1. AnomalyDiffusion: Few-Shot Anomaly Image Generation with Diffusion Model [AAAI 2024]
Github:https://github.com/sjtuplayer/anomalydiffusion
【要点】:AnomalyDiffusion是一种新型的基于扩散的少样本异常生成模型,利用大规模数据集学习的强先验信息来增强生成的真实性和准确性。
【方法】:通过空间异常嵌入和自适应焦点重新加权机制,分别解耦异常信息并重建生成异常图像与异常遮罩的适配器。
【实验】:通过大量实验证明,AnomalyDiffusion在生成真实性和多样性方面名称明显着现有方法,并有效提高了下游异常检测任务的性能。
2. DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [AAAI 2024]
Github:https://github.com/lewandofskee/DiAD
【内容】:本文提出了一种基于扩散模型的多类异常检测框架DiAD,通过像素空间自动编码器、潜在空间语义引导网络及特征空间预训练特征提取器,在保持图像类别和像素结构上实现了缺陷前提下的异常检测。
【方法】:通过构建一个包含像素空间自动编码器、潜在空间语义引导网络(SG网络)和特征空间预提取器的DiAD框架,该方法能够有效重建异常区域并保持原始图像的语义信息。
【实验】:在MVTec-AD和VisA数据集上的实验表明,DiAD方法在多类异常检测上超越了现有技术水平,在MVTec-AD数据集上96.8/52.6(AUROC/AP)的实现了定位和检测性能。
3. Learning Diffusion Models for Multi-View Anomaly Detection [ECCV 2024]
【要点】:本文提出了一种多视角异常检测方法,通过训练一个视角不变的控制网络(ControlNet)以不同视角下的数据,有效实现视角异常检测的精度。
【方法】:作者使用了一种训练策略,该策略通过建立视角不变的控制网络,生成一致的特征图,以减少不同键盘条件的影响,并有效融合RGB颜色外观和3D法线几何信息。
【实验】:在Eyecandies数据集上进行了广泛的消融研究,并展示了现有方法的实验结果,改进了使用DDIM方案来基于扩散特征的记忆库在异常检测推断中的适用性。
4. TransFusion – A Transparency-Based Diffusion Model for Anomaly Detection [ECCV 2024]
Github:https://github.com/MaticFuc/ECCV_TransFusion
【要点】:本论文提出了一种基于缺陷的扩散模型TransFusion,用于表面异常检测,利用缺陷逐渐增加的扩散过程,恢复出准确的异常区域,并保持无异常区域的细节。
【方法】:通过实现不断递增的扩散过程,实现创新的异常检测方法TransFusion。
【实验】:在VisA和MVTec AD数据集上,TransFusion取得了98.5%和99.2%的图像级AUROC,达到了最先进的性能
5. GLAD: Towards Better Reconstruction with Global and Local Adaptive Diffusion Models for Unsupervised Anomaly Detection [ECCV 2024]
Github:https://github.com/hyao1/GLAD
【要点】:本文提出了一种全局和局部自适应增益模型(GLAD),通过预测特定去噪步骤以及引入合成异常样本训练,提高了无监督异常检测中图像重建的质量和准确性。
【方法】:GLAD模型通过评估内容与从扩散模型中提取的先验之间的差异,为每个预测样本一个特定的去噪融合图像步骤,并采用空间自适应特征方案以适应异常区域和正常区域的重建差异。
【实验】:在MVTec-AD、MPDD、VisA三个常用异常检测数据集整合以及PCB-Bank数据集上进行广泛实验,证明了所提方法的有效性。
6. R3D-AD: Reconstruction via Diffusion for 3D Anomaly Detection [ECCV 2024]
Homepage:https://zhouzheyuan.github.io/r3d-ad
【要点】:论文提出了一种名为R3D-AD的方法,通过扩散模型重建异常点,用于精确的3D异常检测,创新点在于利用扩散过程的数据分布转换完全隐藏输入的异常几何形状,并逐步学习严格的点级行为。
【方法】:方法采用基于扩散模型的重建策略,通过逐步学习来修复异常点。
【实验】:实验中利用了Patch-Gen这一新颖的3D异常模拟策略,生成真实且多样的缺陷形状,缩小训练与测试之间的领域差距。在统一的空间变换下,通过距离比较直接生成实验证明,R3D-AD在准确度和效率上超越了之前的最先进方法,在数据集上的准确度达到73.4,异常检测效率达到74.9。
7. CAGEN: Controllable Anomaly Generator using Diffusion Model [ICASSP 2024]
【要点】:本文提出了CAGEN,一种基于扩散模型的可控异常生成器,用于数据增强,能够生成高质量且可控的异常图像,有效提高了异常检测的性能。
【方法】:CAGEN方法通过使用二进制蒙版和文本提示控制器ControlNet模型,控制生成异常的空间定位和风格。
【实验】:在标准异常检测基准上的实验表明,所提出的数据增强方法使得AUROC/AP指标显着提高了0.4/3.1,具体使用的数据集未在抽象中回调。
8. MAEDiff: Masked Autoencoder-enhanced Diffusion Models for Unsupervised Anomaly Detection in Brain Images [2024]
【要点】:本文提出了一种用于脑图像无监督异常检测的MAEDiff模型,通过结合掩码自动编码器增强扩散模型,解决有效的医学图像重建增益大和全局信息利用不足的问题。
【方法】:MAEDiff采用分层斑块分割策略,通过在高级别斑块上重叠生成健康图像,并在低级别斑块上应用基于掩码自动编码器的机制,增强非噪声区域的条件。
9.AnomalyDINO: Boosting Patch-based Few-shot Anomaly Detection with DINOv2
Github:https://github.com/dammsi/AnomalyDINO
【要点】:本文提出了一种基于DINOv2的视觉级异常检测方法AnomalyDINO,用于少量样本异常检测,该方法需要额外训练数据,即可实现图像级和像素级的异常检测,并在多种设置中超越现有技术。
【方法】:AnomalyDINO通过调整DINOv2算法,利用贴片缩小性进行单次和小型样本的异常检测。
【实验】:在MVTec-AD数据集上,AnomalyDINO将单次检测的AUROC从93.1提升至96.2,证明了其在少量样本异常检测中的部分性能。
10.ANOMALYCLIP: OBJECT-AGNOSTIC PROMPT LEARNING FOR ZERO-SHOT ANOMALY DETECTION
Github:https://github.com/zqhang/AnomalyCLIP
【要点】:论文提出了一种名为AnomalyCLIP的方法,通过学习对象相关的文本提示来捕捉图像中的通用正常性和异常性,实现了不同领域中零样本异常检测的准确性和泛化能力。
【方法】:AnomalyCLIP方法通过改造CLIP模型,利用对象关联的文本提示来关注图像中的异常区域,而不是对象语义,从而在抽取目标数据集训练样本的情况下进行异常检测。
【实验】:作者在17个现实世界的异常检测数据集上进行了大规模实验,AnomalyCLIP在这些数据集上开展了一些零样本检测和分割性能,这些数据集的主题来自于缺陷检测和医学理论领域的具有高度听觉类的异常检测任务。
2023
11. Energy-Based Models for Anomaly Detection: A Manifold Diffusion Recovery Approach [NeurIPS 2023]
Github:https://github.com/swyoon/manifold-projection-diffusion-recovery-pytorch
【重点】:本研究提出了一种基于能量模型的新算法MPDR,通过利用数据中的低维结构进行异常检测,有效学习数据分配的精确边界。
【方法】:采用流形投影扩散恢复算法,首先在近似训练数据集的低维流形上扰动数据点,然后训练EBM以最大化恢复原始数据的概率。
【实验】:通过生成接近流形的负样本,并在多种数据类型(如图像、名称、声学信号)的异常检测任务上进行测试,实验结果表明MPDR算法表现出色。
12. DiffusionAD: Denoising diffusion for anomaly detection. arXiv, 2023.
Github:https://github.com/HuiZhang0812/DiffusionAD
【要点】:论文提出了一种名为DiffusionAD的新方法,将异常检测视为“噪声到正常”的范式,通过去噪网络和分割网络的协作,实现视觉的观察异常检测和定位,显着着提高了检测效率和性能。
【方法】:DiffusionAD包括一个噪声去子网络和一个分割子网络,共同提供高清的抓取异常检测和定位。
【实验】:在VisA和DAGM等标准及具有共识的基准数据集上进行广泛评估,结果表明DiffusionAD超越了当前最先进的检测范式,证明了其有效性和泛化能力。
13. Anomaly detection with conditioned denoising diffusion models. arXiv, 2023.
Github:https://github.com/arimousa/DDAD
【要点】:论文提出了一种名为Denoising Diffusion Anomaly Detection (DDAD)的新方法,该方法通过条件去噪扩散模型进行图像重建,以实现异常检测和定位,显著提高了检测的准确性和效率。
【方法】:DDAD框架包括一个条件去噪过程,该过程以目标图像为条件,引导去噪过程以生成接近目标图像的无异常重建图像。异常通过输入图像和重建图像之间的像素级和特征级比较来定位。此外,为了增强特征级比较的有效性,论文引入了一种域适应方法,利用来自条件去噪过程的几乎相同的生成示例来微调预训练的特征提取器。
【实验】:DDAD在多个数据集上进行了验证,包括MVTec和VisA基准测试,分别达到了99.8%和98.9%的图像级AUROC,展示了其在异常检测任务上的有效性和优越性能。论文还介绍了DDAD的压缩版本(DDAD-S),专为资源受限的应用设计。
14. Unsupervised out-of-distribution detection with diffusion inpainting. ICML, 2023.
Github:https://github.com/zhenzhel/lift_map_detect
【要点】:本文提出了一种称为Lift, Map, Detect (LMD)的无监督域外检测新方法,利用扩散模型将图像从原始流形提升并映射到域内流形,通过比较映射后的图像与原始流形的距离来识别域外数据。
【方法】:LMD方法包括三个步骤:提升(提升)、映射(映射)和检测(检测)。首先通过腐蚀操作提升图像;然后利用扩散模型将提升后的图像映射到域内流形;最后,根据映射后的图像与原始流形的距离来检测图像是否为域外数据。
【实验】:作者在多个数据集上进行了广泛的实验,结果表明LMD在域外检测任务上具有交互性。实验使用了多种生成模型——扩散模型,该模型通过学习一个渐进去噪声过程,将噪声图像逐渐映射到训练流形上。
15. On diffusion modeling for anomaly detection. arXiv, 2023
【要点】:
论文提出了一种新的基于扩散模型的异常检测方法Diffusion Time Estimation (DTE),该方法通过估计输入数据的扩散时间分布来识别异常,显著提高了检测效率和准确性。
【方法】:
DTE简化了传统的Denoising Diffusion Probability Models (DDPM),直接估计与异常检测相关的扩散时间,而非重建去噪图像。该方法利用深度神经网络提高推断效率,并以扩散时间的众数或均值作为异常评分。
【实验】:
在ADBench基准测试中,DTE在半监督和无监督设置下均展现出竞争力,尤其是在推理速度上远超DDPM,同时在多个数据集上检测性能优异。论文还发现,使用预训练的图像嵌入能显著提升DTE的性能。
16. Mask, stitch, and re-sample: Enhancing robustness and generalizability in anomaly detection through automatic diffusion models. arXiv, 2023.
Github:https://github.com/ci-ber/autoDDPM
【要点】:论文提出了一种名为AutoDDPM的新型方法,通过自动增强扩散模型异常检测的鲁性和泛化能力,有效克服现有扩散模型在噪声粒度控制和泛化棒性方面的掩模。
【方法】:AutoDDPM采用扩散模型生成潜在异常的初始相似图像,并与原始图像无缝集成,通过联合噪声分布重采样实现图像的调节和修复效果。
【实验】:作者在未具体提及的数据集上测试了AutoDDPM的效果,并展示了该方法在替换异常区域的同时保留健康组织方面的相应性能,显着超越了传统扩散模型的限制。
17. Unsupervised anomaly detection in medical images using masked diffusion model. arXiv, 2023
Github:https://mddpm.github.io/
【要点】:本研究提出了一种基于遮挡遮挡的概率模型(mDDPM)的无监督异常检测方法,通过引入基于遮挡遮挡的正则化方法来解决人脑解剖复杂性和无监督生成准确性的问题。该方法在医疗应用中首次尝试了掩蔽频率建模(MFM)。
【方法】:本研究提出了一种称为mDDPM的方法,引入基于掩蔽的正则化,以重构人脑模型。其中包括掩蔽图像建模(MIM)和掩蔽频率建模(MFM)。
【实验】:本研究利用包含肿瘤和多发性淋巴瘤疾病的数据集对方法进行评估,并展示了与现有的全/弱监督基准方法相比,无监督方法的卓越性能。
18. ImDiffusion: Imputed diffusion models for multivariate time series anomaly detection. arXiv, 2023
Github:https://github.com/17000cyh/IMDiffusion
【要点】:论文提出了一种新的多变量时间序列异常检测框架IMDIFFUSION,通过结合时间序列填充和扩散模型提高了检测的准确性和鲁棒性。
【方法】:IMDIFFUSION利用时间序列中邻近值的信息进行数据填充,并通过扩散模型捕获复杂的依赖关系,从而减少数据不确定性,增强异常检测的鲁棒性。
【实验】:作者在多个标准数据集上评估了IMDIFFUSION的性能,实验结果表明该方法在检测准确性和时效性上均基于现有的先进方法,并在微软的实际生产系统中实现了11.4 %的F1粉丝提升。
2022
19. AnoDDPM: Anomaly detection with denoising diffusion probabilistic models using simplex noise. CVPR, 2022.
Github:https://github.com/Julian-Wyatt/AnoDDPM
【要点】:本文提出了一种名为AnoDDPM的半扩散异常检测方法,结合了DDPM的优势和多探针单纯形噪声控制异常大小的能力,显着提升了基于重建的异常检测性能。
【方法】:AnoDDPM通过部分扩散过程和单纯噪声扩散,改进了DDPM在异常检测中的应用。
【实验】:研究使用22例T1加权MRI扫描的肿瘤数据集(CCBS Edinburgh),通过对比实验显示AnoDDPM在定性和定量上均显着超越了f-AnoGAN和高斯扩散,Sørensen–Dice系数提高了25.5% ,IoU提高了17.6%,AUC提高了7.4%。
20. Diffusion models for medical anomaly detection. MICCAI, 2022
Github:https://github.com/JuliaWolleb/diffusion-anomaly
【要点】:
论文介绍了一种基于去噪扩散隐式模型(DDIMs)的弱监督异常检测方法,用于医学图像分析,特别适用于只有图像级标注的情况。
【方法】:
该方法通过结合确定性的迭代噪声过程和分类器引导,实现疾病和健康图像间的转换,生成详细的异常图。
【实验】:
在BRATS2020脑肿瘤和CheXpert胸膜积液数据集上的实验结果显示,该方法能生成真实且详细的异常图,优于其他方法。
21.f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks
Github:https://github.com/tSchlegl/f-AnoGAN
【要点】:f-AnoGAN 是一种快速的无监督异常检测方法,利用生成对抗网络(GAN)实现,特别适用于实时异常检测应用,能够实现图像级别检测异常,并在像素级别进行定位。
【方法】:该方法采用Wasserstein训练GAN(WGAN)进行,并使用未标记的正常数据通过无监督学习对编码器进行训练。
【实验】:论文通过全面的实验评估,比较了f-AnoGAN与其他替代方法的表现,实验结果表明f-AnoGAN在异常检测任务上具有同等的准确性和实时性。数据集名称未在摘要中中扭转,但实验包括异常检测图像级别和像素级别的具体应用。
22.Patch SVDD: Patch-level SVDD for Anomaly Detection and Segmentation
Github:https://github.com/nuclearboy95/Anomaly-Detection-PatchSVDD-PyTorch
【要点】:
Patch SVDD是一种基于SVDD的深度学习方法,用于图像异常检测和分割,特别适合仅有图像级标注的情况。
【方法】:
结合自监督学习和多尺度检查,Patch SVDD能生成精确的异常图,定位像素级别的异常。
【实验】:
在MVTec AD数据集上,Patch SVDD在异常检测和分割任务上均优于现有方法,能生成真实且详细的异常图。
更多异常检测相关文章:
1.https://github.com/amirhossein-kz/Awesome-Diffusion-Models-in-Medical-Imaging?tab=readme-ov-file#anomaly-detection
2.https://github.com/M-3LAB/awesome-industrial-anomaly-detection?tab=readme-ov-file
https://github.com/cqylunlun/glass?tab=readme-ov-file