去噪扩散概率模型在人工智能医疗器械影像数据增广中的应用

154 Application of DDPM in artificial intelligence image data augmentation of medical device/Hao Pengfei 1, Li Qingyu 1, Chai Rui 1, Chen Xi 2, Song Qinghua 1, Han Naishui 1, Zhang Ke 11
Medical Electrical Safety Laboratory, Shandong Institute of Medical Device and Pharmaceutical Packaging Inspection, Jinan 250101, China; 2Research and Development Department, Daopuyun (Shandong) Intelligent T echnology Co., Ltd, Jinan 250000, China
Corresponding author: [Abstract] Medical device imaging data augmentation is a method of expanding existing datasets by generating new data samples, which is of great significance for improving the performance of artificial intelligence (AI) medical device-related models and clinical application effects. However, traditional data augmentation methods are usually limited by the quality, realism, and diversity of generated samples. Denoising diffusion probabilistic model (DDPM) is a generative model based on the noise diffusion process, and its main idea is to generate samples with high quality by modelling the sampling process of the target distribution as a process of progressive denoising from the noise distribution. The basic principles and working mechanisms of DDPM were reviewed, the application scenarios of this method in AI medical device data augmentation were analyzed, and its advantages, challenges, and future development directions were explored to provide a reference for the field of AI medical device data augmentation.
[Key words] Denoising diffusion probabilistic model (DDPM); Medical device; Artificial intelligence, Data augmentation Fund program: National Key Research and Development Program of China (2020YFC2007105)
[摘要] 医疗器械影像数据增广是一种通过生成新的数据样本来扩展现有数据集的方法，对提高人工智能(AI)医疗器械相关模型性能和临床应用效果具有重要意义。

传统的数据增广方法通常受限于生成样本质量、真实感和多样性。

去噪扩散概率模型(DDPM)是一种基于噪声扩散过程的生成模型，其主要思想是通过将目标分布的采样过程建模为从噪声分布中逐步去噪的过程，从而生成具有高质量的样本。

综述DDPM基本原理和工作机制，分析该方法在AI医疗器械数据增广中的应用场景，探讨其优势、挑战和未来发展方向，为AI医疗器械数据增广领域提供参考。

[关键词] 去噪扩散概率模型(DDPM)；医疗器械；人工智能(AI)；数据增广基金项目：国家重点研发计划(2020YFC2007105)
引用本文：郝鹏飞,李庆雨,柴蕊,等.去噪扩散概率模型在人工智能医疗器械影像数据增广中的应用在人工智能医疗器械影像数据增广中的应用[J].中国医学装备,2024,21(3):154-158.DOI:10.3969/j.issn.1672-8270.2024.03.031.
郝鹏飞1 李庆雨1 柴 蕊1 陈 曦2 宋庆华1 韩乃水1 张 克1
1
山东省医疗器械和药品包装检验研究院医用电器质量评价中心 济南 250101；2道普云(山东)智能科技有限公司研发部 济南 250101
通信作者：张克，Email ：DOI: 10.3969/j.issn.1672-8270.2024.03.031
中图分类号：R197.39 R197.324 文献标识码：A
去噪扩散概率模型在人工智能医疗器械影像数据增广中的应用
随着医学影像技术的发展和人工智能(artificial intelligence，AI)技术的进步，AI医疗器械在诊断和治疗疾病方面发挥着越来越重要的作用[1]。

AI医疗器械的性能和临床应用效果很大程度上依赖于可用的医学影像数据[2]。

在实际应用中，由于数据采集困难、样本不均衡和隐私保护等问题，AI医疗器械面临数据稀缺和数据质量不高的挑战[3]。

为解决上述问题，数据增广成为重要的研究方向[4]。

数据增广是指通过对有限的原始数据集进行一系列的变换来增加数据集数量，从而提高模型训练的效果，主要包括传统的数据处理方法和基于深度学习的生成方法[5-7]。

传统的数据处理方法包括图像旋转、翻转、缩放等，可以简单地增加数据数量，但存在信息丢失、不适配特定任务、难以控制生成数据质量等
缺点。

近年来，生成对抗网络(generative adversarial networks，GAN)和变分自编码器(variational autoencoder，VAE)等深度学习方法在AI医疗器械数据增广中取得显著成果，能够有效地增加数据的数量和多样性。

但上述方法在生成过程中可能出现一些伪影和噪声，影响生成图像的质量，GAN训练需要判别器辅助，而且训练易不稳定、难收敛。

去噪扩散概率模型(denoising diffusion probabilistic model，DDPM)是一种基于噪声扩散过程的生成模型，其通过将目标分布的采样过程建模为从噪声分布中逐步去噪的过程，从而生成具有高质量的样本[8]。

与GAN和VAE相比，DDPM生成过程具有较好的稳定性和可控性，可有效地减少伪影和噪声；DDPM无需使用判别器指导训练，并且其使用逆向扩散过程进行训练，
155
通常更加稳定，减少了训练过程中的困难[9]。

综述DDPM在AI医疗器械数据增广领域的应用，为AI医疗器械数据增广领域提供参考。

1 DDPM基本原理
Ho等[10]于2020年提出了DDPM模型，其结合了扩散模型和深度学习技术，通过逐步去除噪声生成高质量的样本。

DDPM的核心概念包括噪声扩散过程、去噪过程和训练策略。

DDPM已在音频合成、化学分子设计等方面都有广泛的应用并取得显著成果，尤其在图像生成领域应用前景广阔。

在AI医疗器械数据增广领域，DDPM可有效地生成高质量的医学影像，有望为AI医疗器械的研发和临床应用带来更大的价值。

1.1 噪声扩散过程
噪声扩散过程是DDPM的核心概念。

首先从目标数据中采样一个初始样本，通过逐步向该样本添加高斯噪声，使其逐渐变化成含有噪声图像的过程。

这一过程可以表示为一个马尔可夫链，其中每个状态对应于一个不同程度的噪声水平。

通过调整噪声水平，可控制样本在目标分布和噪声分布之间的位置。

噪声扩散过程见图1。

噪声扩散过程的数学描述如下：q代表一个条件概率分布，描述从前一时刻的状态x t-1到当前时刻的状态x t 的加噪过程，这一过程可被表示为一个条件正态分布，其中βt 是一个预定义的噪声水平参数，I为单位矩阵。

给定前一时刻的状态x t-1，当前时刻的状态x t 服从一个均值为1-βt x t -1，方差为βt 的正态分布，计算为公式1：
q (x t |x t -1)=N (x t ; 1-βt x t -1,βt I )(1)
1.2 去噪过程
去噪过程是DDPM的另一个核心概念。

在这一过
程中，从噪声分布中逐步去噪以恢复目标分布。

首先从噪声分布中采样一个样本，然后通过一个深度神经网络(deep neural networks，DNN)生成噪声并逐步去除，使其逐渐接近目标分布，去噪过程可以看作是噪声扩散过程的逆过程，计算为公式2：
图1 医疗器械影像数据不同时刻噪声扩散过程
时刻
q (x t -1|x t ,x 0)=N (x t -1;µ(x t ,x 0),βt I )(2)
～
～
1.3 训练策略
为训练DDPM，需要学习一个参数化的DNN。

训练过程中的目标是最小化Y t Y和Y t-1Y之间的差异，Y t 代表t时刻加噪图像的概率分布，即最小化去噪过程中产生的误差[11]。

具体而言，可使用均方误差(mean-square error，MSE)作为损失函数，即L=||Y t -Y t-1}||2。

通过自适应动量的随机优化方法(adaptive moment estimation，ADAM)等优化算法，可优化DNN的参数以最小化损失函数。

为加速训练过程并提高模型性能，可采用一些技巧，如小批量样本(mini-batch)训练、学习率调度和数据增广等。

此外，还可结合其他深度学习方法，如卷积神经网络(convolutional neural network，CNN)和循环神经网络(recurrent neural network，RNN)，以提高模型的表达能力和泛化能力[12]。

2 DDPM在AI医疗器械数据增广中的应用
DDPM作为一种生成模型，在AI医疗器械数据增广领域具有广泛的应用前景，包括数据扩增、模型检测和隐私保护。

2.1 数据增广
在医学领域特别是在特定疾病或罕见病的研究中，往往会面临数据稀缺的问题，导致研究成果未达到预期效果[13-14]。

由于医学数据的获取成本高昂且难以获得足够的样本数量，数据集往往不够大；数据存在长尾问题，不同类别之间可能存在样本数量不平衡，如某些疾病可能比其他疾病更常见，导致数据集中某些类别的样本数量较多，而其他类别的样本数量较少，导致模型对较少样本的类别学习不足。

通过数据增广，可生成额外的样本平衡各类别之间的样本数量，使模型在所有类别上都能够得到更好的训练。

山东省医疗器械和药品包装检验研究院对手掌、肱骨、肩膀及手腕影像进行DDPM模型训练，以达到特定领域数据增广目的。

采用由斯坦福大学开发的MURA-v1.1医学图像数据集[15]。

该数据集主要用于
156 关节X射线图像的骨骼和关节疾病诊断，该数据集包含40 561张来自13 825个患者的正常和异常关节X射线图像，涵盖手、腕、肘、肩、胸部、膝盖和脚踝等关节。

挑选肩膀(包含8379张图像数据)、手掌(包含5 543张图像数据)、肱骨(包含1 272张图像数据)和手腕(包含656张图像数据)4种影像，验证DDPM模型图像生成能力。

首先对训练数据进行预处理，以确保数据的一致性和可用性。

由于图形处理器(graphics processing unit，GPU)限制，将图像尺寸裁剪为128×128像素，进行训练与生成任务，生成效果见图2。

2.2 模型检测
随着算力的增强、大数据的广泛应用以及AI算法的快速发展，AI正成为医学诊断、疾病预测和个性化治疗等领域的关键工具[16]
；而众多AI模型的准确性评估是具有挑战性的问题。

尽管AI模型在图像识别、语音处理和自然语言处理等任务中效果显著，但在实际应用中，评估其准确性仍然是一个复杂的任务。

与传统的评估方法相比，AI模型的复杂性和黑盒特性使其准确性的评估变得更加困难。

大批量AI产品面世，给AI医疗器械检测机构带来巨大压力，产品的优劣程度对病情、病变检测等诊断结果具有决定性导向，如何检测AI算法成为行业中的重中之重，如何测试AI算法也成为行业亟待解决的主要问题[17-18]。

AI算法分训练集和测试集，测试集为算法指标评估重要的输入，当前送检单位针对AI产品会提供测试数据集，但AI医疗器械检测机构很难判断此数据集是否为训练集，因此无法保证算法模型质量[17]。

基于上述考虑，结合国内外数据处理加工算法，可应用DDPM图像生成模型对医学影像进行测试集数据扩
图2 医疗器械影像去噪声扩散概率模型训练前后患者肩膀、手掌、肱骨和手腕X 射线图像 A 为肩膀原始图像；
B 为训练后肩膀图像；
C 为手掌原始图像；
D 为训练后手掌图像；
E 为肱骨原始图像；
F 为训练后肱骨图像；
G 为手腕原始图像；H
为训练后手腕图像充，可以保障模型对数据的不可见性，大幅提高了模型评估的置信度。

通过肺炎图像数据生成，测试生成的肺炎图像对肺炎分类模型评估可能性，同时利用肺炎图像数据训练了辅助分类器生成对抗网络(auxiliary classifier generative adversarial network，ACGAN)网络，与DDPM生成图像质量上进行比较。

采用公开肺炎数据集，其中包含1 583张正常类别图像、2 780张细菌图像和1 493张病毒图像。

DDPM模
型分别训练3种类别图像，产出3个模型分别生成不同类别肺炎图像数据。

ACGAN网络是所有数据共同训练，通过独热编码，进行类别区分，ACGAN与DDPM生成效果对比图见图3。

注：ACGAN 为辅助分类器生成对抗网络；DDPM 为去噪扩散概率模型
图3 医疗器械影像ACGAN 与DDPM
生成效果对比
正常
原图
ACGAN
DDPM
病毒
细菌
157
结果可直观展示，DDPM模型生成的肺炎图像质量远高于ACGAN。

原因在于DDPM模型使用了扩散过程建模数据，可以有效地捕捉长期依赖关系。

使得DDPM能够生成具有更长时间上的一致性和连贯性的图像，避免了ACGAN模型中可能出现的一些模糊或不连贯的问题。

同时ACGAN模型容易出现训练不稳定、模式崩溃等问题，DDPM的训练过程比ACGAN 模型更稳定。

由此可见，DDPM模型用于模型检测具有可行性。

2.3 隐私保护
近年来，我国数据泄露事件频发，数据泄露可能导致个人身份信息、财务信息、医疗记录等敏感信息被泄露[19-21]。

使个人容易受到身份盗窃、欺诈、钓鱼攻击和其他形式的滥用。

个人的隐私权受到侵犯，个人形象和声誉受损[22-23]。

其中，医疗领域的数据包含大量的隐私数据，这些隐私数据包括个人的健康状况、医疗诊断、药物处方、手术记录等敏感信息。

医疗机构和相关机构应采取严格的数据保护措施，包括数据加密、访问控制、身份验证、数据备份和灾难恢复等措施，以确保医疗数据的机密性和安全性。

此外，合法合规、隐私政策、知情同意和数据共享协议等也起到重要的作用，确保医疗数据的合法使用和适当共享，同时保护个人隐私权益[24-26]。

DDPM模型在隐私保护上的应用主要体现在数据生成和二次脱敏上，DDPM可以用于生成合成的数据样本，这些样本不包含真实数据集中的个人身份信息或敏感数据。

通过使用DDPM生成的合成数据样本，可以避免直接共享和传输真实数据，从而保护数据的隐私性。

合成数据是第一次脱敏过程，而通过合成数据训练的DDPM模型生成的图像是第二次脱敏过程。

研究人员可以在不涉及真实数据的情况下共享合成数据样本，促进合作和研究，同时减少敏感信息泄露的风险。

3 展望
针对AI医疗器械数据增广领域的挑战和需求，通过探讨DDPM其在数据扩增、模型检测、隐私保护应用场景中的应用前景，证实了其在AI医疗器械数据增广中具有较好的性能和效果，应用前景广泛[27]。

但DDPM的应用仍存在挑战和局限性，未来研究可从以下方面进行展望：①提高训练效率，DDPM的训练过程相对复杂，需要大量的计算资源和时间，为提高训练效率，可考虑使用分布式训练、模型压缩和知
识蒸馏等技术；②提高生成性能，DDPM的生成过程可能受到噪声分布和去噪神经网络的影响，导致生成图像的质量不稳定，为提高生成性能，可考虑使用更先进的噪声分布和去噪神经网络；③提高泛化能力，DDPM的泛化能力可能受到数据集和任务的限制，为提高泛化能力，未来可考虑使用迁移学习、元学习和多任务学习等技术[28-29]；④扩展应用场景，未来可以将DDPM应用于生物信息学、药物设计和遥感图像处理等领域；⑤融合其他生成模型，为充分发挥DDPM的优势，可考虑将DDPM与其他生成模型(如GAN和VAE等)进行融合，以实现更优的生成性能和应用效果[30]；⑥强化学习与生成模型的结合，通过将 DDPM与强化学习相结合，可在生成过程中引入更多的先验知识和约束条件，从而提高生成图像的质量和真实感[31]。

[1]
[2]
[3]
[4]
[5]
[6]
[7]
[8][9]
王小良,郭嘉杰.人工智能在医疗器械领域的研究及影响[J].中国医疗器械信息,2021,27(11):9-10,170.DOI:10.3969/j.issn.1006-6586.2021.11.004.
Xue H,Hu G,Hong N,et al.How to keep artificial intelligence evolving in the medical imaging world? Challenges and opportunities[J].Sci Bull(Beijing),2023,68(7):648-652.DOI:10.1016/j.scib.2023.03.031.
王浩,孟祥峰,王权,等.人工智能医疗器械用数据集管理与评价方法研究[J].中国医疗设备,2018,33(12):1-5.DOI:10.3969/j.issn.1674-1633.2018.12.001.
刘传彬.细粒度图像识别关键技术研究[D].合肥:中国科技技术大学,2021.DOI:10.27517/ki.gzkju.2021.000751.
Takahashi N,Gygli M,Pfister B,et al.Deep Convolutional neural networks and data augmentation for acoustic event detection[EB/OL].(2016-04-25)[2023-08-03].https:///abs/1604.07160.
魏小娜,李英豪,王振宇,等.医学影像人工智能辅助诊断的样本增广方法[J].计算机应用,2019,39(9):2558-2567.DOI:10.11772/j.issn.1001-9081.2019030450.
马岽奡,唐娉,赵理君,等.深度学习图像数据增广方法研究综述[J].中国图象图形学报,2021,26(3):487-502.
王燕萍,吕磊,苏志龙,等.基于深度学习的高质量图像生成方法综述[J].激光杂志,2023,44(6):7-12.杨光锴.基于扩散模型的指纹图像生成方法[J].河北省科学院学报,2023,40(1):13-18,66.DOI:10.
参考文献
158 收稿日期：2023-08-03
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
[19]
[20]
16191/ki.hbkx.2023.01.009.
Ho J,Jain A,Abbeel P.Denoising Diffusion Probabilistic Models[EB/OL].(2020-06-19)[2023-08-03].https:///abs/2006.11239.
张荣荣,闵钢,骆畑,等.引入图像去噪处理机制的DNN模型人脸识别算法[J].数字印刷,2022(5):26-36.DOI:10.19370/10-1304/ts.2022.05.003.
朱敏,姜芃旭,赵力.全卷积循环神经网络的语音情感识别[J].声学技术,2021,40(5):645-651.DOI:10.16300/ki.1000-3630.2021.05.009.车贺宾,薛万国,徐洪丽,等.医学人工智能产品测试数据集通用化描述方法研究[J].医疗卫生装备,2023,44(7):74-78.DOI:10.19745/j.1003-8868.2023143.
赵静.基于GAN的医学图像数据增强研究评述[C].//中国计算机用户协会网络应用分会2022年第二十六届网络新技术与应用年会论文集,2022:69-73.
Rajpurkar P,Irvin J,Bagul A,et al.Mura dataset:towards radiologist-level abnormality detection in musculoskeletal radiographs[EB/OL].(2018-05-22)[2023-08-03].https:///abs/1712.06957.
李肯立,阳王东,陈岑,等.面向人工智能和大数据的高效能计算[J].数据与计算发展前沿,2020,2(1):27-37.DOI:10.11871/jfdc.issn.2096-742X.2020.01.003.
周日鑫.基于深度生成模型的弱监督医学影像分割算法研究[D].长春:吉林大学,2022.DOI:10.27162/ki.gjlin.2022.006940.
李志勇,邱晓岚,杨建龙,等.WHO《为基于人工智能的医疗设备生成证据:训练、验证和评估框架》解析及其对我国医学装备行业的启示[J].中国医学装备,2022,19(7):157-167.DOI:10.3969/J.ISSN.1672-8270.2022.07.034.
吴晓峰.计算机网络安全在医院互联网时代下的解析[J].网络安全技术与应用,2023(5):111-112.DOI:10.3969/j.issn.1009-6833.2023.05.051.马文瑞.互联网医疗患者信息安全防护研究[D].上海:上海工程技术大学,2021.DOI:10.27715/
[21]
[22]
[23]
[24]
[25]
[26]
[27]
[28]
[29]
[30]
[31]
ki.gshgj.2021.000380.
韦明华.大数据时代网络安全体系如何保护患者信息安全[J].电脑知识与技术,2018,14(13):53-54.DOI:10.14004/ki.ckt.2018.1561.
韩蕊.突发公共卫生事件中患者隐私权保护[D].哈尔滨:黑龙江大学,2022.DOI:10.27123/ki.ghlju.2022.000188.
Li X,Zhang T.An exploration on artificial intelligence application:From security, privacy and ethic perspective[C].Chengdu: IEEE International Conference on Cloud Computing & Big Data Analysis,2017:416-420.DOI:10.1109/ICCCBDA.2017.7951949.
李丹,刘杰,云雷,等.人工智能医学软件产品网络安全测评体系研究[J].电子质量,2022(12):91-97.DOI:10.3969/j.issn.1003-0107.2022.12.022.郭卫霞,张伟,杨国玉.基于深度级联网络的入侵检测算法研究[J].电子技术应用,2021,47(11):68-72.DOI:10.16157/j.issn.0258-7998.211394.
孔鸣,何前锋,李兰娟.人工智能辅助诊疗发展现状与战略研究[J].中国工程科学,2018,20(2):86-91.DOI:10.15302/J-SSCAE-2018.02.013.
祁瑞娟,吕伟通.人工智能辅助诊断技术在医疗领域的作用与挑战[J].中国医疗器械信息,2018,24(16):27-28.DOI:10.3969/j.issn.1006-6586.2018.16.011.
王光宇,蒋泽宇,杨国兴,等.针对医学人工智能产品的对抗测试技术平台设计[J].医疗卫生装备,2023,44(1):8-12.DOI:10.19745/j.1003-8868.2023002.孟祥峰,王浩,张超,等.医学人工智能产品检测平台的设计[J].医疗卫生装备,2023,44(1):1-7.DOI:10.19745/j.1003-8868.2023001.
何永庆.基于VAE-GAN的对抗样本防御方法研究[D].武汉:华中科技大学,2020.DOI:10.27157/ki.ghzku.2020.003357.
王远,徐琳,宫小泽,等.基于梯度的深度强化学习解释方法[J/OL].系统仿真学报:1-11[2023-08-03]./kcms/detail/11.3092.V.20230724.0926.002.html.
收稿日期：2023-02-21
of the wnt signaling pathway and synovial stem cell dysfunction in osteoarthritis development[J].Stem Cells Dev,2020,29(7):401-413.DOI:10.1089/scd.2019.0260.
Reddy SHR,Reddy R,Babu NC,et al.Stem-cell therapy and platelet-rich plasma in regenerative medicines:a review on pros and cons of the technologies[J].J Oral Maxillofac Pathol,2018,22(3):367-374.DOI:10.4103/jomfp.JOMFP_93_18.
Choukroun JGS.Reduction of relative centrifugation force within injectable platelet-rich-fibrin(PRF) concentrates advances patients' own inflammatory cells,platelets and growth factors:the first introduction to the low speed centrifugation concept[J].Eur J Trauma Emerg Surg,2018,44(1):87-95.DOI:10.1007/s00068-017-0767-9.
Wong CC,Huang YM,Chen CH,et al.
Cytokine and Growth Factor Delivery from Implanted Platelet-Rich Fibrin Enhances Rabbit Achilles Tendon Healing[J].Int J Mol Sci,2020,21(9):3221.DOI:10.3390/ijms21093221.
(上接第153页)
[24][25][26]。