一种基于插值卷积神经网络的低剂量CT重建方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011498450.X
(22)申请日 2020.12.17
(71)申请人 电子科技大学
地址 611731 四川省成都市高新区（西区）
西源大道2006号
(72)发明人 杨波　牛培昕　郑文锋　刘珊　
(74)专利代理机构 成都行之专利代理事务所
(普通合伙) 51220
代理人 温利平
(51)Int.Cl.
G06T 11/00(2006.01)
G06T 7/12(2017.01)
G06T 5/00(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种基于插值卷积神经网络的低剂量CT重
建方法
(57)摘要
本发明公开了一种基于插值卷积神经网络
的低剂量CT重建方法，利用插值卷积神经网络在
超分辨率重建上的应用，通过插值卷积神经网络
预测CT投影正弦图上缺失的投影数据，再加上已
知的投影数据，得到完备的CT投影正弦图，最后
再经过滤波反投影得到重建的CT图像，
这样可以有效地去除低剂量CT图像上的噪声，得到更好的
重建效果。

权利要求书2页 说明书4页 附图2页CN 112489156 A 2021.03.12
C N 112489156
A
1.一种基于插值卷积神经网络的低剂量CT重建方法，其特征在于，包括以下步骤：
(1)、构建训练数据集
(1.1)、采集不同患者的标准剂量CT图像，对每张图像进行Radon变换，得到标准剂量的投影正弦图；
(1.2)、将投影正弦图量化至(0，1)，然后提取其奇数列，得到模拟的低剂量投影正弦图，剩余的偶数列作为期望插值图；
(1.3)、将将低剂量投影正弦图与期望插值图用大小为M ×N的滑窗，按纵向步长M ‑h，横向步长N ‑h进行滑动分块，滑动分块后得到若干组M ×N的低剂量投影正弦图块与期望插值图像块，其中h为偶数，h＝L 1+L 2+L 3‑3，L 1，L 2，L 3为插值卷积神经网络模型中各层卷积核的尺寸；
(1.4)、对每一组M ×N的期望插值图像块进行边界裁剪，截取中心为(M ‑h)×(N ‑h)的区域，得到样本期望插值图像块；
(1.5)、将每一组低剂量投影正弦图记为X i ，每一组样本期望插值图块记为Y i ，然后将其构成训练数据集中的一个样本记为{X i ,Y i }，下标i表示样本组数；
(2)、构建插值卷积神经网络模型
插值卷积神经网络模型由三层卷积层组成，其中，第一层采用c 1个L 1×L 1卷积核，滤波步长为1，第二层采用c 2个L 2×L 2×c 1的卷积核，步长为1，第三层采用1个L 3×L 3×c 2的卷积核，步长为1，每层卷积后取有效区并采用Sigmoid函数激活；
(3)、训练插值卷积神经网络模型
从训练数据集中选取一组训练样本{X i ,Y i }，将X i 输入至插值卷积神经网络模型，经第一层卷积后得到c 1张(M ‑L 1+1)×(N ‑L 1+1)的特征图，再经过第二层卷积后得到c 2张(M ‑L 1‑L 2+2)×(N ‑L 1‑L 2+2)的特征图，最后经过第三层卷积后输出一张(M ‑h)×(N ‑h)的预测插值图
然后计算预测插值图与样本期望插值图Y i 之间的像素误差的平方和，以像素误差的平方和为损失值，利用梯度下降算法对插值卷积神经网络进行权重更新；再选取下一组训练样本重复上述步骤，直至遍历所有训练样本完成一轮训练；判断所有训练样本的累积像素误差平方和是否小于预设阈值，如果小于，则训练结束，得到训练完成的插值卷积神经网络模型；否则，进行下一轮训练，直到累积像素误差的平方和小于预设阈值时，训练结束；
(4)、利用插值卷积神经网络重建低剂量CT图像
(4.1)、实时CT扫描时，仅在标准剂量CT的奇数投影角度进行采样，获得低剂量投影正弦图Po，设其大小为M 1×N 1；
(4.2)、对低剂量投影正弦图Po进行列扩展：复制原图Po的前1～(h/2)列到Po的末端，扩展出第(N 1+1)～(N 1+h/2)列，再复制原图Po最后的(N 1‑h/2+1)～N 1列到Po的前端，扩展出
第1～(h/2)列，
从而得到列扩展后的低剂量投影正弦图P 1；(4.3)、对低剂量投影正弦图P 1进行行扩展，其中上下各扩展(h/2)行，扩展行的元素值均用零填充，最终得到(M 1+h)×(N 1+h)的扩展正弦图P g ；
(4.4)、将扩展正弦图P g 输入至训练好的插值卷积神经网络，得到偶数投影角度的预测正弦图Pe，其大小为M 1×N 1；
(4.5)、以低剂量投影正弦图Po各列为奇数行，预测正弦图Pe各列依次作为偶数行，可以组合得到M 1×(2N 1)的标准剂量投影正弦图P；
(4.6)、将标准剂量投影正弦图P量化至原图像空间，并进行反Radon变换，得到重建的CT图像。

一种基于插值卷积神经网络的低剂量CT重建方法
技术领域
[0001]本发明属于图像处理技术领域，更为具体地讲，涉及一种基于插值卷积神经网络的低剂量CT重建方法。

背景技术
[0002]目前，人们对CT辐射剂量对人体可能造成的潜在危害问题越来越重视。

通过降低管电流强度(低剂量CT)和减少采样的次数(稀疏角度CT)，能够实现降低辐射剂量。

但这样破坏了投影数据的完备性，由传统重建算法直接重建出的图像质量会严重退化。

因此，如何在降低辐射剂量的同时保证重建图像的质量成为近年来CT研究的一个热点。

[0003]针对于低剂量投影数据中的噪声的问题和重建图像中出现条形伪影和噪声的问题，从解决方法上，可以分为投影域数据恢复和图像后处理方法。

本发明针对投影域的噪声，提出一种基于插值卷积神经网络的低剂量CT重建方法。

降低采样角度后，对角度缺失的投影数据进行插值后再进行滤波反投影重建，得到重建的CT图像。

[0004]随着深度学习的发展，将卷积神经网络应用于投影数据的恢复引起了广大研究者的兴趣。

正弦图像中的每一列都对应于一个角度的投影值，降低采样角度后，正弦图信息缺失，重建的CT图像会出现伪影。

本说明受到基于卷积神经网络的超分辨率技术的启发，将超分辨率技术应用于投影数据重建，重建完备的投影数据，优化CT重建效果。

[0005]超分辨率就是有一张尺寸比较小的图，当我们将其放大的时候，会出现模糊的现象，超分辨率重建就是将放大之后的图像尽可能地清晰。

ESPCN又称亚像素卷积神经网络，是一种应用于超分辨率分析的神经网络模型，可以直接在低分辨率图像尺寸上提取特征，计算得到高分辨率图像。

利用超分辨率网络在性能上的优势，对角度缺失的投影数据进行插值后再进行滤波反投影重建，得到重建的CT图像。

有了更加完整的投影数据，可以得到更好的重建效果。

发明内容
[0006]本发明的目的在于克服现有技术的不足，提供一种基于插值卷积神经网络的低剂量CT重建方法，利用超分辨率网络在性能上的优势，对角度缺失的投影数据进行插值后再进行滤波反投影重建，得到重建的CT图像。

[0007]为实现上述发明目的，本发明一种基于插值卷积神经网络的低剂量CT重建方法，其特征在于，包括以下步骤：
[0008](1)、构建训练数据集
[0009](1.1)、采集不同患者的标准剂量CT图像，对每张图像进行Radon变换，得到标准剂量的投影正弦图；
[0010](1.2)、将投影正弦图量化至(0，1)，然后提取其奇数列，得到模拟的低剂量投影正弦图，剩余的偶数列作为期望插值图；
[0011](1.3)、将低剂量投影正弦图与期望插值图用大小为M×N的滑窗，按纵向步长M‑h，
横向步长N ‑h进行滑动分块，滑动分块后得到若干组M ×N的低剂量投影正弦图块与期望插值图像块，其中h为偶数，h＝L 1+L 2+L 3‑3，L 1，L 2，L 3为插值卷积神经网络模型中各层卷积核的尺寸；
[0012](1.4)、对每一组M ×N的期望插值图像块进行边界裁剪，截取中心为(M ‑h)×(N ‑h)的区域，得到样本期望插值图像块；
[0013](1.5)、将每一组低剂量投影正弦图记为X i ，每一组样本期望插值图块记为Y i ，然后将其构成训练数据集中的一个样本记为{X i ,Y i }，下标i表示样本组数；
[0014](2)、构建插值卷积神经网络模型
[0015]插值卷积神经网络模型由三层卷积层组成，其中，第一层采用c 1个L 1×L 1卷积核，滤波步长为1，第二层采用c 2个L 2×L 2×c 1的卷积核，步长为1，第三层采用1个L 3×L 3×c 2的卷积核，步长为1，每层卷积后取有效区并采用Sigmoid函数激活；
[0016](3)、训练插值卷积神经网络模型
[0017]训练数据集中选取一组训练样本{X i ,Y i }，将X i 输入至插值卷积神经网络模型，经第一层卷积后得到c 1张(M ‑L 1+1)×(N ‑L 1+1)的特征图，再经过第二层卷积后得到c 2张(M ‑L 1‑L 2+2)×(N ‑L 1‑L 2+2)的特征图，最后经过第三层卷积后输出一张(M ‑h)×(N ‑h)的预测插值图Y i *；然后计算预测插值图Y i *与样本期望插值图Y i 之间的像素误差的平方和，以像素误差的平方和为损失值，利用梯度下降算法对插值卷积神经网络进行权重更新；再选取下一组训练样本重复上述步骤，直至遍历所有训练样本完成一轮训练；判断所有训练样本的累积像素误差平方和是否小于预设阈值，如果小于，则训练结束，得到训练完成的插值卷积神经网络模型；否则，进行下一轮训练，直到累积像素误差的平方和小于预设阈值时，训练结束；
[0018](4)、利用插值卷积神经网络重建低剂量CT图像
[0019](4.1)、实时CT扫描时，仅在标准剂量CT的奇数投影角度进行采样，获得低剂量投影正弦图Po，设其大小为M 1×N 1；
[0020](4.2)、对低剂量投影正弦图Po进行列扩展：复制原图Po的前1～(h/2)列到Po的末端，扩展出第(N 1+1)～(N 1+h/2)列，再复制原图Po最后的(N 1‑h/2+1)～N 1列到Po的前端，扩展出第1～(h/2)列，从而得到列扩展后的低剂量投影正弦图P 1；
[0021](4.3)、对低剂量投影正弦图P 1进行行扩展，其中上下各扩展(h/2)行，
扩展行的元素值均用零填充，最终得到(M 1+h)×(N 1+h)的扩展正弦图P g ；
[0022](4.4)、将扩展正弦图P g 输入至训练好的插值卷积神经网络，得到偶数投影角度的预测正弦图Pe，其大小为M 1×N 1；
[0023](4.5)、以低剂量投影正弦图Po各列为奇数行，预测正弦图Pe各列依次作为偶数行，组合得到M 1×(2N 1)的标准剂量投影正弦图P；
[0024](4.6)、将标准剂量投影正弦图P量化至原图像空间，并进行反Radon变换，得到重建的CT图像。

[0025]本发明的发明目的是这样实现的：
[0026]本发明为一种基于插值卷积神经网络的低剂量CT重建方法，利用插值卷积神经网络在超分辨率重建上的应用，通过插值卷积神经网络预测CT投影正弦图上缺失的投影数据，再加上已知的投影数据，得到完备的CT投影正弦图，最后再经过滤波反投影得到重建的CT图像，这样可以有效地去除低剂量CT图像上的噪声，得到更好的重建效果。

[0027]同时，本发明基于插值卷积神经网络的低剂量CT重建方法还具有以下有益效果：[0028](1)、本发明受到插值卷积神经网络在超分辨率应用上的启发，在CT图像的正弦域上重建完备的投影数据，再经过滤波反投影算法得到重建的CT图像，可以有效地去除低剂量CT图像上的噪声，得到更好的重建效果；
[0029](2)、本发明仅需要用神经网络预测缺失部分的投影数据，然后与已知的投影数据组合，可以得到完备的投影数据图像；相较于用神经网络直接输出完备的投影数据图像，可以减小网络计算量，加快了速度；
[0030](3)、本发明采用全卷积网络作为去噪网络，这样不受输入图像尺寸的影响，可以直接输入完整的CT图像进行去噪，这样使用图像块进行训练可以加快网络的训练速度；[0031](4)、完整的CT图像数量有限，可能导致训练的网络过拟合，但将完整的CT图像裁剪为图像块，增加训练样本的数量，可以产生更好的学习效果，增加网络模型稳定性。

附图说明
[0032]图1是本发明一种基于插值卷积神经网络的低剂量CT重建方法流程图；
[0033]图2是构建训练数据集的流程图；
[0034]图3是利用插值卷积神经网络重建低剂量CT图像的流程图。

具体实施方式
[0035]下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。

需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

[0036]实施例
[0037]图1是本发明一种基于插值卷积神经网络的低剂量CT重建方法流程图。

[0038]在本实施例中，如图1所示，本发明一种基于插值卷积神经网络的低剂量CT重建方法，包括以下步骤：
[0039]S1、构建训练数据集，具体如图2所示，包括以下步骤：
[0040]S1.1、采集不同患者的标准剂量CT图像，对每张图像进行Radon变换，得到标准剂量的投影正弦图；
[0041]S1.2、将投影正弦图量化至(0，1)，从而得到512×512的标准剂量投影正弦图；[0042]S1.3、提取其奇数列，得到模拟的低剂量投影正弦图，大小为512×256，剩余的偶数列作为期望插值图，大小为512×256；
[0043]S1.4、将低剂量投影正弦图与期望插值图用大小为M×N＝16×16的滑窗，按纵向步长M‑h＝8，横向步长N‑h＝8进行滑动分块，滑动分块后得到1953组16×16的低剂量投影正弦图块与期望插值图像块；
[0044]S1.5、对每一组16×16的期望插值图像块进行边界裁剪，截取中心为8×8的区域，得到样本期望插值图像块；
[0045]S1.6、将每一组低剂量投影正弦图记为X
i ，每一组样本期望插值图块记为Y
i
，然后
将其构成训练数据集中的一个样本记为{X
i ,Y
i
}，下标i表示样本组数，最终每张CT切片形成
1953个训练样本；
[0046]S2、构建插值卷积神经网络模型
[0047]插值卷积神经网络模型由三层卷积层组成，其中，第一层采用c 1＝64个L 1×L 1＝5×5卷积核，滤波步长为1，第二层采用c 2＝32个L 2×L 2×c 1＝3×3×64的卷积核，步长为1，第三层采用1个L 3×L 3×c 2＝3×3×32的卷积核，步长为1，每层卷积后取有效区并采用Sigmoid函数激活；
[0048]S3、训练插值卷积神经网络模型
[0049]训练数据集中选取一组训练样本{X i ,Y i }，将X i 输入至插值卷积神经网络模型，对于16×16的输入图像，经第一层卷积后得到64张12×12的特征图；经第二层卷积后得到32张10×10的特征图；经第三层卷积后最终输出1张8×8的预测插值图Y i *；然后计算预测插值图Y i *与样本期望插值图Y i 之间的像素误差的平方和，以像素误差的平方和为损失值，利用梯度下降算法对插值卷积神经网络进行权重更新；再选取下一组训练样本重复上述步骤，直至遍历所有训练样本完成一轮训练；判断所有训练样本的累积像素误差平方和是否小于
预设阈值，如果小于，则训练结束，得到训练完成的插值卷积神经网络模型；
否则，进行下一轮训练，直到累积像素误差的平方和小于预设阈值时，训练结束；
[0050]S4、利用插值卷积神经网络重建低剂量CT图像，具体如图3所示，包括以下步骤：
[0051]S4.1、实时CT扫描时，仅在标准剂量CT的奇数投影角度进行采样，获得低剂量投影正弦图Po，设其大小为M 1×N 1＝512×256；
[0052]S4.2、对低剂量投影正弦图Po进行列扩展：复制原图Po的前1～4列到Po的末端，扩展出第257～260列，再复制原图Po最后的253～256列到Po的前端，扩展出第1～4列，从而得到列扩展后的低剂量投影正弦图P 1；
[0053]S4.3、对低剂量投影正弦图P 1进行行扩展，其中上下各扩展4行，扩展行的元素值均用零填充，最终得到520×264的扩展正弦图P g ；
[0054]S4.4、将扩展正弦图P g 输入至训练好的插值卷积神经网络，得到偶数投影角度的预测正弦图Pe，其大小为512×256；
[0055]S4.5、以低剂量投影正弦图Po各列为奇数行，预测正弦图Pe各列依次作为偶数行，组合得到512×512的标准剂量投影正弦图P；
[0056]S4.6、将标准剂量投影正弦图P量化至原图像空间，
并进行反Radon变换，得到重建的CT图像。

[0057]尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

图1
图2
图3。