一种基于小波变换的神经网络图像去噪方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010364618.1
(22)申请日 2020.04.30
(71)申请人 杭州电子科技大学
地址 310018 浙江省杭州市下沙高教园区2
号大街
(72)发明人 颜成钢　陈利　巩鹏博　郑锦凯　
孙垚棋　张继勇　张勇东　
(74)专利代理机构 杭州君度专利代理事务所
(特殊普通合伙) 33240
代理人 朱月芬
(51)Int.Cl.
G06T 5/00(2006.01)
G06T 5/50(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种基于小波变换的神经网络图像去噪方
法
(57)摘要
本发明公开了一种基于小波变换的神经网
络图像去噪方法。

本发明首先使用小波变换对图
像进行分解，具体的是将原始图像分解成为四个
子图像；对于得到的子图像，分别单独的使用设
计好的全卷积神经网络进行训练，四个神经网络
之间互不干扰；接下来再使用图像融合的方法将
四个子图融合成为最后的去噪图像。

本发明针对
图像中的噪声，可以有效的进行过滤，得到一张
对比度强，色彩自然，视觉效果好的图像。

该算法
可以在手机上应用，只需要一键操作，有效的提
高图像的质量，
令用户的拍照体验感提升。

权利要求书1页 说明书3页 附图1页CN 111612707 A 2020.09.01
C N 111612707
A
1.一种基于小波变换的神经网络图像去噪方法，其特征在于首先使用小波变换对图像进行分解，具体的是将原始图像分解成为四个子图像；对于得到的子图像，分别单独的使用设计好的全卷积神经网络进行训练，四个神经网络之间互不干扰；接下来再使用图像融合的方法将四个子图融合成为最后的去噪图像。

2.根据权利要求1所述的一种基于小波变换的神经网络图像去噪方法，其特征在包括以下步骤：
步骤1：使用小波变换分解原始噪声图像，得到四个子图；
通过低通和高通滤波器，分解原始噪声图像，得到四个子图：LL子带是由两个方向利用低通小波滤波器卷积后产生的小波系数，它是图像的近似表示；HL子带是在行方向利用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，它表示图像的水平方向奇异特性；LH子带是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，它表示图像的垂直方向奇异特性；HH子带是由两个方向利用高通小波滤波器卷积后产生的小波系数，它表示图像的对角边缘特性；
步骤2：使用全卷积神经网络进行训练，对得到的子图进行训练；
采取四个相同结构的全卷积神经网络分别进行训练，这四个网络之间互不干扰，每个全卷积神经网络只对自己的负责的子图进行训练；最后得到四张训练过后的输出子图；
步骤3：使用图像融合技术，将四个训练后的子图融合；
将得到的四张全卷积神经网络的输出子图进行融合，得到一张包含图像完整信息的去噪后的图像；
输出子图和原始的输入图像之间进行psnr处理，得到四个数值psnr1,psnr2,psnr3,psnr4；
利用这四个数值，
得到第i张子图的权重：
四张子图根据权重进行融合得到一张包含图像完整信息的去噪后的融合图像；
在融合图像之后，使用伽马变化进行一个图像后处理，使得得到的融合图像色彩更加柔和。

3.根据权利要求1或2所述的一种基于小波变换的神经网络图像去噪方法，其特征在所述的全卷积神经网络为自己定义的ResVDSR网络，具体如下：
首先使用双边滤波的方法对输入的噪声图像进行预处理；然后将经过预处理后的噪声图像输入ResVDSR网络；
ResVDSR网络一共有四层，第一层的输入通道为3，输出通道为64；第二层的输入通道为64，输出通道为128；第三层的输入通道为128，输出通道为64；第四层的输入通道为64，输出通道为3；四层网络的卷积核大小全部都是3*3，并且使用ReLU进行激活；在第一层输入之前到第四层输出之后建立一个残差结构，该结构能够保留图像更多的纹理信息。

权　利　要　求　书1/1页CN 111612707 A
一种基于小波变换的神经网络图像去噪方法
技术领域
[0001]本发明涉及图像去噪领域，具体的说涉及使用小波变换和神经网络进行图像去噪，训练出最佳的网络参数。

背景技术
[0002]随着先进移动设备的普及，尤其是手机上相机的应用，人们几乎可以随时随地拍照。

而社交媒体平台的蓬勃发展，每天都有大量的照片被制作和分享，形成了一种重要的大数据。

但是，这些可视化数据的质量并没有得到保证，因为这些可视化数据的生成源是相当开放的。

一方面，在拍照时，大多数人都是业余爱好者或对摄影技巧知之甚少，他们常常选择次优的拍摄参数。

另一方面，有许多挑战性的拍摄条件，导致低质量的照片，如恶劣的天气，移动的物体，和低光照条件。

噪声图像降低了用户体验的视觉质量，并且阻碍了对工业应用程序内容的理解。

[0003]图像噪声是造成图像视觉质量差的主要因素之一，在黑暗中或者光照不均匀的情况下都会造成图像失真。

虽然存在允许用户交互调整照片的软件，但对于非专业人士来说，这是相当乏味和困难的，因为它需要同时操纵颜色和对比度等控件，同时精细地调整照片中的各种对象和细节。

[0004]一般的图像处理，微小的细节对图像降噪的后续处理程序影响不太明显，但是当处理对象为医学图像时，这样的小失误是不被允许的，因为在医疗诊断或治疗中，每一个微小的失误都会影响医师的治疗方法甚至威胁到患者的生命。

这就要求更多的研究者来投入时间和精力研究新的降噪技术，以达到降噪并同时仍能保留足够细节信息的目的。

[0005]图像去噪主要是对得到的不满意的图像进行自适应处理，过滤掉图像中的噪声，恢复图像的细节信息。

得到的增强图像具有良好的对比度，自然的光照色彩以及良好的视觉效果。

发明内容
[0006]本发明主要是提出一种基于小波变换的神经网络图像去噪算法，可以对得到的包含噪声的图像进行增强处理，得到一张对比度明显，色彩自然，视觉效果好，细节清晰的图像。

[0007]本发明的方法首先使用小波变换对图像进行分解，具体的是将原始图像分解成为四个子图像；对于得到的子图像，分别单独的使用设计好的全卷积神经网络进行训练，四个神经网络之间互不干扰；接下来再使用图像融合的方法将四个子图融合成为最后的去噪图像。

[0008]本发明解决其技术问题所采用的技术方案具体包括以下步骤：
[0009]步骤1：使用小波变换分解原始噪声图像，得到四个子图；
[0010]通过低通和高通滤波器，分解原始噪声图像，得到四个子图：LL子带是由两个方向利用低通小波滤波器卷积后产生的小波系数，它是图像的近似表示；HL子带是在行方向利
用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，它表示图像的水平方向奇异特性；LH子带是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，它表示图像的垂直方向奇异特性；HH子带是由两个方向利用高通小波滤波器卷积后产生的小波系数，它表示图像的对角边缘特性；[0011]步骤2：使用全卷积神经网络进行训练，对得到的子图进行训练；
[0012]采取四个相同结构的全卷积神经网络分别进行训练，这四个网络之间互不干扰，每个全卷积神经网络只对自己的负责的子图进行训练；最后得到四张训练过后的输出子图；
[0013]步骤3：使用图像融合技术，将四个训练后的子图融合；
[0014]将得到的四张全卷积神经网络的输出子图进行融合，得到一张包含图像完整信息的去噪后的图像；
[0015]输出子图和原始的输入图像之间进行psnr处理，得到四个数值psnr1,psnr2, psnr3,psnr4；
[0016]利用这四个数值，得到第i张子图的权重：
[0017]
[0018]四张子图根据权重进行融合得到一张包含图像完整信息的去噪后的融合图像；[0019]在融合图像之后，使用伽马变化进行一个图像后处理，使得得到的融合图像色彩更加柔和。

[0020]所述的全卷积神经网络为自己定义的ResVDSR网络，具体如下：
[0021]首先使用双边滤波的方法对输入的噪声图像进行预处理；然后将经过预处理后的噪声图像输入ResVDSR网络；
[0022]ResVDSR网络一共有四层，第一层的输入通道为3，输出通道为64；第二层的输入通道为64，输出通道为128；第三层的输入通道为128，输出通道为64；第四层的输入通道为64，输出通道为3；四层网络的卷积核大小全部都是3*3，并且使用ReLU进行激活；在第一层输入之前到第四层输出之后建立一个残差结构，该结构能够保留图像更多的纹理信息。

[0023]本发明的有益效果：
[0024]本发明提出了一种基于小波变换的噪声图像增强算法，针对图像中的噪声，可以有效的进行过滤，得到一张对比度强，色彩自然，视觉效果好的图像。

该算法可以在手机上应用，只需要一键操作，有效的提高图像的质量，令用户的拍照体验感提升。

附图说明
[0025]图1为本发明的算法流程图
[0026]图2为本发明定义的ResVDSR网络
具体实施方式
[0027]以下结合附图及实施例，对本发明进行进一步的详细说明。

[0028]本发明的方法首先使用小波变换对图像进行分解，具体的是将原始图像分解成为四个子图像；对于得到的子图像，分别单独的使用设计好的全卷积神经网络进行训练，四个
神经网络之间互不干扰；接下来再使用图像融合的方法将四个子图融合成为最后的去噪图像。

[0029]实施流程如图1所示。

本发明所述方法包括以下步骤：
[0030]步骤1：使用小波变换分解原始噪声图像，得到四个子图；
[0031]小波在图像处理里被称为图像显微镜，原因在于它的多分辨率分解能力可以将图片信息一层一层分解剥离开来。

剥离的手段就是通过低通和高通滤波器，本方法得到了四个子图：LL子带是由两个方向利用低通小波滤波器卷积后产生的小波系数，它是图像的近似表示；HL子带是在行方向利用低通小波滤波器卷积后，再用高通小波滤波器在列方向卷积而产生的小波系数，它表示图像的水平方向奇异特性；LH子带是在行方向利用高通小波滤波器卷积后，再用低通小波滤波器在列方向卷积而产生的小波系数，它表示图像的垂直方向奇异特性；HH子带是由两个方向利用高通小波滤波器卷积后产生的小波系数，它表示图像的对角边缘特性。

[0032]在具体的分解过程中，滤波器的选择以及系数的确定对于最后的去噪结果都是有比较大的影响。

此时可以多选择几组滤波器进行对比，取效果最好的作为最后的小波分解图像。

[0033]步骤2：使用神经网络，对得到的子图进行训练；
[0034]本发明采取了四个相同结构的神经网络分别进行训练，这四个网络之间互不干扰，每个网络只会对自己的负责的子图进行训练。

最后得到四张训练过后的输出子图。

[0035]本发明提出了一种ResVDSR的网络结构，具体结构如图2所示。

[0036]首先使用双边滤波的方法对输入的噪声图像进行预处理；然后将经过预处理后的噪声图像输入ResVDSR网络；
[0037]ResVDSR网络一共有四层，第一层的输入通道为3，输出通道为64；第二层的输入通道为64，输出通道为128；第三层的输入通道为128，输出通道为64；第四层的输入通道为64，输出通道为3；四层网络的卷积核大小全部都是3*3，并且使用ReLU进行激活；在第一层输入之前到第四层输出之后建立一个残差结构，该结构能够保留图像更多的纹理信息。

该网络的层数比较浅，而且得到的去噪效果也比较好。

在时间复杂度与性能之间得到了一个比较好的平衡，在较短的时间内输出让人满意的输出图。

[0038]步骤3：使用图像融合技术，将四个训练后的子图融合。

[0039]此时我们只得到了四张神经网络的输出子图，这四张子图分别代表了原始图像的一些重要信息，将这些图像进行融合就可以得到一张包含图像完整信息的去噪后的图像。

输出的子图和原始的输入图之间进行psnr处理可以得到四个数值psnr1,psnr2,psnr3, psnr4。

[0040]利用这四个数值，可以得到第i张子图的权重：
[0041]
[0042]四张子图根据权重进行融合得到输出的子图。

[0043]在融合图像之后，可以使用伽马变化进行一个图像后处理，这样得到的图像色彩更加柔和，图像可视化效果比较好。

图1
图2。