基于图像融合的自适应水下图像增强

2021年1月计算机工程与设计Jan2021
第42卷第1期COMPUTER ENGINEERING AND DESIGN Vol.42No.1
基于图像融合的自适应水下图像增强
颜阳，王颖，丁雪妍，王珏，付先平+
(大连海事大学信息科学技术学院，辽宁大连116026)
摘要：针对水下图像对比度低及细节模糊的问题，提出一种基于图像融合的自适应水下图像增强方法，实现不同类型水下图像的增强效果％基于颜色校正方法对水下图像进行颜色均衡化预处理；对亮度分量L进行Gamma校正，获得对比度提升的亮度图像；对两个亮度分量进行三层小波分解，提出对分解所得的低频分量及高频分量分别采用线性融合和自适应融合策略进行融合％多尺度融合保证了增强图像细节的丰富性，自适应融合策略体现了融合过程的可控性。

实验结果表明，增强的水下图像呈现出高对比度和清晰的细节％
关键词：水下图像；颜色校正；Gamma校正；小波分解；自适应融合
中图法分类号：TN911.73文献标识号：A文章编号：1000-7024(2021)01-0161-06
doi：10.16208/j.issni000-7024.2021.01.024
Adaptiveunderwaterimageenhancementmethodviaimagefusion
YAN Yang,WANG Ying,DING Xue-yan,WANG Jue,FU Xian-ping+
(School of Information Science Technology,Dalian Maritime University&Dalian116026,China)
Abstract：Aiming at the problem that the underwater image is low-contrast and detail blurred&an adaptive underwater image enhancement method based on image fusion was proposed to improve the performance of different types of underwater images. The underwater image was preprocessed using color correction method.The brightness component L was corrected by Gamma correction to obtain the brightness image wth enhanced contrast.The two brightness components were processed by three-layer wavelet transform.After decomposition&the low-frequency component and high-frequency component were fused by linear fusion and adaptive fusion&respectively.Multscale fusion ensures the richness of image details.The adaptive fusion strategy embodies the controllability of the fusion process.Experimental results show that the enhanced underwater image presents high contrast& balancedsaturationandbrightness.
Key words：underwater image；color correction；Gamma correction；wavelet decomposition；adaptive fusion
/引言
受到水中介质的散射、吸收等影响，光线在水中传播时会产生衰减现象，这使得水下图像存在着细节模糊、颜色失真、对比度低下等问题。

传统的水下图像增强方法如Chang等山提出的限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization,CLAHE)算法实现简单，在实际工作中解决了水下图像对比度低下的问题，但仍存在颜色失真、放大噪声等缺陷。

为了更好地消除色偏对水下图像的影响，诸如白平衡等⑵⑶的色彩校正方法被应用于水下图像增强，但该方法复原结果的细节和对比度方面都不够理想。

Ghani等4在RGB和HSV两个模型中分别拉伸颜色通道和亮度通道。

其效果有了明显的改进。

Fu等5提出了水下图像增强的两步方法：第一步使用色彩校正策略来处理色偏，第二步采用最优对比度改进方法减少伪影，有效处理低对比度。

近年来基于有监督深度学习的图像增强方法表现突出。

Cai等6提出了一种名为DehazeNet的端到端的网络进行图像增强，将该方法应用在
收稿日期：2019-0924；修订日期：20191127
基金项目：国家自然科学基金项目(61370142、61802043)；中央高校基本业务费基金项目(3132016352、3132019203)；大连市科技创新基金项目(2018J12GX037)
作者简介：颜阳1995-),女，吉林辽源人，硕士研究生，研究方向为图像处理；王颖(1995-),女，山东潍坊人，硕士研究生，研究方向为图像处理；丁雪妍(1993-),女，辽宁丹东人，博士研究生，研究方向为图像处理、机］学习；王珏(1988-),男，山东曲阜人，硕士研究生，研究方向为水下目标识别；+通讯作者：付先平1971-),男，哈尔滨牡丹江人，博士，教授，CCF高级会员，研究方向为图像处理、机器学习。

E-mail:*********************
・162・计算机工程与设计2021年
水下图像增强中时需要大量包括水下原始图像及其对应的ground-truth图像的训练集，使得该方法存在时效性问题。

而无论是基于传统还是深度学习方法，在同时兼顾图像增强的健壮性、有效性等方面仍有欠缺。

为
种基于图像融合的自适应水下图像增强方法。

实验表明，该方法能对水下图像进行自适应处理，有效解决色偏、节模糊、比度的。

1基于图像融合的自适应水下图像增强方法
考虑到水下图像的固有特性和成像特点&本文提岀一种基于图像融合的自适应水下图像增强方法。

具体方法如图1所示。

&水下图像用颜色算法⑺：厅颜色均衡化预处理去除色偏&后的量；然后对L进行Gamma校正，提升亮度图像的对比度；接着，量执行三波，到两组低频和高频分量，对低频分量进行线性融合，同时对高频分量基于L2范数的自适应融合，得到融合后的图。

最后，将其颜色通道A和B到RGB输
图1整体方法结构
值得一提的是，本文提岀了一个基于融合的水下图像增强方法，实验验证该方法相比于现有的方法可以达到更的水下图像增强效果。

1.1基算法的颜色校正
不同波长的光在水下传播时具有不同的衰减率，这导致水下图呈蓝绿色的特点。

为了有效去除色偏，本文首先采用改进白平衡算法对水下图像进行处理。

白平衡算法7认为一张理想的图像其RGB通道的最大值对应于白色，应于黑色。

，该算法通能地拉伸RGB这3个通道的像素值，使它们的像素占据），255*的最大，达到移除图像色偏的效果。

为提高算法的鲁棒性，在素之前，素直方图统计，接近0和255的if的像素点，设剩余像素的为/影，最大值为进而将在该的像素值拉伸至），255*公式如下
其中，C代表RGB这3个通道。

如式（1）分别对RGB这3通道，得到颜色校正后的图像@cc（
1.2Gamma校正
颜色校正将各通道像素值拉伸至），255*范围，虽去除了色偏，图像中仍存在大的。

在F 通道上应用Gamma校正8，通过对输入的亮度图像灰度值进行指数s，进而。

表达式定义为
L g=A*L/（2）其中，L n@cc的亮度通道。

D是常数，这里取A=1。

指数/是Gamma值，其大小可以影响图像的亮度。

当/%1时,照射强度变强，相反，当/〉1时，光强度变弱。

大量实验分析表明，令/=2时，可以使结果图像达到「适的。

1.3多尺度融合策略
1）波
对上述步骤得到的两个亮度通道L和L^采用小波分解得到高频和低频信息作为融合的输入。

本文选择Db4波基⑼对L和L g做三波，第波图为低频信息和高频信息，第二波是在第一的基础频信息为低频与高频；分,依推，直至到第三层。

若，会导致图像的轮廓信息不完全，若多导致低频丢失，同时还伴计算量越来越大的问。

综量，既要保证图像的细节增强又算法计算复杂度的，图三波。

小波分解后，得到3X3个高频分量H A，和H G，以及一组低频分量L l和L g（高频分量代表着图像的细节和边缘特性，其中O表示高频分量的垂直、水平以及对角线方向的信息，N表示高频分量的层级，且N=1,2,3；
频分量 表的，其中蕴含着图像的平特性。

（2）融合规则
图像融合的是多个特征图通过一定的融合规则，使其的特征信息在图像中保留，
起到图
第42卷第1期颜阳，王颖，丁雪妍！等：基于图像融合的自适应水下图像增强・163・
像增强的效果。

为了达到自适应增强图像的目的，本文提种融合规则，B和三波分解，得到的高频带特征图采用基于L2范数）0*的自适应融，以达到增节，提高对比度的作用；同时，为了防止细节生过多 频带线性融合。

最后将融到的融通道，具体步骤如下：
1）高频带融合规则：L和L g小波分解后的每一层高频带在垂直、水平以及线方向的信息，为了保留其中的特征信息，对高频带分量采用基于L2范数的自适应融合策略。

该融合策达到的目的是计算L和L g各个方向所信息的融&相当于结合了L和L g的重要特征信息。

为
min F（L o）*min"H^N—H L,n112+皿H^N—H G n112+ "V H O—v H A,n112+创v H AO n—v H AG n112（3）
式（3）中前两项是保真项，表达了主要的融合规则，后两项是为了防止亮度突然改变产生过度校正而引入的梯项。

||訓2表示L2范数，0表示高频带特征图的方向，n表示小波分解的层级。

h0O n表示融合增强后每一层的亮度通道高频带，H L,n是L小波后的高频带分量，H G n是L g小波后的高频带分量。

"和"是［0,1*范
的数，且"++=1（表示算子。

为了更容易对式（3）进行求解&其看作是一个最小二乘的问题，使用快速傅立叶变换（fast fourier trans­formation,FFT）得到式（3）的近似解如下
h LO n=
4)其中，（=F* ）+F*（（9）F（（9），1是单位矩阵，F是傅，厂1是傅的逆运算，F*则是傅立的共e。

$,9表高频带特征图的水平方向、垂直方向分量。

2）频带融规：波后的频量L L
L lg采用线性融合规则，引入两个权重系数右&入2，对L l和L lg进行加权操作，得到融合后的低频分量，公式如下
L l=A1L l+12L g（5）其中，11+入2=1，且11=12=0.5时融合效果最佳。

对低频分量线性融合可达到防止高频分量融生：校正 的目的。

经过上述步骤，得到了亮度L和L g融合后的高频和低频信息&信息&到后的通
道1。

然后通道，图像为RGB，得到的增图。

通道后的比如图2所示，看岀，后的在图节与对比度方面都。

（a）原始图像亮度通道⑹优化后亮度通道
图2亮度通道优化结果
2实验与结果分析
21实验数据与分析
为了验证本文方法的有效性，本文以水下图像作为实验设计系列实验，水下图像色偏严重，对比节模糊。

在运算法的同时，使用文献），2,6*几种算法对水下图像进行处理，为了保证实验过程的公正性，所有图像均无损地预处理为600*400像素大力、，实验所用处理器：Intel Core i7-7700K@4.2GHz，内存8.00GB，在Matlab R2017a环境下进行实验。

22定性分析
图3所示是本文方法和文献），2，6*的增强结果的视觉比较。

图中看岀，对于不同种类的水下图像，Shades-of-grey对水下图像进行了有效的颜色校正，但处理后的图然很模糊。

CLAHE实际上可以很好地增强水下图像的对比度，但在去除色增强细节方面表现不佳。

而DehazeNet的结果对水下图像只有一点增强。

可以看岀，与这些方法相比，本文方法处理的图节更丰富，色彩失真更小，对比度更好。

图4是水集到的原始图像与文献），2，6*以及本文方法增强后的图像的RGB这3个通道的直方图对比结。

直方图是一种统计报告图，图像各个通道的直方图可以直示图像各通道的灰，通过直方图分析图像的质量是对图像的一种常用方法。

图中到下3行分别代表RGB这3个通道，可以看岀，在水中直接获取到的退化图像的每个通道像素值的大小相差较大，且只分在集中表示图存在比色的题；Shades-of-grey恢复了色彩偏差；CLAHE和DehazeNet 直方图到的作用；而方法通道的灰，且3个通道的像素值大衡，与其它3种方法的图相比，增强效更好。

・164・
计算机工程与设计2021 年
图3不同方法增强结果比较
0 128 255 0 128 255
图4 RGB 通道直方图对比结果
SURF (speeded up robust features%11*是一种高效而稳
健的局部特
检 算法， 用SURF 算法对图
种方法增强后的图 特 & '后的图 特 。

质量高的图 节清晰,特 &
特 的检
用 匚
估图像的质量，提取的特征点越多，匹配到的特征点比例 高，验证图
量越高。

如图5所6是各方法 图像
的SURF 匹配结果。

图5中可以看岀，前面评估中在去除色偏方面表现比 较优秀的Shades-of-grey
方法检测到的特征点却最少;
第42卷第1期颜阳，王颖，丁雪妍！等：基于图像融合的自适应水下图像增强・165・
(d)本文方法SURF匹配结果
图5各方法SURF匹配结果
CLAHE方法由于大大加强了原始图像的对比度&其结果图5(b)检测岀的特征点明显增多；DehazeNet的结果图5(c)表明该方法在匹配特征点上没有明显的增强；而本文检测到的特征点图5(d)是几种方法中最多的，且匹配到的特征点成功率也极高。

该对比实验结果表明本文算法对水下图像处理效果的有效性，在颜色保真的同时恢复了对比度并突岀了图像的细节。

2.3定量分析
从人眼视觉角度分析得到本文结果在这些方法中都获得了最好的增强效果。

在此基础上，使用PCQI(patch­based contrast quality index)12*和Blur Metric)3*定量评估指标进一步支持上述主观结论，表1为图3中4组图像的评价指标对比：其中PCQI是用于评估图像对比度的度量，其值越大，代表图像对比度越高；Blur Metric则是一种估计图像模糊效果的度量，其&表示图像视觉越好。

从表1中可以看岀，在图像对比度和模糊程度上本文方法所得到的增强后的图量在种方法中几乎
达到最好，也就是可以得到最适应于人类视觉效果的图像(
表1增强结果评估
图像算法PCQI BlurMetric
Shades-of-grey0.990.24
图3CLAHE
1.210.23
第1行DehazeNet
0.890.35
本文方法结果 1.220.23
Shades-of-grey 1.000.30
图3CLAHE 1.100.29
第2DehazeNet
0.850.30
方法 1.140.29
Shades-of-grey0.980.34
图3CLAHE 1.100.30
第3DehazeNet
0.960.33
方法 1.140.32
Shades-of-grey0.940.37
图3CLAHE0.850.31
第4DehazeNet
0.950.37
方法0.760.23
3结束语
由于水中环境复杂，水下图像都呈现岀较差的视觉效果，方法主颜色节两方面入手，自适应水下图像的清晰度。

有的水下图像增强方法相比，本文方法的融合策略可以自适应的对不同类型的水图到的增强效果&晰的水下图像。

定性定量析看方法有效高水图的晰度，增图节。

尽管方法的增效果，但是仍然在以下方面存在不足：本文方法提岀的自适应融合策然可以达到去除色偏、增节的目的,是如集到的图像过于暗淡，方法则不能达到最优效果。

参考文献：
[1*Chang Y,Jung C,Ke P,et al.Automatic contrast-limited adaptive histogram equalization with dual gamma co r ection [J*.IEEE Access,2018,6：1178211792.
[2*Marcar V L,Baselgia S,Liithi-Eisenegger B,et al.Shades of grey；Assessing the contribution of the magno-and par-vocellu-lar systems to neural processing of the retinal input in the human visual system from the influence of neural population size and its discharge activity on the VEP[J*.Brain and Behavior,2018, 8(3)：e00860-e00882.
[3*CAI Chendong&HUO Guanying&ZHOU Yan,et al.Under­waterimagerestoration based on scene depth estimation and
•166+计算机工程与设计2021年
white balance[J*.Laser&Optoelectronics Progress,2019,
56(3)：137-144(in Chinese).[蔡晨东，霍冠英，周妍，等.
基于场景深度估计和白平衡的水下图像复原激光与光电子学进展&2019,56(3)：137-144.]
[4*Ghani ASA.Underwater image quality enhancement through
integrated color model with Rayleigh distribution[J*.Applied SoftComputing,2014,27：219-2306
[5*Fu X,Fan Z,Ling M,et al.Two-step approach for single
underwater image enhancement[C*//International Sympo­
sium on Inte l igent Signal Processing and Communication Sys-
tems.IEEE,2017：789-794.
[6*CaiB,XuX,JiaK,etal.Dehazenet：Anend-to-endsystem forsingleimage haze removal[J*.IEEE Transactions on ImageProcessing,2016,25(11)：5187-5198.
[7*Petro A B,Sbert C,MorelJ M.Multiscaleretinex[J*.
ImageProcessingonLine,2014,4：71-88.
[8*CHU Qingcui,WANG Huabin,TAO Liang.Localadaptive Gammacorrectionofimages[J*.ComputerEngineeringand Application,2015,51(7)：189-193(in Chinese).[储清翠，王华彬，陶亮.图像的局部自适应Gamma校正[J*.计算机 工程与应用，2015,51(7)：189-193.][9*REN Minshan6Researchonimagefusionalgorithm basedon wavelettransform[J*6Ship Electronic Engineering,2015, 35(4)：47-50(in Chinese).[任敏善.基于小波变换的图像融合算法研究[J*.舰船电子工程&2015,35(4)：4750.] [10*YANG Aiping&ZHANG Liyun&QU Chang&et al An underwater image sharpening algorithm based on weighted L1 regularization[J*Journal of Electronics and Information Technology,2017,39(3)：626-633(in Chinese).[杨爱萍，张莉云&曲畅，等.基于加权L1正则化的水下图像清晰化算法[J*.电子与信息学报，2017,39(3)：626-633.] [11*Cizek P,Faigl J.Real-time FPGA-based detection of speeded-uprobustfeatures using separable convolution[J*6IEEE TransactionsonIndustrialInformatics,2018,14(3)：1155­1163.
[12*Wang S,Ma K,Yeganeh H,et al.A patch-structure rep-QesentationmethodfoQqualityassessmentofcontQastchanged images[J*.IEEE Signal Processing Letters,2015,22
(12)：2387-2390.
[13*HuS,Zhang S,Zhang A,et al6Hyperspectralimagery super-resolutionbyadaptivepocsandblur metric[J*6Sen-sors,2017,17(1)"82-1016。