基于曝光适度评价的多曝光图像融合方法

基于曝光适度评价的多曝光图像融合方法
江燊煜;陈阔;徐之海;冯华君;李奇;陈跃庭
【摘要】针对数字相机在拍摄宽亮度范围场景时动态范围不足的问题,提出一种高效的多曝光图像融合方法.该方法通过场景的多次采样曝光,分析不同像素的亮暗变化,利用高斯数学模型计算评价数值.将结合图像亮度信息的曝光适度评价方法应用于图像分块区域,并计算每个像素的权重值,消除图像块效应.将不同曝光度下成像的图像序列融合为一幅局部自适应曝光的高动态范围(HDR)图像,实现动态范围扩展.与另外3种方法进行对比分析,结果表明:该方法简便有效,细节纹理与颜色信息具有更强的表现能力,且熵值更高.
【期刊名称】《浙江大学学报（工学版）》
【年(卷),期】2015(049)003
【总页数】7页(P470-475,481)
【关键词】高动态范围成像;多曝光图像;图像融合;曝光适度
【作者】江燊煜;陈阔;徐之海;冯华君;李奇;陈跃庭
【作者单位】浙江大学现代光学仪器国家重点实验室,浙江杭州310027;浙江大学现代光学仪器国家重点实验室,浙江杭州310027;浙江大学现代光学仪器国家重点实验室,浙江杭州310027;浙江大学现代光学仪器国家重点实验室,浙江杭州310027;浙江大学现代光学仪器国家重点实验室,浙江杭州310027;浙江大学现代光学仪器国家重点实验室,浙江杭州310027
【正文语种】中文
【中图分类】TN911
数字相机在拍摄宽亮度范围场景时，受其动态范围限制，捕获的单幅图像往往存在灰暗或饱和的区域，细节丢失严重.利用一系列不同曝光度的低动态范围（low dynamic range，LDR）图像扩展成像动态范围、增强细节是近年来快速发展的
一项技术，称为高动态范围成像（high dynamic range imaging，HDRI）技术. 传统HDRI技术的图像处理过程一般为：首先从多幅LDR图像推算相机的响应函
数（camera response function，CRF），利用CRF的逆运算得到场景实际亮度，从而合成以浮点数保存的高动态范围（high dynamic range，HDR）图像［1］，最后对 HDR图像进行色调映射以便在常规设备上显示［2-4］.这一过程涉及多次复杂计算，且合成的HDR图像质量十分依赖于CRF的计算精度［5］，拍摄过程中相机或景物的微小移动可能对计算结果造成很大的影响［6-7］.
近年来逐渐成为研究热点的曝光融合（exposure fusion）方法从图像融合的角度，直接从曝光度不同的LDR图像序列提取信息融合成一幅局部自适应曝光的HDR
图像［8］.相比于传统的HDRI技术，这类方法的优势在于无需进行相机响应函数恢复和色调映射，无须提供任何相机参数或拍摄条件.Goshtasby［9］将输入图像划分为多个矩形区域并计算每个分块图像的熵，利用每组相同位置分块中熵值最高的分块融合成一幅图像.该方法通过迭代计算确定分块大小及相关参数，算法执行
效率低，且生成的图像对比度和饱和度较差.Mertens等［10］在多尺度图像分解下，利用对比度、饱和度及曝光适度（well-exposedness）3个评价参数衡量像
素成像质量，并借此计算融合权重值.运用该方法生成的融合图像具有良好的视觉
效果，但是场景灰暗或明亮处丢失较多细节信息，且存在颜色退化现象.Vanmali
等［11］提出的低复杂度融合方法简化了 Mertens等［10］提出的评价标准，提高了计算效率.但运用该方法生成的图像颜色失真明显，受噪声影响严重，视觉效
果不够理想.
本文提出一种结合图像亮度信息的曝光适度评价方法，计算用于从LDR图像序列
提取场景信息的权值图，并通过分块处理提高计算效率，在保持场景细节、颜色和亮暗对比信息的同时实现快速图像融合.
1 曝光适度评价
多曝光图像融合目标在于从不同曝光度的图像中提取场景不同亮度范围的细节信息，并在同一幅图像中呈现.为了提取最佳的像素信息，需要采用一定的评价标准来衡
量输入图像的像素或区域的成像质量［12-13］.为了合成一幅局部自适应曝光的
高动态范围图像，一种简单而高效的方法是使用权值图对不同曝光度图像序列进行加权融合，如图1所示.因此，高效确定融合权重值成像质量的评价标准是算法研
究的关键，处理流程如图2所示.
在对同一场景拍摄多曝光图像序列时，通常只改变曝光时间，而不改变相机焦距、光圈大小等参数［14］.对于场景区域而言，曝光时间不足或曝光时间过长会导致
图像对应位置产生灰暗或饱和区域，细节信息丢失严重；相反地，曝光合适的图像区域颜色信息及细节纹理表现丰富.因此，曝光适度决定像素成像质量.
Mertens等［10］以像素的归一化像素值与0.5的接近程度评价曝光适度，其评
价数值体现为像素的
图1 National Cathedral图像序列、对应权值图及其融合[2]Fig.1 National Cathedral images，their weight mapsand final result［2］
图2 基于曝光适度评价的多曝光图像融合过程Fig.2 Multi-exposure image fusion process based on well-exposedness assessment
式中：I为像素值，且I∈［0，1］；σ为高斯标准差.Mertens等［10］尽可能保留每幅输入图像中像素值在0.5附近的像素信息，但这样容易丢失场景灰暗和明亮
处的细节.因为，以固定值0.5作为最佳像素值不能显著区分这些区域内不同像素
间的差异，不利于提取区域内的细节信息.
曝光适度评价试图通过场景的有限次采样，分析不同像素的亮暗变化，估算场景中每个像素在最佳曝光适度下成像的像素值.对比每幅输入图像的像素值与该最佳像
素值之间的差异，对其曝光适度进行评价.评价值可直接作为权重值用于图像融合.
对于同一场景的N幅不同曝光度图像，以Ii（χ，y）表示第i幅图像中坐标为（χ，y）处的像素值，其曝光适度评价指标为权叠加即可得到最终的融合图像：
融合权重分量，并利用高斯模型进行计算：
其中：
式（2）中，以μ（χ，y）表示场景中坐标（χ，y）处像素的最佳像素值，利用式（3）进行估算.一方面，为保证较理想的人眼视觉感受，μ（χ，y）的取值应在
0.5附近；另一方面，为体现场景真实的亮暗对比信息，需从场景的有限次采样中近似地获取亮度信息，因此，通过式（4）计算各像素在不同曝光度图像中的均值.μ（χ，y）取0.5与该均值的加权和，权重因子β为细节信息与亮暗对比信息平衡参数.
2 分块处理与图像融合
2.1 图像分块
在多数场景的单幅拍摄图像中，同一景物通常表现为颜色与亮度接近的局部区域，而不是单个像素.从图像融合的角度，像素级融合方法容易受到噪声影响而降低整
体性能.基于图像区域分析的融合算法则具有较高的鲁棒性，因此，将图像划分为
不同区域，并将上述曝光适度评价方法应用于图像分块区域，既能保留景物的局部
特性，又能避免随机噪声影响，同时还可以大幅度提高计算效率.
图像分块的方法种类繁多，为提出一种高效的融合算法，简单将图像分割为均匀大小的矩形分块.将每幅输入图像分割为b×b大小的M个分块，以Bi，j表示第i幅图像的第j个分块.为了综合图像局部特性，计算每个分块的像素值均值：
利用上述曝光适度评价方法对分块图像的成像质量进行衡量.以分块均值作为该分块区域的“像素值”，并将分块区域视为单个“像素”，利用式（2）计算得到每个分块对应的曝光适度评价值W i，j.若分块内的像素直接以该评价值作为权重值进行融合，融合图像会在分块边界处出现明显的不连续现象，如图3（b）所示.因此，需要进一步处理融合图像以消除图像块效应.
针对分块Bi，j内位置坐标为（χ，y）的像素，利用Bi，j的8邻域Ω内的分块曝光适度评价值联合确定该像素的权重值：
式中：融合函数Gj（χ，y）为峰值位于分块中心的二维高斯函数，如图4所示.假设分块Bi，j中心位置坐
图3 Eiffel Tower图像序列及相关实验[11]Fig.3 Eiffel Tower image sequence and experimental results［11］
图4 高斯权重融合函数Fig.4 Gaussian weight fusion function
标为（χjc、y jc），则有
式中：高斯标准差σχ、σy的取值与分块宽度b有关，σχ=σy=0.5×b.
2.2 图像融合
由上述步骤计算得到各输入图像的权值图，对其做归一化处理使得融合结果连续而自然：
将归一化权值图ˆWi（χ，y）与对应曝光度图像加权叠加即可得到最终的融合图像：
在处理彩色图像时，算法注重场景的亮度信息，因此，将输入图像转换到YCbCr
空间，对亮度信息和颜色信息分别进行处理.此外，在计算Cb、Cr色差通道数据时，将曝光适度评价中的μ（χ，y）设置为固定值0.5，并省略式（6）所示分块
权重值融合的步骤，仍可得到良好的融合效果，减少了算法的运算量.
3 实验结果与分析
对包括图5和7在内的多组图像序列进行实验，并与 Mertens等［10］、Vanmali等［11］提出的方法及传统HDRI方法的处理结果进行比较，以综合分
析本文方法的性能.传统HDRI方法采用Debevec等［14］提出的方法法重建场
景 HDR图像，并通过Mantiuk等［4］提出的方法实现色调映射.实验所用计算
机的处理器为AMD Athlon II X4 641，主频为2.8 GHz，内存为4 GB，相关算
法程序在MATLAB（R2012a）环境下编写.算法相关参数设置为：分块大小b=55，调节参数β=0.5.
3.1 主观比较
对图5所示的“Belgium House”场景进行实验，相关方法处理结果如图6所示.整体而言，本文方法与Mertens等［10］提出的方法在颜色和对比度上都有较好的表现，形成的图像更加自然；而Vanmali等［11］提出的方法与色调映射方法的处理结果存在明显的颜色退化现象，对比度不够强烈.从矩形区域的放大图像进
一步比较可以发现，本文方法保留了更多场景亮处和暗处的细节，窗外的草丛和墙上的字幅显示更加清晰，颜色更加真实，视觉效果最佳.
为了进一步分析本文方法在提取场景细节信息方面的性能，对图7所示室外场景“Golf”进行实验，结果如图8所示.运用Mertens等［10］提出的方法和
Vanmali等［11］提出的方法得到的融合图像在场景亮处和暗处的细节表现较弱，色调映射方法的处理结果有略微改善，融合图像中路面纹理清晰度提高.相比之下，本文方法的处理结果能够更好地恢复场景不同亮度区域的细节，更加忠实于原始的多曝光序列图像.
图5 Belgium House图像序列[2]Fig.5 Belgium House image sequence［2］
图6 不同方法的Belgium House场景实验结果比较Fig.6 Comparison of results of Belgium House image sequence using different methods
图7 Golf图像序列[15]Fig.7 Golf image sequence［15］
图8 不同方法的Golf场景实验结果比较Fig.8 Comparison of results of Golf image sequence using different methods
对图1中仅有2幅输入图像的场景进行实验，比较不同方法处理结果的对比度与
饱和度.实验场景不同区域亮度差别较大，且窗户图案颜色具有较高的饱和度，实
验结果如图9所示，图片右上角为矩形区域的放大图像.Mertens等［10］提出的方法处理结果未能保持良好的局部对比度，图中窗户区域过亮，图案颜色退化明显.Vanmali等［11］提出的方法的处理结果在视觉上难以令人满意，窗户图案颜
色过于饱和，墙上投影颜色严重失真.色调映射方法处理结果的对比度较差，且窗
户图案中包含较多的虚伪信息.而本文方法的处理结果兼顾了颜色和对比度，具有
更好的视觉效果，保持了窗户等处清晰的细节纹理.
整体而言，本文方法能够有效地提取场景细节信息，融合图像保持了场景的整体对比度及景物的颜色特性，具有良好的视觉效果.
图9 不同方法的National Cathedral图像序列处理结果比较Fig.9 Comparison
of results of National Cathedral images using different methods
3.2 客观评价参数对比分析
针对“Belgium House”、“Golf”、“National Cathedral”和“Eiffel Tower”
等图像序列，计算相关实验结果的饱和度、均方差对比度和熵［11］，统计结果如表1所示，其中“EF”，“LC”，“TM”和“Our”分别表示 Mertens等［10］、Vanmali等［10］提出的方法、色调映射方法和本文方法的处理结果.3个评价参数在HSI空间中计算，分别体现了融合图像的颜色丰富程度、亮度变化情况及所包含信息量大小.其中饱和度取S分量均值，均方差对比度和熵在I通道中计算［11］：
式中：为大小为r×c图像的I分量均值，p i为I分量像素值为k的概率，L为灰阶数.
从表1可以发现，除了“Golf”场景以外的3组实验中，本文方法的熵高于其他3种方法，融合了较大的信息量.在颜色方面，本文方法与 Mertens等［10］提出的方法表现较好，饱和度评价值相对较高.此外，4种方法都不能保持较高的均方差对比度，其评价值差别不大.总的来说，本文方法的客观参数评价稳定且融合图像的表现效果较好.需要说明的是，4种处理方法都包含相应的调节参数，参数设置不同其评价参数计算结果也有所改变.
表1 4种方法的质量评价参数______________________________Tab.1 Quality assessment parameters of four algorithms图像序列 ____________饱和度
_________均方差对比度______________熵
__________________________________________________________________________EF__L C__TM__Our Belg.House 0.136 0.142 0.170 0.165 0.214 0.223 0.2
EF____LC___TM_____________OurEF____LC___TM________________________________ ___________Our_42 0.221 7.681 7.613 7.745 7.747 Golf 0.321 0.289 0.211 0.305 0.258 0.249 0.270 0.209 7.871 7.818 7.902 7.819 Nat.Cath.0.284
0.251 0.206 0.273 0.267 0.216 0.206 0.219 7.308 7.229 7.292 7.437__Eiffel Tower__ 0.177_ 0.157_ 0.152_ 0.148______________0.2460.240_ 0.239_
0.267____7.886_ 7.609_ 7.878_______7.936
3.3 计算效率比较与分析
基于高效的曝光适度评价方法，利用图像分块处理减少了算法计算量，计算效率具有明显的优势，如表2所示，tEF、tLC、tTM、tOur分别为4种方法的计算时间.Mertens等［10］提出的方法基于多尺度分解，当输入图像尺寸增大而总像素数目相当时，处理时间明显增加.Vanmali等［11］提出的方法处理速度最快，计算效率约为 Mertens等［10］所提出方法的5倍.传统HDRI方法较为复杂，需要预先生成场景的HDR图像，再进行色调映射，因此，花费的时间代价最
大.Vanmali等［11］提出的方法处理速度虽然快于本文方法，但其融合效果并不理想.此外，本文方法的计算速度明显快于另外2种方法.
表2 4种方法的计算效率比较Tab.2 Comparison of computational efficiency of four algorithms____________________________图像序列图像尺寸／像素__数目总像素数目／104tEF／s________tLC／s________tTM／s tOur／s__Belg.House 1 025×769 9 709 7.032 1.509 26.029 4.751 Golf 1 280×1 024 5 655 7.374 1.399 22.388 4.620 Nat.Cath. 1 536×2 048 2 629 7.996 1.388 19.985 4.720__Eiffel
Tower_________530×795_________3____________________________________________ _____________________________122__2.010__0.302__6.362__1.058
4 结语
本文提出了一种简洁、高效的多曝光图像融合方法，基于曝光适度评价，将同一场景不同曝光度图像序列生成高质量的局部自适应曝光图像，解决了数字相机动态范围不足的问题.从实验结果来看，该方法优势明显，能够有效地提取场景不同亮度
范围的细节信息、保持场景颜色信息和对比度信息，融合图像信息量高、视觉效果表现最佳.
计算效率有待进一步改善，分块处理中的二维高斯函数可以进行变量分离并通过访问查找表快速得到计算结果，而不必重复计算.该方法适用于并行处理机制.下一步研究重点是在更加高效的编译环境中实现实时处理，提出合适的多曝光融合图像质量评价标准.
参考文献（
References）：
【相关文献】
［1］MANN S，PICARD R W.On being‘undigital’with digital cameras：extending dynamic range by combining differently exposed pictures［C］∥Proceedings of IS&T
46th Annual Conference.Cambridge：Massachusetts，1995：422- 428.
［2］FATTAL R，LISCHINSKI D，WERMAN M.Gradient domain high dynamic range compression［C］∥Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques.New York：ACM，2002：249- 256.
［3］DURAND F，DORSEY J.Fast bilateral filtering for the display of high-dynamic-range images［C］∥ Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques.New York：ACM，2002：257- 266.
［4］MANTIUK R，DALY S，KEROFSKY L.Display adaptive tone mapping ［J］.ACM Transactions on Graphics，2008，27（3）：68.
［5］GROSSBERG M D，NAYAR S K.Determining the camera response from images：What is knowable？［C］∥ Transactions on Pattern Analysis and Machine.New York：IEEE，2003：1455- 1467.
［6］GREG W.Fast，robust image registration for compositing high dynamic range photographs from hand-held exposures［J］.Journal of Graphics Tools，2003，8（2）：
17- 30.
［7］GALLO O，GELFAND N，CHEN W C，et al.Artifactfree high dynamic range imaging ［C］∥ International Conference on Computational Photography.San Francisco：IEEE，
2009：1- 7.
［8］张军，戴霞，孙德全，等.不同曝光值图像的直接融合方法［J］.软件学报，2011，22（4）：813- 825.ZHANG Jun，DAI Xia，SUN De-quan，et al.Directly fusion method for combining variable exposure value images［J］.Journal of Software，2011，22（4）：
813- 825.
［9］GOSHTASBY A A.Fusion of multi-exposure images［J］.Image and Vision Computing，2005，23（6）：611- 618.
［10］MERTENS T，KAUTZ J，REETH F V.Exposure fusion：A simple and practical alternative to high dynamic range photography ［J］.Computer Graphics Forum，2009，28（1）：161- 171.
［11］VANMALI A V，DESHMUKH S S，GADRE V M.Low complexity detail preserving multi-exposure image fusion for images with balanced exposure［C］∥ National Conference on Communications.New Delhi：IEEE，2013：1- 5.
［12］赵颖.基于子带结构和梯度的多曝光图像融合技术研究［D］.北京：北京理工大学，2011：14- 32.ZHAO Ying.Subband architecture and gradient based multi-exposure fusion ［D］.Beijing：Beijing Institute of Technology，2011：14- 32.
［13］SHEN J B，ZHAO Y，HE Y.Detail-preserving exposure fusion using subband architecture［J］.The Visual Computer，2012，28（5）：463- 473.
［14］DEBEVEC P E，JITENDRA M.Recovering high dynamic range radiance maps from photographs［C］∥Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques.New York：ACM，1997.
［15］MALIK M H，GILANI S A M，HAQ A.Wavelet based exposure fusion［C］
∥Proceedings of the World Congre ss on Engineering.Lodon：WCE，2008：688- 693.。