多曝光图像融合算法研究2

基于多曝光图像的融合研究
赵静 DY1402104
摘要：相比于自然界现阶段人们所持有的取像设备有着较低的动态范围，在某种曝光强度下，自然界的所有细节很难被完全抓取，图像的部分细节还是模糊的。

基于对此现象的认识，通过将不同曝光度图像合成的方法，获取到了质量较高的融合图像，本文介绍了两种将低动态的图像直接融合的方法，一种为图像分层融合方法，通过拉普拉斯变化，逐层采样图像，直至最小像素点；另一种是分块融合的方法，这种是无需高动态图像处理的一种，通过权重求和的方式逐个像素点进行融合，在加权融合的过程中根据图像的尺寸大小设定分块的参数，使得各个低动态图像的信息互补，这样可以达到融合的效果。

通过对两种算法的比较，找出一种适合硬件实现的算法。

关键词：图像处理；动态范围；图像融合；速度
1.引言
自然界是一个拥有万千色彩的大世界，其动态范围是相对较高的，有限动态范围的相机不能完整地呈现自然界的全部信息。

动态范围越大，图像表现的层次越丰富。

利用已得到的多曝光图像进行融合处理，合成高质量的图像是本文的研究的基本目的。

多曝光图像融合是众多图像融合算法中的一种。

很多学者对此进行了探究并取得了一定的研究成果，如基于金字塔分解式多曝光图像融合算法，以权重融合为基础，是一种多尺度、多分辨率的融合策略；多曝光图像分块融合的方法，以固定长、宽将整幅图像分割成若干图像块，基于块单元的融合更精准，以空间域的方式逐点进行加权融合。

本文总结了Tom Mertens、Jan Kautz和Frank Van Reeth[1]在《Expore Fusion》一文的图像分层融合的方法及A. Ardeshir Goshtasby[2]在《fusion of multi-exposure images》中提到分块融合的方法，通过对两种算法融合效果的比较，找出适合硬件实现的最优算法。

2.基于金字塔分解式多曝光图像融合算法
拉普拉斯金字塔变换最早是由Bun和Adelson在1983年首先提出的，用于图像的压缩处理以及机器的视觉特性／模型研究，是将源图像分解成多个不同空
间分辨率、不同尺度的子图像以构成一个塔形结构。

2.1 基于金字塔式分层融合策略
1) 权重因子
◆ 对比度因子(C)
对比度是画面黑与白的比值，也就是从黑到白的渐变层次。

对比度的比值信息代表着黑白渐变的层次，色彩表现程度，对比度相对较大的图像色彩表现程度越佳，相比而言，对比度较小的图像则表现的不够清晰，高对比度的特点对图像的显示有很大帮助。

图像的细节会体现在对比度因子上，不同曝光度下的两幅图像，如因欠曝光缺陷的影响，使得曝光不足的地方图像信息对比度不如曝光充分的图像信息对比度大，故在细节体现上，对比度因子是一个需要参考的因素。

◆ 饱和度因子(S)
饱和度因子，色彩的纯度，在三原色光模式中，饱和度可定量化，用 σ 表示某一色彩与纯色的差别：
222
()()()3R u G u B u σ-+-+-= (2.1)
其中u 为某点上三通道像素点的平均值，饱和度因子对图像质量的影响体现在色彩上，图像色彩鲜明度是突出图像细节的一个重要因素。

◆ 曝光度因子(E)
曝光度因子是根据人眼视觉特性以及图像的空间频率特性而被引入的。

如
2.1节所述，曝光适度的图像其像素点的分布较为平均，像素点取值范围分布较广，而在过曝光或欠曝光的情况下，像素点会在极端点分布较多，在融合后图像应避免此类情况的发生，最大限度地做到像素点的均值效应。

曝光度因子是以一维高斯分布为基础，对图像的像素点进行因子的提取，在代入一维高斯分布函数之前需要将像素点值进行归一化，而后取值 2
2
(0.5)exp()2i D σ-=- (2.2)
对分布在中间区域的像素值分配以较多权重。

当针对融合像素点计算完以上三个权重因子后，应进行综合评价权重因子，即取三个图像参数的乘积来参考
,,,,ij k ij k ij k ij k
Q C S E =⨯⨯ (2.3)
''~,,,1/()
N ij k ij k ij k k w Q Q ==∑ (2.4)
ij 为所对应像素点的位置；
k 为对应的是当前第k 个输入多曝光图像；
N 指输入源有N 个输入多曝光源图像。

2) 融合流程
如上小节所述，利用对比度、饱和度、曝光度三个因子能够确定融合源图像组中各自的贡献权重值，以基本权重融合策略来完成图像空间域的融合，即
~,,1N ij k ij ij k
k F w I ==⋅∑
(2.5) N 指输入图像中有N 个输入源图像，k 为第k 个输入图像，ij 为融合像素点位置。

基本的空间域权重融合即为上述描述，但这种解决方式有些笼统，简单地从整体把握图像的融合，许多细节会在融合过程中不易掌握，融合后效果不佳，因此，为多层次多分辨率的考虑融合效果，可以采用金字塔式分解融合策略，其基本融合流程如图2.1所示： 多曝光图
像数据源
对比度
C 饱和度S 曝光度E 权重W
W1W2
W0构造权重
金字塔模
型Image0
Image1
I2G1
G2G0构造高斯图像金字塔模型
L1L2L0构造拉普拉斯图像金字塔模型
Fusion
Image
重构融合图像
LP2LP1LP0
图2.1金字塔式分解融合结构图
拉普拉斯金字塔图像的各个层次分别包含着各自的特征参数。

金字塔实际是通过带通滤波器的作用而建立的，将各自图像有用的细节信息保留在金字塔的各个层次上，每分一层，图像的细节就可以被“挖掘”地更为细致，在资源条件允许的情况下，理论上是可以精细到单个像素点单元，即“金字塔的塔顶”单元，实际融合当中应根据具体情况来选择金字塔的层次。

本文所测为3层金字塔模型，具体流程：
(1) 拉普拉斯图像金字塔的构造
A. 高斯金字塔图像的建立
图像的高斯金字塔式分解实际上是对多曝光源图像的隔点采样过程，目的在于为之后构造拉普拉斯金字塔图像层建立基础。

隔点采样实际是对多曝光源图像模糊的过程，利用具有低通特性的对称函数对源图像进行模糊化处理，对称函数如下：
14641416241641624362462564162416414641w ⎡⎤⎢⎥⎢⎥⎢⎥=⋅⎢⎥⎢⎥⎢⎥⎣⎦
(2.6)
高斯滤波处理过程如公式所述：
22122(,)(2,2),(0,0,0)l l l l m n G w m n G i m j n l N i C j R -=-=-=
⋅++<≤≤<≤<∑∑
(2.7) 其中
N 为高斯金字塔最顶层号；
Cl 为高斯金字塔第l 层图像的列数；
Rl 为高斯金字塔第l 层图像的行数；
w(m,n)为高斯滤波图像的对称函数。

利用上述高斯滤波处理后的图像如图2.2所示：
图2.2高斯采样结果图
B. 权重系数的高斯金字塔构建
进行A 操作后，针对权重系数项进行高斯金字塔式分解，构造权重系数金字塔层，具体参考下面公式：
*
22~~122(,)(2,2),(0,0,0)l l l l m n w w m n w i m j n l N i C j R -=-=-=⋅++<≤≤<≤<∑∑
(2.8)
其中 N 为高斯金字塔最顶层号； Cl 为高斯金字塔第l 层图像的列数；
Rl 为高斯金字塔第l 层图像的行数；
w(m,n)为高斯滤波图像的对称函数(步骤A 已说明)。

C. 构建基于权重系数的拉普拉斯图像金字塔
拉普拉斯图像金字塔模型，简单地可以理解为图像的细节金字塔层，其图像层的细节信息是在高斯金字塔图像层的基础上得到的，将步骤A 中的高斯图像层进行内插图像点进行放大操作，公式如下：
2
2*
122(,)4(,)(,);0,0,022l l l l m n i m j n G i j w m n G l N i C j R -=-=-++=<≤≤<≤<∑∑
(2.9) 式中
(,)(,)2222220l l i m j n i m j n G i m j n G ++++⎧++⎪=⎨⎪⎩，当、为整数时其他 (2.10) 即将
l G 的图像层内插像素点还原为*
1G l -图像层，由于*
1G l -图像层是因上一层
图像内插放大而得到的，与原1G l -高斯图像层有着细节上的差别，故在此步骤中
将原始高斯金字塔图像层与内插还原的图像层做减法，得到图像的细节轮廓，公式如下： *N ,0L ,l=N l l l N L G G l N G ⎧=-≤<⎨=⎩当时当时
(2.11) 类似于对图像层添加了带通滤波器，进行图像层的信息过滤，即拉普拉斯图像金字塔构建过程。

经过拉普拉斯算子分解，得到的拉普拉斯金字塔图像层如图2.3所示：
图 2.3 拉普拉斯金字塔图像
将上述计算理论应用于多曝光融合系统中，可以得到基于多曝光图像序列的权重系数金字塔层和拉普拉斯图像细节层，即公式(2.11)、(2.8)，利用上述参数，
可以求解基于权重系数的拉普拉斯金字塔图像层，如下述公式： *~1k N k l l l k LP L
w ==∑
(2.12) 此处的N 代表多曝光输入图像数量。

到此时已经得到了可以用于重构图像且以权重系数为基础的拉普拉斯金字塔图像层，如何将这些包含图像细节的图像层还原？
(2) 金字塔式的图像重构
在步骤(1)中采用了基于窗函数的滤波方式对图像进行隔点采样操作，同样在还原图像时，也需要采用同样的窗口函数对图像进行还原操作，这样避免了图像层间变换时对融合结果的影响。

如下：
2
2*
122(,)4(,)(,);0,0,022l l l l m n i m j n F i j w m n F l N i C j R -=-=-++=<≤≤<≤<∑∑
(2.13) 其中l F 是拉普拉斯金字塔图像细节层和还原图像层的综合体，公式表达为：
*111,,N N l l l F LP l N F F LP l N ---==⎧⎨=+<⎩
(2.14) 利用上述两公式，最终可以得到融合结果。

2.2 基于金字塔式分层融合结果
通过matlab 仿真工具对本算法进行了仿真，所测结果如下所示：
图 2.4分辨率1024x768融合图像
图 2.5分辨率1404x936融合图像
在上述实验图片中，每组的前三幅图像为融合源图(该算法为四幅源图融合)，最后一张为融合后效果图。

基于金字塔式分层的融合策略：从结果与源图的对比可以看出，本算法融合效果良好，对图像细节和色彩的融合较为准确，能够综合各多曝光源图的细节信息，得到有效的结果。

然而，好的效果是要以硬件消耗为代价，算法理论性较强，复杂度高，处理时间较长，此算法在硬件上的应用会遇到麻烦，源图的要求为四幅输入图像，应用时不得不考虑融合源图的产生与存储问题，故如果想应用图像融合算法，就需要找到一种保证融合效果且适于硬件开发的处理算法[3]。

3.基于分块融合思想的多曝光图像融合算法
3.1基于信息熵的最优块选取
采用信息测度因子的方法选取最优块在目前的基于分块的多曝光图像融合算法中被广泛应用。

不同的信息测度因子在计算效率，实验结果等方面会引起一定的差异。

（1）信息熵
本文采用信息熵作为图像块的信息测度。

信息熵是信息论中用于度量信息量的一个概念。

一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。

所以，信息熵也可以说是系统有序化程度的一个度量。

信息论的基本前提是信息的产生可以被抽象为一个概率过程，这个过程可以以与我们的直觉相一致的方法度量。

假设一个随机实验E其中发生随机事件A 的概率是P（A），则事件A的信息量I（A）定义为：
=-
(A)lg(A)
I P
（3.1）
定义自信息的数学期望为信源的平均自信息量，即：
1H(X)(a )lg (a )
q i i i P P ==-∑ （3.2）
其中X 表示随机事件集合，也可以看成产生随机事件信息量的源，称为信源；ai 表示X 中第i 个事件，我们把H （X ）称为信息熵，信息熵是表示信源输
出后，每个消息（或符号）所提供的平均信息量。

将信息熵的概念引入图像处理概念中，根据数字图像的每个像素灰度做出统计灰度直方图，以256色图像为例，0~255级灰度视为256个随机事件，统计灰
度直方图可以得到每个灰度图像总像素为M ，则：/i i p N M =则：
从而得到信息熵：
1H(N)lg q
i i i p p ==-∑ （3.3）
它表示图像中每个灰度级像素所传达的平均信息量。

（2）基于多曝光图像加权平均融合算法
通过信息熵在获得了最优块图之后，从总体上讲图像的明暗动态范围得到了明显的增强，各曝光图像中较暗和较亮处所隐含的细节均出现在最优块图中。

然而，不足之处在于每个最优块的边缘处存在着不连续性的现象，这在一定的程度上影响了视觉效果并扭曲了部分区域信息。

因此，需要采用一定的融合方法以消除最优块边界不连续的现象。

本节所提出来的融合方法主要考虑两个方面的因素，即对块与块之间进行融合，消除不连续的边界。

同时，突出所选最优块信息的主体地位。

基于上述所考虑的两个因素，可以采用加权融合的方法。

并以如下的准则来 确定参与加权平均的各像素的权重值：
1、对像素块正中间的像素分配较大的权重值，其它像素分配较小的权重值。

2、对距离中央像素的远近确定权重值，距离较近的分配较大的权重值。

3、对最优块分配以较大的融合权重值，其它块分配以较小的权重值。

以上所述的三条准则中，前两条准则是从空间融合的角度出发，主要是为了消除块与块之间的边缘效应。

第三条则是从信息融合的角度出发，使融合后的图像最大程度反映最优块的信息。

在这里，需要强调的是参与加权平均的像素是不同的曝光图像中同一位置处对应有像素，而不是对块边缘相交处不同位置的相邻像素进行加权，因此该融合方法与图像平滑有着本质的区别。

根据前面的三条准则，使用二维高斯函数作为权重值，其函数分布如图3.1所示。

图3.1 高斯函数分布情况(σ=50)
任取图像中的一点，求其与各个图像块中心点的高斯分布值，各个图像块高斯分布值在所有高斯分布值总和中所占的比例即为当前图像块的权重值。

融合的过程，即为像素点贡献的过程，体现着每个图像块(熵值比较出)所对应图像像素点对融合结果的贡献，而贡献度则由权重比例值体现，融合的过程是综合考虑了所有图像像素点的结果，全面且效果较好。

3.2 分块图像融合算法
本文所述方法是图像分块融合思想，其基本流程如下：
1）设置图像分块的大小dx ，dy 及高斯参数σ；
2)计算每幅图像里每个图像块的熵值,图像熵是衡量图像信息丰富程度的一个重要指标。

每幅图像里各图像块的熵值(Entropy)，公式如下：
25520log ()
g i i i E p p ==-∑ （3.4） pi 为图像块中所有像素值为i 的像素点占全部像素点的比例；
3）对各个图像块进行熵值的求解并进行熵值比较，具体流程见图3.2所示。

多曝光图像A 多曝光图像B 多曝光图像C Nc
Nr
Nr Nr
A
B C B C
A A C
B B
A C B
C C A 熵值比较图像
拼接结果图
Nc Nr A 图图像块的熵值B 图图像块的熵值C 图图像块的熵值
图3.2 最优块选择流程图
如图3.2所示，针对每一小图像块做熵值的比较，熵值较大的图像块所对应的是其所在的整幅图像（图3.2中“最优块选择流程图”是便于观察的结果，实
际每个选出来的小图像块都对应着整幅图像）。

,i j I 为第i ，j 个图像块熵值最大的那幅图像所对应像素点；
4)针对图像中的某个像素点，利用高斯公式计算其与图像中每个图像块中心
点的高斯结果,i j G (i 为图像分块时横向的第i 个分块，j 为图像分块时纵向的第j
个分块)，
22,,2()()2ij G i j i j x x y y e σ⎛⎫-+- ⎪- ⎪⎝⎭= （3.5）
(x,y)表示当前像素点在图像中的坐标值，(x i,j ,y i,j )表示目标像素点在图像中的坐标值；
σ标准差直接决定函数分布的幅度。

5）然后利用这i ×j 个高斯结果计算权重的值，即
,,,11/nr nc
i j i j i j i j w G G ===∑∑ （3.6）
nr 为图像经分块后在纵向上分得的最大行数，nc 图像经分块后在纵向上分得的最大列数；
W i,j 代表融合像素点与任意图像块中心点距离的高斯值占所有图像块高斯值的权重比例；
6）利用步骤3）及步骤5）中的结果加权融合：
,,,11nr nc
i j i j i j i j IF w I ===⨯∑∑ （3.7）
式中：
IF i,j 代表融合后的当前像素点单元。

按照流程6）空间域像素点权重融合的方法遍历求解图像中所有的点，即可达到融合的效果。

3.3 分块融合结果
图 3.3分辨率1024x768融合图像
表1：图像组1源图像及融合后图像熵
图像组1 源1 源2 源3 融合后
熵 6.116 7.1528 7.7353 7.8607
图 3.4分辨率1404x936融合图像
表2：图像组2源图像及融合后图像熵
图像组2 源1 源2 源3 融合后
熵 1.7271 5.6912 7.6733 7.8149
针对1024×768分辨率图片,分块大小为32×32，高斯参数σ=50，见图3.3所示。

单从主观上看，融合后的图像具备融合前多幅图像的色彩及明暗信息，融合效果比融合前任何一张图像要好。

相比来说源c与融合后的图像更加接近。

表一通过计算融合前后图像的熵值来评判此算法的效果。

可以看出，融合后图像的
熵值增加，这表明图像的信息量增大，细节更加丰富。

针对1404×936分辨率图片（图3.4）,分块大小为78×78，高斯参数σ=100，此时融合效果最好[4]。

从算法性能上看，本算法过程相对简单，在运行上不需要过多复杂的处理，在保证直观融合效果的前提下，其体现了算法的优越性。

4.基于金字塔分解与基于分块融合思想的多曝光图像融合算法比较
图 4.1 (a)采用金字塔分层融合算法(b)分块融合算法
图 4.2(a)采用金字塔分层融合算法(b)分块融合算法
图4.1和图4.2为两种融合算法效果图。

可以看出金字塔融合算法获取的图像细节更加丰富，而采用分块融合算法的图像整体较亮，对于以上两幅图从主观评价来说金字塔分层融合算法的效果较好。

在本文所测试的两种算法中，基于权重金字塔式图像融合采用的是四幅不同曝光度的源图像进行融合，分块融合方式采用的是三幅不同曝光度的源图像进行融合，当然，源图像的数量越多，融合效果就会更佳，二者都可以采用三幅或四幅的方式，但增加输入源图像会给算法的处理带来一定的负担，从这一点讲，分块融合的方式会产生相对较少的负担，对于硬件应用来说，会节省更多的资源，这是综合算法处理结构的结果。

在算法结构上，在金字塔融合方式中，需要分别构建权重的高斯金字塔层和融合源图像的拉普拉斯金字塔层，然后进行重构融合图像，这相对于分块融合的
熵值权重方式来说，算法处理上增加了额外的运算处理单元，而综合处理的结果，最直观地就体现在了算法处理时间上。

在同一操作平台上，同样输入源的前提下，分块融合多曝光图像的方式用时更短，相比较来说，结构更优、运算单元相对简单的分块融合方式更为直接，在硬件平台应用上有更多的优势。

参考文献
[1]Jinno T, Okuda M. Multiple exposure fusion for high dynamic range image
acquisition[J]. Image Processing, IEEE Transactions on, 2012, 21(1): 358-365.
[2]Goshtasby A A. Fusion of multi-exposure images[J]. Image and Vision
Computing, 2005, 23(6): 611-618.
[3]阳方林, 郭红阳. 像素级图像融合效果的评价方法研究[J]. 测试技术学报,
2002, 16(4): 276-279.
[4]刘贵喜, 杨万海. 基于多尺度对比度塔的图像融合方法及性能评价[J]. 光
学学报, 2001, 21(11): 1336-1342.。