基于逼近理想解排序的图像融合效果评价方法

第33卷 第3期系统工程与电子技术
Vol.33 No.32011年3月
Systems Engineering and Electronics M arch 2011
文章编号:1001 506X(2011)03 0681 04
收稿日期:2009 10 15;修回日期:2010 07 29。

基金项目:国家自然科学基金(60773129);安徽省优秀青年科技基金(08040106808)资助课题
作者简介:周浦城(1977 ),男,讲师,博士,主要研究方向为图像融合、偏振遥感信息处理。

E mail:z houpc@
基于逼近理想解排序的图像融合效果评价方法
周浦城,王 峰,崔逊学,薛模根
(解放军炮兵学院信息工程系,安徽合肥230031)
摘 要:将图像融合评价看作是一个多属性决策问题,提出了一种基于逼近理想解排序的图像融合效果综合评价方法。

通过引入理想融合图像、负理想融合图像的概念,结合评价者的先验知识和选取的定量评价指标,以距离测度作为图像融合结果的优劣评判标准,实现了对各个融合图像效果的综合评价,兼顾了实际评价工作中的通用性和特殊性要求。

实验结果表明,该评价方法具有较好的有效性、实时性和简洁性。

关键词:图像融合;效果评价;逼近理想解排序
中图分类号:T P 391 文献标志码:A DOI :10.3969/j.issn.1001 506X.2011.03.42
Performance evaluation approach to image fusion based on
ordering approximate to ideal solution
ZH OU Pu cheng,WANG Feng ,CU I Xun x ue,XUE M o g en
(Dep artment of Inf ormation Eng ineering ,A rtillery A cad emy of PL A ,H ef ei 230031,China)
Abstract:T he evaluation issue of fused images is regarded as a multi att ribute decision m ake problem,t hus
a novel synt hesis approach using t he technique for ordering approximate to ideal solut ion is proposed.By int ro ducing the c oncept of ideal fused im age,negative ideal fused image,com bining t he estimat or s prior know ledge w ith quantitat ive evaluation index,and t aking dist ance m easurement as the evaluat ion criterion for different f used images,t he overall perf ormanc e evaluation of t he fused images is implem ented,w h ich gives not only uni versal perf ormance but also required special performance evaluat ion.Experim ental analysis show s that t he pro posed met hod perform s w ell on validity,real time,precision,objectivity and versat ilit y.
Keywords:im age fusion;performance evaluation;ordering approxim ate to ideal solut ion
0 引 言
图像融合效果评价是图像融合领域的一项重要研究课题。

近年来,尽管有许多学者提出了各种各样的图像融合算法,然而对图像融合效果的评价问题却一直未能得到很好地解决[1 2]。

已有的图像融合效果评价方法可以区分为主观评价和客观评价两大类。

主观评价方法是由观察者的主观感觉和统计结果对融合图像的优劣做出主观定性评价[3 5]。

尽管主观评价方法被广泛采用,但它需要耗费大量的人力、物力和时间。

此外,主观评价还依赖于视觉、心理等多种因素,很难重复和验证,评价标准也很难掌握。

常用的客观评价方法大致可分为4类: 基于信息论的评价方法,如信息熵、交叉熵、综合熵
[6]
等;!基于统计特性的评价方法,如
平均梯度、峰值信噪比、空间频率[7]
等;∀基于相关性的评价方法,如偏差指数、相关系数、结构相似度[8]等;#基于
人眼视觉特性的评价方法[9 11]。

在上述单项评价指标的基
础上,又有研究人员提出各种综合评价指标[12 14]。

尽管客观评价方法可以缩短评价时间,节省人力物力,但由于应用场合和融合目的的多样性,往往使得从不同角度建立的客观评价指标之间存在不一致性,甚至可能会出现相互矛盾的评价结果[15]。

本文将图像融合效果评价看成多属性决策问题,提出了一种新的图像融合效果综合评价方法。

该方法通过融合目的、专家经验等先验知识,结合量化评价结果,实现了对图像融合效果优劣排序的综合评价。

1 综合评价方法
如前所述,图像融合效果评价应该是主观与客观相结合的,既要考虑图像的客观评价准则,又要兼顾人的主观感受、偏好和应用场合等非客观因素,而后者往往难以量化描述。

并且,人们在评价那些难以用定量化手段来刻画的事
∃682
∃系统工程与电子技术第33卷
物的优劣时,通常并不给出每个事物的某个绝对评价值,而
往往采取相互比较的方式,确定彼此的优劣排列次序。

如果把各种图像融合效果客观评价的单项指标看作是
用来描述图像融合效果的某些属性,那么对图像融合效果
的评价就可以看作是一种多属性决策问题。

为此,本文借
鉴多属性决策理论中的逼近理想解的排序法[16]的思想,提
出一种主观和客观因素相结合的图像融合效果综合评价
方法。

1.1 图像融合效果综合评价模型
假设有m幅待评价的融合图像,记为IM={I1,I2,%,
I m},选取的客观评价指标有n项,记为Y={y1,y2,%,y n},
那么集合IM中的每一幅图像I i的n个属性值就构成了向量
Y i={y i1,y i2,%,y in}。

所有待评价的m幅融合图像的n个属
性值就构成了m&n的属性矩阵,本文称为图像融合效果评
价矩阵(performance evaluat ion mat rix,PEM),即
PEM={y ij}m&n=y11y12%y1n
y21y22%y2n
%
y m1y m2%y m n
(1)
根据性能指标与融合图像质量之间的关系,图像融合评价指标有多种类型。

有些评价指标的属性值越大,说明图像融合效果越好,例如信息熵、峰值信噪比等,称为效益型图像融合效果评价指标,记为Class B。

有些评价指标的值越小越好,例如光谱扭曲度、交叉熵等,称为成本型图像融合效果评价指标,记为Class C。

还有一些评价指标,其属性值既非效益型又非成本型,例如图像灰度平均值,取值过高或过低均不合适,本文把这类指标称为适中型图像融合效果评价指标,记为Class M。

由于不同的图像融合效果评价指标类型不同,加上不同的评价指标具有不同的取值范围(量纲),为此采用统计平均方法[16]对PEM中的数据进行预处理。

设变换后的图像融合效果评价矩阵记为NPEM={z ij},当图像融合效果评价指标的类型为Class B或Class C时,变换形式为
z ij=min
C1&y ij-
1
m
∋m
i=1
y ij
1
m-1
∋m
i=1
y ij-
1
m
∋m
i=1
y ij
2
+C2,1
(2)
当图像融合效果评价指标的类型为Class M时,采用如下变换形式
z ij=min1-
y0j-y ij
y0j-y l j
,1,y l j<y ij(y*j
0,y ij(y l j
max1-
y ij-y*j
y s j-y*j
,0,y ij>y*j
(3)
式中,C1和C2为控制变量;[y0j,y*j]为最优取值区间;y l j 和y s j为无法容忍下限与上限。

定义1理想融合图像I*是IM中虚拟的最佳融合图像,它的每一项属性值y j*都是NPE M中对应属性项的最好取值,即
y*j=
argmax{y kj}
1(k(m
,y kj)Class B
argmin{y kj}
1(k(m
,y kj)Class C
argmod{y kj}
1(k(m
,y kj)Class M
(4)
式中,argmod表示适中型图像融合效果评价指标中取最适中的值。

定义2 负理想融合图像I0是IM中一幅虚拟的最差融合图像,它的每一项属性值y0j都是NPEM中对应属性项的最差取值,即
y0j=
argmin{y kj}
1(k(m
,y kj)Class B
argmax{y kj}
1(k(m
,y kj)Class C
argult{y kj}
1(k(m
,y kj)Class M
(5)
式中,argult表示适中型图像融合效果评价指标中取最极端的值。

分别计算I M中所有的融合图像到I*的距离d*i,以及到I0的距离d0i,则既靠近理想融合图像,同时又远离负理想融合图像的就是IM中的最佳图像融合结果,并由此可确定IM中各图像融合结果的优劣次序。

为解决不同图像融合效果评价指标之间的矛盾性和属性值的不可公度性,可以赋予不同图像融合效果评价指标以不同的权重,它不仅可以反映出评价者对不同评价指标的重视程度,还可以反映出各评价指标属性值的差异程度。

在上述评价模型中,人的主观因素主要体现在图像融合评价指标的具体选取上。

另外,对于各单项评价指标,还可以根据实际应用场合或需要赋予不同的权重。

1.2 图像融合效果综合评价算法
图像融合效果综合评价算法的具体步骤如下:
第1步 根据实际需要选择n项客观评价指标,并赋予相应的权值w i(i=1,2,%,n);
第2步 计算m幅图像对应于n项评价指标的值,得到矩阵PEM;
第3步 对PEM中的每一列数值进行预处理,得到处理后的矩阵NPEM;
第4步 根据式(4)和式(5),确定理想融合图像I*和负理想融合图像I0;
第5步 依次计算m幅融合图像分别到理想融合图像I*的距离d*i和负理想融合图像I0的距离d0i。

例如,若采用M anhat tan距离,则可以按式(6)进行计算
d*i=∋n j=1w j|x ij-x*j|
d0i=∋n j=1w j|x ij-x0j|,i=1,%,m
(6) 第6步 计算综合评价指数
C i=
d0i
d0i+d*i
,i=1,%,m(7) 若不计步骤1和步骤2耗费的时间,则上述算法的时间复杂度为O(m&n),也就是与待评价的图像融合结果的数量成线性关系,因此时间计算复杂度较低。

第3期周浦城等:基于逼近理想解排序的图像融合效果评价方法
∃683 ∃
1.3 评价指标的选取
对于不同融合目的的图像,应采取不同的评价指标。

例如, 提高空间分辨率:可采用基于统计特性的评价方法,如均值、标准差等指标;!提高信息量:可采用基于信息论的评价方法,如信息熵、交叉熵等;∀提高清晰度:可以选用平均梯度、空间频率等指标;#比较融合方法:可以采用均方根误差、交叉熵等;∗降低图像噪声:可以选用信噪比和峰值信噪比等指标。

2 实验结果与分析
为验证本文提出的图像融合效果综合评价方法,选取与文献[14]一致的融合数据进行实验,选取的客观评价指标为交叉熵(cross entropy,CE)、互信息(mutual inform a t ion,MI)、均方误差(mean st andard error,M SE)、均方根误差(root mean st andard error,RMSE )以及峰值信噪比(peak signal noise ratio,PSNR)。

为检验本文方法在等权值时的抗失效性,采用等权方式。

选取的融合算法有加权平均法(w eighted average,WA )、拉普拉斯金字塔法(Laplacian pyramid,LP)、比率金字塔法(rat io pyramid,RP)、对比度金字塔法(contrast pyramid,CP)和离散小波变换法(discrete w avelet transform,DWT)。

采用的单因素及联合单因素性能评价指标如表1所示。

表1 运动模糊坦克融合图像性能评价指标
融合方法CE M I M SE RM SE PS NR WA 0.0137 4.39317.475 4.180435.7065LP 0.0051 4.413 2.430 1.558944.2746RP 0.0116 4.39317.585 4.193335.6797CP 0.005 4.414 2.621 1.619143.9456DWT
0.0035
4.423
2.466
1.5702
44.2116
对表1中的数据采用式(2)进行预处理,并取C 1=0.1,C 2=0.75,结果如表2所示。

因此I *={0.656,0.87,0.676,0.6753,0.8258},I 0
={0.8801,0.646,0.86,0.86,0.6402}。

若采取等权
方式,令权值w ={0.2,0.2,0.2,0.2,0.2}。

由此,根据式(6)可以计算出各幅融合图像I i 分别到理想融合图像I *和负理想融合图像I 0的距离,结果如表3所示。

表2 预处理后的融合图像性能评价指标
融合方法CE M I M SE RM S E PS NR WA 0.88010.6460.8590.85910.6408LP 0.69110.7910.6760.67530.8258RP 0.83390.6460.860.860.6402CP 0.6889
0.7970.6780.67950.8187DWT
0.656
0.87
0.677
0.6761
0.8245
表3 不同融合结果到I *和I 0的距离
融合方法d *i d 0i WA 0.19990.0007L P 0.02280.1778RP 0.19140.0092C P 0.02390.1767DWT
0.0005
0.2001
采用式(7)即可得到各幅融合图像的综合评价指数,从
而确定出不同图像融合效果的优劣,如表4所示。

可以看出,本文的评价结果与文献[14]的结论一致,且评价结果物理意义更为直观,评价过程更为简洁,评价方法实时性好,融合结果易于定量表示。

表4 不同图像融合效果评价的结果
融合方法C i 本文方法排序
文献[14]排序
WA 0.003555LP 0.886422RP 0.04644CP 0.880933DWT
0.9974
1
1
为进一步验证提出的图像融合效果综合评价方法的性能,利用一组露营地图像进行了实验,选取的图像融合算法分别为WA 、梯度金字塔法(gradient pyram
id,GP)、LP 、RP 、CP 和DWT ,各图像融合算法得到的结果如图1所示。

图1 不同算法的融合结果
∃684
∃系统工程与电子技术第33卷
假设融合目的是为了获得视觉效果更清晰、更细致的图像,由此确定信息熵、平均梯度作为客观评价指标。

同时,为了使得图像融合结果尽量满足人眼视觉的感知特性,还可选取边缘保持度[9]作为图像融合效果的客观评价指标。

以上三项评价指标均属于效益型图像融合效果评价指标,各幅图像融合结果在上述单项指标下的计算结果如表5所示。

表5 露营地图像的融合图像性能指标
融合方法信息熵平均梯度边缘保持度WA 2.822572.38120.336
GP 2.868672.280.4274
LP 2.985973.43520.4543
RP 2.915581.14210.3778
CP 2.984772.46410.4436
DW T 2.94972.76680.4702
假设使用者根据个人的主观偏好设定的评价指标权重为w={0.2,0.3,0.5},那么采用本文提出的图像融合效果评价方法得到的最终计算结果见表6所示。

因此,图像融合效果综合评价结果由优到劣依次为:LP DWT CP RP GP WA。

如果设定的评价指标权重为w= {0.2,0.6,0.2},则最终的图像融合效果综合评价结果由优到劣依次为:RP LP DWT CP GP WA。

由此可见,使用者根据主观偏好设定的不同评价指标权重会直接影响到最终的评价结果。

表6 综合评价指标的计算结果
融合方法d*i d0i C i排序结果WA0.56160.00220.00396
GP0.30570.25810.45785
L P0.12580.4380.77691
RP0.27720.28650.50824
C P0.17370.39010.69193
DWT0.13130.43240.76702
3 结 论
建立图像融合效果评价标准是目前图像融合中急需解决的问题之一。

本文将图像融合效果评价看作是多属性决策问题,将逼近理想解的排序法引入到图像融合评价中,结合先验知识和量化评价,实现了对各个融合图像效果优劣的综合评价。

本文提出的图像融合效果评价方法不仅可以从整体上进行综合评价,还可以根据具体的应用场合,从某个侧面进行特殊需求的评价。

利用该方法得到的评价结果易于定量表示,且实时性好,对于丰富和完善图像融合理论框架具有一定的参考价值。

参考文献:
[1]Goshtasby A A,Nikolov S.Image fu sion:advances in the s tate
of the art[J].Inf ormation Fusion,2007,8(2):114 118.
[2]Dixon T D,Canga E F,Noyes J M,et al.M ethods for the
assessment of fused images[J].A CM Trans.on App lied Percep tion,2006,3(3):309 332.
[3]Petrovic V.S ubjective tests for image fu sion evalu ation and
objective metric validation[J].Inf ormation Fusion,2007,8(4): 208 216.
[4]M u ller A C,Narayanan S.Cognitively engineered multis ens ory
image fusion for m ilitary applications[J].Inf or mation Fu sion, 2009,10(6):137 149.
[5]T oet A,Franken E M.Per ceptual evaluation of different image
fusion schem es[J].Disp lay s,2003,24(1):25 37.
[6]闫莉萍,刘宝生,周东华.一种新的图像融合及性能评价方法[J].
系统工程与电子技术,2007,29(4):509 513.(Yan L P,Liu B S, Zhou D H.Novel im age fusion algorithm w ith novel performan ce evalu ation meth od[J].S y stems Eng inee ring and Electr onics, 2007,29(4):509 513.)
[7]Zheng Y,Essock E A,H ansen B C,et al.A new m etric based on
extended spatial frequency and its application to DW T based fusion algorithms[J].Inf ormation Fusion,2007,8(4):177 192.
[8]Yang C,Zh ang J Q,W an g X R,et al.A novel sim ilarity based
quality m etric for image fusion[J].Inf ormation Fusion,2008,9
(5):156 160.
[9]Xydeas C S,Petrovi V.Ob jective image fusion performan ce
m easure[J].Electronics L e tter s,2000,36(4):308 309.
[10]Ch en H,Varshney P K.A human perception in spired quality
metric for image fusion bas ed n on regional in formation[J].
I nf or mation F usion,2007,8(4):193 207.
[11]Ch en Y,Blum R S.A new automated quality assessm ent algo
rithm for image fus ion[J].I mage an d Vision Comp uting, 2009,27(9):1421 1432.
[12]胡春海,丁志秀.基于模糊算法的多聚焦图像融合效果评价研
究[J].传感技术学报,2007,20(4):885 889.(H u C H,Ding Z X.M ulti focus image fusion effect evaluation based on fuzzy al gorithm[J].Chinese Journal of Se nsors and A ctuator s,2007, 20(4):885 889.)
[13]郑永安,宋建社,周文明,等.基于图像质量因子的图像融合客
观评价方法[J].系统工程与电子技术,2006,28(3):463 466.
(Zhen g Y A,Song J S,Zhou W M,et al.Objective evaluation method for im age fusion based on image quality index[J].Sy s tems En gineering and Electronic s,2006,28(3):463 466.) [14]何贵青,陈世浩,田云,等.多传感器图像融合效果综合评价研
究[J].计算机学报,2008,31(3):486 492.(H e G Q,Chen S H, T ian Y,et al.S ynthesis perform an ce evaluation of multi s ensor image fusion[J].Chinese Journal of Compu ter s,2008,31(3): 486 492.)
[15]Dixon T D,Can ga E F,Nikolov S G,et al.Selection of image
fusion quality measur es:objective,subjective,and m etric assessm ent[J].J our nal of Optical S ocie ty of A mer ic a,2007, 24(12):125 135.
[16]岳超源.决策理论与方法[M].北京:科学出版社,2003:192
214.(Yu e C Y.Dcision theory and meth od s[M].Beijing:Sci en tific Press,2003:192 214.)。