图像融合评价方法

图像融合的评价标准

对图像的观察者而言，图像的含义主要包括两个方面：一是图像的逼真度，另一个是图像的可懂度。图像的逼真度是描述被评价图像与标准图像的偏离程度，通常使用归一化均方差来度量。而图像的可懂度则是表示图像能向人提供信息的能力。多少年来，人们总是希望能够给出图像逼真度和可懂度的定量测量方法，以作为评价图像质量和设计图像系统的依据。

当前图像融合效果的评价问题一直没有得到很好的解决，原因是同一融合算法对不同类型的图像，其融合效果不同；同一融合算法对同一图像观察者感兴趣的部分不同，则认为效果不同：不同的应用方面，对图像各项参数的要求不同，导致选取的评价方法不同。目前评价图像融合效果的方法可分为两类：即主观的评价方法和客观的评价方法。在许多融合应用中，最终的用户都是人，人眼的视觉特性也是非常重要的考虑因素。然而在人为评价融合方法的过程中，会有很多主观因素影响评价结果。

同时，由于图像融合往往作为特定任务的预处理部分，因而融合性能的评价取决于能否提高后续任务的性能。这就需要研究通用的、综合考虑主客观因素的图像融合质量评价标准，使计算机能够自动选取适合当前图像的、效果最佳的算法，从而为不同场合下选择不同的算法或同一融合算法中不同融合规则提供依据。

在实际应用中，如何评价图像融合算法的性能是一个非常复杂的问题。衡量融合图像的效果时，应遵循以下原则：

(1)合成图像应包含各源图像中所有的有用信息；

(2)合成图像中不应引入人为的虚假信息，否则会妨碍人眼识别或后续的目标识别过程；

(3)在时空校准等前期处理效果不理想时，算法还应保持其可靠性和稳定性。另外，可靠和稳定还包含这样的含义，无论在什么气候条件下算法的性能都不会有太大的变化；

(4)算法应将原始图像中的噪声降到最低程度；

(5)在某些应用场合中应考虑到算法的实时性，可进行在线处理，到目前为止，评价图像融合算法性能的方法可分为两类，即主观的评价方法和客观的评价方法。

2.4.1 图像融合质量的主观评价方法

主观评价方法就是依靠人眼对融合图像效果进行主观判断。例如，找一些测

试者，让他们对用不同融合算法得到的融合图像中的特定目标进行识别，测量出识别时间并统计出识别的正确率，从而判断图像融合算法性能的优劣。主观评价方法简单方便，在一些特定应用中十分可观。主观评价分为两种类型：绝对评价和相对评价。绝对评价是由观察者根据一些事先规定的评价尺度或自己的经验，对被评价图像提出质量判定。有些情况下，也可以提供一组标准图像作为参考，帮助观察者对图像质量做出合适的评价。

然而，人为评价的过程中有很多主观因素影响评价结果，这就需要给出客观的评价方法。

2.4.2 图像融合质量的客观评价方法

对一般图像的质量评价往往采用主观评价的办法，然而，对图像融合效果的评价问题却要复杂得多，即使不考虑人的视觉特性、心理状态等因素的影响，采用主观评价方法对图像融合效果进行评价也十分的困难[55]。人对融合图像的质量进行主观评价时，评价的标准(尺度)很难掌握。其主要原因在于，多数情况下，标准的融合图像事先是难以预测的，因此评价人员没有评价的参照物。另一方面，由于图像融合应用场合、应用目的可能各有不同，因此在进行评价时的评价尺度应考虑到应用场合和应用目的。

图像融合应用场合和目的可能千差万别。正是由于图像融合的应用场合、目标的千差万别，所以对融合图像效果进行主观评价的人员应该有相当的专业知识水平。而且，某些情况下图像的融合服务对象是机器或计算机，严格地说，此时人的主观评价并不能完全代表计算机或机器的评价。由此看来，在对图像融合技术及其方法进行研究的同时，开展对图像融合效果的客观、定量评价问题的研究是十分重要、十分有意义的。

建立图像融合效果的定量评价方法和准则，实现对各种图像融合方法产生的融合图像的科学、客观、定量评价，能克服人的视觉特性、心理状态、知识背景等因素的影响，并能够对图像融合方法开展更深入的研究。另外，建立图像融合效果的定量评价方法和准则，也可能使机器或计算机能够选取更适合当前任务的、性能更佳的融合方法和融合规则。当没有标准图像，或者难以利用源图像对融合图像的效果进行估计时，可以使用以下几个评价指标定量评价融合图像的效果和质量。

(1)平均梯度(AG)

平均梯度反映了图像的清晰程度，同时还反映出图像中微小细节反差和纹理变换特征。其公式为：

()()1222111,,M N i j AG xf i j yf i j M N ==⎡⎤=∆+∆⎣⎦⨯∑∑ 式(2-18)

其中，()()j i yf j i xf ,,,∆∆分别为像元(),i j 在x/y 方向上的一阶差分。一般来说，AG 越大，表示图像越清晰，因此可以用来反映融合图像在微小细节表达能力上的差异。

(2) 熵(H)

信息论的著名创始人香农提出的信息熵的概念可表示信号中信息量的多少，它也广泛应用于图像处理中表示图像所包含的平均信息量的多少，图像信息熵的含义为图像的平均信息量，信息量增加是图像融合最基本的要求，这可以通过融合前后图像信息熵的变化反映出来。对于一幅独立的图像，可以认为其各个元素的灰度值是相互独立的，则图像的灰度分布为：{}12,,...n p p p p =，i p 为灰度值等

于i 的像素数与图像总像素之比，n 为灰度级总数。

图像信息熵的表达式为：

()()

20log L i H P l P l ==-∑ 式(2-19) 其中，()p l 为某灰度值l 在图像中出现的概率；L 为图像的灰度等级，对于256灰度等级的图像256L =。融合图像中的信息熵越大，说明图像中包含的信息越多，融合效果越好。

(3) 交互信息(MI ）

互信息是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性。两个事件U 和V 集合的互信息可定义为：

2

(,)(;)(,)log ()()v V u U p u v MI U V p u v p u p v ∈∈=∑∑

式(2-20) 其中，(,)p u v 是U 和V 的联合概率分布函数，()p u 和()p v 分别为U 和V 的边缘概率分布函数。

Qu 等人用融合后图像(,)F i j 分别与两个输入图像(,)A i j ，(,)B i j 之间互信息的和表示质量差异，基于互信息的融合性能评价因子表示为：

2

2,(,,)(,)(,)

(,)(,)((,)log (,)log )()()()()AF BF AF BF i j A F B F MI A B F MI A F MI B F h i j h i j h i j h i j h i h j h i h j =+=+∑

式(2-21) 式中，(,)AF h i j 和(,)BF h i j 分别为融合后图像(,)F i j 与输入图像(,)A i j 和输入图像(,)B i j 的归一化联合灰度直方图，()A h i 、()B h i 和()F h i 分别表示输入图像(,)A i j 、