基于多尺度对比度塔的图像融合方法及性能评价

!
）互信息 图像 、 、 间的互信息 下：
，
（）
（ ， ， ）定义如
的，背景与坦克不能同时被聚焦，即不能同时得到清 晰的坦克及背景图像。图 （ ）中，坦克模糊，而背 景清晰；图 （ ）中，坦克清晰，而背景模糊不清；图 （ ）为采用本方法将图 （ ）、（ ）融合后得到的图 像，图中的坦克及背景均清晰可见。
斯金字塔的第 层图象。
）由对比度金字塔重建原图像
由（ ）式变换得：
，
（
） （）
（）
（ ）式则表明：从对比度金字塔（ ， ，…，
）的顶层 开始，按（ ）式递推，依次令
，
，…， 逐层由上到下，可依次得到高斯金字塔
的各层 ， ，…， ，最终精确重构原始 图 像
（高斯金字塔的最底层 即为原始图象）。
基于对比度塔形分解的图像融合
若 ，（ ， ） 时，则
当 ，（ ， ） ，（ ， ）时，
，（ ， ）
， （ ， ） ，（ ， ）
， （ ， ） ，（ ， ）；
当 ，（ ， ） ，（ ， ）时，
，（ ， ）
， （ ， ） ，（ ， ）
， （ ， ） ，（ ， ）；
“能量”相近（差别不大），此时采用加权融合算子确 定融合后图像在该区域上的中心像素的对比度值或 灰度值。 由于局域能量较大的中心像素代表了原始图像 中的明显特征，同时，图像的局部特征一般不只取决 于某一像素，因此，这里采用的基于区域特性量测的 加权融合算子相对于仅根据单一独立像素的简单选 择或简单加权来确定融合像素的方法来说［ ，］，显
所谓图像融合是指综合两个或多个源图像的信 息，以获取对同一场景的更为精确、更为全面、更为 可靠的图像描述。图像融合充分利用了多个被融合 图像中包含的冗余信息和互补信息。图像融合在自 动目标识别、计算机视觉、遥感、机器人、自动小车、 复杂智能制造系统、医学图像处理以及军事应用等 领域有着广泛的应用潜力［ ］。目前，图像融合方法 大致可分为三大类：简单的图像融合方法、基于塔形 分解（如拉普拉斯塔形分解、比率塔等）的图像融合 方法和基于小波变换的图像融合方法。简单的图像 融合方法［ ］不对参加融合的源图像进行任何变换或 分解，而是直接对其进行选择、平均或加权平均等简 单处理后合成一幅融合图像。许多情况下，这种简 单的融合方法得不到满意的结果。 ［ ，］首先提 出了基于比率塔形分解的图像融合方法，但其融合 规则是基于像素的简单选择（仅选择灰度对比度值 大的像素），因此其融合效果不够理想。此外，当前 图像融合效果的客观、定量评价问题一直未得到很 好解决。
，（ ， ）
，（ ， ）
以上的 ， 表示融合后对比度金字塔的第 层图
像。
从上面的算法可以看出，当两图像 、 对应局
部区域间的匹配度小于阈值 时，说明两图像在该
区域上的“能量”差别较大，此时选择“能量”大的区
域的中心像素作为融合后图像在该区域上的中心像
素；反之，当两图像 、 对应局部区域间的匹配度
大于或等于阈值 时，说明两图像在该区域上的
本文给出了一种基于多尺度对比度塔形分解的 分层图像融合方法，并采用了基于区域特性量测的 选择及加权融合算子；同时，探究了图像融合效果的 客观评价这一重要问题；在此基础上，对该融合方法 的性能进行了客观评价与比较分析。
。国防科技预研基金（
）资助课题。
收稿日 期：
；收到修改稿日期：
图像的对比度塔形分解
图像的对比度塔形分解是一种方便、灵活的多
其中 ， （ ， ）
（ ） 得更合理、更科学。实验也证明采用该融合算子取得 了良好的视觉效果及融合质量，而且，该融合算子用
［
］ ，（
，） ；
于含噪声图像的融合时也明显优于简单的像素选择 算子。
期
刘贵喜等： 基于多尺度对比度塔的图像融合方法及性能评价
图像融合效果的客观评价
（ ，，）
我们采用了以下参量来评价融合图像的效果。 ）熵
）计算两幅图像对应局部区域的匹配度 ， ：
（ ， ） ，（
，
） ，（
，
）
，（ ， ）
，
，（ ， ） ，（ ， ）
，
（）
其中 ， 、 ， 按（ ）式计算。 ）确定融合算子：
先定义一匹配度阈值 （一般取 ! ），若 ，（ ， ） ，则：
当 ，（ ， ） ，（ ， ）时， ，（ ， ） ，（ ， ）；
当 ，（ ， ） ，（ ， ）时， （ ） ，（ ， ） ，（ ， ）
）融合过程是在各空间频率层上分别进行的， 这样就可能针对不同分解层的不同频带上的特征与
光
学
学
报
卷
细节，采用不同的融合算子，以达到突出特定频带上
特征与 细 节 的 目 的。
和
［ ］的 实 验
表明，人的视网膜图像就是在不同的频率通道中进
行处理的。基于对比度塔形分解的图像融合恰恰是
在不同的空间频带上进行融合处理的，因而可能获
用通常的图像增强方法是无法取得满意的结果的， 见表 !表 。
这是因为单一图像（ ）或（ ）所包含的信息是不足以
第 层图像的列和行数，（ ， ）为的窗口函数，其
必须满足以下约束条件：
）可分离性：
（ ， ） （ ）（ ），
6［ ， ］， 6［ ， ］； ）归一化：
Z（） ；
）对称性：
（ ） （ ）；
）奇偶项等贡献性：
（ ） （） （） （ ） （）
按照上述约束条件可构造：（ ） 、（ ）
（ ） ，（ ） （ ）
得与人的视觉特性更为接近的融合效果。
）为获得更好的融合效果并突出重要的特征
细节信息，采用了基于区域特性量测的加权融合算
子。也就是说，同一分解层上的不同局部区域上采
用的融合算子也可能不同，这样就可能充分挖掘被
融合图像的互补及冗余信息。
）人眼的视觉系统对于图像的对比度变化十
分敏感，因此，基于对比度塔形分解的融合方法可有
以看到图中不仅两辆轿车清晰可辨，而且，其背景及
光
学
学
报
卷
周围的纹理与细节也清晰可见。图 （ ）采用的是 的比率 塔 形（ ）融 合 方 法；对 图 （ ）、图
（ ），融 合 时 多 尺 度 分 解 分 别 采 用 拉 普 拉 斯 塔 形 （ ）分解和小波变换（ ），而融合规则及算子均
采用本文介绍的。图 的实验中，图 （ ）、图 （ ） 两幅图像具有明显不同的光谱特性，所包含的信息
定义为：
!，
（）
｛ ， ，…， ｝来自百度文库映了图像中具有不同灰度
值像素的概率分布。 间的关系图即为图像的灰
! !［ （ ， ） （ ， ）］
"
，（ ）
其中， 、 分别为图像的行数与列数。
度直方图，由于
! ，所以 间的关系图可
以看作是图像的归一化灰度直方图。
）交叉熵
）峰值信噪比 峰值信噪比定义为：
（
! ） （）
）对 融合后所得对比度金字塔进行逆塔形变
：
；
换（图像重构），所得到的重构图像即为融合图像。 基于对比度塔形分解的图像融合方法的物理意
义在于： ）对比度塔形分解将原始图像分别分解到具
有不同分辨率、不同空间频率的一系列分解层上（从 底层到顶层，空间频率依次降低），同时，每一分解层 均反映了相应空间频率上图像的对比度信息。
交叉熵亦称相对熵，交叉熵可用来度量两幅图 像间 的 差 异，交 叉 熵 越 小，就 表 示 图 像 间 的 差 异
图像的融合实验及性能评价
越小。 若标准参考图像为 、融合后图像为 ，则参考
图像 与融合图像 的交叉熵为：
图像融合实验 图 的实验中，是为了说明应用图像融合方法 解决运 动 目 标 的 模 糊 问 题。 假 设 由 于 坦 克 是 运 动
形变换重构融合图像。该方法被成功地用于图像的融合处理。此外，利用熵、交叉熵、互信息、均方根误差、峰值信
噪比等参量，对该融合方法的融合性能进行了评价与分析。实验结果表明，该融合方法是十分有效的。
关键词： 图像融合；多传感器融合；对比度塔形分解；图像处理
中图分类号：
文献标识码：
引言
基于对比度塔形分解的图像融合方法
基于对比度塔形分解的图像融合方案示于图 。
：
本文以两幅图像的融合为例，对于多幅图像的 融合方法可由此类推。设 、 为两幅原始图像， 为融合后的图像。其融合的基本步骤如下：
）对每一源图像分别进行对比度塔形分解，建 立各图像的对比度金字塔；
）对图像金字塔的各分解层分别进行融合处 理，不同的分解层采用不同的融合算子进行融合处 理，最终得到融合后图像的对比度金字塔；
，即： （）
） ， ，
（）
（ ，）（ ，）
，
，
图像的对比度通常定义为： （
）!
! ，这里 为图象某位置处的灰度值、 为
该位置处的背景灰度值、 表示单位灰度值图像。因
窗口函数 （ ， ）具低通滤波特性，所以 可
以看作是 的“背景”，故可定义图像的对比度金字
塔为［ ，］：
（）
，
，
（） 其中 表示对比度塔形分解的第 层图像， 为高
尺度分解，其建立步骤如下： ）建立图像的高斯塔形分解［ ，］
设原图像 作为高斯金字塔的零层（底层），
高斯金字塔的第 层 这样构造：
先将
和一个有低通特性的窗口函数
（ ， ）卷积，再把卷积结果作隔行隔列的降采
样，即
Z Z （ ，） （
，）
＜ ＜ ， ＜ ＜ ， ＜ ＜ （） 其中， 为金字塔的总层数， 和 分别为金字塔
；（ ）
；（ ）
与细节（如图中的草地等）却依稀可见；图 （ ）为同
一场景的前视红外（ ）图像，图中的两辆轿车均
较清晰，但轿车周围的草地等纹理与细节却模糊不
清；从图 （ ）中可明显看出，由于白色与黑色轿车
的红外辐射特性有差异，因此其前视红外图像的亮
度明显不同（黑色轿车较亮）。图 （ ）为用本文介
绍的对比度塔形（ ）融合方法得到的融合图像，可
第 卷第 期
光学学报
，
年月
，
文章编号：
（）
基于多尺度对比度塔的图像融合方法及性能评价。
刘贵喜 杨万海
（西安电子科技大学电子工程学院，西安
）
摘要： 给出了一种新的基于对比度塔形分解的分层图像融合方法。其基本思想是先对源图像进行对比度塔形分
解；其次，按照融合规则，采用基于区域特性量测的加权算子去构造融合图像对应的对比度金字塔；最后，通过逆塔
（）
图 （ ）中，坦克的前部被烟雾遮挡；图 （ ）中， 坦克的尾部淹没在烟雾中；单凭图 （ ）或（ ），都无 法看到坦克的完整图像，这就给该目标的识别带来 困难。通过采用本方法对图 （ ）和（ ）中的图像进 行融合，便可获得清晰可见的、完整的坦克图像，如 图 （ ）所示。
图 （ ）为可见光图像，因光线很暗，图中的黑 色轿车几 乎看不见，而图中的白色轿车及部分纹理
熵值的大小表示图像所包含的平均信息量的多 少，图像的熵 定义为：
!
，
（）
其中 为图像的总的灰度级， 表示灰度值为 的
像素数 与图像总像素数 之比，即：
（ ，， ）
!!! （ ，， ） （ ，）（ ）（ ）
类似地， （ ，）间的关系图可以看作是图像 、 的归一化联合灰度直方图， （ ，， ）为图像 、 、 的归一化联合灰度直方图。 ）均方根误差 融合图像 和标准参考图像 间的均方根误差
）分别计算两幅图像相应分解层上对应局部区 域的“能量” ， 及 ， ：
（ ，）
（ ， ）［ （
，
）］，（ ）
，
式中 （ ， ）表示对比度金字塔第 层上，以（ ，
）为中心位置的局部区域能量； 表示对比度金
字塔的第 层图像； （ ， ）为与 对应的权系
数；、 定义了局部区域的大小（例如 、 或
等）； 、 的变化范围在 、 内。
，再根据约
束条件 ）计算可得到窗口函数 （ ， ）表示如下：
期
刘贵喜等： 基于多尺度对比度塔的图像融合方法及性能评价
!
）由高斯金字塔建立图像的对比度金字塔 将 内插放大，得到放大图像 ，使 尺寸
与 尺寸相同。为此引入放大算子 （ ），
与（ ）式相对应，放大算子定义为：
（ ，）
（ （ ， ）
，
，
其中：
几乎完全不同（有些甚至相反）；可见光图像对比度 相对较高，而红外图像对比度相对较低。对于这类 图像的融合处理，若用一般的图像融合方法或融合 规则及融合算子选择不当，是很难获得满意的融合 效果的。
（）
；
（）
；（ ）
（）
；（ ）
；（ ）
；
（）
；（ ）
；（ ）
对于以上的实验，若单凭单一图像（ ）或（ ），利 法与其它几种融合方法进行融合性能的定量比较，
选择地突出被融合图像的对比度信息，以求达到良
好的视觉效果。可从后面的融合实验中明显看出。
图像融合规则及融合算子
在图像融合过程中，融合规则及融合算子的选
择对于融合的质量至关重要，也是图像融合中至今
尚未很好解决的难点问题。 ［ ，］提出了一种基 于比率塔的图像融合方法，但其采用的融合规则是 简单的选择（仅选择灰度对比度大的像素）。为了获 得视觉特性更佳、细节更丰富、突出的融合效果，本 文采用了一种新的融合规则及基于区域特性量测的 加权平均融合算子，该融合规则及融合算子的确定 方法如下：