基于金字塔方法的图像融合原理及性能评价

1
引言
近年来 , 信息融合理论和技术正成为信息和信号处理领域
2
图像的金字塔分解
拉普拉斯金字塔和对比度 金字塔 都源于 图像的 高斯金 字
中的研究热点 , 而图像融合作为信息融合的一个 重要领域 , 已 经广泛应用于遥感、 计算机视觉、 医学、 军事目标探测和识别等 方面。 图像融合的含义是 : 将源于多源通道所采集的关于同一目 标或场景的图像经过一定的 处理 , 提取 每个通 道的互 补信息 , 最后综合成信息 更加 丰 富、 对同 一 场景 和目 标 的描 述更 为 准 确、 更为全面、 更为可靠的图像或图像特征。因此 , 探索有效的 图像融合算法是当前的热点课题 , 近年来有不少学者提出了各 种图像融合的方 法 , 归 结起 来占 主 流的 是源 于 多分 辨率 的 方 法, 这类方法一大类是基 于图像 的高斯 金字塔 分解 , 然后派 生 出拉普拉斯金字塔、 对比度 金字塔 等
G* l = Expand( G l ) ( 4)
斯金字塔。拉普拉斯金字塔代表了每一 级图像的边缘细 节, 因 此通过比较两幅图像对 应级的拉普拉斯金字塔 , 就有可 能将各 自突出的图像细节取到 融合图像中, 这样使得融合图像 的信息 量尽可能丰富, 达到融合的目的。最 常用的就是对比对 应拉普 拉斯金字塔像素的灰度 值, 然后取灰度值大的像素生成 融合后 的拉普拉斯金字塔 , 设融合后的第 l 级拉普拉斯金字塔为 LP IF , 待融合两幅图像 A, B 的分别是 LP IA , LPIB , 则融合规则是 :
由式 ( 12 ) 得 到 一 个 融 合 后 的 对 比 度 金 字 塔 后 , 再 按 式 ( 10) 重构即可得到融合后的图像。
4
融合实验和性能对比评价
首先用不同波段遥感图像作融合实验 , 图 1 和图 2 是上 海
一幅图像可由它的拉普拉斯金字塔完全表示 , 因为由拉普拉斯 金字塔可以完全重构图像 , 重构过程可由式( 7) 推得 :
・ 96 ・
基于金字塔方法的图像融合原理及性能评价
玉振明 , 高 飞
( 北京 航空 航天 大学 , 北京 100083) 摘 要 : 阐 述了 基于 拉普 拉斯 金字 塔和 对比 度金字 塔图 像融 合的 原理 和方 法 , 把这 两种 方法 应用 于 不 同聚 焦 图
像的 融合 以及 蓝光波 段和 红外 波段 的卫 星遥 感图 像融 合 , 并 对 融合 图 像 质 量 进 行了 对 比 评 价 , 得出 了 这 两 种 融 合方 法的 各自 特点。 关键 词 : 图 像融 合 ; 拉普 拉斯 金字 塔 ; 对 比度 金字 塔 ; 熵 ; 交 叉熵 中图 法分 类号 : TP391 文献 标识 码 : A 文 章编 号 : 1001- 3695 ( 2004 ) 10 -0128- 03
Laplacian Pyramid and Contrast Pyramid Based Image Fusion and Their Performance Comparison
YU Zhen- ming, GAO Fei
( Beijing University of Aeronautics & Astronautics, Beijing 100083 , China)
Gl = Reduce( Gl - 1 ) ( 3)
综合起来得 :
G0 = RP0 ( Expand( RP1 ( Expand( RP2 ΛΛExpand( RPN ) ) ) ) ( 10 )
3
基于金字塔分解的图像融合
如果按拉普拉斯金字塔方式融合, 则要生成各自的 拉普拉
图像的拉普拉斯金字塔的生成 还要有 一个与 图像缩 小相反 的 扩大过程 , 这个过程就是把第 l 级图像扩大到第 l - 1 级同样大 的过程。定义图像的扩大算子 Expand 为 :
G* l ( i, j) = 4 ∑
m= - 2
i +m j +n ∑ w( m, n) G′ , ) 1( 2 2 n= - 2
2
( 5)
0 < l ≤ N, 0 ≤ i ≤ C L , 0 ≤ j≤ R l
式( 5) 中 :
i+m j+n G′ , ) = l( 2 2 Gl ( 0 i+m j+n , ) 2 2 当 i +m j + n , 为整 数 2 2
w′ ( - 2) + w′ ( 2) + w′ ( 0 ) = w′ ( - 1) + w′ ( 1)
; 另 一大 类是 基于 小
波分解的算法 [ 4, 6] 。这 两类 方法 的 共同 之处 都 是在 不同 的 分 辨率下各自按一定的规则融 合 , 得到一 个融合 后的图 像序列 , 然后再重构出融合图像。但是 目前还 没有对 各类图 像融合 都 普遍适用的理想方法 , 因此对不同方法的融合效果进行主观和 客观的评价是重要的。本文阐 述了基 于高斯 金字塔 分解的 拉 普拉斯金字塔和对比度金字塔算法的原理和方法 , 文中先把两 种方法应用到上海某地区的蓝 光和红 外两个 波段卫 星遥感 图 像的融合 , 并通过计算熵和交叉熵两种描述图像信息量和互信 息量的指标对融合质量进行了对比评价 ; 然后再使用多聚焦图 像进行融合实验 , 并通过计算融合图像与标准图像的误差对融 合质量进行评价 , 从中得到两种融合方法的各自特点。 收稿日期 : 2003- 09- 30; 修返日期 : 2004- 07- 20
LP IF ( i, j) = LP IA ( i, j) if| LP IA ( i, j) > LP IB ( i, j) | LP IB ( i, j) other ( 11 )
G
* l
和 Gl - 1 同尺寸。具 体运算 是 通过 对 第 l 级 图像 进 行
2
插值放大 , 由式( 5) 实现 :
C= g - gb gb = g - I gb
其他
通过式 ( 5) 的插值运算把 金字塔 的第 l 级 图像扩 大到与 l - 1 同尺度 , 因此可定义式 ( 6) :
LP l - 1 = Gl - 1 - G* l = G l - 1 - Expand( G l ) ( 6)
式( 6) 就生成了拉普拉斯金字塔的第 l - 1 级 , 可见拉普拉 斯金 字塔实际就是高斯金字塔与其 上一层 通过插 值扩大 的差值 图 像, 而最高级是高斯金字塔本身。由于上层图像是下层低通滤 波后下采样得到的 , 所以扩大后和原级的差值反映的是高斯金 字塔两级间的信息差 , 也即拉普拉斯金塔字实际上是同级高斯 金字塔的高频分量 , 亦即是图像的细节部分。完整的拉普拉斯 金字塔定义如下 :
Abstract: The paper explained the method of image fusion based on laplacian pyramid and contrast pyramid. Then use these methods for multi- focus image and remote sensing image fusion. Also this paper compared the quality of these fusion images, then obtain characters of two methods. Key words: Laplacian Pyramid; Contrast Pyramid; Image Fusion; Entropy; Cross Entropy
得到融合后的拉普拉斯金字塔 后 , 再按 式 ( 8) 重构就 得到了 融 合图像。而基于 对比 度 金字 塔的 融 合方 法 , 是出 于 这样 的 考 虑 : 对比度大的 像素 应是 在 图像 中 相对 突出 和 比较 重要 的 像 素 , 所以融合的规则是取对比度大的像素, 而对比度的定义是 :
这与归一化高斯分布近似 , 所以生成核近似为高斯低通滤 波器。一般地 , 第 l 级子图由式 ( 2) 生成 :
Gl ( i , j ) = ∑
2 m= - 2 n= -2 2
∑ w( m, n) G l - 1 ( 2i + m , 2j + n)
( 2)
第 10 期
0 < l ≤ N, 0 ≤ i ≤ C L , 0 ≤ j≤ R l
上述对生成核的限制是为了既保证低通的性质 , 又能保持 图像缩扩后的亮度平滑 , 不出现接缝效应。满足上述约束的一 个典型的 5 × 5 子窗口为 :
1 4 1 w( m, n) = 6 256 4 1 4 16 24 16 4 6 24 36 24 6 4 16 24 16 4 1 4 6 4 1
[1 ～ 3]
塔分解 , 高斯金字塔的生成包含低通滤波和下采样的过程。设 原图像为 G0 ( m, n) ( m ≤M, n≤ N) , M, N 为 图像的行、 列数 , 原 图 G0 为高斯金字塔的最底层即第 0 层 , 则第 1 层高 斯金字 塔 由式 ( 1) 生成 :
G1 = ∑
2 n= - 2 m= - 2 2
G0 = LP0 + Expand( Gl ) G1 = LP1 + Expand( G2 ) ΛΛ GN - 1 = LP N - 1 + Expand( GN) GN = LP N
某地区的蓝光波段和近红 外波段 的卫星 遥感图 像。 蓝光在 可 见光内 , 成像的场景比较清晰 , 但对温度不敏感 , 所以不能突出 高温物体。相反红外波段对场景成像比较模糊 , 但对高温目标 敏感。例 如从图 2 上 可以很明显地 看出红外图 像中的海上 几 个目 标而在蓝光 图像中是基 本上看不到的。图 3 是用拉普 拉 斯金字塔融合得到的图像 , 图 4 是用对比度金字塔融合得到 的 图像。融合效果的评价有主观 视角效 果评价 和客观 指标评 价 两种。首先应进行详细的主观评价 , 因为到目前为止还没有能 非常准确地描述融合质量的客观物理指标 , 在某些情况下可以 通过融合图像和标准图像比较来评价融合效果 , 但在实际应用
∑ w( m, n) G0 ( 2 i + m , 2j + n)
i≤
N M , j≤ , 2 2
( 1)
其中 w( m, n) 称为生 成核 , 是一个 窗口函 数。式 ( 1) 是 用了 常 见的窗口宽度 5 × 5, 实际上 w( m, n) 是一个低通滤波器 , w( m, n) 满足如下条件 : ( 1) 可分离性, 即 w( m, n) = w′ ( m) w′ ( n) ; ( 2) 归一化 , ∑ w′ ( m) = ∑ w′ ( n) = 1; ( 3) 对称性 , w′ ( n) = w′ ( - n) ; ( 4) 奇、 偶项等贡献 :
LP l = Gl - Expand( Gl + 1 ) LP N = GN 当 0≤ l < N ( 7) 当 l=N
g 为图像某处的灰度值 , gb 为该位置处背景灰度值, I 为单位 灰 度值。所以对比度金字塔的融合规则为 :
R P IF ( i, j) = R P IA ( i, j) R P IB ( i, j) if| RP IA ( i , j ) - 1 | > | RP IB ( i , j ) - 1 | other ( 12 )
玉振明等 : 基于金字塔方法的图像融合原理及性能评价
Λ百度文库 GN - 1 = RP N - 1 ( Expand( GN ) )
・ 97 ・
其中 N 是高斯金字塔顶层的层号 , Cl , Rl 是第 l 层的 行数和 列 数。可见一幅图像的高斯金字 塔是对 下一层 进行低 通滤波 然 后作 隔行和隔列 的降 2 下采 样而生成的。这 一系列上一 级比 下一级缩小四倍的图像从低到 高排列 就形成 了所谓 图像的 高 斯金字塔。定义图像尺度减少算子 Reduce, 则式 ( 2) 变成 :
( 9)
综合起来得到重构公式 :
G0 = LP0 + Expand( LP1 + Expand( LP2 + Λ + ΛExpand( LP N) ) ) ( 8)
图像的另一种金字塔称为对比度金字塔 , 对比度金字塔定 义如下 :