图像融合技术概述

基于小波变换的融合算法
1 获取每一路图像的小波金字塔序列：对两幅图像分别作多
尺度小波变换，得到两幅图像在不同尺度下的低频方向、水 平方向、垂直方向、 45º 角方向的高频信息图序列。
2 小波多分辨融合：对两幅图像的不同层次、不同特征层的 信息图分别附加一定的权重进行融合，从而得到融合图像的 小波多分辨结构。
Gl i , j m, n Gl 1 2i m,2 j n
m 1 n 1 5 5
G
* l 1
i , j 4 m, nGl i m 2 , j n 2
m 1 n 1
5
5
1.2各种金字塔技术 1.2.1 Laplacian金字塔技术
图像融合技术和方法
西安交通大学自动控制研究所
2004年9月
目录

定义 分类 融合评价方法 研究方法
应用 像素级融合方法 信息融合图像识别方法 研究展望
定义

图像融合是一门新兴的学术研究方向，作为 信息融合的一个重要分支，是多传感器信息 融合中可视信息部分的融合，它将多元信道 所采集的关于同一目标的图像经过一定的图 像处理，提取各自信道的信息，最后综合成 统一图像或综合图像特征以供观察或进一步 处理。它是一门综合传感器、图像处理、信 号处理、计算机视觉和人工智能等技术的现 代高新技术。
MI A, A H A
3 相关系数：衡量融合图像和理想图像的相似性

Ri, j F i, j
i 1 j 1 R F m n m n 2 Ri, j R F i, j F 2 i 1 j 1 i 1 j 1
多分辨融合
1 金字塔技术
1.1高斯窗口函数
可分离性 、归一化 、对称性 、奇偶项等贡献性
1 5 1 8 m, n 400 5 1 5 25 40 25 5 8 40 64 40 8 1 25 5 40 8 25 5 5 1 5
1.2高斯金字塔
低频分量 图像的水平边缘 图像的竖直边缘 角点和45º 方向边缘
如果将图像的离散小波变换与图像的Gaussian金字塔分解进 行简单对比，可以认为离散小波变换在提取图像低频部分的 同时，较Gaussian金字塔分解多出两个方向的分解处理。图 像融合在这些特征域内进行，理论上较Gaussian金字塔融合 具有更好的效果。
Ll Gl Gl* 1
1.2.2 对比度金字塔技术
Cl
Gl * Gl 1
1.3金字塔融合算法
1.3.1 获取每一路图像的Gaussian金字塔序列
1.3.2 获取每一路图像的Laplacian或对比度金字塔等序列 1.3.3 该塔序列对应级融合，融合算子很多，
最常见的取“与”或“或”。
PSNR 10 log10
2 Fmax
Ri, j F i, j
i 1 j 1
m
n
2
mn
8相对标准差 ：融合图像与标准参考图像的标准差的相对衡量
R F R
1 m n 2 Gi, j G m n i 1 j 1


谢 谢 观 看
应用
医疗应用
军事应用
海湾战争中发挥很好作战性 能的“LANTIRN”吊舱就是一 种图像融合系统。是一种用 于飞行战斗机的低空红外夜 视目标侦测系统。
远程遥感


LANDSAT项目工作组

LANDSAT发射火箭
美国陆地资源卫 星LANDSAT是最 早投入实际使用 的图像融合系统。 广泛采集地球远 程遥感图像。 1972年 Landsat1 1999年 Landsat7 已采集百万张图 像，广泛用于农 业，地理学，森 林学，教育，地 图绘制和全球变 革研究。
对任意 L2 R 上的二维矩阵
A am, nm,nZ
定义如下算子为
H r Am, n H C Am, n Gr Am, n GC Am, n 1
满足： m,nZ a 2 m, n
M i 1 j 1
O 2 i, j
L 米制明度
u v 米制色品
5 均方根误差：融合图像F和标准参考图像R间的均方根误差
RMSE
Gi, j G i, j
m n ' i 1 j 1
2
m n
6 空间频率：判别融合图像F的清晰度，空间频率反映了一幅图像 空间域的总体活跃程度和清晰程度，同时还反映出图像中微小细 节反差和纹理变换特征，空间频率越大图像越活跃、越清晰。
LANDSAT采集的图像
分类
预处理 图像 特征提取 图像分类 应用
像素级 图 像 融 合
特征级 图 像 融 合
决策级 图 像 融 合
像素级融合是在严格配准的条件下，直接利用来自各个传感器的信息进行 像素与像素关联的融合方法，可用来提高信号的灵敏度与信噪比，以利于 目视观测与特征提取。其主要优点是能保持尽可能多的现场数据，提供其 他融合层次所不能提供的细微信息。由于该方法的融合基础是严格的像素 对准，所以对不同传感器采集视场的配准要求很高。 特征级融合是在像素级融合的基础上，使用参数模板、统计分析、模式相 关等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假 特征，以利于系统判决。特征级融合可从两方面进行研究，目标状态数据 融合和目标特性融合。该层融合的优点在于实现了可观的信息压缩，便于 实时处理，其融合结果能够最大限度地给出决策分析所需要的特征信息。 研究方法主要从聚类分析法、Dempster-Shafer推理法、贝叶斯估计法、神 经网络法等展开。 决策级融合关联各传感器提供的判决，以增加识别的置信度。决策级融合 方法主要是基于认知模型的方法，需要采用大型数据库和专家判决系统来 模拟人的分析、推理、识别、判决过程，以增加决策的智能化和可靠性。 决策级融合的主要优点在于：通信及传输要求低，容错性高，数据要求低， 分析能力强。研究方法主要集中于贝叶斯估计法、神经网络法、模糊聚类 法及专家系统等。
SF RF 2 CF 2
RF 1 m n 2 F i , j F i , j 1 m n i 1 j 2
1 2 F i , j F i 1, j m n j 1 i 2
n m
行频 列频
CF
7峰值信噪比 ：衡量融合图像相对于标准参考图像灰度的偏离程 度，其值越大，说明融合图像和标准参考图像的差异越小，融合 Fmax 效果越好；反之融合效果越差。 为融合图像像素中的最大灰度值。
Mallat经典算法 设输入图像为 f m, n 令 C0 m, n f m, n Mallat图像分解算法如下 式中，Z为整数级， {h，g}为选定的滤波 器组，1<=j<=N,N为 离散小波变换分解层 数。
1 C j m, n C j 1 k , l hk 2 m hl 2 n 2 k ,lZ d 1 m, n 1 C j 1 k , l hk 2m g l 2n j 2 k ,lZ 1 d 2 m, n C j 1 k , l g k 2 m hl 2 n j 2 k ,lZ 3 1 d j m, n C j 1 k , l g k 2 m g l 2 n 2 k ,lZ
重构算法为
1 C j 1 m, n C j k , l hm 2k hn 2l d 1j k , l hm 2k g n 2l d 2 k , l hm 2k hn 2l d 3 k , l hm 2k hn 2l j j 2 k ,lZ k ,lZ k ,lZ k ,lZ
m
n
4 标准色差：判断融合图像与原始图像的彩色失真度
NCD
L
M N i 1 j 1
O i, j
L,Fj i
N
u
2 O 2 i, j
O i, j
ui,F j
O 2 i, j
v
2
O i, j
vi,F j
ห้องสมุดไป่ตู้
2
L u v
ak , nh 2
kZ lZ
k 2m
1 1
am, l h 2
kZ
l 2n
ak , ng 2
lZ
k 2m
1
am, l g 2
l 2n
其简洁形式为
C j H r H C C j 1 d1 H G C j r C j 1 2 d j G r H C C j 1 d 3 G r GC C j 1 j
H ce pRi log2 pRi / pFi
i 0 L 1
3 互信息：两幅图像A和B的互信息定义如下，其中的概率p为图 像间的归一化联合灰度直方图。
MI ( A, B) pab i, j log
i 0 j 0 L 1 L 1
pab i, j pa i pb j
3 重构图像：根据融合图像小波序列，进行小波逆变换，得 到最后的融合图像。
图像融合评价方法
首先要关注的是图像融合性能的客观评价。定量地评价图像融合 性能是一项重要而复杂的工作。建立了多种评价方法和准则，利用 这些评价准则，主要对多种图像融合方法的性能进行了比较研究。 其次研究了分解层数、不同融合规则以及子块区域大小对融合性能 的影响。其中无参考源图像多聚焦图像融合性能评价方法为主要创 新点之一。
1.3.4 融合塔序列逆构最底层图像（以对比度塔为例）
* Cl Gl / Gl 1 l N 1 C G lN l l
2 小波变换
小波变换（Wavelet Transform）是一种新型的工程数学工具，由于其具备的 独特数学性质与视觉模型相近，因此，小波变换在图像处理领域也得到了广 泛的运用。用在图像融合领域的小波变换，可以说是金字塔方法的直接拓展。
1 熵：熵值的大小表示图像所包含的平均信息量的多少， pi反映了 图像中具有不同灰度值像素的概率分布。
H pi log2 pi
i 0 L 1
pi Di / D
2 交叉熵：可用来度量两幅图像间的差异，交叉熵越小，就表示 图像间的差异越小。若标准参考图像为R，融合后图像为F，则 参考图像与融合图像的交叉熵为：