图像融合技术

2 小波多分辨融合：对两幅图像的不同层次、不同特征层的信 息图分别附加一定的权重进行融合，从而得到融合图像的小 波多分辨结构。
3 重构图像：根据融合图像小波序列，进行小波逆变换，得到 最后的融合图像。
LOGO
斯金字塔第l层图像的行数、列数，上式也可写为：
G l [wG l1]2
其中*表示卷积，[·]↓2表示“2抽1”的下采样。
基于多分辨图像融合的实现
Company Logo
Laplacian金字塔
拉普拉斯金字塔的构造基于高斯金字塔的分解，拉普拉斯金
字塔变换中各层子图由高斯金字塔中对应层子图与其下一层图像 的预测图之差形成。
2 j
m, n m, n m, n
1 2
C j1
k ,lZ
1 2
C j1
k ,lZ
1 2
C j1
k ,lZ
k,l h h k2m l2n k,l h g k2m l2n k,l g h k2m l2n
d
3 j
m, n
Hale Waihona Puke Baidu
1 2
C j1
k ,lZ
k,l
g g k2m l2n
式中，Z为整数 级，{h，g}为 选定的滤波器 组，1<=j<=N,N 为离散小波变 换分解层数。
LL小波LH 系数
矩阵 HL HH
图像B
一层 小波 分解
小波 系数 矩阵
融合 决策
矩阵 恢复 融合
后的图像
融合后的小波
融合规则
系数矩阵
基于多分辨图像融合的实现
Company Logo
基于小波变换的融合算法
1 获取每一路图像的小波金字塔序列；对两幅图像分别作多尺度 小波变换，得到两幅图像在不同尺度下的低频方向、水平方向、 垂直方向、 45º角方向的高频信息图序列。
LOGO
图像融合技术
图像融合的方法
Company Logo
简单组合式图像融合方法
空间域融合方法
逻辑滤波器法 数学形态法
图像
图像代数法
融合 方法
HIS变换 PCA变换
变换域融合方法 高通滤波法(HPF)
金字塔变换法
小波变换法 Contourlet变换
基于多分辨图像融合的实现
Company Logo
GC
Am,
n
1
2
lZ
a
m, l
gl2n
其简洁形式为
C j H r H C C j1
d
1 j
H r GC C j1
d
2 j
Gr H CC
j 1
d
3 j
GrGCC
j 1
低频分量 图像的水平边缘 图像的竖直边缘 角点和45º方向边缘
基于多分辨图像融合的实现
Company Logo
图像A
一层
小波 分解
均是前一级图像低通滤波形成的：
L r L r
G l(i,j)
(m ,n )G l 1 (2 i m ,2j n )
m L rn L r
( 1 l N , 0 i R k , 0 j C k )
基于多分辨图像融合的实现
Company Logo
其中N为高斯金字塔分解的最大层数R k 和C k 分别为高
基于多分辨图像融合的实现
金字塔融合算法 1. 获取每一路图像的Gaussian金字塔序列
2. 获取每一路图像的Laplacian金字塔等序列
3.该塔序列对应级融合，融合算子很多，最 常见的取“与”或“或”。
Company Logo
基于多分辨图像融合的实现
Company Logo
小波变换
小波变换本质是一种高通滤波，采用不同的小波基就会产 生不同的滤波效果。小波变换可将原始图像分解成一系列具有 不同空间分辨率和频域特性的子图像，针对不同频带子图像的 小波系数进行组合，形成融合图像的小波系数。
为求出高斯金字塔中第K层图像与上一层图像之间的差异，必
须把低分辨率图像 G k 进行扩充，使其尺寸和高分辨率图像一样。
对图像进行插值放大，第K层被扩充图像为G
K-1层图像相减。即
* k
，其与上一层图
L P k 1 G k 1 G k *
上式生成了拉普拉斯金字塔的第K-1层。
拉普拉斯金字塔分解过程分为四个步骤：低通滤波（模糊）、
基于多分辨图像融合的实现
Company Logo
重构算法为 C j 1 m , n 1 2 k , l Z C j k , l h m 2 k h n 2 l k , l Z d 1 j k , l h m 2 k g n 2 l k , l Z d 2 j k , l h m 2 k h n 2 l k , l Z d 3 j k , l h m 2 k h n 2 l
基于多分辨图像融合的实现
Company Logo
Gaussian金字塔
高斯金字塔的构造过程简单概括为：先将底层图像
与窗口函数(m, n) 进行卷积,即低通滤波;再对卷积
结果进行降2下采样,并依次重复此过程即可得到图
像的高斯金字塔。高斯金字塔最底层即为原图像的
精确表示。
Gaussian金字塔图像多分辨结构中的每一级图像
对任意 L2R 上的二维矩阵
A am ,nm ,n Z 满足： a2m,n m,nz
基于多分辨图像融合的实现
Company Logo
定义如下算子为
Hr Am,n
H
C
Am,
n
Gr Am,n
1
2 kZ a k, n hk2m
1
2 lZ a m, l hl2n
1
2 kZ a k, n gk2m
多分辨结构的融合算法（如图像金字塔和小波等）其基本 思想来自于人眼视觉系统对于局部对比度变化的敏感性， 因此可直接将融合图像作为一种融合多尺度边缘的描述。 多分辨融合能较好地保留图像的细节部分，并具有较好的 目视效果。
常用的多分辨融合算法有：
金字塔算法：
高斯金字塔；
Laplacian金字塔；
梯度金字塔；
形态学金字塔。
小波算法。
（图像的金字塔结构）
基于多分辨图像融合的实现
Company Logo
图像输入A 图像输入B
多分辨分析 模型建立
多分辨分析 模型建立
高通剩余信息 合并
低通平均信息 合并
多分辨合成
融合图像 输出
输入源图像； 确定分解层数、低频融合策略、高频融合策略等参数； 分别构建两幅图像的多分辨结构； 利用低频融合策略融合源图像的低频部分； 利用高频融合策略融合源图像的高频细节部分； 重构图像，获得融合图像。
下采样（缩小尺寸）、插值（放大尺寸）、带通滤波（图像相 减）。
基于多分辨图像融合的实现
Company Logo
拉普拉斯金字塔分解过程分为四个步骤： (1)低通滤波（模糊） (2)下采样（缩小尺寸） (3)插值（放大尺寸） (4)带通滤波（图像相减） 完整的拉普拉斯金字塔定义如下：
LPkGkGk*1,0kN LPNGN,kN
基于多分辨图像融合的实现
Company Logo
下
上
基于多分辨图像融合的实现
Company Logo
此时离散小波变换为
dj,k(f) f(x)j,k(x)dx
二维小波分解的具体过程为：在低频子带上对图像 I(x,y)中每一行构成的一维数组进行一维小波分解，再对 分解形成的低、高频信息中每一列的一维数据做一维小波 分解，最终形成四个子带图像的低频分量LL、垂直方向上 的高频分量LH、水平方向上的高频分量HL、两个方向上的 高频分量HH。
基于多分辨图像融合的实现
Company Logo
基于多分辨图像融合的实现
二维离散小波变换
Company Logo
基于多分辨图像融合的实现
Company Logo
Mallat经典算法
设输入图像为 fm,n令 C 0m ,nfm ,nMallat图像分解算法如下
C
j
d
1 j
d
基于多分辨图像融合的实现
Company Logo
C(i) A
,C(Bj)
分别表示图像A和B的第i,j层分解系数
表示融合规则
C
(i) F
表示融合系数
基于多分辨图像融合的实现 基于多分辨率金字塔融合法
Company Logo
这是最早的一种基于变换域的方法。在这种方 法中原图像不断地被滤波，形成一个塔状结构。在 金字塔的每一层都用一种算法对这一层的数据进行 融合，从而得到一个合成的塔式结构，然后对合成 的塔式结构进行重构，最后得到合成的图像。合成 图像包含了原图像的所有重要信息；但这类方法产 生的数据有冗余，且不同级的数据相关。