图像融合技术

式中，Z为整数 级，{h，g}为 选定的滤波器 组，1<=j<=N,N 为离散小波变 换分解层数。
Company Logo
基于多分辨图像融合的实现
重构算法为
1 3 C j 1 m, n C j k , l hm 2k hn 2l d 1j k , l hm 2k g n 2l d 2 k , l h h d k , l h h j j m 2 k n 2l m 2 k n 2l 2 k ,lZ k ,lZ k ,lZ k ,lZ
基于多分辨图像融合的实现
金字塔融合算法 1. 获取每一路图像的Gaussian金字塔序列 2. 获取每一路图像的Laplacian金字塔等序列 3.该塔序列对应级融合，融合算子很多，最 常见的取“与”或“或”。
Company Logo
基于多分辨图像融合的实现 小波变换
小波变换本质是一种高通滤波，采用不同的小波基就会产
Gl [w Gl 1 ]2
其中*表示卷积，[· ]↓2表示“2抽1”的下采样。
Company Logo
基于多分辨图像融合的实现
Laplacian金字塔
拉普拉斯金字塔的构造基于高斯金字塔的分解，拉普拉斯金 字塔变换中各层子图由高斯金字塔中对应层子图与其下一层图像 的预测图之差形成。
为求出高斯金字塔中第K层图像与上一层图像之间的差异，必 须把低分辨率图像 Gk 进行扩充，使其尺寸和高分辨率图像一样。
对任意 L2 R 上的二维矩阵
A am, nm,nZ
满足：
m ,nz

a 2 m, n
Company Logo
基于多分辨图像融合的实现
定义如下算子为
H r Am, n H C Am, n Gr Am, n GC Am, n 1 ak , n h 2
Gl (i, j)
m Lr n Lr
(m,n)G
Lr
Lr
l 1
(2i m,2 j n)
(1 l N ,0 i Rk ,0 j Ck )
Company Logo
基于多分辨图像融合的实现
其中N为高斯金字塔分解的最大层数Rk 和Ck 分别为高 斯金字塔第l层图像的行数、列数，上式也可写为：
* 对图像进行插值放大，第K层被扩充图像为Gk ，其与上一层图 K-1层图像相减。即
* LP G G k 1 k 1 k
上式生成了拉普拉斯金字塔的第K-1层。 拉普拉斯金字塔分解过程分为四个步骤：低通滤波（模糊）、 下采样（缩小尺寸）、插值（放大尺寸）、带通滤波（图像相 减）。
Company Logo
Company Logo
基于多分辨图像融合的实现
C ,C

(i) A
(j) B
分别表示图像A和B的第i,j层分解系数
表示融合规则
C
(i) F
表示融合系数
Company Logo
基于多分辨图像融合的实现 基于多分辨率金字塔融合法 这是最早的一种基于变换域的方法。在这种方 法中原图像不断地被滤波，形成一个塔状结构。在 金字塔的每一层都用一种算法对这一层的数据进行 融合，从而得到一个合成的塔式结构，然后对合成 的塔式结构进行重构，最后得到合成的图像。合成 图像包含了原图像的所有重要信息；但这类方法产 生的数据有冗余，且不同级的数据相关。
生不同的滤波效果。小波变换可将原始图像分解成一系列具有
不同空间分辨率和频域特性的子图像，针对不同频带子图像的 小波系数进行组合，形成融合图像的小波系数。
Company Logo
基于多分辨图像融合的实现
下
上
Company Logo
基于多分辨图像融合的实现
此时离散小波变换为

d j ,k (f)
Company Logo
基于多分辨图像融合的实现 Gaussian金字塔
高斯金字塔的构造过程简单概括为：先将底层图像 与窗口函数 (m,n) 进行卷积,即低通滤波;再对卷积 结果进行降2下采样,并依次重复此过程即可得到图 像的高斯金字塔。高斯金字塔最底层即为原图像的 精确表示。 Gaussian金字塔图像多分辨结构中的每一级图像 均是前一级图像低通滤波形成的：
kZ lZ k 2m
其简洁形式为
1 1
am, l h 2
kZ
l 2n
1
ak , n g 2
lZ
k 2m
am, l g 2
l 2n
C j H r H C C j 1 d1 H G C j r C j 1 2 d j Gr H C C j 1 3 d j Gr GC C j 1
基于多分辨图像融合的实现
基于小波变换的融合算法
1 获取每一路图像的小波金字塔序列；对两幅图像分别作多尺度 小波变换，得到两幅图像在不同尺度下的低频方向、水平方向、 垂直方向、 45º 角方向的高频信息图序列。 2 小波多分辨融合：对两幅图像的不同层次、不同特征层的信 息图分别附加一定的权重进行融合，从而得到融合图像的小 波多分辨结构。 3 重构图像：根据融合图像小波序列，进行小波逆变换，得到 最后的融合图像。
Company Logo
基于多分辨图像融合的实现
Company Logo
基于多分辨图像融合的实现
二维离散小波变换
Company Logo
基于多分辨图像融合的实现
Mallat经典算法 设来自百度文库入图像为 f m, n 令 C0 m, n f m, n Mallat图像分解算法如下
1 C j m, n 2 C j 1 k , l hk 2 m hl 2 n k ,lZ d 1 m, n 1 C k , l h g j 1 k 2m l 2n j 2 k ,lZ 1 d 2 m , n C j 1 k , l g k 2 m hl 2 n j 2 k ,lZ 3 1 d j m, n C j 1 k , l g k 2 m g l 2 n 2 k ,lZ
基于多分辨图像融合的实现
拉普拉斯金字塔分解过程分为四个步骤： (1)低通滤波（模糊） (2)下采样（缩小尺寸） (3)插值（放大尺寸） (4)带通滤波（图像相减） 完整的拉普拉斯金字塔定义如下：
* LPk Gk Gk 1 ,0 k N LPN GN , k N
Company Logo
LOGO
图像融合技术
Company Logo
图像融合的方法
简单组合式图像融合方法 逻辑滤波器法 数学形态法 图像代数法 HIS变换 PCA变换 高通滤波法(HPF) 金字塔变换法 小波变换法 Contourlet变换
空间域融合方法
图像 融合 方法
变换域融合方法
Company Logo
基于多分辨图像融合的实现
低频分量 图像的水平边缘 图像的竖直边缘 角点和45º 方向边缘
Company Logo
基于多分辨图像融合的实现
图像A
一层 小波 分解
LL 小 波 LH 系数 矩阵 HL HH 融合 决策 小波 系数 矩阵
矩阵 恢复
图像B
一层 小波 分解
融合 后的图像
融合规则
融合后的小波 系数矩阵
Company Logo
LOGO
Company Logo
基于多分辨图像融合的实现
图像输入A 多分辨分析 模型建立 多分辨分析 模型建立 高通剩余信息 合并 多分辨合成 图像输入B 低通平均信息 合并 融合图像 输出





输入源图像； 确定分解层数、低频融合策略、高频融合策略等参数； 分别构建两幅图像的多分辨结构； 利用低频融合策略融合源图像的低频部分； 利用高频融合策略融合源图像的高频细节部分； 重构图像，获得融合图像。


多分辨结构的融合算法（如图像金字塔和小波等）其基本 思想来自于人眼视觉系统对于局部对比度变化的敏感性， 因此可直接将融合图像作为一种融合多尺度边缘的描述。 多分辨融合能较好地保留图像的细节部分，并具有较好的 目视效果。 常用的多分辨融合算法有： 金字塔算法： 高斯金字塔； Laplacian金字塔； 梯度金字塔； 形态学金字塔。 小波算法。 （图像的金字塔结构）


f (x) j ,k (x)dx
二维小波分解的具体过程为：在低频子带上对图像 I(x,y)中每一行构成的一维数组进行一维小波分解，再对 分解形成的低、高频信息中每一列的一维数据做一维小波 分解，最终形成四个子带图像的低频分量LL、垂直方向上 的高频分量LH、水平方向上的高频分量HL、两个方向上的 高频分量HH。