第15章 多光谱图像融合技术与

1 mn
A x , y B x , y
A B x,y
1. 加权融合

计算该协方差矩阵的特征值1和 2
vA c AB c AB vB 0
max max( 1 , 2 )
max v A c AB c AB X 0 vB

对目标融合图像的空间数据进行空间的逆变换，获得目 标融合图像的RGB空间数据，即为最终融合图像数据
基于
R G B
空间色彩传递的图像融合方法

Y C B C R 0 .2 9 9 0 0 .1 6 8 7 0 .5 0 0 0 0 .5 8 7 0 0 .3 3 1 3 0 .4 1 8 7 0 .1 1 4 0 0 .5 0 0 0 0 .0 8 1 3 R G B
（1）由RGB空间变换到LMS空间的过程
L M S 0 .3 8 1 1 0 .1 9 6 7 0 .0 2 4 1 0 .5 7 8 3 0 .7 2 4 4 0 .1 2 8 8 0 .0 4 0 2 0 .0 7 8 2 0 .8 4 4 4 R G B
基于

空间色彩传递的图像融合方法
对LMS空间作对数变换，从而降低LMS 空间数据的偏斜程度：
L M S lo g L lo g M lo g S
基于

空间色彩传递的图像融合方法
对logLMS空间进行正交化处理，从而变换到 l空间：

多光谱图像融合的基本步骤

(3)图像融合 ，主要目的：




(a)增加图像中有用信息的含量，改善图像的清晰度， 增强在单一传感器图像中无法看见/看清的某些特性； (b)改善图像的空间分辨率，增加光谱信息的含量， 为改善检测/分类/理解/识别性能获取补充的图像信息； (c)通过不同时刻的图像序列融合来检测场景/目标的 变化情况； (d)通过融合多个二维图像产生具有立体视觉的三维 图像，可用于三维重建或立体摄影、测量等； (e)利用来自其它传感器的图像来替代/弥补某一传感 器图像中的丢失/故障信息。
Gl
( m , n )G
m 2n 2
2
2
l 1
( 2i m ,2 j n )
1 4 6 4 1
1 4 1 6 256 4 1
4 16 24 16 4
6 24 36 24 6
4 16 24 16 4
Laplace金字塔

基于

空间色彩传递的图像融合方法
然后，按照如下方式进行色彩传递
l ,s * ( l s l , s ) l , ref lt l , ref ,s * t ( s , s ) , r e f , ref ,s * ( s , s ) , ref t , ref
MIT融合法

MIT融合法是由麻省理工学院Waxman等人提 出的。 MIT融合法以中心-环绕分离网络为基础，应用 生物视觉拮抗（Opponent）特征融合红外和可 见光图像，算法内部对融合结果的颜色进行了 重新映射，使得融合图像具有适合人眼观察的 自然色彩。
基于

空间色彩传递的图像融合方法
w A wB 1
1. 加权融合
通过主成分分析(PCA)法选择权值 (1)计算两幅图像矩阵的协方差

vA C c AB c AB vB
vA 1 mn
Ax, y
x,y
A
2
vB
1 mn
B x, y
x,y
B
2
c AB
R 1 .0 0 0 0 G 1 .0 0 0 0 B 1 .0 0 0 0
0 .0 0 0 0 0 .3 4 4 1 1 .7 7 2 0
1 .4 0 2 0 0 .7 1 4 1 0 .0 0 0 0
Y C B C R
C C
m n m n
k 1
k 1
C
m n
k 1

二维图像的小波重构：
C k 1 ( m , n )

i j
C k (i, j ) h ( 2 m i ) h ( 2 n j )
i

j
d k (i, j ) h ( 2 m i ) g ( 2 n j )
多光谱图像融合的基本步骤

(1)图像预处理
包括图像归一化(灰度均衡、重采样、灰度插 值)、 图像滤波 增强图像的色彩和图像的边缘等

多光谱图像融合的基本步骤

(2)图像配准
图像配准是要将各幅参与融合的图像进行空 间配准。 图像配准可分为相对配准和绝对配准。 相对配准指从同一类的多个图像中选择某一 (波段)图像作为参考图像，然后将其他(波段) 图像与参考图像进行配准。 绝对配准则指以同一空间坐标系为参考系， 将需融合的多幅图像都与此参考系进行配准。

直接映射法结果
TNO融合法



（1）确定两幅源图像的共有部分 （2）每幅源图像中分别减去共有部分，得到每 幅图像的独有部分 （3）用两幅图像分别减去另一幅图像的独有部 分得到细节增强图像 （4）将所得的结果送入不同的颜色通道进行显 示 优点：TNO融合法运算速度快，利于实时处理 缺点：融合图像的色彩不自然，不符合人的视 觉感受
首先按照直接映射法将不同光谱图像映射到RGB空 间，产生直接映射彩色融合图像
R G B Y IR Y LL Y LL
将RGB空间数据转换到空间 选择一幅参考的彩色图片，将其转换到空间，分别计 算源图像和参考图像在lαβ空间的均值和标准方差
当0 l N时 当 l N时
当
i m 2
,
j n 2
为整数时
其他
LP l G l G l 1 , LP N G N ，
Laplace金字塔

(c) 对两幅图像的Laplace金字塔分解图 像进行融合
图像A分解层
融合处理 图像融合规则： （1）灰度值选； （2）灰度值选； （3）简单平均； （4）加权平均。
Y IR Y LL Y LL
Y
* re f Y Y ( Y s s ) re f Yt Y s C re B * f CB CB C B , t C B ( C B , s s ) re f s C re R f C C C * ( C R , s s R ) re R R ,t f C sR
第15章 多光谱图像融合技术与 系统
为什么进行图像融合？
为什么进行图像融合？
为什么进行图像融合？
为什么进行图像融合？
为什么进行图像融合？
为什么进行图像融合？
多光谱图像融合的概念
冗余信息
ຫໍສະໝຸດ Baidu
图像传感器A
图像传感器B
互补信息

多光谱图像融合是为了克服单一光谱成像系统 图像信息不够丰富的缺点，利用不同光谱图像 的冗余特性和互补特性重新进行信息组合，获 得能反映各种光谱特点的图像的过程。
基于小波变换
融合结果
4. 彩色图像融合
(1) 直接映射法 (2) TNO融合法 (3)MIT融合法 (4) 基于空间色彩传递的图像融合方法 (5)基于空间色彩传递的图像融合方法

直接映射法
红外图像送入R通道，将可见光图像分别 送入G和B通道。 优点：算法简单，利于实时处理 缺点：融合图像的色彩不自然
融合图像F分解层
图像B分解层
Laplace金字塔

（d）由Laplace金字塔重建图像
G N LP N , G l LP l G l 1 , 当 l N时 当0 l N时
3. 基于小波变换的图像融合算法
A 图像
小波 变换
B 图像
融合 算法
小波 变换
小波 融合小 重构 波系数
多光谱图像融合的基本方法
像素级融合 特征级融合 决策级融合

1. 加权融合

设A(x,y)和B(x,y)分别为两幅图像A和B的 像素点，经融合后得到的融合结果图像为 F(x,y)，那么对源图像的像素灰度值加权 融合的过程可以表示为：
F ( x, y ) w A A( x, y ) wB B ( x, y )
H

i j
d k (i, j ) g ( 2 m i ) h ( 2 n j )
V i

j
d k (i, j ) g ( 2 m i ) g ( 2 n j )
D
融合结果

原始微光
原始红外

加权平均
基于Laplace金字塔分解
融合结果

原始微光
原始红外

基于低通比率金字塔分解

（b）由Guass金字塔建立Laplace金字塔
i m j n G l ( i , j ) 4 ( m , n )G l , 2 2 m 2 n 2
2 2

Gl
i m j n , , i m j n G l 2 , 2 2 2 0，

实验结果
实验结果
融合 图像
3. 基于小波变换的图像融合算法

二维图像的小波分解：
C k (i, d kH ( i , V d (i, k D d k (i, j) j) j) j)
C
m n
k 1
(m , n )h (2 m i)h (2 n j) (m , n )h (2 m i) g (2 n j) (m , n ) g (2 m i)h (2 n j) (m , n ) g (2 m i) g (2 n j)
1 3 l 0 0 0 1 6 0 0 0 1 2
1 1 1
1 1 1
1 2 0
L M S

基于

空间色彩传递的图像融合方法

Laplace金字塔
图像A 塔形 分解 融合 处理
图像F
图像B 塔形 分解 配准后的源图像
融合 处理
逆塔形 融合 处理 融合后的拉普拉斯金 字塔 变换 融合后图 像
图像的拉普拉斯金字塔
Laplace金字塔

（a）对图像进行Guass金字塔分解

设源图像G0为高斯金字塔的底层（第0层）， 则高斯金字塔的第Gl层图像为：
c AB X k max 1
A

max
2. 基于金字塔分解的图像融合算法
基于金字塔分解的图像融合算法的融合过 程是在不同尺度、不同空间分辨率和不同 分解层上分别进行的 常用的金字塔分解技术有：Laplace金字 塔、低通比率金字塔、梯度金字塔等