第五章光电信息处理技术图像融合

• 救生与反恐定位系统
该产品利用光学陀螺实现视轴稳 定和姿态测量，能够在运动过程 中对目标进行跟踪拍摄和定位， 并形成目标运动轨迹。可广泛地 应用于海上救生，动物监控和保 护，海上缉私，边境、海岸防走 私，反偷渡和缉私。该装置可安 装在救援飞机，警车，考察车或 巡逻艇上。在行进间对目标连续 拍摄摄像，将目标在地理坐标系 的轨迹实时的传输给指挥系统或 合作单位，使其能迅速而有效的 配合。
多源图 像数据
空间 配准
特征 提取
特征 融合
属性 说明
决策级融合是最高水平的融合，首先对每一数据 进行属性说明，然后对其结果加以融合，得到目标 或环境的融合属性说明。优点是具有很强的容错能 力，很好的开放性，处理时间短。
多源图
空
像数据
间
配
准
特
属
属
属性融
征
性
性
合说明
提
说
融
取
明
合
分类
图像
预处理
特征提取
WT方法首先对参与融合的遥感图像数据进行小波 正变换，将图像分解为高频信息和低频信息。分别抽取 来自高空间分辨率影像分解后的高频信息和低空间分辨 率的低频信息进行小波逆变换，生成融合图像。
LL3 HL3 LH3 HH3
LH2
HL2 HH2
LH1
HL1 HH1
20 40 60 80 100 120
20 40 60 80 100120
光电信息处理技术：
• 图像拼接技术 • 电子稳像技术 • 图像融合技术 • 目标跟踪技术 • 目标识别技术
图像融合技术
一、图像融合概述
图像融合就是将不同来源的同一对象的图像数据 进行空间配准，然后采用一定的算法将图像数据中所 含的数据优势或互补性有机地结合起来产生新图像数 据的技术。
这种新数据具有描述所研究对象的较优化的信息 表征，同单一信息源相比，能减少或抑制对被感知对 象或环境解释中存在的多义性、不完全性、不确定性 和误差，最大限度地利用各种信息源提供的信息。
F f t eiwt dt
原因分析:
A、积分运算平滑了突变成分
B、积分核 | eiwt | 1
Fourier变换的不足：
a、不适合处理非线性问题
b、不能反映出随时间变化的频率
c、从中 f t提取 F ，要取无限的时间量
FT 特点 (1) FT 是信号的单域变换。 时域
频域
(2) FT 是信号的全域变换。
像素级融合是一种低水平的融合，就是对空间配准的图 像数据直接融合，在对融合后的图像进行特征提取和属性说 明。
多源图像 数据
空间配准
信息融合
特征提取
属性说明
像素级融合的优点是保留了尽可能多的信息具有最高精 度，缺点是处理数据量大、费时、实时性差，并且要求传感， 其实同质的，即由同类传感器获取的。
特征级融合是一种中等水平的融合。特征融合先是将各 种图像数据进行特征提取，产生特征矢量，然后对这些特征 矢量进行融后，最后，利用融合特征矢量进行属性说明。其 优点是实现了可观的信息压缩，有利于实时处理，并且提供 的特征直接与决策分析相关。其缺点是比像素级融合精度差。
例如，多光谱图像的光谱分辨率较高，但空间分辨率比 较低，即空间的细节表现能力较差；全色光学图像具有高空 间分辨率，但光谱分辨率较差。
（3）图像融合的模型框架与算法 A、层次性
多源图像信息的形式从抽象层次上可分为：像素级、特 征级和决策级。因此，信息融合就可相应地在像素级、特征 级和决策级三个层次上进行，融合的水平依次由低到高。
20 40 60 80 100 120
20 40 60 80 100120
20 40 60 80 100 120
20 40 60 80 100120
三、小波分析
• 小波分析的引入 • 小波函数的特性 • 小波的多尺度分析 • 小波的应用
小波分析的产生
1、提出问题---Fourier分析的尴尬
•2、分析问题---Fourier分析的缺陷
原始全色波段
光谱波段
二、 图像融合的基本原理
图像融合是信息融合的一个重要分支。
（1）信息融合的概念 信息融合又称为多传感器融合，是指利用计算机
技术对多源信息进行协调优化和综合处理，实现优势互 补，以完成所需的决策任务的信息处理过程。
（2）多源遥感图像融合
融合多传感器图像所含的信息，把它们互补性地有机结合 在一起，以提高图像判读的可靠性，提高图像的解译能力， 从而提高数据分类和目标识别的准确性。
F () f (t)e jt dt
f (t) (1 2 ) F()e jt d
FT反映了信号的全域 ( 时、频 ) 特征。
图像分类
应用
像素级图 像融 合
特征级图 像融 合
决策级图 像融 合
图像融合方法
像素级
小波变换法 HIS变换法 PCA变换法 高通滤波法 回归模型法 Kalman滤波法 代数法
特征级
Bayesian法 Dempster-shafer 神经网络法 带权平均法 熵法 聚类分析 表决法
决策级
Bayesian法 Dempster-shafer 神经网络法 可靠性理论 基于知识的融合法 模糊集理论 逻辑模板
常用的融合方法
Fusion Methods
HIS变换
3个波段合成的RGB颜色空间是一个对 物体颜色属性描述系统，而HIS色度空间提取 出物体的亮度I，色度H，饱和度S，它们分别 对应3个波段的平均辐射强度、3个波段的数据 向量和的方向及3个波段等量数据的大小。
小波变换
小波变换（Wavelet transform, WT ）是一种全局 变换，在时间域和频率域同时具有良好的定位能力，对 高频分量采用逐渐精细的时域和空域步长，可以聚焦到 被处理图像的任何细节，从而被誉为“数学显微镜”。
光电稳瞄系统
• 车载稳瞄导航系统
能够实现惯性导航、视轴稳定和远程
目标定位等功能。系统由主机、操控台 和电子箱三部分组成；其中主机安装在 车体上，是一个光电稳定平台，含方位、 俯仰和侧倾三个环架，三个单轴陀螺和 三个加速度组成惯性测量单元（简称 IMU），IMU和摄像机、激光测距机 被安装在稳定平台上；操控台安装在乘 员侧前方，包含显示控制终端和操纵手 柄，图像和导航显示在显控终端上，操 纵台用于调转瞄准线；电子箱安装在车 体后部，包含稳瞄伺服电路和导航解算 电路。三部分拥有各自的计算机，靠通 讯电缆联接。