机器视觉第3章 图像融合技术

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息处理的要求远远超出了人脑的综合处理能力。
第3章 图像融合技术
8
ຫໍສະໝຸດ Baidu
数据融合的必要性
20 世纪 70 年代末,多传感器数据融合迅速发展成为 独立 的学科,并在军事、民用领域得到了广泛的应用
代 表 性 的 工 作 : 美 国 的 C3I 系 统 ( command, control, communication and intelligence ),已逐步发展为 C4I 系统 ( command, control, communication, computer and intelligence)和C4ISR(surveillance and recon)
第3章 图像融合技术
4
3.1 信息融合技术概述
信息融合的定义 信息融合的必要性
多传感器数据融合系统的优点
应用领域 信息融合层次的划分 信息融合的结构形式
第3章 图像融合技术
5
信息融合的定义
采用计算机技术按时间序列获得多传感器的观测数 据,在一定准则下进行自动分析、优化综合。获得对被 测对象的一致性解释与描述,进而实现相应的决策和估 计,使系统获得比各组成部分更充分的信息。
识别
决策
传感器N
15

信息融合层次的划分
数据级融合的局限性:
(1)由于需要处理的传感器信息量大,因此处理代价高。 (2)融合操作在信息的最低层进行,由于传感器的原始数据具 有不确定性、不完全性和不稳定性,要求在融合时有较高 的纠错能力。
(3)由于要求各传感器信息之间具有精确到一个像素的配准精 度,故要求传感器信息来自同质传感器。
该定义是军事应用方面的功能性定义。 多个传感器对同一目标进行测量。 重点是融合:联合、相关、组合; 目的:状态估计、身份估计、态势估计、威胁估计。
第3章 图像融合技术
7
数据融合的必要性
随着科学技术的发展,传感器的性能得到很大的提高, 新型的传感器不断涌现,如:复合传感器、生物传感器、 纳米传感器等。 多传感器系统中信息表现形式的特点:多源性、海量信 息、异构信息关系的复杂性、实时性。
多传感器图像融合三级流程
像素级融合在特征提取前进行 特征级融合在属性说明前进行 决策级融合在各传感器数据独立属性说明后进行
第3章 图像融合技术
26
3.2.2 图像融合的三个层次
三种融合方式的主要特点:
融合级 像素级 特征级 融合 层次 低 中 信息 损失 小 中 容错 性 差 中 抗干扰 能力 差 中 精 度 高 中 实时 性 差 中 计算 量 大 中
第3章 图像融合技术
本章内容
3.1 信息融合技术概述
3.2 图像融合 3.3 像素级图像融合方法 3.4 融合与配准
第3章 图像融合技术
2
3.1 信息融合技术概述
信息融合源于仿生学 人和动物:感官具有不同的度量特征,可测量出不同 空间范围内发生的各种物理现象( 自适应的、复杂的 ), 将各种信息转换为对环境有价值的解释。
云时代和大数据:近年来,随着互联网、无线传感网络 和物联网等技术的发展,形成了海量数据(massive data)大数据(big data),数据融合进入了新的发展阶段。
大数据:通常用来形容大量非结构化和半结构化数据。
第3章 图像融合技术 9
数据融合的必要性
大数据的特点(4V): volume 、variety、value、velocity
识别
决策

传感器N

特征提取
第3章 图像融合技术
17
信息融合层次的划分
特征级融合分为:目标状态信息融合、目标特性融合。
目标状态信息融合
主要应用于多传感器目标跟踪领域。 融合系统首先对传感器数据进行预处理以完成数据配准。 配准后,融合处理主要实现参数相关和状态矢量估计。
目标特性融合
特征层的联合识别。具体的融合方法仍是模式识别的相应 技术,只是在融合前必须先对特征进行相关处理,对特征矢 量进行分类组合。 在模式识别、图像处理和计算机视觉等领域,特征提取和 基于特征的分类问题已被深入研究,有许多方法可以借用。
(1)图像预处理
图像归一化:灰度均衡、重采样、灰度插值…… 图像滤波:对高分辨率图像进行高通滤波,增强图像的色 彩和图像的边缘。 (2)图像配准 相对配准:从同类的多个图像中选择某一波段图像作为参 考图像。 绝对配准:以同一空间坐标系为参考系。
(3)图像融合
第3章 图像融合技术
25
3.2.2 图像融合的三个层次
小波变换法
高通滤波法 Kalman滤波法 回归模型法 参数估计法
聚类分析法
熵法 表决法
模糊集理论法
可靠性理论 逻辑模块法 产生式规则法 粗糙集理论法
第3章 图像融合技术
28
3.2.3 图像融合效果评价
1. 主观评价
(1) 判断图像配准的精度:如果配准不好,融合图像会出现 重影。
(2) 判断融合图像的整体色彩:如果能与天然色彩保持一致, 则融合图像的色彩就真实。
单一传感器只能获得环境或被测对象的部分信息。 多传感器信息经过融合后能够完善地、准确地反映环境 的特征。 信息融合技术从多信息的视角进行处理及综合,得到各 种信息的内在联系和规律,从而剔除无用的、错误的信息, 保留正确的、有用的成分,最终实现信息的优化。 信息融合技术为智能信息处理技术的研究提供了新观念。
这一信息处理过程被称为信息融合。
基础:多传感器 加工对象:多源信息 核心:协调优化和综合处理
第3章 图像融合技术
6
信息融合的定义
其它定义:(如军事领域)
将来自多个传感器和信息源的数据和信息加以联合、 相关、组合,以获得目标的精确位置和身份估计,进而 对战场情况和威胁及其重要程度进行适时的完整评价。
1 NN
g x, y
x 0 y 0
N 1 N 1 x 0 y 0
N 1 N 1
2
(3) 平均灰度梯度:平均梯度较大,图像一般比较清晰。
1 A NN
G x, y G x , y
2 X 2 Y
1/2
(3) 判断融合图像的整体亮度和色彩反差:如果不合适,会 出现蒙雾或斑块等现象。 (4) 判断融合图像的纹理及彩色信息是否丰富:如果有丢失, 则融合图像会显得比较平淡。 (5) 判断融合图像的清晰度。
第3章 图像融合技术 29
3.2.3 图像融合效果评价
2. 基于统计特性的客观评价
(1) 均值 (2) 标准差:较小,表明相邻像素间的对比度较小,图像整 体色调比较单一,可观察到的信息较少。
(4)通信量大。
第3章 图像融合技术
16
信息融合层次的划分
2. 特征级融合
利用从各个传感器原始数据中提取的特征信息,进行 综合分析和处理的中间层次过程。
通常所提取的特征信息应是数据信息的充分表示量或 统计量,据此对多传感器信息进行分类、汇集和综合。
传感器1
特征提取
特征提取
监 测 对 象
传感器2
特 征 融 合
物联网……
第3章 图像融合技术 13
信息融合层次的划分
信息融合层次的划分主要有两种方法。
方法一:按照融合对象的层次不同,将信息融合划分为低 层(数据级或 像素级 )、中层( 特征级 )和高层( 决策 级)。 图像融合
方法二:将传感器集成和数据融合划分为信号级、证据级 和动态级。
C3I系统
根据信息抽象层次,将信息融合分成五级 (1)检测级融合 直接在多传感器的信号检测级进行的融合。 (2)位置级融合 在各单个传感器的输出信号上的融合,既包括时间融合 (状态)也包括空间融合(轨迹)。
第3章 图像融合技术
21
信息融合层次的划分
(3)目标识别级融合
根据检测到的目标属性对目标识别分类。 (4)态势评估融合 在目标识别基础上对整个场景进行分析和评估,将各种目 标、事件的属性和行为结合起来,以描述场景中的活动。 (5)威胁估计融合 态势强调的是状态,而威胁更强调趋势。威胁估计融合不 仅要考虑状态信息还要结合先验知识,获取状态变化的趋 势和事件可能的后果。
数据体量巨大:从TB跃升到PB级别。
1TB(Terabyte,太字节,万亿字节或百万兆字节)=1024GB PB(Petabyte,拍字节或千万亿字节或千T字节),1PB=1,024TB
数据类型繁多 :包括网络日志、视频、图片、地理位置 信息等。 价值密度低 :以视频为例,连续不间断监控过程中,可 能有用的数据仅仅只有一两秒。
处理速度快:与传统数据处理技术有本质不同。
第3章 图像融合技术
10
多传感器数据融合系统的优点
信息融合中的信息种类:
冗余信息:
由多个独立传感器 ( 常为同质 ) 提供的环境中同一特征的多 个信息,或由一个传感器在一段时间内多次测量得到的信息。
互补信息:
由多个独立传感器 ( 常为异质 ) 提供的关于环境信息中不同 特征的信息,将它们综合起来构成更完整的环境描述。
第3章 图像融合技术
12
应用领域
军事领域:战区导弹防御系统、飞行目标跟踪、虚拟战 场、战场监测、士兵机器人、导航……
机器人:制造业机器人、服务机器人、导游机器人、机 械手等…… 工业过程监控:石油勘探、火力发电机组监控、转炉炼 钢(温度和含碳量)、核反应堆…… 农业:食品检测、农作物农药残留量检测、水产养殖、 分拣系统……
第3章 图像融合技术
14
信息融合层次的划分
方法一:以图像融合为例
1. 数据级融合(或像素级融合) 对传感器的原始数据及预处理各阶段上产生的信息分 别进行融合处理。尽可能多地保持原始信息,能够提供 其它两个层次融合所不具有的细微信息。
传感器1
监 测 对 象
传感器2
数 据 融 合
第3章 图像融合技术
特征 提取
决策级







第3章 图像融合技术
27
三种融合方式中常用的一些融合技术和方法
像素级融合方法 加权平均法 金字塔融合法 HIS变换法 PCA变换法 特征级融合方法 加权平均法 贝叶斯法 证据推理法(D-S法) 神经网络法 决策级融合方法 基于知识的融合法 贝叶斯法 证据推理法(D-S法) 神经网络法
第3章 图像融合技术
30
3.2.3 图像融合效果评价
(4) 灰度偏差D:反映融合图像与原始图像间在光谱信息上的 差异。 D 较小,表明融合后的图像较好地保留了原始图 像的灰度信息
第3章 图像融合技术 18
信息融合层次的划分
3. 决策级融合 在信息表示的最高层次上进行融合处理。 不同类型的传感器观测同一个目标,每个传感器在本 地完成预处理、特征抽取、识别或判断,以建立对所观 察目标的初步结论。然后通过相关处理、决策级融合判 决,最终获得联合推断结果,直接为决策提供依据。 决策级融合直接针对具体决策目标,充分利用特征级 融合所得出的各类特征信息,并给出简明直观的结果。
协同信息:
多传感器系统中某个传感器信息的获取必须依赖其他传感 器的信息,这些信息称为协同信息。 协同信息的融合常与各传感器使用的时间顺序有关。
第3章 图像融合技术 11
多传感器数据融合系统的优点
通过多个传感器探测同一区域,可以增强系统的可靠性和 可信度、提高观测的空间分辨率。
通过多个传感器观测不同区域,可以增强系统的空间覆盖 范围。 通过多种类型的传感器观测同一目标,可以增加信息量, 减少模糊度。 优点:提高了系统的可靠性和鲁棒性、扩展了时间或空间的 观测范围、增强了系统的可信度、增强了系统的分辨能力。
决策级融合的优点:实时性最好;在一个或几个传感器失效 时仍能给出最终决策,具有良好的容错性。
第3章 图像融合技术 19
信息融合层次的划分
传感器1 特征提取 特征提取 识别 识别
监 测 对 象
传感器2
决 策 融 合
决策


传感器N

特征提取
识别
第3章 图像融合技术
20
信息融合层次的划分
方法二:以C3I系统为例
智能型机器人可以具有视觉、听觉、嗅觉、味觉、触 觉(痛觉)、热觉(温觉)、力觉、滑动觉、接近觉等传感器。 它们感知的是同一环境下不同侧面的信息。 信息融合—数据融合、传感器数据融合 是对多种信息的获取、表示及其内在联系进行综合处 理和优化的技术。
第3章 图像融合技术 3
3.1 信息融合技术概述
第3章 图像融合技术 22
信息融合的结构形式
三种结构形式:串联、并联和混合融合形式。
第3章 图像融合技术
23
3.2 图像融合
3.2.1 图像融合的主要步骤
3.2.2 图像融合的三个层次 3.2.3 图像融合效果评价 3.2.4 像素级融合示例
第3章 图像融合技术
24
3.2.1 图像融合的主要步骤
相关文档
最新文档