智能传感器系统多传感器信息融合技术

传感器信息融合的实例
1.机器人中的传感器信息融合
激光测距传感器 装配机械手 力觉传感器 触觉传感器 控制和信 息融合计 算机 视觉传感器 自主移动装配机器人 超声波传感器
多传感器信息融合自主移动装配机器人
2.舰船上的传感器信息融合
行扫描 处理器 直流偏 压AGC 红外探测器
搜索器万向支架
显示 记录
传统的信号采集往往由单一的传感器来完成，即使采 用多个（种）传感器也仅是从多个侧面孤立地反映目 标信息。实际上，在大多数情况下，必须同时处理多 个信号，而这些信号一般又来自多个信号源，即多传 感器。但是多传感器也带来了信息冗余甚至矛盾。所 以必须通过对各种传感器及其观测信息的合理支配与 使用，将其采集的信息依据某种优化准则组合，产生 对观测环境一致性的解释和描述，因此迫切要求对信 息进一步处理。
x1 x 2 X xm
l1 l L 2 l n
v1 v V 2 v n
ຫໍສະໝຸດ BaiduAV 0
1 X （A A) AL
一元线性拟合
回归分析：应用数理统计的方法，对实验数据进行分析 和处理，从而得出反映变量间相互关系的经验公式，也 称回归方程。 线性回归方程（经验公式）的一般形式为：
数据融合的处理形态
复合处理－把几个传感器信息并行地、互补 地组合起来处理。 汇总处理－定义函数，对几个传感器信息进 行归纳得出信息。 融合处理－利用各传感器信息之间或传感器 信息与内部模型之间的相互关系进行处理。 联合处理－通过理解传感器信息相互之间的 关系进行处理
数据融合模型
低层处理 高层处理
第五章 一、多传感器信息融合技术
多传感器信息融合技术
概 述 传感器信息融合的分类和结构 传感器信息融合的一般方法 传感器信息融合的实例
概 述
多传感器信息融合是对来自于不同传感器的信 息进行分析和综合，以产生对被测对象统一的 最佳估计。 研究目标：从工程上实现多个传感器信息处理 的全过程。高度集成、高度融合、高度智能将 成为信息融合系统的发展主线。 信息融合的目的：通过数据组合推导出更多的 信息，得到最佳协同作用效果；即利用多个传 感器共同或联合操作的优势，提高传感系统有 效性，消除单个或少量传感器的局限性。
p( f , d ) p ( f | d ) p( d ) p( f | d ) p( f )
p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数 p(d|f)表示在已知f 的条件下，d关于f的条件概率密度函数 p(d)和p(f)分别表示d和f的边缘分布密度函数 已知d时，要推断f，只须掌握p(f|d)即可，即
传感 功能模型 器1 特 征 提 取 分
参 数 估 计 决
传感 器2
类 识 别
策
传感 器3
目标状态测量 目标属性测量
状态向量 特征、属性
功能模型主要有特征提取、分类、识别、参数估计和 决策，其中特征提取和分类是基础，融合在估计和决 策阶段完成。 融合步骤： 1）低层处理：包括象素级融合和特片级融合，输出的 是状态、特征和属性等； 2）高层处理：决策级融合，输出的是抽象结果。
三、优点
1. 增加了系统的生存能力
2. 扩展了空间覆盖范围
3. 扩展了时间覆盖范围 4. 提高了可信度 5. 降低了信息的模糊度 6. 改善了探测性能 7. 提高了空间分辨率 8. 增加了测量空间的维数
传感器信息融合分类和结构
1、组合：由多个传感器组合成平行或互补方式来 获得多组数据输出的一种处理方法，是一种最基 本的方式，涉及的问题有输出方式的协调、综合 以及传感器的选择。 2、综合：信息优化处理中的一种获得明确信息的 有效方法。 例：在虚拟现实技术中，使用两个分开设置的摄 像机同时拍摄到一个物体的不同侧面的两幅图像， 综合这两幅图像可以复原出一个准确的有立体感 的物体的图像。
传感器1输入
传感器1 传感器1输出 传感器2 传感器2输出 …… 传感器N输入 传感器N
传感器1
传感器2
……
传感器N
信息融合中心
最终融合结果
最终融合结果
结构形式二
传感器1输入
传感器2输入
传感器M输入
传感器1输入
传感器2输入
传感器N输入
传感器1
传感器2
……
传感器M
……
传感器1
传感器2
……
传感器N
初级融合中心1
定义：将经过集成处理的多传感器信息进行合 成，形成一种对外部环境或被测对象某一特征 的表达方式。单一传感器只能获得环境或被测 对象的部分信息段，而多传感器信息经过融合 后能够完善地、准确地反映环境的特征。经过 融合后的传感器信息具有以下特征：信息冗余 性、信息互补性、信息实时性、信息获取的低 成本性。
3、在自动化领域 以各种控制理论为基础，信息融合技术采用模糊控 制、智能控制、进化计算等系统理论，结合生物、经济、 社会、军事等领域的知识，进行定性、定量分析。按照 人脑的功能和原理进行视觉、听觉、触觉、力觉、知觉、 注意、记忆、学习和更高级的认识过程，将空间、时间 的信息进行融合，对数据和信息进行自动解释，对环境 和态势给予判定。目前的控制技术，已从程序控制进入 了建立在信息融合基础上的智能控制。智能控制系统不 仅用于军事，还应用于工厂企业的生产过程控制和产供 销管理、城市建设规划、道路交通管理、商业管理、金 融管理与预测、地质矿产资源管理、环境监测与保护、 粮食作物生长监测、灾害性天气预报及防治等涉及宏观、 微观和社会的各行各业。
传感器信息融合的实例
1. 信息融合的民事应用领域
1）工业过程监视及工业机器人 2）遥感与金融系统 3）空中交通管制与病人照顾系统 4）船舶避碰与交通管制系统 5）生物特征的身份识别
2. 信息融合技术军事上的应用
1）采用多传感器的自主式武器系统和自备式运载器 情报收集系统 2）采用多传感器进行截获、跟踪和指挥制导的火控系统 3）军事力量的指挥和控制站 4）敌情指示和预警系统
p( f | d ) p( d | f ) p( f ) / p(d )
上式为概率论中的Bayes公式，是嵌入约束法的核心。

在数据采集与信号处理系统中， 经常需要多个传感 器从不同的方位测量同一个指标参数， 测得的数据越 完整 越精确， 系统完成复杂任务的能力越强 然而在多 传感器数据采集系统中， 由于传感器所处的方位不同 和传感器自身质量的差异， 以及一些无法控制的随机 因素的作用， 如受到传感器精度传输误差 环境噪声和 人为干扰等因素的影响， 在实际中各传感器所测定的 参数必定会有偏差 这就存在如何审定被测参数结果的 问题， 其实这就是利用多个传感器对同一目标进行检 测， 并运用合理的算法融合多个传感器的观测数据， 可以获得比单个传感器更加可靠的结果。
y b0 b1x1 b2 x2 bn xn
一元线性回归方程：
y b0 b1 x
Example
X:15.0 30.0 40.0 Y:75.0 80.0 82.0
用一元线性回归建立x与 y的关系。
L AX V
1 15.0 A 1 30.0 1 40.0
3、融合：当将传感器数据组之间进行相关或将 传感器数据与系统内部的知识模型进行相关， 而产生信息的一个新的表达式。 4、相关：通过处理传感器信息获得某些结果， 不仅需要单项信息处理，而且需要通过相关来 进行处理，获悉传感器数据组之间的关系，从 而得到正确信息，剔除无用和错误的信息。 相关处理的目的：对识别、预测、学习和记忆 等过程的信息进行综合和优化。
2、在计算机科学 领域 2、在计算机科学领域：
在计算机科学中，目前正开展着并行数据库、主 动数据库、多数据库的研究。信息融合要求系统能 适应变化的外部世界，因此，空间、时间数据库的 概念应运而生，为数据融合提供了保障。空间意味 着不同种类的数据来自于不同的空间地点，时间意 味着数据库能随时间的变化适应客观环境的相应变 化。信息融合处理过程要求有相应的数据库原理和 结构，以便融合随时间、空间变化了的数据。在信 息融合的思想下，提出的空间、时间数据库，是计 算机科学的一个重要的研究方向。
识别：观测结果形成一个N维的特征向量。将实测特征 向量与已知类型特征进行比较，确定目标类别。识别 是建立在已知目标类别先验知识的基础上。 参数估计：即目标跟踪。 决策：根据被观测目标的行为、企图、动向等制定应 对策略和措施。
结构形式一
传感器1输入 传感器2输入 传感器N输入
传感器2输入
Bayes估计是融合静态环境中多传感器低层数据的 一种常用方法。其信息描述为概率分布，适用于具有 可加高斯噪声的不确定性信息。假定完成任务所需的 有关环境的特征物用向量f表示，通过传感器获得的数 据信息用向量d来表示，d和f都可看作是随机向量。信 息融合的任务就是由数据d推导和估计环境f。假设p(f， d)为随机向量f和d的联合概率分布密度函数，则
共享 存储器
惯性导 航系统
图像摄像机
人机 界面
数据融合 处理器
图像 处理
图像摄像机 万向支架
环境控制
传感器
海军舰船传感器信息融合系统
最小二乘法与回归分析
1、最小二乘法
误差方程：
L AX V
a11 a12 a a A 21 22 a n1 a n 2
a1m a2m a nm
y b0 b1 x
75.0 L 80.0 82.0
b0 X b1
X （AA)1 AL
xt1, xt 2 ,
y1 y Y 2 yN
多元线性拟合 , xtM ; yt
1 x11 x12 1 x x22 21 X 1 xN 1 xN 2 x1M x2 M xNM
二、意义及应用
1、在信息电子学领域 信息融合技术的实现和发展以信息电子学的 原理、方法、技术为基础。信息融合系统要 采用多种传感器收集各种信息，包括声、光、 电、运动、视觉、触觉、力觉以及语言文字 等。信息融合技术中的分布式信息处理结构 通过无线网络、有线网络，智能网络，宽带 智能综合数字网络等汇集信息，传给融合中 心进行融合。
二、信息融合的结构
信息融合的结构分为串联和并联两种 C1，C2，…，Cn表示n个传感器 S1,S2,…，Sn表示来自各个传感器信息融合中心的数据 y1，y2，…，yn表示融合中心。
C1
Y1 C1 C2
…
Cn
S1
Y2 S2 Yn Sn (a) 串联
C2
Cn
…
Y
S (b) 并联
传感器信息融合的一般方法
特征提取：对传感器的观测值进行时间校准和空间坐 标变换，形成统一的时间和空间参考点； 分类：数据关联。判别不同时间与空间的数据否来自 同一个被观测目标；将集到的多个传感器的新观测值 与过去的观测值进行相关处理（要求来自同一个观测 目标。通过分类可以得出每一个传感器对观测区域内 每一个目标在某一时刻的观测值
……
初级融合中心L
次级融合中心
最终融合结果
除了自然(物理)信息外，信息融合技术还融合社 会类信息，以语言文字为代表，涉及到大规模 汉语资料库、语言知识的获取理论与方法、机 器翻译、自然语言解释与处理技术等，信息融 合采用分形、混沌、模糊推理、人工神经网络 等数学和物理的理论及方法。它的发展方向是 对非线性、复杂环境因素的不同性质的信息进 行综合、相关，从各个不同的角度去观察、探 测世界。
一、嵌入约束法
由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境 按照某种映射关系形成的像，信息融合就是通过像求解原像，即对客观环境 加以了解。用数学语言描述就是所有传感器的全部信息，也只能描述环境的 某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一 的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条 件，使问题能有惟一的解。 通俗地说：即是通过把被测对象的观测值与被选假设进行比较，以确定哪个 假设能最佳的描述观测值。 嵌入约束法最基本的方法：Bayes估计和卡尔曼滤波