(完整版)多传感器数据融合1

电阻变化量
由半导体材料制成的物性性传感器基本是 敏感元件与转换元件二合一。
直接能将被测量转换为电量输出。 压电传感器、光电池、热敏电阻等。
7
传感器的普遍性
8
传感器的主要应用
需要量
111 110 103
111
93
81
78
76
70
55
59 61
47
61 47
36
27
34 31 31
26 21 24 20 14
BatesCarey LLP
28
WHO WILL MAKE AVs?
Technological and Idea Innovators:
Google Amazon Uber Apple Alibaba/Baidu
BatesCarey LLP
29
WHO WILL MAKE AVs?
Components manufacturers:
1973年美国声纳信息融合研究
现代化战争的警钟
我国首次数据融合技术专题会议
1995年
目前
位置估计和身份识别
在无人驾驶汽车上的应用
WHO WILL MAKE AVs?
Car manufacturers:
GM(通用汽车公司) Ford VW-Audi Volvo Nissan Toyota Daimler AG(戴姆勒股份公司) Tesla SAIC Motors (Shanghai Auto. Ind. Corp.)上汽集团
BatesCarey LLP
31
Google driver-free cars
GOOGLE SELF-DRIVING CARS
HOW DOES IT WORK?
Ultra-precise GPS fixes Scanner Google translate Lane departure
❖ 刀具磨损检测：融合声音、振动和电机电流传感器信息， 将磨损数据分成无-低-中-高磨损，模糊逻辑规则+最小近 邻算法->决策
❖ 混凝土结构的无损探伤：结合超声波和冲击回波测试
❖ 3）其他方面：身份验证、燃气轮机动力装置、风 洞流量测量、矿产探测、军事方面等
数据融合技术发展
海湾战争
20世纪 70年代
电信号
传感器的组成
敏感器件的作用是感受被测物理量；
转换元件是对信号进行转换输出。
辅助器件则是对输出的电信号进行放 大、阻抗匹配，以便于后续仪表接入。
被测信息 敏感元件
转换元件
输出信息 信号调节电路
辅助电路
传感器组成框图
6 智能信息处理技术
应变式压力传感器
压力 弹性膜片
应变 电阻应变片
敏感元件
转换元件
The Technology of the Car
Anti-Lock Brakes Electronic Stability control Adaptive cruise control Lane-departure warning system Self parking Automated guided vehicle systems Lidar-Systems(with google cars) or
❖ 故障诊断系统中使用多传感器技术进行多种特征量的监测 (如振动、温度、压力、流量等)，并对这些传感器的信息 进行融合，以提高故障定位的准确性和可靠性。
❖ 对于来自无源电子支援测量、红外、声学、运动控测器、 火与水探测器等各种信息源的数据融合，可以用于商店和 家庭的防盗防火。军事应用领域开发的一些复杂的数据融 合应用同样可以应用于民用部门的城市规划、资源管理、 污染监测和分析以及气候、作物和地质分析，以保证在不 同机关和部门之间实现有效的信息共享
人与传感器
人的感觉器官与对应的传感器： 眼——— 光敏传感器 耳——— 声敏传感器 鼻——— 气敏传感器 舌——— 味觉传感器 皮肤—— 压敏、热敏、湿敏传感器
4
4
智能信息处理技术
定义
传感器就是能感知外界信息并能 按一定规律将这些信息转换成可用信号 的器件或装置。如下图所示:
非电信息
5 智能信息处理技术
参考资料
• 科学出版社：信息融合（2007） • 电子工业出版社：多传感器信息融合及其
应用（2010） • 清华大学出版社：多源信息融合（第二版）
（2010） • 方崇智、萧德云编著，《过程辨识》，清
华大学出版社，北京，1988 • 相关论文 （Google Scholar）
第一章 概述
1
多传感器问题的引入
Cruise Automated Systems(Audi) Infrared cameras.
Types of Algorithms
The combination of: 3-D imaging with multiple 1064 nm lasers. Edge-Detection Algorithm Motion-Detection algorithm Tracking algorithm
多传感器问题的引入
多传感器 融合系统
非关联测量项目
测量不同目标或对同 一目标的不同参数进 行独立测量。
关联的测量项目
利用多个传感器对同 一目标的相同或不同 项目进行测量，综合 测量结果用于分析目 标特性。
多传感器问题的引入
为什么要采用多个传感器测量同一目标参数？
环境复杂
目标复杂
可靠性
复杂的电磁环境 使检测的目标信 号淹没在大量噪 声及不相关信号 与杂波中。
当检测对象为多 目标或快速机动 目标时，单一传 感器测量困难。
当单一传感器失 效或传感器的可 靠性有待提高时 采用多传感器系 统。
数据融合的定义
❖ 数据融合技术，包括对各种信息源给出的有用信息的采集 、传输、综合(integration)、过滤、相关(data association)及合成(generation)，以便辅助人们进行态 势/环境判定、规划、探测、验证、诊断
Bosch 博世 Continental 德国大陆集团 Delphi 德尔菲法
BatesCarey LLP
30
WHO WILL MAKE AVs?
Partnerships:
Carnegie Mellon and Cadillac SRX (Pittsburgh, PA) SAIC and Alibaba (China) NASA and Nissan (CA) Ford/State Farm/University of Michigan
❖ 我国“八五”规划亦已把数据融合技术列为发展计算机技 术的关键技术之一
一些数据融合技术的应用例子
1、军用系统: 航迹预测、导弹制导、无人机/车侦察与攻击等 2、非军事领域：
智能机器人、水下物体探测、收割机械的自动化、工业装配线、 信息高速公路系统、多媒体技术和虚拟现实技术、辅助医疗检测 和诊断等领域。
warning Lane keep assist Blind spot detection
Autonomous Vehicles Defined
Vehicle that get from one point to another point without human interaction.
10
全自动洗衣机中的传感器：衣物重量传感器，衣 质传感器，水温传感器，水质传感器，透光率光 传感器(洗净度) 液位传感器，电阻传感器(衣物烘 11 干检测)。
PC机中的测试技术应用
鼠标:光电位移传感器
12
摄象头:CCD传感器
多传感器问题的引入
响尾蛇捕食： visual and infrared (IR) information
数据融合技术的应用（军事应用）
❖ 军事上，数据融合技术为先进的作战管理系统提供了重要 的数据处理技术基础。数据融合在多信息源、多平台和多 用户系统内起着重要的处理和协调作用，保证了数据处理 系统各单元与汇集中心间的连通性与及时通信，而且使原 来由军事操作人员和情报分析人员完成的许多功能均由数 据处理系统快速、准确、有效地自动完成。
❖ 数据融合(信息融合)的基本原理是：充分利用传感器资源 ．通过对各种传感器及人工观测信息的合理支配与使用． 将各种传感器在空间和时间上的互补与冗余信息，依据某 种优化准则或算法组合，产生对观测对象的一致性解释和 描述。其目标是基于各传感器检测信息分解人工观测信息 ．通过对信息的优化组合来导出更多的有效信息。
❖ 大量新的作战技术的发展迫切需要数据融合技术的应用和 支持。如现代作战原则强调纵深攻击和遮断能力，要求能 描述目标位置、运动及其企图的信息，这已超过了使用的 常规传感器的性能水平。
❖ 不少数据融合技术的研究成果和实用系统已在1991年的 海湾战争中得到实战验证
数据融合技术的应用（民用）
❖ 在自动化领域，自动化制造过程中的实时过程控制、传感 器控制元件、工作站以及机器人和操作装置控制等均离不 开数据融合技术的应用。
图源：D.L. Hall and J. Llinas, ‘‘An introduction to multisensor
data fusion’’
多传感器问题的引入
近几十年，科学工程技术领域：目标跟踪例子(视频监控)
Sensor fusion means the combination of sensory data or data derived from sensory data, such that the resulting information is better than it would be if these sensors were used individually
多传感器数据融合的定义
❖ 功能定义：
将来自多个传感器和信息源的数据和信息加以联合、 相关、组合，以获得对目标精确的位置估计、身份估 计、以及对战场情况和威胁及其重要程度进行适时的 完整评价。
❖ 该定义的重点：
▪该定义是军事应用方面的功能性定义； ▪多个传感器对同一目标进行测量； ▪重点是融合：联合、相关、组合； ▪目的：状态估计、身份估计、态势估计、威胁估计。
❖ 1）移动机器人：多传感器测量自身位姿、速度、障碍物位 置、地面变化等。通过分布式融合方式，提高系统可靠性 和模块化。
NASA火星车：火星表面建图与导航，岩石监测。5个激光雷达， 2 个CCD(Charge-coupled device)相机检测岩石，加速度 计等组成
❖ 2）工业应用：
❖ 基于神经网络的传感器融合方案估计、预测和控制在线表 面抛光；
信 电 科 设 交 输 机 机 家 照 汽 飞 船 气 海 环 医 防 光 热 机 土 农 货食
息 信 技 备 通 电 床 器 用 相 车 机 舶 象 洋 境 疗 火 能 能 械 木 林 币品
处电测控控系 人电机
污
利利能建 金
理话试制制统
器
染
用用利筑 融
用
9
电பைடு நூலகம்警察
胶片式“电子警察” 、数码式“电子警察” 、视频式“电 子警察”；压力或磁电传感器，两个脉冲信号，触发拍照系 统进行拍照
2
数据融合的定义
3
数据融合的应用
4
数据融合技术发展
5
多传感器数据融合研究现状
6
多传感器数据融合方法及研究方向
多传感器数据融合问题的引入
多传感器数据融合？一个例子
自然界其他动 物对客观事物 的认知过程
The sixth sense？
数据融合能 力不断演化
Makes decisions about her or his immediate present and near future actions！
数据融合的定义
❖ 技术定义：
充分利用不同时间与空间的多传感器数据资源，采用 计算机技术按时间序列获得多传感器的观测数据，在 一定准则下进行分析、综合、支配和使用。获得对被 测对象的一致性解释与描述，进而实现相应的决策和 估计，使系统获得比它各组成部分更为充分的信息。
❖ 该定义的重点：
▪方法：分析、综合、支配、使用； ▪目的：一致性解释与描述、更为充分的信息。
Implement a number of well placed sensors that detect different things such as other vehicles, people, traffic lights, and movement of other vehicles
红外 线感 知
视
觉
红外制导武器(导弹的弹头感知敌武器的红外热源)：
感
喷气机的发动机尾喷口，高速飞行时飞机的机头与空气剧烈摩
知
擦产生的热空气团，海军舰艇的烟囱和陆军车辆的发动机
。
13.1 多传感器数据融合概述
应用简例 多传感器系统可以用 于地球环境监测。主 要应用于对地面的监 视、以便识别和监视 地貌、气象模式、矿 产资源，植物生长、 环境条件和威胁情况 (如原油泄漏、辐射 泄漏等) 如右图所示