中科大现代信号处理技术课件——data fusion

课程简介-数据融合
D-S理论
数据融合的数学基础 Kalman滤波 概率数据关联 数据融合的应用
课程简介-小波分析
• 小波分析: Wavelet Analysis（20学时）
预备知识 连续小波变换 离散小波变换 小波框架 多分辨率分析
正交小波变换 Mallat算法
WA在信号处理中的应用
参考资料
• 科学出版社：信息融合（2007） • 电子工业出版社：多传感器信息融合及其 应用（2010） • 清华大学出版社：多源信息融合（第二版） （2010） • 相关论文
无人驾驶汽车
• 法国公司INRIA花费十年心血，于2009年5月研制出无人驾驶汽车 Cycab自动驾驶（GPS定位误差小于1米） • 德国大众 • 中国自主车大赛
国防科技大学自主研制的红旗 HQ3无人车
• 7月14日首次完成了从长沙到武汉286公里的高速全程无 人驾驶实验，创造了我国自主研制的无人车在复杂交通状 况下自主驾驶的新纪录，标志着我国无人车在复杂环境识 别、智能行为决策和控制等方面实现了新的技术突破，达 到世界先进水平 • 实验中，无人车自主超车67次，途遇复杂天气，部分路段 有雾，在咸宁还遭逢降雨 • 一辆高速行驶的汽车上，“司机”不扶方向盘还不时扭头 跟车上其他人聊天，全然不看前方的路……当这样一辆车 从你身边驶过，你肯定会大吃一惊，不敢相信自己眼睛。 然而，这一幕7月14日从长沙到武汉的高速公路上已经真 实上演
• • • • • •
机器人舞蹈
qiro机器人
20个机器人Nao在上海世博会法国馆完美演出了长达10分钟的全自主集体 舞蹈表演，创造了类人机器人历史性一幕，这也是世界上第一次大规模机 器人同时跳“集体舞”。机器人Nao的表演分三个音乐片段，其中包括法 国作曲家莫里斯拉威尔的著名交响作品Bolero，完美展示了Nao完成稳定、 灵活并有节奏的动作的能力。这也是机器人史上第一次在艺术领域达到饱 含情感并与观众产生共鸣的高度。由类人机器人领域的世界顶尖公司 Aldebaran Robotics研发
第一章 多传感器数据融合概述
• 数据融合源于仿生学 人和动物：感官具有不同的度量特征，可测 量出不同空间范围内发生的各种物理现象 （自适应的复杂的），将各种信息转换为 对环境有价值的解释 • 数据融合—信息融合
一、数据融合的定义
• 定义1：（llinas & hall）
利用计算机技术对按时序获得的若干传感器的观测信息在 一定准则下加以自动分析、优化综合以完成所需要的决策 和估计任务而进行的信息处理过程
4、公共安全
• • 毒品检测 气敏、红外、微波 火灾监测 烟雾传感器、二氧化碳传感器 瓦斯监测 远程医疗 X射线、核磁共振、超声波→肿瘤定位 智能材料 飞机机翼（有限元分析→表面应力计算） 微机械手（压电陶瓷制备→温度发生形变：温度控制） 刹车系统
• •
•
5、环境污染监测
• 环境污染现状 • 大气污染监测 • 环境水污染监测 检测指标 水质建模、水质综合评 判 • 汽车尾气排放检测
云时代和大数据
• 近年来，随着互联网、无线传感网络和物联网等技术的发 展，形成了海量数据(massive data)-大数据(big data) ，数据融合进入了新的发展阶段 • 大数据 通常用来形容所创造的大量非结构化和半结构化数据 • 大数据的特点（4V） 数据体量巨大(volume): 从TB跃升到PB级别 数据类型繁多(variety): 包括网络日志、视频、图片、 地理位置 信息等 价值密度低(value): 以视频为例，连续不间断监控过程 中，可能有用的数据仅仅有一两秒 处理速度快(velocity):1秒定律，与传统的数据处理技术 有本质的不同
无土栽培
精准农业
• 食品检测 • 农作物农药残留量检测 酶抑制法→通过光谱分析→确定有害物质 • 水产养殖 • 分拣系统 8、其他 • 电子鼻(electronic nose) • 电子舌(electronic tongue)
9、物联网
• 物联网（The internet of things） 物联网是新一代信息技术的重要组成部分 是物物相连的互联网，其含义包括： 1. 物联网的核心和基础仍然是互联网，是在互联网基 础上的延伸和扩展的网络 2. 其用户端延伸和扩展到了任何物品与物品之间，进 行信息交换和通信 • 物联网的定义 是通过射频识别（RFID）、红外感应器、GPS、激光 扫描器等信息传感设备，按约定的协议，把任何物品 与互联网相连接，进行信息交换和通信，以实现对物 品的智能化识别、定位、跟踪、监控和管理的一种网 络 • 信息融合是物联网的核心技术
光 线 系 统 导航星库 导航参数输出
视频信号预处理 及星提取模块
星图识别 及跟踪模块
导航参数（位置、 姿态）解算模块
（二）民用领域
1、机器人
• • 传感器包括：摄像机、声纳、陀螺仪、激光测距仪等 pioneer、月球车、六足机器人（俄罗斯）、火星探测 车 制造业机器人 服务机器人 导游机器人 机械手 Robotcup 路径规划
2010年七大水系的408个重点监测断面
I~III类水 IV~V类水 劣V类水
59.6%
16.4% 24%
6、智能交通
• 空中交通：空中交通管制系统 在雷达网的监视、引导和管理下进行工作，多雷达融合，通过 二次雷达识别各种类型的飞机、确定民航机航班号、飞行状态， 且与一次雷达进行配对 导航设备： 监视和控制设备：修正航线偏离、防止飞机相撞，并调度飞机 流量； 通信设备、调度人员 • 城市交通：摄像、航拍、地感线圈、微波、雷达、地磁传感器、 视频、FCD • 轨道交通
相互关系分析： 多传感器—基础 多源信息—加工对象 协调优化和综合处理—核心 • 定义2：（军事领域）是对来自多传感器的数据进行多级 别、多方面、多层次的处理，从而产生新的有意义的信息 • 定义3：（综合定义）指对来自不同知识源和传感器采集 的数据进行综合处理，从而得出更加准确、可靠的结论
• 融合被多领域频繁应用、滥用，由于所研 究内容的广泛性和多样性造成了统一定义 较为困难 • 思考：定义的作用？
• 20世纪70年代末，多传感器数据融合迅速发展→ 成为独立的学科，并在军事、民用领域得到了广 泛的应用 • 具有代表性的工作： 美国的C3I系统（command, control, communication and intelligence） 目前已经发展至C4I系统（command, control, communication, computer and intelligence） 和C4ISR(surveillance and recon)
二、数据融合的必要性
• 随着科学技术的发展，传感器的性能得到很大的 提高，新型的传感器不断涌现，如 复合传感器、生物传感器、纳米传感器等 • 多传感器系统中信息表现形式 多源性 信息数量的海量 异构信息关系的复杂性 实时性 • 信息处理的要求远远超出了人脑的综合处理能力
• 军事需求：随着新型武器（精确制导、远程打击等）的 出现→战场范围扩大（五维空间）→必须应用多传感器系 统：微波、毫米波、电视、红外、激光、电子支援措施 （ESM），以及电子情报技术→提供观测数据→优化综合 →实现： 实时发现目标 获取目标状态估计 提供火力控制、精确制导、电子对 识别目标属性 抗、作战模式和辅助决策等作战信息 分析行为意图 态势评估 威胁分析
• 飞行目标跟踪
• 虚拟战场
科索沃虚拟战场
• 战场监测 • 士兵机器人
• 惯性导航 惯性导航系统是利用惯性元件来感测航行体的运动加速度，经 过积分计算，从而解算出导航参数来确定航行体的位置。惯性 导航系统可以连续给出载体的航向、姿态、速度、位置等导航 参数。具有隐蔽性好、抗干扰性强、能全天候工作等优点，但 其导航需要一段对准时间，存在“漂移”现象，误差随时间积 累，长时间工作会产生较大的积累误差 • 星图导航 天文导航系统的航向精度在现有导航设备中是最高的，可为武 器系统提供精确的位置、航向和姿态信息
车路协同
• 车路协同系统主要包含智能车辆、车车通信（Vehicle to Vehicle, V2V）、车路通信（Vehicle to Infrastructure, V2I）、车路协同控制和微观仿真等， 它显著提高道路基础设施的使用效率道路，大大降低交通 事故、延误和环境污染
CVIS展望图
7、农业
• 1998 在美国成立了国际信息融合学会ISIF，每年举行一 次学术会议 • 专著 LLINAS&HALL: multi-sensor data fusion HALL: mathematical techniques in multi-sensor data fusion • 学术期刊 IEEE sensors journal IEEE system, man and cybernetics Information fusion Information science Sensor and actuator A Sensor and actuator B （二）国内
课程简介
多传感器数据 融合 现代信号处理 技术及应用 小波分析
课程简介-数据融合
数据融合概述 数据融合功能模型 数据融合模型 数据融合结构模型 Agent模型
Байду номын сангаас 课程简介-数据融合
Beyas融合规则 分布式检测与数据融合 Neyman-Pearson融合规则 K/N融合规则 串行结构融合规则 异步传输融合规则 带反馈并行融合规则 模糊先验概率和代价融合规则 融合系统的性能评估
三、数据融合的目标
• 目标 基于各传感器分离观测信息，通过对信息 的优化组合导出更多的有效信息 • 本质目标 利用多传感器共同操作的优势，提高整个 传感系统的有效性
四、多传感器数据融合系统的优点
冗余信息（增强了可靠性）、互补信息 （扩展了单传感器的性能） 提高了系统的可靠性和鲁棒性 扩展了时间或空间的观测范围 增强了系统的可信度 增强了系统的分辨能力
星球车
勇气号火星车
好奇号火星车
2、工业过程监控
•
• • • •
识别引起系统状况超出正常运行范围的故障条 件→触发报警器 石油勘探 火力发电（发电机组监控） 转炉炼钢（温度和含碳量） 核反应堆
3、遥感图像融合处理
• 主要对地面目标或实体进行监视、识别与定位，使用的传 感器主要为合成孔径雷达，在多源图像进行融合时，要利 用像素级配准 • 通过高空间分辨率全色图像和低光谱分辨率图像的融合， 得到高空间分辨率和高光谱分辨率的图像，融合多波段和 多时段的遥感图像来提高分类的准确性。 • 采用合成孔径雷达、卫星遥感等对地面进行监视，以识别 地貌、气象模式、矿产、植物生长（农作物种植面积和产 量预测）、环境条件（省气象局-火灾）和威胁状况（原 油泄漏、辐射泄漏等）→对物理现象、事件进行定位、识 别和解释。
体系结构
信息融合是物联网的核心技术之一
环境对象 控制机制
Internet 传感器 通信 （数据融合） 云平台 智能信息处理 （数据融合）
用户 无线传感网络
五、多传感器数据融合研究现状
自20世纪70年代末以来，MSDF受到了各国学术界、工业界和军届的广 泛关注，成为研究热点 （一）国外 • 美国将MSDF技术列为90年代重点研发的二十项关键技术之一，A类， 发展C4I系统，经费投资数亿美元 • 学术方面： 87年起，美三军每年召开一次数据融合学术会议 ，出版SPIE专集 • IEEE 94年首次举办智能系统多传感器融合与集成会议MFI94，MFI96， MFI99，MFI01（德国） • IEEE系统和控制论会议 • IEEE航空航天与电子系统会议 • IEEE自动控制会议 • IEEE C3MIS会议
• • • •
多传感器数据融合与经典信号处理 方法的区别
• 本质上，关键在于数据融合所处理的多传 感器信息具有更加复杂的形式，而且在不 同的信息层上出现，包括数据、特征和决 策层
五、多传感器数据融合应用领域
• （一）、军事领域 TMD：战区导弹防御系统 （theater missile defense system） C4ISR