多传感器数据融合技术

4.4 神经网络方法
一个人工神经网络(AN) 由多层处理单元或节 点组成, 可以用各种方法互联，图6 表示一个具 有3层节点的AN , 输入向量是与目标有关的测量 参数集, 输入的数据向量经过AN 非线性变换, 得 到一个输出向量, 输出向量可能是目标身份。 这样一种变换能够产生从数据到标识分类的 映射, 也就把多传感器的数据变换为一个实体的 联合标识, 这是一种特有的并行学习方式, 完全 不同于传统的基于统计理论的数据融合法。
融合方法 运行环境 信息类型 信息表示 不确定性 融合技术 适用范围
系统模型 低层数据 滤波 融合 贝叶斯估 高层数据 计 融合 高层数据 融合
概率分布 累加噪声 极值决策 命题 命题 隶属度 逻辑推理 逻辑推理
高层数据 融合
高层数据 融合
神经元网 神经元输 神经元网 动、静态 冗余互补 学习误差 低P高层 络 入 络 产生式规 则 静态 冗余互补 命题 置信因子 逻辑推理 高层数据 融合
数据融合中心 最终结果 图2 并联融合方式
传感器n
最终结果 图1 串联融合方式
传感器1
传感器2
传感器n
初级融合中心1
初级融合中心2
二级融合中心
最终结果
图3 混合融合方式
3.2 功能模型
传感器 1
·探测
数 据 校 准
数 据 相 关
状态 估计
状态向量 行 动 估 计
态势高层估计 ·行为 ·企图 ·动向
预处理器 预处理器 预处理器
融合 处理器 *关联 *相关 *航迹 *估计 *分类
武器控制
显示与指 挥控制
态势数 据库
控制计算机 *态势估计 *响应管理 图8 功能模型
预处理器 ：对同类传感器的数据进行融合；
时间和空间配准：为多传感器提供统一参
照； 信息融合处理器：将测量参数进行合并， 提高目标的分类及态势估计的准确性； 态势数据库：存储实时或历史态势数据； 控制计算机：对目标分类、进行态势估计， 并对信息源的使用进行协调； 显示与控制：显示融合与评估的结果。
①对多传感器的相关观测结果进行验证、分 析、补充、取舍、修改和状态跟踪估计。 ②对新发现的不相关观测结果进行分析和综 合。 ③生成综合态势, 并实时地根据多传感器观 测结果通过数据融合计算, 对综合态势进行 修改。
3、数据融合系统的结构及功能模型
3.1 结构
传感器1 传感器1 传感器2 传感器n
传感器2
5.2、飞行目标跟踪
虚拟战场
科索沃虚拟战场

战场监测 士兵机器人
惯性导航 惯性导航系统是利用惯性元件来感测航行体的运动加速度， 经过积分计算，从而解算出导航参数来确定航行体的位置。 惯性导航系统可以连续给出载体的航向、姿态、速度、位 置等导航参数。具有隐蔽性好、抗干扰性强、能全天候工 作等优点，但其导航需要一段对准时间，存在“漂移”现 象，误差随时间积累，长时间工作会产生较大的积累误差 星图导航 天文导航系统的航向精度在现有导航设备中是最高的，可 为武器系统提供精确的位置、航向和姿态信息
1.4 特点
1.生存能力强； 2.扩展了空间覆盖范围； 3.扩展了时间的覆盖范围； 4.提高了可信度； 5.降低了信息的模糊度； 6.改进了探测性能； 7.提高了空间分辨率； 8.增加了测量维数；
2、基本原理、融合过程及关键技术
2.1 基本原理 多传感器数据融合就像人脑综合处理信息一样,其基本 原理就是充分利用多传感器资源，通过对这些传感器及观测 信息的合理支配和使用，把多传感器在空间或时间上的冗余 或互补信息依据某种准则进行组合，以获得被测对象的一致 性解释或描述。 数据融合的目的是通过数据信息组合而不是出现在输入 数据中的任何个别信息，推导出更多的信息，得到最佳协同 作用的结果。也就是利用多个传感器共同或联合操作的优势， 提高传感器系统的有效性，消除单个或少量传感器的局限性。 在多传感器数据融合系统中，各种传感器的数据可以具 有不同的特征，可能是实时的或非实时的、模糊的或确定的、 互相支持的或互补的，也可能是互相矛盾或竞争的。
4.2 D-S (Dempster-Shafer) 证据推理法
是贝叶斯推理的扩充, 其3个基本要点是: 基 本概率赋值函数mi 、信任函数Beli 和似然函数 Plsi 。D-S 方法的推理结构是自下而上的,分3级, 推理结构如图5所示
目标ID合成
推断目标知识
推断目标知识
推断目标知识
更新传感器1
源自文库
更新传感器1
5.4、星球车
勇气号火星车
好奇号火星车
5.5、工业过程监控

识别引起系统状况超出正常运行范围的故障条 件→触发报警器 石油勘探 火力发电（发电机组监控） 转炉炼钢（温度和含碳量） 核反应堆
2.2 融合过程 数据融合过程主要包括多传感器(信号获 取) 、数据预处理、数据融合中心(特征提 取、数据融合计算) 和结果输出等环节, 其 过程如下图 所示。
环 境
多 传 感 器
A/D
数 据 处 理
特 征 提 取
融 合 计 算
结 果 输 出
2.3 关键技术 数据融合的关键技术主要是数据转 换、数据相关、态势数据库和融合计 算等,其中融合计算是多传感器数据融 合系统的核心技术。
输入向量
输出向量
图6 人工神经网络基本原理
5、应
用
应用领域：随着多传感器数据融合技术的发展, 应用的领域 也在不断扩大, 多传感器融合技术已成功地应用于众多 的研究领域。 5.1、 C3I 5.2、飞行目标跟踪 5.3、机器人 5.4、星球车 5.5、工业过程监控 5.6、遥感图像融合处理 5.7、公共安全 5.8、环境污染监测 5.9、智能交通 5.10、 无人驾驶汽车 5.11、农业 5.12、物联网
和国外相比，我国在数据融合领域的研究 起步较晚。1991年海湾战争结束以后，数据 融合技术引起国内有关单位和专家的高度重视。 一些高校和科研院所相继对数据融合的理论、 系统框架和融合算法开展了大量研究，但基本 上处于理论研究的层次上，在工程化、实用化 方面尚未取得有成效的突破，有许多关键技术 问题尚待解决，在工程应用领域，需要开发出 有重要应用价值的实用系统。 近年来数据融合 技术已形成研究热点，国家自然科学基金和国 家863计划已将其列入重点支持项目。
机器人舞蹈
qiro机器人 20个机器人Nao在上海世博会法国馆完美演出了长达10 分钟的全自主集体舞蹈表演，创造了类人机器人历史性 一幕，这也是世界上第一次大规模机器人同时跳“集体 舞”。机器人Nao的表演分三个音乐片段，其中包括法 国作曲家莫里斯拉威尔的著名交响作品Bolero，完美展 示了Nao完成稳定、灵活并有节奏的动作的能力。这也 是机器人史上第一次在艺术领域达到饱含情感并与观众 产生共鸣的高度。由类人机器人领域的世界顶尖公司 Aldebaran Robotics研发
多传感器 数据融合技术
1. 2. 3. 4. 5. 6.
引言 基本原理、融合过程及关键技术 数据融合系统的结构及功能模型 数据融合方法 应用 研究方向和存在问题
1、引
1.1国内外研究现状
言
数据融合从20 世纪70 年代末被提出， “数据 融合”出现于20世纪70年代，源于军事领域的 C3I( command， control， communication and intelligence)系统的需要，当时称为多源相关、多传 感器混合数据融合，并于80年代建立其技术。 美国 是数据融合技术起步最早的国家，1983年，美国国 防高级研究计划局(DARPA)推出的战略计算机计划 中，将多传感器数据融合列为重大研究课题。 1984年，美国国防部(DOD)成立了数据融合专 家组(DFS—Data Fusion Subana1) ，负责指导、组 织并协调有关这一国防关键技术的系统研究， 1988 年又将其列入国防部22项关键技术之一。
( Signal and Knowledge Integration with Decisional Control for Multi—sensory System)计划，主要目标是研究多传
感器数据融合的通用结构及实时信息融合技术等。 1998年成立了国际信息融合学会( ISIF) ，每年 举行一次信息融合国际学术会议。促进了信息融合 技术的交流与发展，相继取得了一些有重要影响的 研究成果。
5.1、多传感器数据融合技术 在“C3I”系统中的应用
“C3I”就是指挥自动化技术系统，是 用电子计算机将指挥（command） 、控制 （control） 、通信（communication）和 情报（intelligence）各分系统紧密联在一起 的综合系统。
空中 和 空间 1
空中 和 空间 N1
1.2 定义
数据融合，是多元信息综合处理的一项新技 术,它有多种译名,如多传感器相关、多源相关、 多传感器融合、信息融合等。 数据融合比较确切的定义可概括为:
充分利用不同的时间和空间的多传感器信息资源,
采用计算机技术对按时序获得的多传感器观测信 息在一定的准则下加以自动分析、综合、支配和 使用,获得被测对象的一致性解释与描述,以完成 所需的决策和估计任务,使系统获得比它的各个组
4.1 综合平均法 该方法是把来自多个传感器的众多数据 进行综合平均。它适宜于用同样的传感器 检测同一个检测目标。如果对一个检测目 标进行了k次检测,其平均值
S=
WS
i i
k
i
W
i
k
i
Wi 为分配给第i 次检测的权数。
4.2 贝叶斯估计法 贝叶斯推理技术主要用来进行决策层 融合，它是通过先验信息和样本信息合成 为后验分布，对检测目标作出推断。
传感器 2
·探测
传感器 N
·探测
目标 识别
特征属性
目标属性测量 图4 功能图
目标状态测量
表1 各种融合方法的比较
加权平均 卡尔曼滤 波 贝叶斯估 计 统计决策 理论 证据推理 模糊推理 动态 动态 静态 静态 静态 静态
4、数据融合方法
冗余 冗余 冗余 冗余 冗余互补 冗余互补 原始读数 值 概率分布 高斯噪声 概率分布 高斯噪声 加权平均 低层数据 融合
更新传感器1
图5 D-S法推力结构
4.3 模糊逻辑法
针对数据融合中所检测的目标特征具有某种 模糊性的现象,有人利用模糊逻辑方法来对检测目 标进行识别和分类。建立标准检测目标和待识别 检测目标的模糊子集是此方法的研究基础。但模 糊子集的建立,需要有各种各样的标准检测目标, 同时又必须建立合适的隶属函数。而确定隶属函 数比较麻烦,目前还没有规范的方法可遵循。又由 于标准检测目标子集的建立受到各种条件的限制, 往往误差较大。
光 线 系 统
导航星库
导航参数输出
视频信号预处理 及星提取模块
星图识别 及跟踪模块
导航参数（位置、 姿态）解算模块
5.3 机器人 传感器包括：摄像机、声纳、陀螺仪、激光测距等
pioneer、月球车、六足机器人（俄罗斯）、火 星探测车、制造业机器人、服务机器人、导游 机器人、机械手、Robotcup、路径规划
同时其它西方发达国家和国际组织(如英、日、 德、法及欧共体等)也积极开展了数据融合技术研 究工作。1986年开始，每年IEEE主办的“机器人 与自动化”(Robotics and Automation)学术会议上都有 专门关于数据融合的专题。 各种学术刊物也纷纷开 辟专栏和出版专集，交流和探讨数据融合的有关问 题。 1987年欧洲共同体开始为期5年的SKIDS
成部分更优越的性能。
1.3 内容
1. 数据关联:确定从多传感器来的数据是否反映
同一个目标。 2. 多传感器ID/轨迹估计:假设从多源来的报告 反映的是同一目标,对这些数据进行综合以改 进对该目标的估计,或是改进对整个当前/未 来情况的估计。 3. 采集管理: 给定传感器环境的一种认识状态, 通过分配多个信息捕获和处理源,以最大限度 地发挥其性能,从而使其操作成本降到最低。 简言之,传感器的数据融合功能主要包括 多传感器的目标探测、数据关联、跟踪与识 别、情况评估和预测。
地 面 1
地 面 N2
雷 达 1
雷 达 N3
光 电 1
光 电 N4
局部数据 融合
局部数据 融合
局部数据 融合
局部数据 融合
通信系统
C3I系统数据融合中心
其它间接 信息来源
融合输出 图7 结构模型
空中和空间 传感器 作 战 环 境 通信数据链
间接信息来源
预处理器 时 间 和 空 间 配 准
地面传感器 雷达传感器 光电传感器