多传感器信息融合
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
传感器1 监 测 对 象 传感器2 传感器N 特征提取 特征提取 特 征 融 合
识别
决策
…
…
特征提取
21
目标状态信息融合
主要应用于多传感器目标跟踪领域。
融合系统首先对传感器数据进行预处理以完成数据配准。数 据配准后，融合处理主要实现参数相关和状态矢量估计。
目标特性融合
特征层联合识别，具体的融合方法仍是模式识别的相应技术， 只是在融合前必须先对特征进行相关处理，对特征矢量进行 分类组合。在模式识别、图像处理和计算机视觉等领域，已 经对特征提取和基于特征的分类问题进行了深入的研究，有 许多方法可以借用。
29
信息融合通过数据信息d做出对环境f的推断，即求 解p(f|d)。由Bayes公式知，只须知道p(f|d)和p(f)即可。 因为p(d)可看作是使p(f|d)•p(f)成为概率密度函数的 归一化常数，p(d|f)是在已知客观环境变量f的情况 下，传感器得到的d关于f的条件密度。当环境情况 和传感器性能已知时，p(f|d)由决定环境和传感器原 理的物理规律完全确定。而p(f)可通过先验知识的获 取和积累，逐步渐近准确地得到，因此，一般总能 对p(f)有较好的近似描述。
3
1991年美国已有54个数据融合系统引入到军用电子系 统中去，其中87%已有试验样机、试验床或已被应用。 由于信息融合技术在海湾战争中表现出的巨大潜力，在 战 争 结 束 后 , 美 国 国 防 部 又 在 C3 I 系 统 中 加 入 计 算 机 (computer)，开发了以信息融合为中心的C4I系统。 此外，英国陆军开发了炮兵智能信息融合系统(AIDD)和 机动与控制系统 (WAVELL)。
f
此时，最大后验概率也称为极大似然估计。 当传感器组的观测坐标一致时，可以用直接法对传感器测量数据进行融合。
在大多数情况下，多传感器从不同的坐标框架对环境中同一物体进行描述，
12
美国三军组织—实验室理事联合会（JDL）数据融合模型 (Joint Directors of Laboratories)
13
一级处理目标评估
•主要功能包括数据对准、数据关联、目 标运动学参数估计（跟踪），以及身份 估计等，其结果为更高级别的融合过程 提供辅助决策信息。
二级处理态势评估
•situation 评估是指评价实体之间的相 互关系，包括敌我双方兵力结构和使用 特点，是对战场上战斗力量分配情况的 评价过程。
6
ቤተ መጻሕፍቲ ባይዱ
多目标跟踪的信息融合技术 多假定跟踪和相关技术 随机数据关连虑波（PDAF）技术 交互式复合建模(IMM)技术 目标机动信息处理技术（自适自噪声模型等） 非线性滤波技术 融合结构技术（集中式结构与分布式结构） 相似传感器融合技术（结构、算法和方法） 不相似的传感器融合技术 传感器对准技术（包括各种类型的对准难题及其解决技术） 特征融合技术（识别/分类、证明推算、专家系统、神经 网络、模糊逻辑、贝斯网络等）
国外研究
信息融合的关键技术
信息融合原理 信息融合层次 信息融合框架 信息融合方法 应用背景 存在的问题 切入点/展望
2
信息融合 (information fusion)起初被称为数据融 合 (data fusion)，起源于1973年美国国防部资助 开发的声纳信号处理系统。 20世纪80年代，为了满足军事领域中作战的需要， 多 传 感 器 数 据 融 合 MSDF (Multi-sensor Data Fusion)技术应运而生。 1988 年 ， 美 国 将 C3I(Command ， Control ， Commication and Intelligence)系统中的数据融 合技术列为国防部重点开发的二十项关键技术之一。
10
自 然 界 异 类 多 传 感 信 息 融 合
11
①扩展空间和时间覆盖范围； （利用互补信息，improve observability ） ②改进探测性能； ③增强系统的生存能力； ④提高可信度 （多传感联合确认，利用冗余信increasere liability）； ⑤降低信息的模糊度； ⑥提高空间分辨率（传感器能够识别的两个相邻物的最 小距离）； ⑦成本低、质量轻、占空少。（传感器选择灵活）
22
在信息表示的最高层次上进行的融合处理。不同类型的传感器观 测同一个目标，每个传感器在本地完成预处理、特征抽取、识别或判 断，以建立对所观察目标的初步结论，然后通过相关处理、决策级融 合判决，最终获得联合推断结果，从而直接为决策提供依据。 因此，决策级融合是直接针对具体决策目标，充分利用特征级融 合所得出的目标各类特征信息，并给出简明而直观的结果。 决策级融合优点： ◦ 实时性最好
p（g | d） max p（f | d）
即最大后验估计是在已知数据为d的条件下，使后验概 率密度p(f)取得最大值得点g，根据概率论，最大后验 估计g满足
31
f
p（g | d） p（g） max p（d | f） p（f）
当p(f)为均匀分布时，最大后验估计g满足
f
p（g | f） max p（d | f）
数，则
p( f , d ) p( f | d ) p ( d ) p ( d | f ) p( f )
p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数 p(d|f)表示在已知f 的条件下，d关于f的条件概率密度函数 p(d)和p(f)分别表示d和f的边缘分布密度函数
已知d时，要推断f，只须掌握p(f|d)即可，即 p( f | d ) p( d | f ) p( f ) / p( d ) 上式为概率论中的Bayes公式，是嵌入约束法的核心。
三级处理影响评估
•它将当前态势映射到未来。在军事领域 即指威胁估计（threat assessment）， 用以对作战事件出现的程度和可能性进 行估计，并对敌方作战企图给出指示和 告警。
四级处理过程评估
它是一个更高级的处理阶段。通过建 立一定的优化指标，对整个融合过程进行 实时监控与评价，从而实现多传感器自适 应信息获取和处理，以支持特定的任务目 标，并最终提高整个系统的性能（包括实 时性，决策和估计精度等）。
19
传感器1
监 测 对 象
传感器2
数 据 融 合
特征 提取
识别
决策
传感器N
…
20
利用从各个传感器原始数据中提取的特征信息，进行综合 分析和处理的中间层次过程。 通常所提取的特征信息应是数据信息的充分表示量或统计 量，据此对多传感器信息进行分类、汇集和综合。 特征级融合分类：
◦ 目标状态信息融合 ◦ 目标特性融合。
英国BAE 系统公司还开发一种被称作‘分布式数据融 合‘（Decentralized Data Fusion，DDF）的信息融 合新技术。使传感器网络中的全部数据都被实时地综 合和融合到了一幅单一的作战空间态势图中。
4
欧洲五国还制定了联合开展多传感器信号与知识综 合系统 (SKIDS)的研究计划。 法国也研发了多平台态势感知演示验证系统 (TsMPF) 军事领域是信息融合的诞生地，也是信息融合技术 应用最为成功的地方。特别是在伊拉克战争和阿富 汗战争中，美国军方的信息融合系统都发挥了重要 作用。
30
在嵌入约束法中，反映客观环境和传感器性能与 原理的各种约束条件主要体现在p(f|d) 中，而反映主 观经验知识的各种约束条件主要体现在p(f)中。 在传感器信息融合的实际应用过程中，通常的情 况是在某一时刻从多种传感器得到一组数据信息d， 由这一组数据给出当前环境的一个估计f。因此,实际 中应用较多的方法是寻找最大后验估计g，即
15
三种结构形式：串联、并联和混合融合形式。
16
一种雷达测量的信息融合结构
传感器信号 传感器信号
局部 处理器
局部 处理器 修 正 信 息 先 验 信 息
先 验 信 息
修 正 信 息
外部逻辑
中央 处理器
传感器故障 检测系统
17
信息融合层次的划分主要有两种方法。
第一种方法是按照融合对象的层次不同，将信息融合划分为低 层（数据级或像素级）、中层（特征级）和高层（决策级）。
◦ 在一个或几个传感器失效时仍能给出最终决策，因此具有良好的容 错性。
23
传感器1
特征提取
识别
监 测 对 象
传感器2
特征提取
识别
决 策 融 合
决策
…
特征提取
…
传感器N
…
识别
24
首先将被测对象它们转换为电信号，然后经过A／D变 换将它们转换为数字量。数字化后电信号需经过预处 理，以滤除数据采集过程中的干扰和噪声。对经处理 后的有用信号作特征抽取，再进行数据融合；或者直
接对信号进行数据融合。最后，输出融合的结果。
25
嵌入约束法 证据组合法 人工神经网络法
26
由多种传感器所获得的客观环境(即被测对象)的多 组数据就是客观环境按照某种映射关系形成的像， 信息融合就是通过像求解原像，即对客观环境加以 了解。用数学语言描述就是，所有传感器的全部信 息，也只能描述环境的某些方面的特征，而具有这 些特征的环境却有很多，要使一组数据对应惟一的 环境(即上述映射为一一映射)，就必须对映射的原 像和映射本身加约束条件，使问题能有惟一的解。 嵌入约束法最基本的方法：Bayes估计和卡尔曼滤 波
数 据 层 融 合 特 征 层 融 合 决 策 层 融 合
数 据
另一种方法将是将传感器集成和数据融合划分为信号级、证据 级和动态级。
18
对传感器的原始数据及预处理各阶段上产生的信息分别进行融 合处理。尽可能多地保持了原始信息，能够提供其它两个层次 融合所不具有的细微信息。
局限性：
◦ (1)由于所要处理的传感器信息量大，故处理代价高； ◦ (2)融合是在信息最低层进行的，由于传感器的原始数据的不 确定性、不完全性和不稳定性，要求在融合时有较高的纠错 能力； ◦ (3)由于要求各传感器信息之间具有精确到一个像素的配准精 度，故要求传感器信息来自同质传感器； ◦ (4)通信量大。
27
是融合静态环境中多传感器低层数据的一种常用 方法。其信息描述为概率分布，适用于具有可加高 斯噪声的不确定性信息。
假定完成任务所需的有关环境的特征物用向量f表 示，通过传感器获得的数据信息用向量d来表示，d 和f都可看作是随机向量。信息融合的任务就是由数 据d推导和估计环境f。
28
假设p(f，d)为随机向量f和d的联合概率分布密度函
8
定义2 利用计算机技术对按时序获得的若干传感器 的观测信息在一定准则下加以自动分析，优化综合 以完成所需的决策和估计任务而进行的信息处理过 程。 定义3 信息融合是组合多源数据或信息，对实体状 态进行估计和预报的过程。������ …….
9
自然界同类多传感信息融合
左目和右目的视觉传感器分别 获取二维图象信息，经大脑融 合后产生立体图象信息； 左耳和右耳的听觉传感器分别 获取一维声音信息，经大脑融 合后产生立体声音信息；
14
集中式结构: 处理的是传感器的原始数据；特点是 信息损失小，对系统通信要求较高（通信链路处）， 融合中心计算负担重（融合中心处），系统的生存 能力也较差。 分布式结构：处理的是经过预处理的局部传感器数 据；具有造价低、可靠性高、通信量小等特点。 混合式结构：处理的既有原始数据，又有预处理过 的数据。它保留了上述两类系统的优点，但在通信 和计算上要付出较昂贵的代价。
5
当前，信息融合技术在军事中的应用研究己经从低 层的目标检测、识别和跟踪转向了态势评估和威胁 估计等高层应用。 目前，信息融合技术己在许多民用领域取得成效。 这些领域主要包括:机器人和智能仪器系统、智能制 造系统、战场任务与无人驾驶飞机、航天应用、目 标检测与跟踪、图像分析与理解、惯性导航、模式 识别等领域。
7
定义1（美国国防部定义：[1991] ） 信息融合是一种多层次、多方面的处理过程, 包括对多源数据进行自动化的检测、互联、相关、 估 计 和 组 合 处 理 （ automatic detection, association, correlation,estimation, and combination），从而提高状态和身份估计的精 度，以及对战场态势和威胁的重要程度进行有效 的评价。
识别
决策
…
…
特征提取
21
目标状态信息融合
主要应用于多传感器目标跟踪领域。
融合系统首先对传感器数据进行预处理以完成数据配准。数 据配准后，融合处理主要实现参数相关和状态矢量估计。
目标特性融合
特征层联合识别，具体的融合方法仍是模式识别的相应技术， 只是在融合前必须先对特征进行相关处理，对特征矢量进行 分类组合。在模式识别、图像处理和计算机视觉等领域，已 经对特征提取和基于特征的分类问题进行了深入的研究，有 许多方法可以借用。
29
信息融合通过数据信息d做出对环境f的推断，即求 解p(f|d)。由Bayes公式知，只须知道p(f|d)和p(f)即可。 因为p(d)可看作是使p(f|d)•p(f)成为概率密度函数的 归一化常数，p(d|f)是在已知客观环境变量f的情况 下，传感器得到的d关于f的条件密度。当环境情况 和传感器性能已知时，p(f|d)由决定环境和传感器原 理的物理规律完全确定。而p(f)可通过先验知识的获 取和积累，逐步渐近准确地得到，因此，一般总能 对p(f)有较好的近似描述。
3
1991年美国已有54个数据融合系统引入到军用电子系 统中去，其中87%已有试验样机、试验床或已被应用。 由于信息融合技术在海湾战争中表现出的巨大潜力，在 战 争 结 束 后 , 美 国 国 防 部 又 在 C3 I 系 统 中 加 入 计 算 机 (computer)，开发了以信息融合为中心的C4I系统。 此外，英国陆军开发了炮兵智能信息融合系统(AIDD)和 机动与控制系统 (WAVELL)。
f
此时，最大后验概率也称为极大似然估计。 当传感器组的观测坐标一致时，可以用直接法对传感器测量数据进行融合。
在大多数情况下，多传感器从不同的坐标框架对环境中同一物体进行描述，
12
美国三军组织—实验室理事联合会（JDL）数据融合模型 (Joint Directors of Laboratories)
13
一级处理目标评估
•主要功能包括数据对准、数据关联、目 标运动学参数估计（跟踪），以及身份 估计等，其结果为更高级别的融合过程 提供辅助决策信息。
二级处理态势评估
•situation 评估是指评价实体之间的相 互关系，包括敌我双方兵力结构和使用 特点，是对战场上战斗力量分配情况的 评价过程。
6
ቤተ መጻሕፍቲ ባይዱ
多目标跟踪的信息融合技术 多假定跟踪和相关技术 随机数据关连虑波（PDAF）技术 交互式复合建模(IMM)技术 目标机动信息处理技术（自适自噪声模型等） 非线性滤波技术 融合结构技术（集中式结构与分布式结构） 相似传感器融合技术（结构、算法和方法） 不相似的传感器融合技术 传感器对准技术（包括各种类型的对准难题及其解决技术） 特征融合技术（识别/分类、证明推算、专家系统、神经 网络、模糊逻辑、贝斯网络等）
国外研究
信息融合的关键技术
信息融合原理 信息融合层次 信息融合框架 信息融合方法 应用背景 存在的问题 切入点/展望
2
信息融合 (information fusion)起初被称为数据融 合 (data fusion)，起源于1973年美国国防部资助 开发的声纳信号处理系统。 20世纪80年代，为了满足军事领域中作战的需要， 多 传 感 器 数 据 融 合 MSDF (Multi-sensor Data Fusion)技术应运而生。 1988 年 ， 美 国 将 C3I(Command ， Control ， Commication and Intelligence)系统中的数据融 合技术列为国防部重点开发的二十项关键技术之一。
10
自 然 界 异 类 多 传 感 信 息 融 合
11
①扩展空间和时间覆盖范围； （利用互补信息，improve observability ） ②改进探测性能； ③增强系统的生存能力； ④提高可信度 （多传感联合确认，利用冗余信increasere liability）； ⑤降低信息的模糊度； ⑥提高空间分辨率（传感器能够识别的两个相邻物的最 小距离）； ⑦成本低、质量轻、占空少。（传感器选择灵活）
22
在信息表示的最高层次上进行的融合处理。不同类型的传感器观 测同一个目标，每个传感器在本地完成预处理、特征抽取、识别或判 断，以建立对所观察目标的初步结论，然后通过相关处理、决策级融 合判决，最终获得联合推断结果，从而直接为决策提供依据。 因此，决策级融合是直接针对具体决策目标，充分利用特征级融 合所得出的目标各类特征信息，并给出简明而直观的结果。 决策级融合优点： ◦ 实时性最好
p（g | d） max p（f | d）
即最大后验估计是在已知数据为d的条件下，使后验概 率密度p(f)取得最大值得点g，根据概率论，最大后验 估计g满足
31
f
p（g | d） p（g） max p（d | f） p（f）
当p(f)为均匀分布时，最大后验估计g满足
f
p（g | f） max p（d | f）
数，则
p( f , d ) p( f | d ) p ( d ) p ( d | f ) p( f )
p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数 p(d|f)表示在已知f 的条件下，d关于f的条件概率密度函数 p(d)和p(f)分别表示d和f的边缘分布密度函数
已知d时，要推断f，只须掌握p(f|d)即可，即 p( f | d ) p( d | f ) p( f ) / p( d ) 上式为概率论中的Bayes公式，是嵌入约束法的核心。
三级处理影响评估
•它将当前态势映射到未来。在军事领域 即指威胁估计（threat assessment）， 用以对作战事件出现的程度和可能性进 行估计，并对敌方作战企图给出指示和 告警。
四级处理过程评估
它是一个更高级的处理阶段。通过建 立一定的优化指标，对整个融合过程进行 实时监控与评价，从而实现多传感器自适 应信息获取和处理，以支持特定的任务目 标，并最终提高整个系统的性能（包括实 时性，决策和估计精度等）。
19
传感器1
监 测 对 象
传感器2
数 据 融 合
特征 提取
识别
决策
传感器N
…
20
利用从各个传感器原始数据中提取的特征信息，进行综合 分析和处理的中间层次过程。 通常所提取的特征信息应是数据信息的充分表示量或统计 量，据此对多传感器信息进行分类、汇集和综合。 特征级融合分类：
◦ 目标状态信息融合 ◦ 目标特性融合。
英国BAE 系统公司还开发一种被称作‘分布式数据融 合‘（Decentralized Data Fusion，DDF）的信息融 合新技术。使传感器网络中的全部数据都被实时地综 合和融合到了一幅单一的作战空间态势图中。
4
欧洲五国还制定了联合开展多传感器信号与知识综 合系统 (SKIDS)的研究计划。 法国也研发了多平台态势感知演示验证系统 (TsMPF) 军事领域是信息融合的诞生地，也是信息融合技术 应用最为成功的地方。特别是在伊拉克战争和阿富 汗战争中，美国军方的信息融合系统都发挥了重要 作用。
30
在嵌入约束法中，反映客观环境和传感器性能与 原理的各种约束条件主要体现在p(f|d) 中，而反映主 观经验知识的各种约束条件主要体现在p(f)中。 在传感器信息融合的实际应用过程中，通常的情 况是在某一时刻从多种传感器得到一组数据信息d， 由这一组数据给出当前环境的一个估计f。因此,实际 中应用较多的方法是寻找最大后验估计g，即
15
三种结构形式：串联、并联和混合融合形式。
16
一种雷达测量的信息融合结构
传感器信号 传感器信号
局部 处理器
局部 处理器 修 正 信 息 先 验 信 息
先 验 信 息
修 正 信 息
外部逻辑
中央 处理器
传感器故障 检测系统
17
信息融合层次的划分主要有两种方法。
第一种方法是按照融合对象的层次不同，将信息融合划分为低 层（数据级或像素级）、中层（特征级）和高层（决策级）。
◦ 在一个或几个传感器失效时仍能给出最终决策，因此具有良好的容 错性。
23
传感器1
特征提取
识别
监 测 对 象
传感器2
特征提取
识别
决 策 融 合
决策
…
特征提取
…
传感器N
…
识别
24
首先将被测对象它们转换为电信号，然后经过A／D变 换将它们转换为数字量。数字化后电信号需经过预处 理，以滤除数据采集过程中的干扰和噪声。对经处理 后的有用信号作特征抽取，再进行数据融合；或者直
接对信号进行数据融合。最后，输出融合的结果。
25
嵌入约束法 证据组合法 人工神经网络法
26
由多种传感器所获得的客观环境(即被测对象)的多 组数据就是客观环境按照某种映射关系形成的像， 信息融合就是通过像求解原像，即对客观环境加以 了解。用数学语言描述就是，所有传感器的全部信 息，也只能描述环境的某些方面的特征，而具有这 些特征的环境却有很多，要使一组数据对应惟一的 环境(即上述映射为一一映射)，就必须对映射的原 像和映射本身加约束条件，使问题能有惟一的解。 嵌入约束法最基本的方法：Bayes估计和卡尔曼滤 波
数 据 层 融 合 特 征 层 融 合 决 策 层 融 合
数 据
另一种方法将是将传感器集成和数据融合划分为信号级、证据 级和动态级。
18
对传感器的原始数据及预处理各阶段上产生的信息分别进行融 合处理。尽可能多地保持了原始信息，能够提供其它两个层次 融合所不具有的细微信息。
局限性：
◦ (1)由于所要处理的传感器信息量大，故处理代价高； ◦ (2)融合是在信息最低层进行的，由于传感器的原始数据的不 确定性、不完全性和不稳定性，要求在融合时有较高的纠错 能力； ◦ (3)由于要求各传感器信息之间具有精确到一个像素的配准精 度，故要求传感器信息来自同质传感器； ◦ (4)通信量大。
27
是融合静态环境中多传感器低层数据的一种常用 方法。其信息描述为概率分布，适用于具有可加高 斯噪声的不确定性信息。
假定完成任务所需的有关环境的特征物用向量f表 示，通过传感器获得的数据信息用向量d来表示，d 和f都可看作是随机向量。信息融合的任务就是由数 据d推导和估计环境f。
28
假设p(f，d)为随机向量f和d的联合概率分布密度函
8
定义2 利用计算机技术对按时序获得的若干传感器 的观测信息在一定准则下加以自动分析，优化综合 以完成所需的决策和估计任务而进行的信息处理过 程。 定义3 信息融合是组合多源数据或信息，对实体状 态进行估计和预报的过程。������ …….
9
自然界同类多传感信息融合
左目和右目的视觉传感器分别 获取二维图象信息，经大脑融 合后产生立体图象信息； 左耳和右耳的听觉传感器分别 获取一维声音信息，经大脑融 合后产生立体声音信息；
14
集中式结构: 处理的是传感器的原始数据；特点是 信息损失小，对系统通信要求较高（通信链路处）， 融合中心计算负担重（融合中心处），系统的生存 能力也较差。 分布式结构：处理的是经过预处理的局部传感器数 据；具有造价低、可靠性高、通信量小等特点。 混合式结构：处理的既有原始数据，又有预处理过 的数据。它保留了上述两类系统的优点，但在通信 和计算上要付出较昂贵的代价。
5
当前，信息融合技术在军事中的应用研究己经从低 层的目标检测、识别和跟踪转向了态势评估和威胁 估计等高层应用。 目前，信息融合技术己在许多民用领域取得成效。 这些领域主要包括:机器人和智能仪器系统、智能制 造系统、战场任务与无人驾驶飞机、航天应用、目 标检测与跟踪、图像分析与理解、惯性导航、模式 识别等领域。
7
定义1（美国国防部定义：[1991] ） 信息融合是一种多层次、多方面的处理过程, 包括对多源数据进行自动化的检测、互联、相关、 估 计 和 组 合 处 理 （ automatic detection, association, correlation,estimation, and combination），从而提高状态和身份估计的精 度，以及对战场态势和威胁的重要程度进行有效 的评价。