多传感器信息融合 (1)

实时性最好
在一个或几个传感器失效时仍能给出最终决策，因此具有 良好的容错性。
22
传感器1
特征提取
识别
监 测 对 象
传感器2
特征提取
识别
决 策 融 合
决策
…
特征提取
…
传感器N
…
识别
23
首先将被测对象信息转换为电信号，然后经 过A／D变换将它们转换为数字量。数字化后电 信号需经过预处理，以滤除数据采集过程中的 干扰和噪声。对经处理后的有用信号作特征抽 取，再进行数据融合；或者直接对信号进行数 据融合。最后，输出融合的结果。
p( f | d ) p( d | f ) p( f ) / p( d )
上式为概率论中的Bayes公式，是嵌入约束法的核心。
33
信息融合通过数据信息d做出对环境f的推断， 即求解p(f/d)。

由Bayes公式知，只须知道p(d|f)和p(f)即可。 因为p(d)可看作是使p(d|f)•p(f)成为概率密度函数 的归一化常数，p(d|f)是在已知客观环境变量f的 情况下，传感器得到的d关于f的条件密度。
21
在信息表示的最高层次上进行的融合处理。不同类型 的传感器观测同一个目标，每个传感器在本地完成预处理、 特征抽取、识别或判断，以建立对所观察目标的初步结论， 然后通过相关处理、决策级融合判决，最终获得联合推断 结果，从而直接为决策提供依据。
决策级融合直接针对具体决策目标，充分利用特征级 融合所得出的目标各类特征信息，给出简明而直观的结果。 决策级融合优点：
(2)融合是在信息最低层进行的，由于传感器的原始 数据的不确定性、不完全性和不稳定性，要求在融 合时有较高的纠错能力； (3)由于要求各传感器信息之间具有精确到一个像素 的配准精度，故要求传感器信息来自同质传感器；

(4)通信量大。
18
传感器1
监 测 对 象
传感器2
数 据 融 合
特征 提取
识别
25

数据转换
多传感器输出的数据形式、环境描述等都不一样， 信息融合中心处理这些不同信息的关键即是把这 些数据转换成相同形式，然后进行相关处理。


数据相关
数据相关的核心问题是克服传感器测量的不精确 性，保持数据的一致性。因此，应控制和降低相 关计算的复杂性，开发相关处理、融合处理和系 统模拟的算法和模型。
24

多目标跟踪的信息融合技术 多假定跟踪和相关技术 随机数据关连滤波（PDAF）技术 交互式复合建模(IMM)技术 目标机动信息处理技术（自适自噪声模型等） 非线性滤波技术 融合结构技术（集中式结构与分布式结构） 相似传感器融合技术（结构、算法和方法） 不相似的传感器融合技术 传感器对准技术（包括各种类型的对准难题及其 解决技术） 特征融合技术（识别/分类、证明推算、专家系 统、神经网络、模糊逻辑、贝叶斯网络等）

31
融合静态环境中多传感器低层数据的一种 常用方法。其信息描述为概率分布，适用于 具有可加高斯噪声的不确定性信息。 假定完成任务所需的有关环境的特征物用 向量f表示，通过传感器获得的数据信息用向 量d来表示，d和f都可看作是随机向量。信息 融合的任务就是由数据d推导和估计环境f。

32
假设p(f，d)为随机向量f和d的联合概率分布 密度函数，则
数 据 层 融 合 特 征 层 融 合 决 策 层 融 合
数 据

另一种方法将是将传感器集成和数据融合划分为信 号级、证据级和动态级。
17
对传感器的原始数据及预处理各阶段上产生的信息 分别进行融合处理。尽可能多地保持原始信息，能够 提供其它两个层次融合所不具有的细微信息。


局限性：

(1)所要处理的传感器信息量大，故处理代价高；
7
定义2 利用计算机技术对按时序获得的若干传感器 的观测信息在一定准则下加以自动分析，优 化综合以完成所需的决策和估计任务而进行 的信息处理过程。 定义3 信息融合是组合多源数据或信息，对实体状 态进行估计和预报的过程。������ …….

8
自然界中同类多传感信息融合
左目和右目的视觉传感器分别 获取二维图象信息，经大脑融
决策
传感器N
…
19
利用从各个传感器原始数据中提取的特征信息， 进行综合分析和处理的中间层次过程。 通常所提取的特征信息应是数据信息的充分表示 量或统计量，据此对多传感器信息进行分类、汇 集和综合。 特征级融合分类： 目标状态信息融合 目标特性融合。
传感器1 监 测 对 象 传感器2 传感器N 特征提取 特征提取 特 征 融 合
3

1991年美国已有54个数据融合系统引入到军用电子系 统中去，其中87%已有试验样机、试验床或已被应用。
由于信息融合技术在海湾战争中表现出的巨大潜力， 在战争结束后,美国国防部又在C3I系统中加入计算机 (computer)，开发了以信息融合为中心的C4I系统。 此外，英国陆军开发了炮兵智能信息融合系统(AIDD) 和机动与控制系统 (WAVELL)。 英国BAE 系统公司还开发一种被称作“分布式数据 融合”（Decentralized Data Fusion，DDF）的信息融 合新技术。使传感器网络中的全部数据都被实时地综 合和融合到了一幅单一的作战空间态势图中。
国外研究 信息融合的关键技术 信息融合原理 信息融合层次 信息融合框架 信息融合方法 应用背景 存在的问题 切入点/展望

2



信息融合 (information fusion)起初被称为数 据融合 (data fusion)，起源于1973年美国国 防部资助开发的声纳信号处理系统。 20 世纪 80 年代，为了满足军事领域中作战 的需要，多传感器数据融合 MSDF (Multisensor Data Fusion)技术应运而生。 1988 年，美国将 C3I(Command ， Control ， Commication and Intelligence)系统中的数据 融合技术列为国防部重点开发的二十项关 键技术之一。


态势数据库
态势数据库可分为实时数据库和非实时数据库。 实时数据库的作用是把当前各传感器的观测结果 及时提供给信息融合中心，同时也存储融合处理 的最终态势/决策分析结果和中间结果。非实时数 据库存储各传感器的历史数据、相关目标和环境 的辅助信息以及融合计算的历史信息。态势数据 库要求容量大、搜索快、开放互连性好，具有良 好的用户接口。

当前，信息融合技术在军事中的应用研究 己经从低层的目标检测、识别和跟踪转向 了态势评估和威胁估计等高层应用。 目前，信息融合技术己在许多民用领域取 得成效。这些领域主要包括:机器人和智能 仪器系统、智能制造系统、战场任务与无 人驾驶飞机、航天应用、目标检测与跟踪、 图像分析与理解、惯性导航、模式识别等 领域。
11
美国三军组织—实验室理事联合会（JDL）数据融合模型 (Joint Directors of Laboratories)
12
一级处理目标评估
• 主要功能包括数据对准、数据关联、目标运动 学参数估计（跟踪），以及身份估计等，其结 果为更高级别的融合过程提供辅助决策信息。
二级处理态势评估
• situation 评估是指评价实体之间的相互关系， 包括敌我双方兵力结构和使用特点，是对战场 上战斗力量分配情况的评价过程。


融合计算
融合计算涉及到以下问题：对多传感器的相关观 测结果进行验证、分析、补充、取舍、修改和状 态跟踪估计；对新发现的不相关观测结果进行分 析和综合；生成综合态势，并实时地根据对传感 器观测结果通过数据融合计算，对综合态势进行 修改；态势决策分析。


嵌入约束法
证据组合法

人工神经网络法
14
三种结构形式：串联、并联和混合融合形式。
15
一种雷达测量的信息融合结构
传感器信号 传感器信号
局部 处理器
局部 处理器 修 正 信 息 先 验 信 息
先 验 信 息
修 正 信 息
外部逻辑
中央 处理器
传感器故障 检测系统
16
信息融合层次的划分主要有两种方法。

第一种方法是按照融合对象的层次不同，将信息融 合划分为低层（数据级或像素级）、中层（特征级） 和高层（决策级）。
6
定义1（美国国防部定义：[1991] ） 信息融合是一种多层次、多方面的处理过程, 包括对多源数据进行自动化的检测、互联、 相关、估计和组合处理（automatic detection, association, correlation, estimation, and combination ），从而提高状态和身份估计的 精度，以及对战场态势和威胁的重要程度进 行有效的评价。
三级处理影响评估
• 它将当前态势映射到未来。在军事领域即指威 胁估计（threat assessment），用以对作战事件 出现的程度和可能性进行估计，并对敌方作战 企图给出指示和告警。
四级处理过程评估
它是一个更高级的处理阶段。通过建立一定的 优化指标，对整个融合过程进行实时监控与评价， 从而实现多传感器自适应信息获取和处理，以支 持特定的任务目标，并最终提高整个系统的性能 （包括实时性，决策和估计精度等）。
13



集中式结构: 处理的是传感器的原始数据； 特点是信息损失小，对系统通信要求较高 （通信链路处），融合中心计算负担重 （融合中心处），系统的生存能力也较差。 分布式结构：处理的是经过预处理的局部 传感器数据；具有造价低、可靠性高、通 信量小等特点。 混合式结构：处理的既有原始数据，又有 预处理过的数据。它保留了上述两类系统 的优点，但在通信和计算上要付出较昂贵 的代价。
30
由多种传感器所获得的客观环境(即被测对象) 的多组数据就是客观环境按照某种映射关系形 成的像，信息融合就是通过像求解原像，即对 客观环境加以了解。 用数学语言描述就是，所有传感器的全部信息， 也只能描述环境的某些方面的特征，而具有这 些特征的环境却有很多，要使一组数据对应惟 一的环境(即上述映射为一一映射)，就必须对映 射的原像和映射本身加约束条件，使问题能有 惟一的解。 嵌入约束法最基本的方法：Bayes估计和卡尔 曼滤波

当环境情况和传感器性能已知时，p(f|d)由决 定环境和传感器原理的物理规律完全确定。p(f) 可通过先验知识的获取和积累，逐步渐近准确 地得到，因此一般总能对p(f)有较好的近似描述。
识别
决策
20
…
…
特征提取
目标状态信息融合 主要应用于多传感器目标跟踪领域。 融合系统首先对传感器数据进行预处理以完成数据 配准。数据配准后，融合处理主要实现参数相关和 状态矢量估计。 目标特性融合 特征层联合识别，具体的融合方法仍是模式识别的 相应技术，只是在融合前必须先对特征进行相关处 理，对特征矢量进行分类组合。在模式识别、图像 处理和计算机视觉等领域，对特征提取和基于特征 的分类问题已有深入研究，有许多方法可以借用。
合后产生立体图象信息； 左耳和右耳的听觉传感器分别 获取一维声音信息，经大脑融 合后产生立体声音信息；
9
自 然 界 异 类 多 传 感 信 息 融 合
ቤተ መጻሕፍቲ ባይዱ
10
①扩展空间和时间覆盖范围； （利用互补信息，improve observability ） ②改进探测性能； ③增强系统的生存能力； ④提高可信度 （多传感联合确认，利用冗余信息，increasere liability）； ⑤降低信息的模糊度； ⑥提高空间分辨率（传感器能够识别的两个相 邻物的最小距离）； ⑦成本低、质量轻、占空少。(传感器选择灵活)
4





欧洲五国还制定了联合开展多传感器信号与知识 综合系统 (SKIDS)的研究计划。 法国也研发了多平台态势感知演示验证系统 (TsMPF)

军事领域是信息融合的诞生地，也是信息融合技 术应用最为成功的地方。特别是在伊拉克战争和 阿富汗战争中，美国军方的信息融合系统都发挥 了重要作用。
5


p( f , d ) p( f | d ) p ( d ) p ( d | f ) p( f )
p(f|d)表示已知d的条件下，f关于d的条件概率密度函数 p(d|f)表示已知f 的条件下，d关于f的条件概率密度函数 p(d)和p(f)分别表示d和f的边缘分布密度函数
已知d时，要推断f，只须掌握p(f|d)即可，即