多传感器融合学习心得（共5则）

多传感器融合学习心得（共5则）
第一篇：多传感器融合学习心得
多传感器信息融合学习心得
通过一学期的学习，对多传感器信息融合有了一定的了解，学习了多传感器信息融合中的多种方法，并在小组论题和作业中都有所体现，下面我谈一下自己的学习心得。

一、多传感器信息融合的产生与发展
多传感器信息融合是由美国军方在20世纪70年代提出的，通过对各传感器获得的未知环境特征信息的分析和综合,得到对环境全面、正确的估计,它避免了单一传感器的局限性,可以获取更多信息,得出更为准确、可靠的结论。

主要用于对军事目标（舰艇、飞机等）的检测、定位、跟踪和识别，具体应用在海洋监视、空对空或地对空防御系统等。

二、多传感器信息融合主要方法
多传感器信息融合是建立在传统的估计理论和识别算法的基础之上，主要有卡尔曼滤波、贝叶斯理论、D-S证据理论和小波变换等，下面我简单介绍一下各种算法。

1）卡尔曼滤波
卡尔曼滤波器实际上是一个最优化自回归数据处理算法。

首先，我们先要引入一个离散控制过程的系统。

该系统可用一个线性随机微分方程来描述：
X(k)=A X(k-1)+B U(k)+W(k)再加上系统的测量值：Z(k)=H X(k)+V(k)
上两式子中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量。

A和B是系统参数，对于多模型系统，他们为矩阵。

Z(k)是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵。

W(k)和V(k)分别表示过程和测量的噪声。

他们被假设成高斯白噪声(White Gaussian Noise)，他们的方差分别是Q，R（这里我们假设他们不随系统状态变化而变化）。

假设现在系统的状态是k，根据系统模型，可以基于系统上一状态而预测出现在状态：
X(k|k-1)=A X(k-1|k-1)+B U(k) (1)
式(1)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。

到现在为止，我们的系统结果已经更新了，可是，对应于X(k|k-1)的方差还没更新。

我们用P表示方差：
P(k|k-1)=A P(k-1|k-1)A’+Q (2)
式(2)中，P(k|k-1)是X(k|k-1)对应的方差，P(k-1|k-1)是X(k-1|k-1)对应的方差，A’表示A的转置矩阵，Q是系统过程的方差。

式子1，2就是卡尔曼滤波对系统的预测。

现在我们有了现在状态的预测结果，然后我们再收集现在状态的测量值。

结合预测值和测量值，我们可以得到现在状态(k)的最优化估算值X(k|k)：
X(k|k)= X(k|k-1)+Kk(k)(Z(k)-H X(k|k-1))………(3)其中Kk为卡尔曼增益(Kalman Gain)：
Kk(k)= P(k|k-1)H’ /(H P(k|k-1)H’ + R) (4)
到现在为止，我们已经得到了k状态下最优的估算值X(k|k)。

但是为了要卡尔曼滤波器不断的运行下去直到系统过程结束，我们还要更新k状态下X(k|k)的方差：
P(k|k)=（I-Kk(k)H）P(k|k-1) (5)
其中I 为单位阵。

当系统进入k+1状态时，P(k|k)就是式子(2)的P(k-1|k-1)。

这样，算法就可以自回归的运算下去。

式子(1)、(2)、(3)、(4)和(5)就是卡尔曼滤波的5 个基本公式。

2）贝叶斯理论
考查一个随机试验，在这个实验中，n个互不相容的事件A1、A2、…、An必发生一个，且只能发生一个，用P（Ai）表示Ai的概率，则有：
∑P(A)=
1(6)ii=1n设B为任意事件，则根据条件概率的定义及全概率公式，有
P(AiB)=P(BAi)P(Ai)∑P(BA)P(A)jjj=1n
i=1,2,…,n
(7)
这就是贝叶斯公式。

在(7)中，P(A1)、P(A2)、…、P(An)表示A1、A2、…、An出现的可能性，这是在做试验前就已知道的事实，这种知识叫做先验信息，这种先验信息以一个概率分布的形式给出，常称为先验分布。

现假设在试验中观察到B发生了，由于这个新情况的出现，对事件A1、A2、…、An的可能性有了新的估计，此处也已一个概率分布P(A1B)、…、P(A2B)、P(AnB)的形式给出，因此有：
P(AiB)≥0
(8)∑P(AB)=1
(9)
ii=1n这称为“后验分布”。

它综合了先验信息和试验提供的新信息，形成了关于Ai出现的可能性大小的当前认识。

这个由先验信息到后验信息的转化过程就是贝叶斯统计的特征。

3）D-S证据理论
D-S证据理论是经典概率理论的扩展，当先验概率难以获得时，证据理论就比概率论合适。

D-S方法与其他方法的区别在于：它具有两个值，即对每个命题指派两个不确定性度量（类似但不等于概率）；存在一个证据属于一个命题的不确定性测度，使得这个命题似乎可能成立，但使用这个证据又不直接支持或拒绝它。

下面先给出几个基本定义：
设Ω是样本空间，Ω由一互不相容的陈述集合组的幂集2Ω构成命题集合。

定义1 基本概率分配函数M 设函数M是满足下列条件的映射：
M：2Ω→[0，1](1)不可能事件的基本概率是0，即M(Φ)=0；(2)对于A⊆Ω,则有：
0≤M(A)≤1
(3)2Ω中全部元素的基本概率之和为1，即
A⊆Ω∑M(A)=1 则称M是2Ω上的概率分配函数，M(A)称为A的基本概率函数，表示对A 的精确信任。

定义2 命题的信任函数Bel 对于任意假设而言，其信任度Bel(A)定义为A中全部子集对应的基本概率之和，即
Bel：2Ω→[0，1]
Bel(A)=∑M(B)，对所有的A⊆Ω
B⊆ADou(A)=Bel(-A)Bel函数也称为下限函数，表示对A的全部信任。

由概率分配函数的定义容易得到：
Bel(Φ)=0 Bel(Ω)=∑M(B)
B⊆Ω定义3 命题的似然函数Pl Pl：2Ω→[0，1]
Pl(A)=1-Bel(-A)，对所有的A⊆Ω
Pl函数也称为上限函数，表示对A非假的信任程度。

信任函数和似然函数有如下关系：
Pl(A)≥Bel(A), 对所有的A⊆Ω
而（Bel(A),Pl(A)）称为信任空间。

三、多传感器信息融合的应用
随着多传感器信息融合技术的迅速发展，除了在军事领域的应用，近年来在许多民用领域也得到了快速的应用，例如：图像融合、智能机器人、故障诊断、智能交通系统等。

1．军事应用
随着信息技术的发展和近几场局部战争的实践，网络中心战将成为未来信息化作战的主要模式，因此信息融合将成为发展各分系统的最基本要求。

信息融合技术是随着信息处理和指挥自动化系统的发展而形成的，它的优越性来源于系统的“组合效应”。

现代战争要求各作战平台能相互支援、通力协作，以形成一个紧密结合的整体，最大限度的发挥整体合力。

因此，在信息化技术的帮助下，不同武器装备实现了效能的互补，不同军种之间实现了功能的互补，具备了互联、互通、互操
作的能力，从而使不同军种的不同武器系统在技术上融为一体，在作战时空上融为一体，进而使体系对抗成为联合作战的主体。

2．交通系统
由于交通检测器获取信息的局限性，无法全面掌握整个路网的交通信息，因此，通过信息融合技术在交通领域中的应用，提高交通管理中的效率。

信息融合技术在交通领域中主要用于车辆定位、车辆身份识别、车辆跟踪、车辆导航及交通管理。

这其中关键的就是对交通数据进行融合。

因此，监控中心必须对各个数据源的数据进行校验，避免单个信息源失效而导致的判断失误。

3．图像融合
随着数字图像处理技术的迅速发展，人们获取图像的途径越来越多，因此图像融合成为一个热门研究领域。

多传感器图像融合可进一步提高图像分析、理解与目标识别能力。

图像融合就是充分利用多幅图像资源，通过对观测信息的合理支配和使用，把多幅图像在空间或时间上的互补信息依据某种准则融合，获得对场景的一致性解释或描述，使融合后的图像比参加融合的任意一幅图像更优越，更精确的反映客观实际。

总之，随着新型传感器的不断出现，以及现代信号处理技术、计算机技术、网络通信技术、人工智能技术、并行计算的软件和硬件技术等相关技术的飞速发展，多传感器信息融合将成为未来军用和民用高科技系统的重要技术手段。

第二篇：多传感器数据融合报告
Harbin Institute of Technology
数据融合与遥感图像处理
1遥感数据融合
数据融合是集多个数据源来产生比任何单个数据源更一致、更准确、更有用的信息的过程。

数据融合作为一种数据处理方法，其基本思想是综合利用系统各个方面的数据，最大限度地抽取有关对象或环境的有效信息，以达到更准确、更全面地认识观测对象或环境的目的。

近年来，数据融合在军事和民用领域都引起了强烈的关注并得到了广泛的应用。

数据融合是对多源信息进行处理的理论和方法，可以把不同时间和空间的数据进行综合处理，从而得到对现实环境更精确的描述，从本质上说就是一个算法问题。

因此，对数据融合算法的研究便具有十分重要的意义。

数据融合的关键技术主要包括数据转换、数据相关、数据库和融合计算等，其中融合计算是数据融合的核心技术。

遥感是针对远距离目标，通过非直接的接触而测量、描绘及分析目标的技术，其对目标的信息采集主要依赖于电磁波。

遥感卫星是在外层空间进行遥感的人造卫星，利用卫星作为平台可以连续地对地球表面某指定区域进行遥感。

目前遥感技术已成功应用于军事、地质、地理、农业、林业、水文、气象、环境和海洋等领域。

在模拟人类视觉系统的基础上，各种遥感技术将遥感卫星获取的信息转化成可以看到的图像。

针对遥感图像的后处理，便是人们认识自然、了解自然、改造自然的重要工具。

根据波长不同而存在的遥感器有：可见光、红外及微波等，不同遥感器获取的图像特点不同，为了更好的表达某一场景的特点，可将不同遥感器获得的图像进行融合。

随着遥感技术和雷达技术的发展，图像融合的应用也更为广泛，尤其是在军事领域，以多个遥感器获取的图像融合为核心的战场感知技术已成为现代战争中具有影响力的军事高科技。

近年来，随着多个遥感卫星的发射，大量的遥感图像获取为更方便及全面地认识自然资源和环境提供了可能，图像融合技术也广泛的应用到民用的各个方法，目前已成功应用于天气预报、自然灾害检测、大地测绘、植被分类、农作物生长势态评估等方面。

2遥感图像融合方法及评价
遥感图像数据一般在三个层次上进行融合，即像素级（特征提取之前）融合、特征级（属性说明之前）融合以及决策级（各种传感器独立说明之后）融合。

简单的说，像素级融合就是直接对传感器获取的原始图像的色彩空间或频率空间进行匹配重新生成新的图像，特征
级融合就是从原始图像中提取一些事物的特征，对同一事物的不同特征进行融合，从而使得对事物的描述更加全面，决策级融合-1-是遥感图像数据融合的最高层次，其结果可直接作为决策要素来做出相应的行为或直接为决策者提供决策参考。

融合层次决定了对多源原始图像数据进行何种程度预处理以及在信息处理的哪一层次上进行融合；多源遥感影像数据融合的层次问题，不但涉及到处理方法本身，而且能够影响信息处理系统的体系结构，已成为图像融合研究的重要问题之一。

2.1像素级融合
像素级融合是直接对传感器获取的原始图像或经过配准的图像进行色彩空间或频率空间匹配而形成新的图像。

具体就是将遥感图像数据根据某种算法，即像素之间的直接数学运算，如差值、梯度、比值、加权或其他数学运算等，然后对融合的图像进行特征提取和属性说明，从而形成一幅空间信息与光谱信息都相应增强的图像，其主要目的是使图像增强以便进行后续的图像分割或图像分类等其他处理。

像素级融合是直接对原始数据进行处理的，是一种最低层次的融合，因此其对传感器配准的精度要求较高。

其优点是保留了尽可能多的图像的原始信息，具有较高精度，能提供单独测量所不具有的细微信，但同时也存在一定的局限性，如所处理的数据量大、抗干扰能力差等、处理的代价高、费时、实时性差。

针对传感器原始信息的不确定性、不完全性和不稳定性，要求像素级融合在融合过程中有较高的纠错处理能力，并要求各传感器信息之间配准的精度较高，一般在1个像素之内，故对来自同质传感器的数据进行融合效果较佳。

其融合过程如图1所示。

图像1像素级融合效果评价图像2融合结果像素级融合的算法有IHS变换融合算法、主成分分析（PCA融合算法）、brovey影像融合算法、高通滤波融合法（hpf变换法）。

IHS融合方法，以颜色空间变换为基础。

将RGB颜色空间中用三原色表示的彩色图像，转换为颜色空间中用亮度（Intensity，I），色度（Hue，H）以及饱和度（Saturation，S）表示的彩色图像，然后用具有更高分空间辨率的全色图像来替换亮度图像I，并进行IHS逆变
换回到RGB颜色空间，最终得到分辨率
-2-...图1 像素级融合过程增强的彩色图像。

在替换之前，需要对全色图像与亮度图像I进行直方图匹配，将匹配后的全色图像记为PanM,则整个融合过程可以表示为:
⎡I⎤⎡131313⎤⎡R⎤⎢⎥⎢⎢G⎥
23⎥⎢v1⎥=⎢-26-26⎥⎢⎥⎢v⎥⎢-120⎥⎦⎢⎣B⎥⎦⎣2⎦⎣12I'=PanM
⎡R'⎤⎡112⎢'⎥⎢⎢G⎥=⎢1-12⎢B'⎥⎢12⎣⎦⎣2⎤⎡I'⎤⎥⎢⎥-12⎥⎢v1⎥⎢⎥0⎥⎦⎣v2⎦1 其中R'，G'，B'表示融合结果图像。

需要说明的是，IHS颜色空间变换是一种非线性变换，而作为其中间过程，由RGB图像到IV1V2图像的变换则是一个线性变换，IHS融合方法只需要进行线性变换得到亮度图像即可，没有必要计算色度和饱和度。

主成分分析是离散变换的简称，又称KL变换。

IHS融合方法的颜色空间变换可以用事先确定的数值矩阵表示，而PCA融合方法的变换阵则需要根据待融合图像数据的特性来进行计算求取。

另外，PCA融合方法不局限于三波段的彩色图像，可以实现更多波段的多光谱图像与全色图像的融合。

通过KL变换，由原n个波段的全色图像得到n个波段的成份图像。

在变换域内用经过了直方图匹配的全色图像替换多光谱数据集的主成份，然后进行颜色空间逆变换,就得到了空间分辨率增强的多光谱图像。

brovey变换的实质是将通过色彩归一化后的多光谱波段与高分辨率图像乘积来增强图像的信息，又可称之为“色彩标准化一乘积变换”，是一种基于信息特征的融合方法。

其算法是将多光谱影像的影像空间分解为色彩和亮度成分并进行计算，这一过程简化了影像转换过程的系数并最大限度地保留多光谱数据的信息。

运算时首先进行RGB图像显示的多光谱波段颜色归一化，然后将高分辨率全色影像与多光谱各波段相乘完成融合。

它应用最基本的乘积组合算法，通过归一化后的多光谱波段与高分辨率影像乘积来增强影像的信息直接对两类遥感图像进行合成。

高通滤波融合又称hpf变换法，是一种光谱信息丢失较少的方法。

是把高分辨率全色图像进行傅立叶变换，从空间域转换到频率域，然
后在频率域内对傅立叶图像进行高通滤波，获取图像的高频分量，将高频部分融合到多光谱图像中，以突出高频部分，获取最后的融合图像。

这种方法首先采用一个较小的空间高通滤波器对高分辨率影像进行滤波，由于滤波得到的结果不仅保留了与空间信息有关的高频分量，而且滤掉了绝大部分的光谱信息，因此把高通滤波的结果加到各-3-光谱影像数据中，经过这种处理就可把高分辨率图像的空间信息同多光谱影像数据的光谱信息进行融合。

该方法可对单个或多个波段进行融合操作，方法简单、效果好，是一种应用较广的图像融合法。

其融合的表达式如下：
Fk(i,j)=Mk(i,j)+HPH(i,j)
其中Fk(i，j)表示第k波段像素(i，j)的融合值，Mk(i，j)为低分辨率多光谱图像第k波段像素(i，j)的值，HPH(i，j)为高通滤波后高频图像像素(i，j)的值。

此方法的难点是滤波器的设计。

2.2特征级融合特征级融合是对图像的特征进行融合，具体指将来自不同传感器的原始影像信息进行特征抽取，然后对从传感器获得的多个特征信息进行关联分析处理，将各图像上相同类型的特征进行融合，最后将包含有效信息的特征融合于同一个特征空间，也就是将各个数据源中提取的特征信息进行分类、汇集、综合处理和分析的过程上。

特征级融合属于一种中层融合，其可以分为目标状态信息融合和目标特征融合，目标状态信息融合主要应用于多传感器跟踪领域，而目标特征融合就是特征层联合识别。

特征级融合的优点是实现了可观的信息压缩，有利于实时处理，并且提供的特征直接与决策分析相关，所以融合的结果最大限度的提供了决策分析所需要的特征信息；其缺点是比像元级融合精度差。

目前大多数融合系统的研究都是在该层次上开展的，其融合过程如图2所示。

图像1特征提取特征级融合效果评价图像2融合结果特征级融合的算法有小波变换的方法、贝叶斯融合法、基于D-S证据理论的融合方法、基于神经网络的融合方法。

小波变换是介于函数空间域和频率域之间的一种表示方法，在空间域和频率域上同时具有良好的局部化性质，可进行局部分析。

由于
同一地区不同类型的图像，其低频部分差别不大，而高频部分相差很大，通过小波变换对变换区实现分频，在分频基础上进行遥感图像的融合。

图像经小波分解后，其频率特性得到有效的分离，其中低频部分反映图像的整体视觉信息，高频成份反映的是影像的细
-4-...图2 特征级融合节纹理特征。

利用高分辨率图像数据的高频成份和相应的多光谱图像数据的低频成份组合进行小波重建，可得到融合图像。

从20世纪90年代开始小波变换就被应用到了图像融合领域，国内外学者经过多年的研究和探索，已经发展了多种多样的小波变换算法，如二进制小波变换、多进制小波变换、多分辨率小波变换、小波包变换等等，并且也多与像素级融合方法进行结合。

其中，标准的基于小波变换的多源遥感图像融合过程如图3所示。

多光谱图像重采样小波分解低频部分高分辨率图像配准后的图像高频部分小波逆变换融合图像图3 基于小波变换的多源遥感图像的融合
其融合步骤包括：（1）对高空间分辨率图像与多光谱图像进行配准；（2）分别对配准的两图像进行n次小波分解，以得到各自相应分辨率的低频轮廓图像和高频细节纹理图像；（3）用低分辨率多光谱图像的低频部分代替高分辨率图像的低频部分；（4）对替换后图像进行小波逆变换，从而得到最终图像。

遥感图像的信息融合方法，如主成分分析、乘积变换、比值变换和基于IHS变换等均存在原有分辨率图像光谱信息的部分丢失问题，而小波变换可以对多个波段的图像信息进行融合，既能充分利用高分辨率图像的空间信息，又能保持低分辨率图像光谱信息的最大完整性，是目前研究的一个热点。

神经网络法是将输入的信息综合处理为一个整体输入函数，并将此函数映射定义为相关单元的映射函数，它通过神经网络与环境的交互作用把环境的统计规律反映到网络本身的结构中来，并对传感器输出的信息进行学习、理解，确定权值的分配完成知识获取以及信息融合等，进而对输入模式作出解释，将输入数据矢量转换成高层逻辑概念。

2.3决策级融合
决策级图像融合是在信息表示的最高层次上进行融合处理。

不同类型的传感器观测同一目标获得的数据首先完成预处理、特征提取、识别，建立对所观测目标的初步理论，然后通过相关处理以及决策级融合判决等，最终获得联合推断结果，直接为决策提供依据。

基于决策的融合技术分为两类：（1）基于知识的决策技术，包括采用专家系统、神经网络和模糊逻辑等的决策融合；（2）基于识别的决策技术，然而目前这一层次上的融合还不是很成熟。

2.4融合方法评价同一遥感影像数据运用不同的融合方法或同一融合方法对不同的图像进行融合时其融合效果都会有一定的差异，这是因为每种融合方法都有其优点及局限
-5-性，这就要求在进行融合之前，应对融合方法进行评价分析，根据需融合图像的特点及应用研究的目的需求采用不同的融合方法。

（1）IHS变换融合方法属于色度空间变换，其变换方法简单，易于实现，与RGB空间各分量相互相关不一样，空间中三分量I、H、S 具有相对独立性，可分别对它们进行控制，并且能够准确定量地描述颜色特征，一般来说可以提高结果图像的地物纹理特性，但融合图像灰度值同原多光谱图像有较大差异，亦即光谱特征被扭曲，只能基本上保持多光谱影像的色调，光谱失真较大，这主要因为此方法保留了全色图像的全部空间信息，然而全色图像与强度分量在空间分辨率上存在差异以及光谱响应范围不一致，使两者的相关性低，从而造成较大的光谱畸变。

同时此方法要求多光谱图像的波段数必须为3，从而大大降低了当前高光谱、超光谱遥感数据的利用程度，为解决此问题,很多学者将IHS和小波融合两种方法结合起，能明显降低融合结果中的颜色扭曲现象。

（2）主成分分析法，即PCA融合方法：目前在遥感应用领域PCA融合方法主要用于数据压缩，用少数几个主成分代替多波段遥感信息，同时可以使图像增强，在光谱特征空间中提取有显著物理意义的图像信息和监测地表覆盖物的动态变化。

因其各波段光谱信息唯一的映射到各分量上，并且其能够同时与多光谱图像的所有波段融合，所以能较好地保持光谱特征且对光谱特征的扭曲小于IHS变换法；然
而由于其要对自相关矩阵求特征值和特征向量，计算量非常大，实时性比较差。

同时多光谱遥感影像在做主成分分析时，第一主分量信息表达的是原各波段中信息的共同变换部分，其与高分辨率影像中细节变化的含义略有不同，高分辨率影像经过拉伸后虽然与第一主分量具有很高的相似性，但融合后的影像在空间分辨率和光谱分辨率上会有一定的变化；因光谱信息的变化，融合图像不能用于地物识别和反演工作，但是它可以改进目视判读的效果，提高分类制图的精度。

（3）hpf融合法：其原理是先对影像数据进行高通滤波，获得的结果相应于影像的点、线、边缘、脊等特征，然后再将这些特征数据以一定的取舍规则融合至低分辨率的图像，从而使其获得更好的空间分辨率。

同时也很好的保留了原多光谱图像的光谱信息，去噪功能也比较明显，没有波段的限制。

变换法对光谱特征扭曲小，且有较好的空间分辨率，建筑区，尤其是城市中心地带的纹理信息很清晰，交通和水体的边缘规则且清晰。

但由于其滤波器的尺寸大小是一定的，对于不同大小的各类地物类型很难找到一个理想的滤波器，从而会使得在突出高频信息的同时，部分低频信息或某些重要的信息会受到压制，使整体影像的结构比较细碎，在色彩表现上，高通滤波变换的结果一般。

（4）小波变换法的优势在于可以将图像分解到不同的频率域，在不同的频率域运用不同的融合规则,得到融合图像的多分辨分解，从而在融合图像中保留
-6-原图像在不同频率域的显著特征。

融合影像既具有高空间分辨率影像的结构信息，又最大限度地保留了原多光谱影像的亮度与反差，防止影像信息丢失更好地反应了图像的细节特征，对植被、河流、城镇的解译能力有了很大的改善，提高了多光谱影像的分类精度和量测能力；但也存在易产生较为明显的分块效应和损失一定程度的高分辨率图像信息等不足。

参考文献
[1] Yunjun Yao, Shunlin Liang, Xianglan Li, Yuhu Zhang, Jiquan Chen, Kun Jia, Xiaotong Zhang , Estimation of high-。