多传感器信息融合综述

1.多传感器信息融合概念
多传感器信息融合是指综合来自多个传感器的感知数据, 以产生更可靠、更准确或更精确的信息。

经过融合的多传感器系统能完善地、精确地反映检测对象特性, 消除信息的不确定性, 提高传感器的可靠性。

经过融合的多传感器信息具有以下特性: 信息的冗余性、信息的互补性、信息的实时性和信息的低成本性。

2. 多传感器信息融合分类
按融合判断方式分类
（1） 硬判决方式
硬判决方式设置有确定的预置判决门限。

只有当数据样本特征量达到或超过预置门限时，系统才做出判决断言；只有当系统做出了确定的断言时，系统才向更高层次系统传送“确定无疑”的判决结论。

这种判决方式以经典的数理逻辑为基础，是确定性的。

（2） 软判决方式
软判决方式不设置确定不变的判决门限。

无论系统何时收到观测数据都要执行相应分析，都要做出适当评价，也都向更高层次系统传送评判结论意见及其有关信息，包括评判结果的置信度。

这种评判不一定是确定无疑的，但它可以更充分地发挥所有有用信息的效用，使信息融合结论更可靠更合理。

按传感器组合方式分类
（1） 同类传感器组合
同类传感器组合只处理来自同一类传感器的环境信息，其数据格式、信息内容都完全相同，因而处理方式相对比较简单。

（2） 异类传感器组合
异类传感器组合同时处理来自各种不同类型传感器采集的数据。

优点是信息内容广泛，可以互相取长补短，实现全源信息相关，因而分析结论更准确、更全面、更可靠，但处理难度则高很多。

3.信息融合的系统结构
信息融合的系统结构研究包含两部分, 即信息融合的层次问题和信息融合的体系结构。

融合的层次结构主要从信息的角度来分析融合系统, 信息融合的体系结构则主要是从硬件的角度来分析融合系统。

（1）信息融合的层次
信息融合系统可以按照层次划分, 对于层次划分问题存在着较多的看法。

目前较为普遍接受的是层次融合结构, 即数据层、特征层和决策层。

数据层融合是指将全部传感器的观测数据直接进行融合, 然后从融
合的数据中提取特征向量, 并进行判断识别。

这便要求传感器是同质的, 如果传感器是异质的, 则数据只能在特征层或者决策层进行融合。

数据层融合的优点是保持了尽可能多的原始信息,缺点是处理的信息量大, 因而处理实时性较差。

特征层融合是指将每个传感器的观测数据进行特征抽取以得到一个特征向量, 然后把这些特征向量融合起来, 并根据融合后得到的特征向量进行身份判定。

特征层融合对通信带宽的要求较低, 但由于数据丢失使其准确性有所下降。

决策层融合是指每个传感器执行一个对目标的识别, 将来自每个传感器的识别结果进行融合。

该层次融合对通信带宽要求最低, 但产生的结果相对来说最不准确。

信息融合的层次结构是按照信息抽象程度来划分的。

在多传感器融合系统的实际工程应用中, 应综合考虑传感器的性能、系统的计算能力、通信的带宽、期望的准确率以及现有资金的能力, 以确定采用哪种层次化系统结构模型或者混合的层次模型。

而基于信息的层次结构的确定, 可以为系统硬件体系结构的确定打好基础。

（2)信息融合的体系结构
信息融合的硬件体系结构大致分为三类:集中式、分布式和混合式。

集中式是将各传感器结点的数据都送到中央处理器进行融合处理。

该方法可以实现实时融合, 其数据处理的精度高、解法灵活, 缺点是对处理器要求高、可靠性较低、数据量大, 故难于实现。

分布式是各传感器利用自己的量测单独跟踪目标, 将估计结果送到总站, 总站再将子站的估计合成为目标的联合估计。

该方法对通信带宽要求低、计算速度快、可靠性和延续性好, 但跟踪精度没有集中式高。

混合式是将以上两种形式进行组合,它可以在速度、带宽、跟踪精度和可靠性等相互影响的各种制约因素之间取得平衡, 因此目前的研究着重于混合式结构。

采用何种体系结构完全是为了满足各种不同的实际需要, 在设计数据融合体系结构时, 应根据确定的系统层次结构来确定相应的体系结构, 同时还必须考虑数据通信、数据库管理、人机接口、传感器管理等许多支撑技术。

4. 多传感器信息融合的一般方法
信息融合的方法是多传感器信息融合的最重要的部分, 由于其应用上的复杂性和多样性, 决定了信息融合的研究内容极其丰富, 涉及的基础理论较多。

多传感器信息融合算法可以分为以下四类: 估计方法、分类方法、推理方法和人工智能方法, 如图1 所示。

估计方法中加权平均法是信号级融合方法最简单、最直观方法是加权平均法,该方法将一组传感器提供的冗余信息进行加权平均,结果作为
融合值,该方法是一种直接对数据源进行操作的方法。

卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。

该方法用测量模型的统计特性递推,决定统计意义下的最优融合和数据估计。

如果系统具有线性动力学模型,且系统与传感器的误差符合高斯白噪声模型,则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。

卡尔曼滤波的递推特性使系统处理不需要大量的数据存储和计算。

但是,采用单一的卡尔曼滤波器对多传感器组合系统进行数据统计时,存在很多严重的问题,例如: (1)在组合信息大量冗余的情况下,计算量将以滤波器维数的三次方剧增,实时性不能满足; (2)传感器子系统的增加使故障随之增加,在某一系统出现故障而没有来得及被检测出时,故障会污染整个系统,使可靠性降低。

分类方法主要有参数模板法和聚类分析。

无监督或自组织学习算法诸如学习向量量化法( learning vector quant izat ion, LVQ ) , K - 均值聚类( K-means clustering ) , Kohonen 特性图( Kohonen feature map) 也常用作多传感器数据的分类。

K-均值聚类算法是最常用的无监督学习算法之一, 而自适应K- 均值方法的更新规则形成了Kohonen特性图的基础。

此外自适应共振理论( ART) 、自适应共振理论映射( ARTMAP) 和模糊自适应共振理论网络( fuzzy-ART netw ork) 以自适应的方法进行传感器融合。

它们能够自动调整权值并且能在环境变化和输入漂移的情况下保持稳定。

图1 多传感器融合算法分类
推理方法。

多贝叶斯估计法为数据融合提供了一种手段,是融合静态环境中多传感器高层信息的常用方法。

它使传感器信息依据概率原则进行组合,测量不确定性以条件概率表示,当传感器组的观测坐标一致时,可
以直接对传感器的数据进行融合,但大多数情况下,传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。

多贝叶斯估计将每一个传感器作为一个贝叶斯估计,将各个单独物体的关联概率分布合成一个联合的后验的概率分布函数,通过使用联合分布函数的似然函数为最小,提供多传感器信息的最终融合值,融合信息与环境的一个先验模型提供整个环境的一个特征描述。

D-S证据推理是贝叶斯推理的扩充,其3个基本要点是:基本概率赋值函数、信任函数和似然函数。

D-S方法的推理结构是自上而下的,分三级。

第1级为目标合成,其作用是把来自独立传感器的观测结果合成为一个总的输出结果( ID) ;第2级为推断,其作用是获得传感器的观测结果并进行推断,将传感器观测结果扩展成目标报告。

这种推理的基础是:一定的传感器报告以某种可信度在逻辑上会产生可信的某些目标报告;第3级为更新,各种传感器一般都存在随机误差,所以,在时间上充分独立地来自同一传感器的一组连续报告比任何单一报告可靠。

因此,在推理和多传感器合成之前,要先组合(更新)传感器的观测数据。

人工智能方法对融合大量的传感器信息, 用以非线性和不确定的场合颇有优势。

可分为专家系统、神经网络和模糊逻辑。

专家系统是一种基于人工智能的计算机信息系统。

神经网络是一个具有高度非线性的超大规模连续时间自适应信息处理系统。

在多传感器系统中,各信息源提供的环境信息都具有一定程度的不确定性, 对这些不确定信息的融合过程实质上是一个不确定性推理过程。

神经网络可根据当前系统所接受的样本的相似性, 确定分类标准。

同时可以采用特定的学习算法来获取知识, 得到不确定性推理机制。

模糊逻辑是多值逻辑, 它允许将传感器信息融合过程中的不确定性直接表示在推理过程中。

由于模糊集表达了一个不确定概念, 应用模糊理论并结合其它手段, 如神经网络, 可以取得更好的融合结果。

表1　常用的数据融合方法比较
5. 多传感器在机器人中的应用
5.1在工业机器人中的应用
在工业机器人中,除采用传统的位置、速度和加速度传感器外，装配、焊接机器人还应用了视觉、力觉和超声波等传感器。

表2给出了多传感器信息融合技术在工业机器人领域应用的典型实例。

表2 多传感器信息融合技术在工业机器人领域应用
5.2 在机器手爪中的应用
美国的Utah/MIT灵巧手、日本的ARH智能手爪以及我国的HIT/DLR机器人灵巧手、BH-3灵巧手都配有多种传感器，主要包括视觉传感器、接近觉传感器、力/力矩传感器、位姿/姿态传感器、速度/加速度传感器、温度传感器以及触觉/滑觉传感器等。

Bayes算法和D-S论据常用于机器人手爪的信息融合。

罗志增等人将这2种算法综合运用到一个装有6种传感器的机器手爪中，并进行了工件识别、抓取实验，正确率达96.7%。

美国的Luo在由PUMA 560机器手臂控制的夹持型手爪的平台上提出了基于视觉、接近觉、触觉、位置、力/力矩及滑觉等传感器信息融合新方法，整个过程分为3步：1）采集多传感器的原始数据，并用Fisher模型进行局部估计；2）对统一格式的传感器数据进行比较，发现可能存在误差的传感器，进行置信距离测试，从而建立距离矩阵和相关矩阵，得到最接近最一致的传感器数据；3）运用Bayes推理算法进行全局估计，融合多传感器数据，同时，对其他不确定的传感器数据进行误差检测，修正传感器的误差。

5.3 在移动机器人中的应用
HILARE是第一个应用多传感器信息融合技术来构建未知环境实物模型的可移动机器人,其由法国LAAS实验室研制而成,该机器人配有16只超
声波传感器、2只二维激光测距仪、1只视觉传感器和1只黑白相机。

超声波和视觉传感器用来产生一个被层次化坐标所分割的图，视觉和激光测距传感器用来感知环境中的三维区域格，并通过约束来提出无关的特征。

在此机器人上设定每只传感器的不确定性为高斯分布且所有传感器测量值的标准偏差相同，采用加权平均法作为系统信息融合的算法。

多传感器信息融合技术的运用使得HILARE机器人具有较强的环境
适应能力，可在非结构环境中稳定的工作。

当前，信息融合技术在移动机器人中最成功的应用是美国的火星探测机器人Sojourner 。

该机器人是一个高度集成的多传感器平台,配有黑白和彩色成像系统数套。

其大量地使用了信息融合技术，利用融合后的信息，实现了自主导航、定位、土壤和岩石成分分析等操作。

对于Sojourner的状态估计,使用了里程表、速度传感器、加速度传感器、航向传感器、测距仪和立体CCD摄像机，融合算法运用了航位推测法和扩展卡尔曼滤波技术。

CASIA-I是由沈阳自动化所和中国科学院自动化所联合设计研制的基于复合机构的非结构环境移动机器人。

它是我国第一台采用计算机融合红外、超声、视觉、电子陀螺和语音等传感器信息的具有一定自主能力的轮-腿-履带复合型移动机构的机器人。

在机器人的四周装有11只超声波传感器，为了弥补其探测盲区，又另加了7只红外线传感器。

超声和红外传感器采集的车体附近的障碍物距离信息经过滤波、归一化处理之后作为避障算法的输入。

此外，机器人上还安装了用来确定目标物体方位的视觉传感器和用作检测机器人位置、航向、姿态的电子罗盘。

这些来自多种传感器的信息经过信息融合系统的预先处理后传送到控制和监控计算机，为控制决策提供依据。

研究者在航迹推算、感知定位、GPS 定位和激光定位等方法基础之上，采用了电子罗盘结合超声、视觉即时感知监测机器人位置、状态以及环境信息的定位新方法，解决了移动机器人在所处环境中的精确定位的问题。

6.移动机器人多传感器信息融合的实现
目前, 移动机器人领域中采用的多传感器信息融合方法主要包括:加权平均法、Kalman滤波、扩展Kalman滤波、Bayes估计、Dempster-Shafer证据推理、模糊逻辑、神经网络以及基于行为方法和基于规则方法等。

应用这些方法可以
进行数据层、特征层以及决策层等不同的层次的融合等, 也可以实现测距传感器信息、内部航迹推算系统信息、全局定位信息之间的信息融合, 进而准确、全面地认识和描述被测对象与环境, 从而做出移动机器人能够作出正确的判断与决策。

6.1 加权平均法
此种方法是将一组传感器提供的冗余信息进行加权平均, 并将加权平均值作为信息融合值。

它是一种最简单、最直观地对多传感器低层数据的信息融合方法。

该方法存在的最大弊端就是很难获得最优加权平均值, 而且, 确定权值需要花费大量的时间。

6.2Kalman滤波及其扩展
用于实时融合动态的低层次冗余传感器数据。

该方法用测量模型的统计特性递推决定在统计意义下是最优的融合数据估计。

如果系统具有线性动力学模型, 且系统噪声和传感器噪声是符合高斯分布的白噪声,那么, Kalman滤波为融合数据提供唯一的统计意义下的最优估计。

这种方法的递推特性使得其计算速度快, 且不需要过多的存储空间。

随着计算机技术的飞速发展, Kalman 滤波的计算要求与复杂性已不再阻碍该方法的实际应用。

现在这种方法越来越受到人们的青睐, 尤其是在多传感器多目标跟踪系统中更显出其独特的优点, 如, Tomatis 等人采用基于Kalman滤波混合法实现了移动机器人的导航, 试验结果表明: 在1.15 km 的路程上成功率达到96%。

从移动机器人的跟踪精度来看, 偏离目标点的误差仅为9mm。

工程实际应用中, 系统模型线性程度的假设或者数据处理不稳定性时, 将对信息融合过程产生较大影响。

在这种情况下, 常常采用扩展Kalman滤波( EKF )取代常规的Kalman滤波。

EKF是移动机器人实现即时定位与导航的重要方法, 在移动机器人定位和导航中, 利用传感器融合和非线性模型预测控制方法, 并以扩展的Kalman滤波实现最优估计。

采用Kalman滤波器通过统计特征进行状态估计, 并实现噪声引起的误差最小。

6.3Bayes估计
Bayes估计是融合静态环境中多传感器低层信息的一种常用方法, 其信息描述为概率分布, 适用于具有可加高斯噪声的不稳定性。

该融合方法产生于多传感器融合技术的初期。

应用Bayes估计方法时, 首先, 应描述出模型; 然后,赋予每个命题一个先验概率; 再使用概率进行推断,特别根据信息数据估计置信度获取结果。

但是, 当某一个传感器的新信息到来, 而此时未知命题的数量大于已知命题的数量时, 已知命题的概率是非常不稳定的。

该方法主要应用于移动机器人自身的状态估计以及对运动目标的识别与跟踪等方面。

6.4Dempster-Shafer证据推理
证据推理的概念首先由Dempster于1967年提出, 后来, 由他的学生Shafer 进一步发展完善。

Dempster-Shafer证据推理是Bayes方法的扩展, 而又不同于Bayes方法。

Bayes估计仅仅使用了一个代替前提概率为真的一个值, 当前提相互关联时, Bayes方法难以保证估计的一致性。

Dempster-Shafer方法使用一个不稳定区间, 通过不稳定未知前提的先验概率来避免Bayes方法的不足。

由于Dempster-Shafer证据推理法研究问题的方式和内容特别适合处理多传感器集成系统的信息融合问题, 因此, 该证据推理现已成为信息融合的一个重要理论基础。

在移动机器人领域中, 这一方法现已被成功地应用于移动机器人对目标的识
别。

Dempster-Shafer证据推理的优点是不需要指定先验概率; 其缺点是一般情况下计算量非常大, 而且, 在工程实际应用中, 如何有效获取基本概率赋值也有待于进一步深入研究。

Dempster-Shafer 理论只积累单独的信息源, 而当事件合并后, 时间权重与信任度之间存在不合理关系, 因此, 该理论还需进一步深入研究完善。

6.5 模糊逻辑与人工神经网络
利用模糊逻辑可将多传感器数据融合过程中的不确定性直接表示在推理过程中。

基于模糊规则的目标识别融合计算非常简单, 通过指定一个0到1之间的实数来表示真实度, 这相当于隐式算子的前提。

但它不象Dempster-Shafer方法: 随着证据的积累的同时, 逐步增长可能目标对象的概率取值, 减少不可能目标对象的概率取值。

近年来, 模糊集合推理被广泛应用于移动机器人目标识别与路径规划方面。

Sasiadek利用模糊逻辑和扩展的Kalman滤波进行传感器信息融合。

人工神经网络方法是一种仿效生物神经系统的信息处理方法。

一个神经网络包括以各种方式联接的多层处理单元。

神经网络对输入的数据进行非线性变换, 从而完成了聚类分析技术所进行的从数据到属性的分类。

基于神经网络的多传感器信息融合有以下特点: 具有统一的内部知识表示形式, 通过特定的学习算法可以将神经网络获取的传感器信息进行融合, 获得相应网络参数; 可将知识规则转换成数字形式, 便于建立知识库; 不用建立系统精确的数学模型, 非常适合于非线性测试情况;具有大规模并行处理的能力, 使得系统信息处理速度非常快, 并且, 具有很强的容错性和鲁棒性。

基于神经网络的信息融合实质上是一个不确定性推理过程。

充分利用外部环境的信息, 实现知识的自动获取以及在此基础上进行联想推理。

经过大量的学习和推理, 将不确定环境的复杂关系融合为系统能够理解的符号。

神经网络的研究对于多传感器信息融合提供了一种很好的方法, 其非线性逼近能力在信息融合中非常引人注目, 通常采用的是三层感知器模型和BP算法。

目前, 在移动机器人多传感器信息融合中, 神经网络主要用于对移动机器人目标的识别, 获得移动机器人对于障碍物影像的精确的估计,正确地引导机器人运动。

采用神经网络的多传感器信息融合方法, 能够
解决移动机器人的自主行走问题。

为了有效地改善神经网络信息融合的效果和速度, 利用阵列神经网络进行信息融合的结构模型, 可以通过子网络实现信息的分化与融合。

传统的神经网络结构对于大量学习样本, 需要的隐结点数非常大,甚至需要很多的隐含层, 因此, 需要很大的计算工作量。

限于计算机的运行速度, 导致实时性很差, 这也是今后亟待进一步解决的问题。

7.发展趋势
随着电子技术以及VLSI技术的飞速发展, 传感器结构将朝着并行体结构发展, 因此, 开发并行计算能力的软件和硬件, 来满足具有大量数据且计算复杂的多传感器信息融合的要求, 是多传感器信息融合技术的主要发展趋势之一。

多传感器信息融合技术硬件的主要发展方向为: 研究出能处理多传感器信息的集成电路芯片, 不断研制出新型移动机器人用传感器, 并且, 不断使传感器模型和接口实现标准化。

目前, 多传感器信息融合算法很多, 但大多数算法都是以线性正态分布的平稳随机过程为前提。

因此, 开发新型的信息融合算法, 进一步提高多传感器融合系统的性能, 解决非线性以及非平稳正态分布的实际信息融合还有待于进行深入的研究。

人工智能可使系统本身具有良好的柔性与可理解性,因而, 能够处理复杂的问题。

对人工智能的研究将会在传感器选择、自动任务误差检测与恢复等领域发挥巨大的作用。

目前, 人工智能在多传感器信息融合中的应用已经是国内外研究的一个热点。

移动机器人在未知环境下的多传感器信息融合, 主要解决其自主定位与导航问题。

目前, 基于多传感器信息融合的移动机器人自主定位与环境建模取得的研究成果, 大多局限于室内结构化环境中。

有关决策规则的鲁棒性、传感器布置的效果、生物传感器方法的适应性以及自定位、运动规划和控制与机器人动态的综合考虑等方面问题仍有待于深入研究, 特别是非结构环境下移动机器人技术将是今后机器人技术发展的重点。