多传感信息融合与自动化

　第28卷　增刊2002年12月自　动　化　学　报A CTA AU TOM A T I CA S I N I CA V o l 128,Supp l .D ec .,2002　多传感信息融合与自动化

韩崇昭 朱洪艳

(西安交通大学电子与信息工程学院　西安　710049)

(E 2m ail :czhan @m ail

.xjtu .edu .cn )摘　要　综述多传感信息融合技术的概念、发展的起因、主要研究内容、现有的理论和方法,同时还就其在工业机器人、汽车自动导航与驾驶、身份识别、多目标跟踪、人工智能等自动化领域的应用进行了讨论.作者对于这一新兴研究方向未来的发展趋势作了展望,并就信息融合的一般理论、主要方法论、存在的问题等进行了探讨.

关键词　信息融合,检测融合,估计融合,图像融合

中图分类号　T P 274

收稿日期　2002204210 收修改稿日期　2002207204

M UL T I -SENS OR INFOR M AT I ON FUSI ON AND AUT OM AT I ON

HAN Chon 2Zhao ZHU Hon 2Yan

(Colleg e of E lectronics and Inf or m ation E ng ineering ,X i ′an J iaotong U niversity ,X i ′an 710049)

(E 2m ail :czhan @m ail

.xjtu .edu .cn )Abstract T he basic concep t of the m ultisenso r info rm ati on fusi on is introduced in th is paper ,including its o rigin ,research fields ,existing theo ry and m ethods .

Its app licati ons in autom ati on area ,such as industrial robo ts ,

autom atic veh icle navigati on and steering ,identity verificati on ,

m ulti 2target track ing ,artificial intelligence ,etc .are also discussed .T he autho rs visi on the future of the research area and investigate the relevant p roblem s about the general theo ry ,m ain m ethodo logies and existing p roblem s .

Key words Info rm ati on fusi on ,detecti on fusi on ,esti m ati on fusi on ,i m age fusi on 1　什么是多传感信息融合

自然界中人和动物感知客观对象,不是单纯依靠一种感官,而是多个感官的综合.人类的视觉、听觉、触觉、嗅觉和味觉,实际上是通过不同感官获取客观对象不同质的信息,或通过同类传感器(如双目)获取同质而又不同量的信息,然后由大脑对这些信息进行交融,得到一种综合的感知信息.这种把多个感官信息进行交融的过程就是多传感信息融合

(m u ltisen so r info rm ati on fu si on )或称多源信息融合(m u lti 2sou rce info rm ati on fu si on ),见图1.最初,人们把信息融合也称为数据融合(data fu si on )

.

1988年,美国国会军事委员会把数据融

合技术列为其国防至关重要的21项关键技

术之一,且列为最优先发展的A 类.有人统

计,1991年美国已有54个数据融合系统引

入到军用电子系统中去,其中87%已有试验

样机、试验床或已被应用.随着系统论、控制

论、信息论、D em p ster 2Shafer 的证据理论、

Zedeh 的模糊逻辑理论等基础理论,以及计

算机技术、网络技术、通信技术和高效传感

器技术等实用技术的快速发展,使信息融合

技术得到前所未有的发展.1998年成立的国际信息融合学会(In ternati onal Society of Info rm ati on Fu si on ,简称IS IF ),总部设在美国,每年都举办一次信息融合国际学术大会,系统总结该领域的阶段性研究成果以及介绍该领域最新的进展.美国三军数据融合年会、

SP IE 传感器融合年会、

国际机器人和自动化会刊以及IEEE 的相关会议和会刊等每年也都有有关该技术的专门讨论.

目前普遍接受的有关信息融合的定义,是1991年由美国三军组织——实验室理事联合会JDL (Jo in t D irecto rs of L abo rato ries )提出[1],1994年由澳大利亚D STO (D efen se

Science and T echno logy O rgan izati on )加以扩展的[2].它将信息融合定义为一种多层次、

多方面的处理过程,包括对多源数据进行检测、相关、组合和估计,从而提高状态和特性估计的精度,以及对战场态势和威胁及其重要程度进行适时的完整评价.

也有专家认为,信息融合就是由多种信息源如传感器、数据库、知识库和人类本身获取有关信息,并进行滤波、相关和集成,从而形成一个表示构架,这种构架适合于获得有关决策,如对信息的解释,达到系统目标(例如识别、跟踪或态势评估),传感器管理和系统控制等.

我们认为,目前所研究的多传感信息融合,主要是指利用计算机进行多源信息处理,从而得到可综合利用信息的理论和方法,其中也包含对自然界人和动物大脑进行多传感信息融合机理的探索.研究的重点是特征识别和算法,这些算法导致多传感信息的互补集成,改善不确定环境中的决策过程,解决把数据用于确定共用时间和空间框架的信息理论问题,同时用来解决模糊的和矛盾的问题.

2　多传感信息融合技术发展的起因

促进多传感信息融合理论发展的主要动因之一是现代战争的迫切需要.由于现代武器系统具有机动性高、隐蔽性好、电子对抗性能强等特征,用于侦察和跟踪敌方目标的预警系统必须采用雷达、红外、视频、音频等多传感检测,同时联络各个检测点的不同数据进行融合,着重研究的问题包括可靠准确的目标获取、跟踪、身份识别、智能处理、后勤计划、维修计划、指挥与控制等.尤其是针对敌方巡航导弹和飞机低空飞行的现代空中预警系统通常由雷

811自 动 化 学 报　28卷

达、通信、导航、指挥控制、敌我识别、数据处理和电子对抗等设备构成,具有搜索、监视、跟踪和指挥攻击等多种功能.现代战争要求提供一切获取信息的手段,包括雷达、红外摄像机、光学摄像机、通信设施、计算机网络等,并对所获取的信息进行融合,以得到最佳可利用信息.采用信息融合技术,以达到精确目标获取、识别和跟踪的目的.

促进信息融合理论发展的另一个重要因素是现代民用高科技发展的需求.繁忙复杂的现代城市交通和快速便捷的高速公路,以及未来将要出现的自动车辆系统(AV S ),均要求建立智能交通系统(A T S )进行智能监测和控制,同样要求对车辆运行进行交通监视和跟踪,更需要多传感信息融合.未来自动车辆系统异类传感器包括视频传感器、激光扫描仪和雷达传感器等,融合的目的在于把目标输入到路径规划与制导系统中去.自动车辆系统的多传感信息融合,其传感器包括声音传感器、立体摄像机、彩色CCD 摄像机、背部摄像机、激光雷达、检测雷达等.

用于地球环境观测的遥感技术需要对不同传感手段的数据与信息进行融合,以获取更为精确的定量分析结果.包括卫星雷达、辐射计和光谱成像系统等多传感器可以提供观测对象的各种信息,利用不同尺度和不同层次上的融合技术,可以获得图像级、特征级和决策级的融合结果,从而达到对遥感对象更深层次的认知和洞悉.航天飞机合成孔径成像雷达(SA R )于20世纪80年代早期和90年代在NA SA 的航天飞机的搭载下完成了多次绕地球飞行的观测任务,对多种频段和入射角进行了实验,实验完成了以下任务:地质学应用、立体成像、海洋学观测、陆地分类等.

现代空中侦察与预警系统要求对敌方目标进行识别,以便有针对性进行攻防;而现代身份认证系统也要求能对人或物进行识别和辨认.这些都需要多传感信息融合技术的支持.

信息融合是机器人的现代支撑技术之一,它为多传感器的综合利用提供了最有效的技术手段.智能移动机器人是高级机器人,而智能移动机器人集人工智能、智能控制、信息处理、图像处理、检测与转换、信息融合等技术为一体,跨计算机、自动控制、机械、电子等多学科,成为当前机器人研究的热点之一.

图像融合与图像重构也是一个重要的研究方向,其目的是要由原始图像得到更多的图像信息.图像融合是遥感地理分布资源信息提取、战场可视化、预警系统、医学三维图像重构、机器人视觉等领域非常需要的先进技术,是一个很有发展前景的方向.现代医学需要虚拟三维造影,同样需要图像信息融合技术的支持,食道壁超声成像信息融合,即利用超声传感形成二维图像,然后利用融合技术使之进行三维重构食道图像,为医疗诊断和治疗提供了重要技术手段.

现代工业对象往往要求进行多传感综合监测,包括各种仪表的分布式检测、视频监视和网络化连接,同时对各种传感信息进行融合,完成设备运行故障诊断与报警等.因特网技术的迅猛发展需要在网络安全、运行效率等方面有重大改进,同样需要对大量多传感数据进行挖掘、融合,以获得综合信息.

还有一个促进信息融合理论发展的重要因素是认知科学和人工智能研究的需要.人和动物的认知机理一直是认知科学和人工智能研究的重点.人类需要不断探索自然界生命的奥秘,动物和人类认识客观对象的多传感信息融合机理还远远没有揭示出来.人工智能可以用机器视觉2机器听觉2机器触觉2感知信息融合的全过程来模拟人和动物的认知过程,但也需要建立新的理论框架以描述认知本质.

911增刊　韩崇昭等:多传感信息融合与自动化

3　信息融合理论的方法论基础和主要研究内容

在此研究领域开先河者是美国康涅狄格大学(U n iversity of Connecticu t )的国际著名系统科学家Y .B ar 2Shalom 教授.他最先于20世纪70年代提出了概率数据互联滤波器的概念,这就是数据融合的雏形[3,4].随后由于美国军事研究机构发现对多个连续声纳信号进行概率数据互联滤波之后,可以较高精度检测出敌方舰艇的位置,从而推动了数据融合理论和方法的发展,并研制成功多个实用的军用信息融合系统.80年代以来,美国相继研究开发了利用信息融合技术进行目标跟踪、目标识别、态势评估及威胁评估的各种军用系统,用于空中拦截、军事指挥等目的.这些系统后来不同程度地都发挥了作用,特别是在海湾战争中对导弹拦截发挥了重要作用.

信息融合理论的方法论基础主要包括以下几方面.

3.1　信息融合模式

所谓信息融合模式,是指融合的目的、信息源和所采用的方法等.图2是一个典型的模式.在此模式中,融合的目的是进行战场的目标识别、态势评估和冲突评价,同时给出过程优化决策结果;信息源来自国家信息、分布信息和局部信息,以及来自于数据库管理系统的支持数据库信息;所采用的方法包括识别方法、评估方法和优化方法等

.

3.2　信息融合类型与系统结构

目前我们研究的信息融合类型如下所述.

1)检测融合(detecti on fu si on ),其主要目的是利用多个传感器检测目标以判断其是否存在.关键问题是如何确定融合规则和量化器映射[5～9].并行分布式贝叶斯检测融合系统在假定各传感器量化规则给定的条件下,最优融合规则是通过优化所谓贝叶斯风险函数得到,并证明是似然比检验.在假定各传感器观测条件独立,给定融合规则单调,且每个传感器的量化器都是二值(0,1)输出时,则最优量化器映射规则仍为似然比检验.

2)估计融合(esti m ati on fu si on ),其主要目的是利用多传感器检测信息对目标运动轨迹进行估计[10～16].利用单个传感器的检测和估计可能难以得到比较准确的估计结果,需要多个传感器共同检测(估计),并利用多个检测(估计)信息进行融合,以最终确定目标运动轨

021自 动 化 学 报　28卷

迹.跟踪2融合系统一般由如下功能结构模块构成:传感器检测、标准化、信息关联、航迹更新,以完成跟踪2融合,得到融合输出结果.

3)图像融合(i m age fu si on )

[17,18],主要目的是由原始图像得到更多的图像信息.例如由几个二维图像经融合后得到三维图像;或者利用不同信息源得到的图像,经融合后产生新的图像.图像融合是战场可视化、预警系统、医学图象处理、机器人视觉等领域非常需要的先进技术,其关键问题是融合方法的选择等.图像融合又分为像素级融合、特征级融合及决策级融合等,使融合图像达到理想的技术要求.

典型的估计融合主要有两种结构:

(i )中心式结构,中心式估计融合系统中各传感器只获取检测信息,并把所有检测信息传送到融合中心,然后由融合中心进行统一处理,得到融合估计结果,此类系统的优点是信息损失小,但通信开销很大;

(ii )分布式结构,分布式估计融合系统中各传感器不仅获取检测信息,同时要分别进行估计,并把所有估计信息传送到融合中心,然后由融合中心得到融合估计结果,此类系统的优点是通信开销很小,但信息损失相对大.

融合系统还有其它的派生结构.

3.3　融合系统的融合策略、信息结构与融合算法

所谓融合系统的策略是指融合中心采用静态算法或动态算法的问题.图3和图4分别给出了两种不同的融合策略

.

1)传感器到传感器策略

其策略特征是传感器的估计利用历史信息和检测信息,而融合中心只利用瞬时信息,不利用历史信息.

2)传感器到系统策略

其策略特征是传感器可利用历史信息和检测信息,而融合中心既可利用瞬时信息,也可利用历史信息.

所谓融合系统的信息结构,是指因为时间标准的差异和通信延迟引起融合中心利用信息方式的不同.图5和图6分别给出了同步和异步信息结构的示意图.

1)同步信息结构的特征是,各检测点数据采样严格同步,融合中心严格按每步获得的信息进行融合估计.

2)异步信息结构的特征是,各检测点数据采样异步进行,融合中心按异步获得的信息进行融合估计.

典型的线性估计融合算法有最佳线性无偏估计(B est L inear U nb iased E sti m ati on ,121增刊　韩崇昭等:多传感信息融合与自动化

221自 动 化 学 报　28卷

BLU E)算法和加权最小二乘(W eigh ted L east Squares,W L S)算法等.X.Rong L i和笔者等关于W L S与BLU E算法在一定条件下等价的结论和线性估计融合统一算法的研究,对线性融合算法研究有重要意义.

目前比较有影响的算法是基于期望最大化(E M)的融合估计算法,以及与之有关的非线性估计算法.

4　未来的几个重要研究方向

1)可能性理论(po ssib ility theo ry in info rm ati on fu si on)[19].就是当部分信息的不精确性能够用可能性分布来描述时,用模糊集理论的观点来处理信息融合问题.不精确信息融合是与估计问题相区分的.这种方法可以用于传感器融合、专家意见集结以及数据库组合等方面.

2)随机集理论(random set theo ry)[20].在研究多假设跟踪算法时,已经在多目标跟踪和随机集理论之间建立起联系.一般多目标跟踪问题可以用随机有限集合来构造,多目标状态估计问题就可以描述成特殊的随机集估计问题.

3)证据推理理论(eviden tial reason ing app roach fo r info rm ati on fu si on)[21,22].由

D em p ster2Shafer建立的证据理论是一种数学理论,可以进行不确定性推理,从而可以给出一种解决不确定数据结合的方法.因此,这种方法已经在评估过程中成为多传感数据融合的基本方法.但是此方法仍然存在计算困难的缺点.

4)信息矩阵滤波器对跟踪融合的评价(evaluati on of track fu si on w ith info rm ati on m atrix filter)[23].对跟踪融合或状态估计融合有三种评价方法:加权协方差法、信息矩阵法和伪测量法.对于具有反馈或不具有反馈的递阶式融合结构,融合稳态的协方差的解析解可以得到.这样可以分析跟踪融合的内部机理,而且可以大大简化对融合性能的评价.

5)基于多模型的目标跟踪(target track ing based on m u lti2m odel app roach)[24].由于目标不可能始终按照一个模型运动,多模型(MM)方法是一个行之有效的方法.然而,若选择的模型构成的集合太大,一般很难使用.现在常用的方法是模型集自适应方法,即在线自适应地选择合适的模型集,从而大大提高效率.最新的有基于模糊Kal m an滤波的模型集自适应算法等.

6)分布式置信融合(distribu ted belief fu si on)[5～8]就是建立一种逻辑,它对具有不同程度可靠性的代理的置信进行组合.这个逻辑是通过联合多代理认知逻辑和多传感推理系统而得到的.对于各代理可靠性序列是用模式算子表示的,所以可在不同情况下用组合信息进行推理.此处存在不同的策略,最终将形成不同的结果.

7)多传感目标跟踪的混合状态估计(hyb rid esti m ati on fo r m u ltisen so r target

track ing )[25].所谓混合状态滤波算法,即利用扩展卡尔曼滤波处理同时兼有连续和离散变量的动态系统状态估计问题.该方法已经用来估计运动车辆的跟踪问题,连续变量描述车辆的运动过程,离散变量描述车辆的开停;多传感包括运动目标检测器(M T I )和多孔径成像雷达(SA R )的不同检测信息.

8)传感器管理.在多传感信息融合系统的研究过程中,一方面要重视融合中心的融合规则的优化设计,同时也要对各个传感器源进行优化调度,使每个传感器资源能够得到最充分合理的利用,并实现整个传感器组最优的总体性能.为构成多传感器协同工作的互补体系,必须依靠某种优化准则来管理这些传感器,以获得最优的数据采集功能.主要内容应包括传感器性能预测,传感器时空作用范围控制准则,传感器对目标分配的优先级技术等,以最大限度地发挥其性能,从而使其操作成本降到最低.

5　结论与展望

信息融合是一个新的研究领域,对于高技术发展,揭示人类和动物认知机理都有非常重要的意义.尤其是现代军事技术的发展,更离不开信息融合技术.

我国在信息融合领域的研究起步较早,但研究进展与国际先进水平比较尚有很大差距.许多大学和研究所都有专家从事这方面的研究,但力量分散,没有提出比较明确的研究目标.在多目标跟踪、武器制导等领域采用的方法比较传统,缺乏新理论和新方法的支持.因此,国内在此领域的研究基本上处于跟踪阶段.

我们认为,在未来的十年内,信息融合这一新兴科学领域将会有很大的发展,不仅在方法论的基础研究方面会不断有所突破,而且在应用方面会成果层出不穷.我们需要加强基础理论研究,更应该注重把最新理论成果应用于工程实际,这对我国国防建设和高技术发展都有重要意义.我们相信,在不远的将来,我们将接近或赶上国际研究水平,为实现我国的现代化做出贡献.

参考文献

1

[JDL ]U S D epartm ent of D efense .D ata fusi on subpanel of the j o int directo rs of labo rato ries .T echnical Panel fo r C 3,“D ata fusi on lexicon ”,19912

D STO (D efence Science and T echno logy O rganizati on )D ata Fusi on Special Interest Group ,D ata fusi on lexicon .D epartm ent of D efence ,A ustralia ,19943

Bar 2Shalom Y ,T se E .M ultitarget track ing in a cluttered environm ent w ith p robabilistic data associati on .A u to m atica ,1975,451～4604

Bar 2Shalom Y .Extensi on of the p robabilistic data associati on filter in m ultitarget track ing .In :P roc .of the 5th Symp.on N onlinear E sti m ati on,1974.16～215

X iang M ,H an C Z .D istributed detecti on under bayesian criteri on :Part I 2parallel structure .In :P roceedings of the 4th A nnual Conference on Info rm ati on Fusi on ,M ontreal ,Q uebec ,Canada :2001,1:1～176

X iang M ,H an C Z .D istributed detecti on under bayesian criteri on :Part II 2serial structure .In :P roceedings of the 4th A nnual Conference on Info rm ati on Fusi on ,M ontreal ,Q uebec ,Canada .2001,1:1～257X iang M ,H an C Z .Global op ti m izati on fo r distributed and quantized bayesian detecti on system .In :P roceedings of

the 3rd Internati onal Conference on Info rm ati on Fusi on ,Paris :2000

3

21增刊　韩崇昭等:多传感信息融合与自动化

421自 动 化 学 报　28卷

8X iang M,H an C Z.Global op ti m izati on fo r distributed detecti on system under the constraint of likelihood rati o quantizers.In:P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

9Chair Z,V arshney P K.Op ti m al data fusi on in m ulti p le senso r detecti on system s.IE E E T rans.on A ES,1986,22

(1):

10H an C Z,W ang J,L i X R.Fused state esti m ati on of linear continuous2ti m e system s w ith m ultisenso r asynch ronous m easurem ents.In:P roceedings of the4th A nnual Conference on Info rm ati on Fusi on,M ontreal,Q uebec,Canada.

2001,2:13

11L i X R,H an C Z,W ang J.D iscrete2ti m e linear filtering in arbitrary no ise.In:P roceedings of the39th IEEE Conference on D ecisi on and Contro l,Sydney,A ustralia:2000.12

12L i X R,H an C Z,W ang J.R ecursive s moo th ing and p redicti on fo r linear discrete2ti m e system s in arbitrary no ise.

In:P roceedings of the39th IEEE Conference on D ecisi on and Contro l,Sydney,A ustralia:2000

13L i X R,Zhu Y M,H an C Z.U nified op ti m al linear esti m ati on fusi on,Part I:U nified models and fusi on rules.In: P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

14L i X R,W ang J.U nified op ti m al linear esti m ati on fusi on,Part II:D iscussi ons and examp les.In:P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

15韩崇昭,王　洁,李晓榕.一般相关量测噪声线性系统的递推状态估计.西安交通大学学报,2000,34(8):

16韩崇昭,王　洁,李晓榕.一般相关量测噪声下线性系统的平滑估计算法.西安交通大学学报,2000,34(9):

17Ro ss W D et al.M ulti2senso r3D i m age fusi on and interactive search.In:P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

18V andenE lsen P A.A utom atic registrati on of CT and M R I brain i m ages using co rrelati on of geom etrical features.

IE E E T rans on M ed ical Im ag ing,1995,14(2):384～396

19D ubo is D,P rade H.Po ssibility theo ry in info rm ati on fusi on.In:P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

20M o ri S.R andom sets in data fusi on:Fo rm alis m to new algo rithm s.In:P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

21Fouque L et al.A n evidential m arkovian model fo r data fusi on and unsupervised i m age classificati on.In: P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

22Cho lvy L.A pp lying theo ry of evidence in m ultisenso r data fusi on:A logical interp retati on.In:P roceedings of the 3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

23Chang K C.Evaluating h ierarch ical track fusi on w ith info rm ati on m atrix filter.In:P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

24B lom H A P,Bar2Shalom Y.T he interacting m ulti p le model algo rithm fo r system s w ith m arkovian s w itch ing coefficients.IE E E T rans.A u to m.Control,1988,33(8):780～783

25Co ralupp i S et al.A hybrid2state esti m ati on algo rithm fo r m ulti2senso r target track ing.In:P roceedings of the3rd Internati onal Conference on Info rm ati on Fusi on,Paris:2000

韩崇昭　教授,博士生导师.1968年毕业于西安交通大学电机工程系,1978～1981年在中国科学院研究生院攻读自动控制专业研究生,获硕士学位.1981年至今在西安交通大学工作.现任控制科学与工程系主任;同时任中国自动化学会理事、陕西省自动化学会副理事长.主要研究领域是随机控制与自适应控制、工业过程控制与优化、非线性频谱分析,以及决策理论与决策支持系统等,近年来主要从事信息融合理论研究.发表论文120多篇,出版著作6本.曾参与和主持多项重大科研项目,有多项科研成果获省部级以上奖励.

朱洪艳　讲师,博士研究生.研究领域为最优控制、多目标跟踪、多传感器信息融合等.