多传感器图像融合综述

多传感器图像融合综述

吴定兵

（上海大学机电工程与自动化学院，上海200072）

摘要：多传感器图像融合是指针对多个传感器采集的关于同一目标或场景的图像进行适当的处理，产生一幅新的图像，使之更适合人眼感知或计算机后续处理。每一种传感器是为了适

应特定的环境和适用范围设计的，具有不同的特征或不同视点的传感器获取的图像间既存在冗

余性又存在互补性，通过对其融合，能有效提高系统的可靠性和图像信息的利用效率。数据融

合技术是一个多级、多层面的数据处理过程，主要完成对来自多个信息源的数据进行自动检测、

关联、相关、估计及组合等的处理，得出最终结论或决策的技术。多传感器数据融合是一门新

兴的技术，是对数据的综合与处理的过程[1][2]。

关键字：多传感器；图像融合；图像融合算法；评价标准

Summary of multi-sensor image fusion

Dingbing Wu

(School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200072, China)

Abstract：Multi-sensor image fusion is the appropriate image processing on the same target or multiple sensors which capture the scene for generating a new image, making it more suitable for human eye perception or computer for subsequent processing. Each sensor is adapted to specific environments and scope of design between images having different characteristics or different viewpoints acquired by the sensor and there exists both complementary redundancy through their fusion, which can effectively improve the reliability of the system efficiency and image information. Data fusion technology is a multi-level, multi-level data processing, mainly to complete the data from multiple information sources for automatic detection, association, correlation, estimation and combination treatment, etc., get a final conclusion or decision-making techniques.

Multi-sensor data fusion is an emerging technology that is integrated with the data processing process.

Key words: Multi-sensor; Image fusion; Image fusion algorithm; Evaluation criteria

1.引言

多传感器信息融合是指对来自多个传感器的信息进行多级别、多方面、多层次的处理与综合，从而获得更丰富、更精确、更可靠的有用信息。其中Edward和James对信息融合给出了如下定义：信息融合就是一种多层次的、多方面的处理过程，这个过程对多源信息进行检测、结合、相关、估计和组合以达到精确的状态估计和身份估计，以及完整、及时的态势评估。从八十年代初至今，多传感器信息融合特别是多传感器图像融合已引发了世界范围的

广泛兴趣和研究热潮，它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。多传感器图像融合就是利用各种成像传感器得到的不同图像，综合不同图像的互补信息和冗余信息，以获得更为全面更为准确的图像描述。例如，红外图像和可见光图像的融合可以更好地帮助直升机飞行员进行导航；CT和核磁共振(MPd)图像的融合处理为临床诊断提供可靠的信息[3]。

2. 图像融合技术的发展与现状

多传感器图像融合技术最早被应用于遥感图像的分析和处理中。1979年，Daliy等人首先把雷达图像和Landsat．MSS图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合。

这种技术在20世纪80年代以来逐步发展成为一门新兴的技术，数据(信息)融合(Data(In-formation)Fusion)技术。20世纪90年代以来,数据融合技术在国内得到了迅速的发展和应用,被广泛应用于遥感图象处理、工业应用、数字地球和目标识别等范畴,各种数据融合方法也不断地被开发探索。

近二十年来，国际上在图像融合的不同层次上开展了大量的模型与算法研究，提出了各种形式的系统。美国计划在2010年研制出覆盖射频、可见光、红外波段公用孔径的有源、无源一体化基于图像与数据融合的探测器系统图像融合技术无疑具有良好的发展前景。

近年来，图像融合在应用方面有了一定的发展，2005年10月4日，由我国和巴西联合研制的“资源一号”卫星发射升空，卫星上安装了我国自行研制的CCD相机和红外多光谱扫描仪，这两种航天遥感器之间可进行图像融合，大大扩展了卫星的遥感应用范围。

3．多传感器图像融合基本概念

3.1 图像融合的定义

图像融合就是指对采用一定算法，把两幅或多幅具有互补信息的源图像融合成一幅新的图像。它可使得新图像更加适合人的视觉感知，或者满足诸如图像处理中的分割、特征提取、目标识别的需要。图1说明了两传感器的互补与冗余信息关系：

图1 多传感器信息互补与冗余

Fig.1 Complementary and redundant of multi-sensor information 由于技术的进步，不断出现了多种新的传感器，将这些成像传感器进行适当的组合，将会改善整个信息处理系统的性能。虽然每一种传感器在特定的工作条件和工作范围内，在每种程度上是最佳的，但是它却不能获得人或者计算机在检测目标时所需要的全部信息。因此，对于这些具有不同特性的传感器进行有效的集合，将会扩展其中任何一个的能力，最终合成