多源图像融合关键技术及应用研究

多源图像融合关键技术及应用研究

摘要:人类生存环境的日趋复杂,使得无论性能多么优越的单一传感器都无法获得对目标精确全面的描述,多源图像融合是指根据各波段传感器获得信息的互补性和冗余性,综合多个传感器的信息,获取对同一目标或场景全面而详尽的表述,从而得出更为准确、可靠的结论。本文首先分析了多源图像融合主要研究内容,进而探讨了发展现状和存在的问题,在此基础上,笔者总结了图像融合中常用的传感器和应用方向,相信对从事相关研究的同行能有所裨益。

关键词:多源图像融合传感器冗余

1 引言

近30年来,由于计算机技术的发展和传感器性能的提高,面向各种重要应用的多传感器系统大量涌现,多源图像融合技术受到人们越来越广泛的关注。所谓多源图像融合就是指根据各波段传感器获得信息的互补性和冗余性,综合多个传感器的信息,获取对同一目标或场景全面而详尽的表述,从而得出更为准确、可靠的结论。图像融合的方式可以分为多传感器不同时获取的图像的融合、多传感器同时获取的图像的融合和单一传感器不同时间、或者不同环境条件下获取的图像的融合三种。图像融合能充分利用这些时间或空间上冗余或互补的图像信息,依据一定的融合算法合成一幅满足某种需要的新图像,从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。

通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果,使系统变得更加实用。同时,使系统具有良好的鲁棒性,例如,可以增加置信度、减少模糊性、改善分类性等。图像融合的层次可分为:像素级、特征级和决策级。

目前,将图像融合技术应用于数字图像处理的主要目的有以下几种:

(1)增加图像中有用信息的含量,改善图像的清晰度,增强在单一传感器图像中无法看见/看清的特性;

(2)改善图像的空间分辨率,增加光谱信息的含量,为改善检测/分类/理解/识别性能获取补充的图像信息;

(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况;

(4)通过融合多个二维图像产生具有立体视觉的三维图像,可用于三维重构或立体投影,测量等。

(5)利用来自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。

显然,图像融合技术不同于一般意义上的图像增强,它是计算机视觉、图像理解领域的一项新技术。

2 图像融合关键技术研究

2.1 图像融合的层次

图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理,最终形成一幅新的图像。根据融合处理所处的阶段不同,图像的融合处理通常可以在三个不同层次上进行:像素级(Pixel-level)图像融合、特征级(Feature-level)图像融合以及决策级(Decision-level)图像融合。融合的层次不同,所采用的算法、适用的范围也不相同。

(1)像素级图像融合

像素级图像融合是在严格配准的条件下,对各图像传感器输出的信号,直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合,其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上的融合处理所不具有的更丰富、更精确、更可靠的细节信息,有利于图像的进一步分析、处理和理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式,也是特征级图像融合和决策级融合的基础,但缺点是预处理的信息量最大,处理时间较长,对通信带宽的要求高。在进行像素级图像融合之前,必须对参加融合的各图像进行精确的配准,其配准精度一般达到像素级,因此,像素级融合是图像融合中最为复杂且实施难度最大的融合。

像素级融合通常用于:多源图像融合、图像分析和理解。

(2)特征级图像融合

特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合,它既保留了足够数量的重要信息,又可对信息进行压缩,有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能,以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光滑、相似亮度区域、相似景深区域等。

(3)决策级图像融合

决策级图像融合是一种更高层次的信息融合,其结果将为各种控制或决策提供依据。这种方法是首先对各个源数据进行处理,分别得出判断和识别的结果,融合中心将这些结果按照一定的准则和每个数据源决策的可信度进行协调,以取得最优的决策结果。决策级融合方法主要是基于认知模型的方法,需要大型数据库和专家决策系统,进行分析、推理、识别和判决。此中融合实时性好,并且有一定的容错能力,但其预处理代价较高,图像中的原始信息的损失最多。

2.2 图像融合算法的发展

对图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测或观测大地环境的变化等等。

其采取的融合方法:主要有IHS(明度-色度-饱和:Intensity-Hue-Saturation)变换、平均、加权平均、差分及比率、PCA(主分量分析:Principal-Component-Analysis)、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换,融合处理只是在一个层次上进行的,因此均属于早期的图像融合方法。

到20世纪80年代中期,人们又提出了基于金字塔的图像融合方法,其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等,并开始将图像融合技术应用于一般图像(可见光图像、红外图像、多聚焦图像、遥感图像等)的处理。20世纪90年代,随着小波理论的发展与广泛应用,小波变换技术为图像融合提供了新的工具,使图像融合技术的研究呈不断上升趋势,应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器人导航、决策支持系统、大型经济信息、医学图像处理等。

3 图像融合中常用的传感器

图像融合的主要数据主要来源于各种传感器,目前常用的传感器及其主要特征如表1所示,除了表中的主要图像传感器外,还有其他的图像传感器如紫外光成像仪、X射线成像仪、超声波成像仪等等。各种图像传感器所获取的图像的特性不同,这些特性有时可能由相同的物理现象导致,也有可能来自不同的物理现象。例如,红外图像不依赖