像素级图像融合技术在军事领域应用研究

像素级图像融合技术在军事领域应用研究

史玉龙、李林、侯海婷

摘要像素级图像融合是在基础层面上进行的图像融合,它能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息,有利于图像的进一步分析、处理与理解,它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文分析了像素级多源图像融合技术的主要研究内容，阐述了像素级多源图像融合方法及其在军事领域的应用，进而对其未来发展方向进行了展望。

关键字像素级图像融合；图像处理；发展与军事应用

1 引言

在现代战争中，信息主导权是影响战略全局的关键因素，现代信息系统通向智能化的重要一环是其感知系统必须包括能够获取足够信息的多种类型的传感器。各种传感器的信息具有不同的特征，每种传感器仅能给出目标和环境的部分或某个侧面的信息。而多传感器数据融合的基本原理就是充分利用各个传感器资源，通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在空间或时间上的冗余或互补信息依据某种准则进行组合，以获得被测对象的一致性解释或描述，使该信息系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能。

图像融合就是对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取对同一场景的更为准确、更为全面、更为可靠的图像描述。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息，融合后的图像应该更适合于人类视觉感知或计算机后续处理。

2 像素级图像融合技术概述

2.1 像素级图像融合概念

图像融合技术是一种先进的综合多个源图像信息的图像处理技术。所谓多源图像融合是对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理。图像是二维信号，图像融合技术是多源信息融合技术的一个重要分支，因此，图像融合与多传感器信息融合具有共同的优点。通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性能等。目前，将图像融合技术应用于数字图像处理的主要目的

有以下几种[1]：

(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的某些特性；

(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息；

(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况；

(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体摄影、测量等；

(5)利用来自其它传感器的图像来替代/弥补某一传感器图像中的丢失/故障信息。

像素级的图像融合是对原始图像融合形成一幅新的图像，可以使人更容易识别潜在目标；像素级的图像融合方法是一种低层次的融合，保留了尽可能多的信息，精度比较高；像素级图像融合是在基础层面上进行的图像融合，它能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。

像素级图像融合是在严格配准的条件下，对各传感器输出的图像信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级图像融合的基础。但是与其它两个层次的融合相比，像素级融合需要处理的信息量最大，处理时间较长，对设备的要求也比较高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般应达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。

2.2 图像融合层次

由于融合处理方法众多，其目的、手段也不尽相同，根据融合方法在处理流程中所处的阶段，按照信息抽像的程度，可将多传感器图像融合分为像素级、特

征级和决策级三个层次[2， 3]。

像素级图像融合是特征级和决策级图像融合的基础，它在严格的配准条件下，直接对原始数据层采用合适的融合策略进行处理，通过对多传感器目标和背景要素测量结果进行融合处理，完成多幅图像的融合，从而得到提高了图像清晰度和空间分辨率的融合图像。它的优点是尽可能多地保留了场景的原始信息，提供了其他融合层算法所不具有的细节信息。由于融合结果为图像数据，有利于计算机的进一步处理和分析，但需要处理的信息量较大，对硬件设备的要求较高，如图2-1所示。

图2-1 像素级图像融合流程

特征级图像融合属于中间层次上的融合，它在像素级融合的基础上，通过使用模式相关、统计分析的方法对线型、边缘、纹理、光谱、相似亮度区域等图像特征进行目标识别和提取，并得到融合结果。例如融合图像的强度和范围提取边缘、融合可见光和红外图像的区域及边界进行图像分割、融合多波段图像提取区域[4]、融合多波段图像提取直线[5]等。特征级图像融合既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理，如图2-2所示。

图2-2 特征级图像融合流程

最高层次的融合为决策级图像融合，它融合的是图像的信息表示。它首先对各个传感器所获得的源图像分别进行预处理、特征提取、识别或判决，建立同一目标的初步判决和结论，再对来自各传感器的决策进行融合处理，最终产生联合判决。针对具体的决策目标，决策级融合充分利用了来自各图像的初步决策，融合处理代价低，适用面较广，对原始的传感数据没有特殊的要求，但融合算法复杂，如图2-3所示。

图2-3 决策级图像融合流程

2.3像素级图像融合的系统结构模型

像素层图像融合可用来增加图像中每一个像素的信息内容，为下一步图像处理提供更多的特性信息，可以更容易识别潜在目标。像素层图像融合一般要求传感器在空间上精确对准，通常将多个传感器置于同一平台上来达到这一要求。像素层的图像融合方法是一种低层次的融合，保留了尽可能多的信息，精度比较高。缺点是融合中心的计算量大，实时性差，对通信带宽要求高。目前对于图像融合算法的研究大多集中在这一层次[6]。

多传感器像素级图像融合系统一般的处理过程（在此只针对像素级图像融合）可概括为：首先对来自各图像传感器的图像进行图像的去噪、增强、消畸变等预处理；然后对经过预处理的各传感器图像数据进行时间和空间上的配准；再送到融合中心进行融合运算，融合中心，根据具体的目标和不同的传感器图像，采用适合的融合算法进行融合处理；而后对融合的数据进行后续的处理和显示融合结果[7]，像素级多源图像融合的系统结构模型如图2-4所示。

图2-4 像素级多源图像融合系统结构模型

3 像素级图像融合方法综述

像素级图像融合方法可大体分为七类:加权融合和主成分分析图像融合方法、假彩色图像融合方法、基于马尔可夫随机场的图像融合方法、基于调制的图像融合方法、基于统计的图像融合方法、基于神经网络的图像融合方法以及基于多分辨率分解的图像融合方法，本节将对像素级图像融合方法进行概述说明。

1）加权融合和主成分分析[8]