数字图像融合技术

数字图像融合技术

摘要:数字图像技术在遥感、医学、军事、刑事执法等多个领域已经广为普及,图像资料在作为信息情报载体的地位越来越重要。数字图像融合技术将多个传感器在同一时间或不同时间获取的对于某个对象的图像加以综合,产生新的有关该物体的图像信息。

关键词: 图像,图像融合

1、引言

数字图像处理技术起源于20世纪20年代,由于当时技术手段的限制,图像处理科学与技术的发展相当缓慢。直到第三代计算机问世后,借助于现代科技发展所带来的技术突破数字图像处理才开始迅速发展并得到普遍应用。同时,图像处理的许多技术也日趋成熟。数字图像融合技术正是图像处理技术发展的热点之一。对它的研究也呈上升之势而应用的领域遍及遥感、医学、军事、刑事执法等多个领域。然而由于图像融合技术本身的发展比较短,图像处理界对它的研究并未完全形成一个完整的体系,往往主要是针对单一融合方法的研究较多,相应的至今尚没有几部对图像融合技术系统论述的著作。

2、数字图像融合技术概述

数字图像融合是信息融合的一种。而信息融合的一般定义是:利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析,优化综合以完成所需的决策和估计任务而进行的信息处理过程。按这个定义,各个传感器是信息融合的基础,多传感器网络是信息传输通道,多元信息是信息融合的加工对象,协调优化和综合处理是信息融合的核心。

多传感器信息融合实际上是对人脑综合处理复杂问题的一种功能模拟。在多传感器系统中各种传感器提供的信息可能是具有不同的特征:时变或非时变,实时或非实时的,快变的或缓变的,模糊的或确定的,精确的或不完整的,可靠的或非可靠的,相互支持或互补的,也可能是相互矛盾的或冲突的。信息融合的目标是基于各个传感器分离观测信息,通过对信息的优化组合导出更多的有效信息。这是最佳协同作用的结果,它的最终目的是利用多个传感器共同或联合操作的优势,来提高整个传感器系统的有效性。

图像融合,主要是指将多个传感器在同一时间或不同时间获取的对于某个对象的图像加以综合,产生新的有关该物体的图像信息。也就是通过一定的算法将多个图像数据结合在一起生成一个新的影像。用形象的说法来做个比喻,对于人来说要充分了解外部某一对象的状况,通常是通过眼睛、耳朵、鼻子等多个感觉器官来获取对方信息,然后经过大脑的综合、分析得出相关结论,在完成这一过程

中对于具有高智慧的人来说是由思维中心自觉来实现。

3、数字图像融合技术的分类

3、1 数字图像融合方法的一般分类

根据获取图像信息传感器的不同,图像融合技术可以分为单传感其与多传感器图像融合,这种分类相对容易理解。从应用和实践的角度出发,按图像融合的层次从低到高大致可以分为三个层次:数据(像素)级融合、特征级融合和决策级融合。

1、数据(像素)级融合:是直接对各幅图像的像素进行配准后运用各种算法融合,综合处理的过程。这是一种低层次上的融合。保留了尽可能多的原始信息,能提供细微信息,精度比较高。可用来增加图像的有用信息内容,从而进行更可靠的分析,为下一步处理提供更多的特征。由于像素级融合对像素配准的要求较高所以在不同传感器采集图像时的要有准确的配准。侦查工作的特点决定了在进行图像融合过程中,主要的融合层次在于该像素级的融合。

2、特征级融合:是属于中间层次。它的处理方法是对来自不同信息传感器的原始信息进行特征抽取,然后再对获得的多个特征信息进行综合分析和处理,以实现对多传感器数据的分类、汇集和综合。

3、决策级融合:是更高层次的信息融合,其结果将为各种控制、决策提供依据。是通过结合具体的应用或需求有选择地利用特征级图像融合所获得的有关目标的各类特征信息综合判断,以实现判断决策的目的。

3、2 数字图像融合的常用技术方法

在本文中主要讨论的是像素级图像层面的融合。

(1)基于色彩空间变换的图像融合

基于色彩空间变换的图像融合技术就是通过对图像从RGB空间到HIS或YCbCr空间之间的变换来实现的。要实现两个不同空间的转换,也就是说要确定这两个坐标系之间的相互关系。一般的HIS图像融合方法是,先将被融合图像作RGB-HIS变换,然后用一个较高空间分辨率的灰度图像的强度成分替换低分辨率强度成分,然后再进行HIS-RGB变换,得到融合图像。普通HIS图像融合原理如下步骤:

第一步:作RGB→HIS变换:

第二步:用INEW代替I0;

第三步:作HIS→RGB 变换:

其中Rnew、Gnew、Bnew对应着融合后图像的对应值。

最后色调H和饱和度S通过下式求得:

HIS方法应用较为广泛,并且作为一种标准的处理方法存在于许多商业软件包中。针对该方法存在的一些问题,出现了许多改进的HIS融合方法,以提高融合效果。

与HIS变换一样,通过RGB到YCbCr空间的变换也是基于相同的原理来进行的。YCbCr空间是视频产品中常用的色彩编码方案,其中Y是指亮度分量,Cb 指蓝色色度分量,而Cr指红色色度分量。它们之间的转换公式从RGB到YCbCr 如下:

Y = 0.299 R + 0.587 G + 0.114 B

Cb = - 0.1687 R - 0.3313 G + 0.5 B + 128

Cr = 0.5 R - 0.4187 G - 0.0813 B + 128

反过来也可以:

R = Y + 1.402 (Cr-128)

G = Y - 0.34414 (Cb-128) - 0.71414 (Cr-128)

B = Y + 1.772 (Cb-128)

将上式RGB与YCbCr两个色彩空间的转换公式用矩阵的形式可表示为:

(2)基于假彩色的数字图像融合

对于彩色图像,我们最常见的面向硬件的模型就是前述的RGB模型,工作生活中所用到的计算机CRT显示器上的影像基本上大都是在RGB三基色色彩空间形成的。在RGB彩色模型中表示图像的三个分量中,每一个分量图像都是其原色图像,这三幅图像在显示器上合成产生一幅彩色图像。在该空间模型中用来表示每一像素的位数(比特数)称作像素深度。对于RGB模型合成的图像,每一个分量图像(红、绿、蓝三者之一)在深度上都是由8位二进制数字组成。因此每一个RGB 彩色像素(3个R、G、B分量为一组)就有24位。颜色总数为224=16777216种。把这样的彩色图像一般也成为真彩色图像。能够在较大范围内反映出自然界的真实色彩。

与真彩色相对应而所谓的假彩色图像融合就是根据特定的准则给灰度图像的灰度值赋予彩色,然后以所赋予彩色的形式重新显现。此种融合的方法在于为