图像融合

图像融合的定义

数字图像融合（Digital Image Fusion）是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。

数字图像融合是图像分析的一项重要技术，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然Photoshop等图像处现软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单调乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。Matlab具有强大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台。

一、图像融合算法

2.1图象融合算法的层次分类

图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级。

信号级融合：是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。

像素级图像融合：是指直接对图像中像素点进行信息综合处理的过程。像素级图像融合的目的是生成一幅包含更多信息、更清晰的图像。像素级图像融合属于较低层次的融合，目前，大部分研究集中在该层次上。

特征级图像融合：是指从各个传感器图像中提取特征信息，并将其进行综合分析和处理的过程。提取的特征信息应是像素信息的充分表示量或充分统计量，典型的特征信息有边缘、形状、轮廓、角、纹理、相似亮度区域、相似景深区域等。在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感器图像融合的应用目的、场合密切相关。通过特征级图像融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征等。

特征级图像融合是中间层次上的融合，为决策级融合做准备。特征级融合对传感器对准要求不如信号级和像素级要求严格，因此图像传感器可分布于不同平台上。特征级融合的优点在于可观的信息压缩，便于实时处理。由于所提出的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。

决策级图像融合：是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果后，进行进一步的融合过程，最终的决策结果是全局最优决策。决策级融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。为此，决策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的，其结果将直接影响最后的决策水平。由于输入为各种特征信息，而结果为决策描述，因此决策级融合数据量最小，抗干扰能力强。决策级融合的主要优点可概括为：①通信及传输要求低，这是由其数据量少决定的；②容错性高对于一个或若十个传感器的数据干扰，可以通过适当的融合予以消除；③数据要求低，传感器可以是同质或异质，对传感器的依赖性和要求降低；④分析能力强。

2.2图像融合步骤

目前国内外己有大量图像融合技术的研究报道，不论应用何种技术方法，必须遵守的基本原则是两张或多张图像上对应的每一点都应对位准确。由于研究对象、目的不同，图像融合方法亦可多种多样，其主要步骤归纳如下：（1）预处理：对获取的两种图像数据进行去噪、增强等处理，统一数据格式、图像大小和分辨率。对序列断层图像作三维重建和显示，根据目标特点建立数学模型；

（2）分割目标和选择配准特征点：在二维或三维情况下，对目标物或兴趣区进行分割。选取的特点应是同一物理标记在两个图像上的对应点，该物理标记可以是人工标记，也可以是人体解剖特征点；

（3）利用特征点进行图像配准：可视作两个数据集间的线性或非线性变换，使变换后的两个数据集的误差达到某种准则的最小值；

（4）融合图像创建：配准后的两种模式的图像在同一坐标系下将各自的有用信息融合表达成二维或三维图像；

（5）参数提取：从融合图像中提取和测量特征参数，定性、定量分析。

图1 图像融合步骤示意图

三、小波变换（DWT）算法

在众多的图像融合技术中，基于小波变换的图像融合方法已成为现今研究的一个热点。这类算法主要是利用人眼对局部对比度的变化比较敏感这一事实，根据一定的融合规则，在多幅原图像中选择出最显著的特征，例如边缘、线段等，并将这些特征保留在最终的合成图像中。在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也就是三个方向上的高频系数，从而达到保留图像边缘的目的。虽然小波系数（高频系数）的选择对于保留图像的边缘等特征具有非常主要的作用，但尺度系数（低频系数）决定了图像的轮廓，正确地选择尺度系数对提高合成图像的视觉效果具有举足轻重的作用。

利用离散的小波变换，将N幅待融合的图象的每一幅分解成M幅子图象，然后在每一级上对来自N幅待融合图象的M幅子图象进行融合，得到该级的融合图象。在得到所有M级的融合图象后，实施逆变换得到融合结果。

实验程序如下：

load tartan;

X1=X;

map1=map;

load sinsin;

X2=X;

map2=map; %打开图像

figure(1)

subplot(1,2,1);image(X1),colormap(map1); title('图像map1')

subplot(1,2,2);image(X2),colormap(map2); title('图像map2') %显示两幅图像

[C1,L1]=wavedec2(X1,2, 'sym4');

[C2,L2]=wavedec2(X2,2, 'sym4'); %分别对两幅原图像进行小波分解

C=C1+C2; %对分解系数进行融合

X=waverec2(C,L1,'sym4'); %对融合后的信号进行图像重构

figure(2)

image(X/2);colormap(map2); %显示经过小波变换融合后的图像

title('图像小波变换融合') %给融合后的图像命名并显示在图上

实验结果：

图像map1

2040608010012020

40

60

80

100

120

图像map220406080100120

20406080100

120