多模态图像融合算法综述

多模态图像融合算法综述
多模态图像融合能最大限度地提取各模态的图像信息，同时减少冗余信息。

文章提出一种新的图像融合算法的分类体系，在分析新体系的基础上，阐述了各体系下的代表性算法，论述图像融合的研究背景及研究进展，最后提出了未来趋势的新目标。

标签：图像融合；像素级；特征级；决策级；图像融合算法
引言
不同模态传感器关于同一场景所采集到的图像数据经过相关技术处理相融合的过程称为多模态图像融合，本文站在新的角度，提出一种新的分类体系，同时阐述各体系下的代表性算法，论述图像融合领域的发展现状。

1 图像融合的体系
根据融合的对象，图像融合一般分为三个等级：像素级、特征级及决策级[1]。

像素级的处理对象是像素，最简单直接，特征级建立在抽取输入源图像特征的基础上，决策级是对图像信息更高要求的抽象处理，本文在此基础上提出一种不同的的分类体系，即直接融合和间接融合。

1.1 直接图像融合算法
直接图像融合算法分基于像素点和基于特征向量的融合方法，基于像素点的融合主要针对初始图像数据而进行[2]，是对各图像像素点信息的综合处理[3]。

1.2 间接图像融合算法类
间接图像融合算法是指对图像进行变换、分解重构或经神经网络处理后，通过逻辑推理来分析多幅图像的信息。

2 直接图像融合算法类
直接图像融合算法分基于像素点和基于特征向量的图像融合算法。

2.1 基于像素点的直接图像融合算法
设待融合图像X、Y，且X（i，j）、Y（i，j）为图像X、图像Y在位置（i，j）的灰度值，则融合后的图像Z（i，j）=x X（i，j）+y Y（i，j），x、y是加权系数且x+y=1。

算法简单、融合速度快，但减弱了图像的对比度[4]。

2.2 基于特征向量的直接图像融合算法
图像特征包括颜色、纹理、形状、空间关系等，从多模态图像提取特征信息[2]，并对其归纳和分析处理，可剔除虚假特征、构建新的复合特征。

2.2.1 特征的串行融合算法
样本空间Ω上的随意样本ξ∈Ω，且在Ω上定义两个特征空间A和B[5]，同时构建两个特征向量α∈A和β∈B，则ξ的串行组合特征可以定义为γ=（α，β）。

虽然该法可以有效提高识别率，但不同特征向量在串联组合前要进行加权或归一化处理[6]。

2.2.2 特征的并行融合算法
样本空间Ω上的随意样本ξ∈Ω，且在Ω上定义两个特征空间A和B，同时构建两个特征向量α∈A和β∈B，则ξ的特征并行组合为γ=α+iβ，但该法的缺陷是维数可能不等，对此可以用零补足低维特征[7]。

并行融合方法的困难之处在于要求提取的特征维数必须相同，否则就要进行一些预处理[6]。

2.2.3 基于特征选择的融合算法
特征选择算法即将数据为维度，每一维度中选一个最利于分类的数据，这些选出的数据构成新的特征[8]。

以基于模糊逻辑理论的图像融合算法为例，首先源图像的特征构成一组数据，假定改组数据中只有i个可靠，用设定好的规则融合这i个数据，融合的结果和析取算子如融合得到算子，某些特殊情况，例如组合爆炸，可以用递增排列的方法[7]。

2.2.4 基于特征变换的融合算法
以基于D-S证据理论的图像融合算法为例，其优点是可以最大程度地消除不确定的因素，融合进源图像的互补图像特征，尽量保留住源图像的边缘特征[7]。

2.2.5 基于特征决策的融合算法
以基于贝叶斯估计法为例，它以贝叶斯法则为基础，是按照概率论来组合信息的新方法[9]，其步骤[10]为：提取待融合源图像的特征，利用图像特征计算出基本概率赋值函数，并应用贝叶斯公式进行融合。

3 间接图像融合算法类
间接图像融合算法类是指对图像进行变换、分解重构或经神经网络处理后，通过逻辑推理或逻辑来分析多幅图像的信息，最终进行融合的算法类型。

3.1 基于变换的间接图像融合算法
常用的变换方法主要有HIS变换和小波变换。

3.1.1 基于HIS变换的图像融合算法
在HIS变换中，H表示图像色度信息，I表示图像亮度信息，S表示图像饱和度信息[11]，融合步骤为：（1）预处理；（2）对源图像的R、G、B三个通道进行HIS变换；（3）直方图匹配源图像与经过HIS变换后的亮度图，生成与亮度直方图分布特性类似的图像；（4）用生成的图像代替亮度图，并同H、I、S 分量图进行HIS逆变换最后得到融合的图像。

3.1.2 基于小波变换的图像融合算法
基于小波变换的图像融合方法，首先将源图像经小波变换分解成为不同频域特征，每幅图像的相同频域间融合，最后通过小波逆变换以获得融合结果图。

目前在基于小波变换的圖像融合方法中，用的较多的多分辨技术是Mallat[12]法，该算法在实现过程中先按行、列再按列、行进行一维的小波变换。

3.2 基于分解和重构的间接图像融合算法
现阶段常用的基于分解和重构的图像融合方法即多分辨率塔式图像融合算法。

多分辨率塔式图像融合算法中[13]，源图像被持续过滤成塔形结构，该结构的不同层用不同的融合算法进行融合，得到一个经合成处理后的塔形结构，对其重构处理，得到合成的图像。

3.2.1 基于高斯-拉普拉斯金字塔分解和重构的融合方法
源图像和高斯核函数卷积并下采样[3]，传统的拉普拉斯金字塔融合要求源图像的分辨率比值为偶数[3]，这一缺陷被B.Aiazzi等人改善，他们扩展了传统的塔形结构，解决了分辨率为非偶数时的融合问题。

3.2.2 基于梯度金字塔分解和重构的融合方法
為了得到梯度金字塔形结构，对高斯塔形结构里每层图像和对应的梯度滤波器做卷积，该法可以同时反映源图像的水平和竖直两方向上的变化[3]。

3.2.3 基于比率低通金字塔分解和重构的融合方法
比率低通金字塔是求高斯金字塔中各级之间的比值[14]，比拉普拉斯金字塔结构更适宜人眼的视觉机理[4]。

3.2.4 基于遗传算法的图像融合
源图像经过奇异值或小波分解，得到相应的奇异值或小波系数，这些系数用遗传算法进行编码，按照一定的顺序构成一组染色体串[7]，每种可能实现的融合方法可以用每一代中的个体表示，按照遗传算法理论，经过几代基因的选择、交叉及突变，用预先假定构建的评价函数，来评估某种融合方法是否有效，直到评价为收敛及终止，即找到了最优的融合方法[7]。

4 结束语
多模态图像把两幅待融合源图像的互补信息按照某些准则进行科学地融合，以获得对同一场景的全方位解释或描述，可以更加精确全面的反映实际情况[15]。

然而关于图像融合至今没有系统的理论框架，以至于各类融合算法的选择、融合结果的评价机制等等都没有科学的定论，此外成像技术飞速发展，由此带来的如何提高融合算法的融合速度同时减少储存空间也成为了目前研究中亟待解决的问题。

参考文献：
[1]张素兰.基于小波变换的多聚焦图像融合研究[D].重庆大学，2009.
[2]古洪杰.基于图像融合的小模数塑料齿轮齿形缺陷检测技术研究[D].吉林大学，2009.
[3]方凯.数字图像融合算法研究[D].西安电子科技大学，2006.
[4]庄晓婵.图像融合算法研究[D].西北工业大学，2007.
[5]王大伟，陈定荣，何亦征.面向目标识别的多特征图像融合技术综述[J].航空电子技术，2011，42（2）：6-12.
[6]石强，张斌，陈，等.异质影像融合研究现状及趋势[J].ActaAutomaticaSinica，2014，40（3）：385-396.
[7]王大伟.基于特征级图像融合的目标识别技术研究[D].中国科学院研究生院（长春光学精密机械与物理研究所），2010.
[8]石强.基于混合智能系统的遥感影像融合分类[D].武汉大学，2014.
[9]胥妍.基于小波变换技术的图像融合方法的研究与应用[D].山东师范大学，2008.
[10]江金娜.基于D-S证据理论的多传感器决策级图像融合的算法研究[D].哈尔滨理工大学，2015.
[11]谭航.像素级图像融合及其相关技术研究[D].电子科技大学，2013.
[12]吴疆.医学图像融合算法研究[D].西北工业大学，2006.
[13]李娟.多聚焦图像融合方法研究[D].湖南大学，2006.
[14]晁锐，张科，李言俊.像素级多分辨图像融合技术概述[J].系统工程与电子技术，2004，26（1）：137-141.
[15]王丽.基于小波分析的多聚焦图像融合算法研究[D].哈尔滨理工大学，2007.。