图像融合

图像融合概括 图像融合算法分类 论文中讲到的算法 总结
一、基于拉普拉斯金字塔图像融合方式
• 算法原理 图像的拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的,因 此首先得对图像进行高斯金字塔分解。
但什么是高斯金字塔分解呢？
高斯金字塔分解
式中,N为高斯金字塔顶层的层号;Rl和Cl分别为高斯金字塔第l层的行数和 列数;w(m,n)是一个二维可分离的5 5窗口函数
因此对于顶层图像中的每一个像素LAN(i, j)和LBN(i, j)都可以得到与之相对应的 区域平均梯度GA(i, j)和GB(i, j)。 由于平均梯度反映了图像中的微小细节反差和纹理变化特征,同时也反映出图像 的清晰度。一般来说平均梯度越大,图像层次也丰富,则图像越清晰。
顶层图像的融合结果为：
• 像素级多焦点图像融合步骤：
• A． 所有源图像分别进行预滤波。这个过程把每个源图像 分解成16个子图像，左上图是低频的子图像，其他是15个 高频的子图像；
• B．在这两组图像中，16个子图像每个都被向量小波分解。 之后，得到64个高低频段的系数。对每个源图像，有64个 分解的图像块。所有块中，左上角的四个是低频的，它们 运用相同的规则进行融合，其他的高频子块被另外的相同 的规则进行融合。
式中,N为拉普拉斯金字塔顶层的层号;LPl是拉普拉斯金字塔分解的第l层图 像
• 由LP0,LP1,,,LPl,,,LPN构成的金字塔即为拉普拉斯金字塔。它的每一 层图像是高斯金字塔本层图像与其高一图像经内插放大后图像的差,此 过程相当于带通滤波,因此拉普拉斯金字塔又称为带通金字塔分解。
对图像进行分解处理以后对不同频带的图像进行融合
更好的融合图像质量与减少均方根误差，从计算时 间来考虑的话，建议使用MPCNN图像融合。
二．基于分层的PCA图像融合
• 本文提出了结合金字塔分解和主成分分析 （PCA）的图像融合算法模型。所提出的 算法在金字塔分解的各个尺度上做基于在 金字塔分解和区域进行逐像素的融合。
结论
传统PCNN模型具有处理速度慢，其因为是计算的复杂性 。本论文提出多聚焦图像融合算法使用MPCNN。 EOL和SF 是用来测量不同大小的块的图像的清晰度。该方法不需要 训练，因为PCNN的连接能力。MPCNN两种不同类型的核矩
Xˆ n1 arg{min(V( X ))} X
• 整个获得最优解的过程如下： • A．初始化估计H和x（包括噪声方差、H和
x的概率分布函数）； • B．每次迭代获得新的H； • C．更新融合图像； • D．重复B和C直至收敛。
四、基于脉冲耦合神经网络 多聚焦图像融合
由于现今根据不同距离获取同一物体场景的 限制，导致摄影成像出现不是很清新情况， 这种情况是可以克制的，采用不同的相机拍 摄，用多幅图像融合，这种融合是在现有对 图像分割的方法，融合源图像块融合脉冲耦 合神经网络（PCNN）的基础上进行多聚焦 图像融合，其清晰度可见。脉冲耦合神经网 络在图像融合过程中起着重要的作用，在选 择质量最好的融合后图像的图像块。融合方
决定是否对融合图像有贡献。
问题产生
N幅源图像,每个图像的模拟为：
yi (r) Hi (r)xi (r) wi (r) i 1,..., N
其中r是像素的空间坐标， y是第i幅图像的r坐标处的灰度值，x 是 真实场景在r处的灰度值的估计，w 是噪声， H是选择系数，它的 值代表了第i幅图像对融合图像的贡献值。本文中用0和1分别代表 贡献与否。为简化符号，“（r）”忽略。
基于拉普拉斯金字塔分解的图像融合
图像拉普拉斯金字塔分解的目的是将源图像分别 分解到不同的空间频带上,融合过程是在各空间频 率层上分别进行的,这样就可以针对不同分解层的 不同频带上的特征与细节,采用不同的融合算子以 达到突出特定频带上特征与细节的目的。
• 对于顶层图像的融合,首先计算以其各个像素为中心的区域大小为 M X N(M,N取奇数且M>=3,N>=3)的区域平均梯度:
• 用核PCA的图像融合是通过3×3的窗口来计算 输入核的每个像素的权重。输入图像 的归一化 权重P1和P2，则融合图像为：
I f ( x, y) P1*I1( x, y) P2 * I2 ( x, y)
• 步骤如下： • A．创建输入图像 和 的金字塔； • B．用核PCA融合技术融合第K层输入图像
阵的高斯和1 / r的分布已被用于不同的链接字段评估。
的值是通过使用迭代方法决定。实验结果表明， 图像的融合MPCNN用在1 / R内核矩阵作为链接字 段，执行比采用传统PCNN的图像融合更好。获得 更好的融合图像质量与减少均方根误差，从计算时 间来考虑的话，建议使用MPCNN图像融合。
Image-1和Image-2分别为输入图像 I1(x, y) 和 I2 (x, y) 的图像金字塔 基于分层PCA图像融合模型
Uij (n) Tij (n 1) othrtwise
(4)
Tij (n) eat Tij (n 1) VTYij (n)
(5)
其中，式(1)、式(2)组成图1第1部分为神经 元分支树，F、L分别表示馈送域和链接域； W和m分别表示突触权重系数；S是输入神 经元；V是规范化常数；a是时间衰减常数。 式(3)形成图1第2部分调制耦合器，U表示 神冲经产生是元器连的，接内参T部是数状脉。冲态式产；(4生)、的式阈(5值)构，成这图是1一第个3部动分态脉值。
X
算法一
• 只有H用到马尔科夫随机场，该算法记为 MRF_H。
• 假设H服从吉布斯概率分布的MRF特性，得 出其概率分布函数，利用贝叶斯准则、每个 像素的噪声是独立同分布的等先验知识，H
的最优估计为： Hˆ n1 arg{min(E(H ))} H
• 运用退火算法，进一步优化该算法H的结果。 对于x的估计，迭代算法如下：
融合效果
第一张为原始图像，第二 张为左侧模糊，第三张为 右侧模糊，第四张为融合 后的效果图
三． 基于马尔科夫随机场的
图像融合方法
马尔科夫随机场模型是一个精确模拟 图像特征的模型，已经被成功地运用到大
量的图像处理的应用中。
对于一个源图像，如果它的某个像素 对融合图像有贡献，它的邻域内的像素也 可能对融合图像有贡献，这就意味着我们 在进行第一步时，可以根据空间相关性来
• A．对H和x进行初始估计（包括噪声方差和 H的概率分布函数）；
• B．每次迭代获取新的H的估计（利用吉布 斯分布函数和吉布斯采样）；
• C．更新融合图像；
• D．重复计算B和C直到收敛。
算法二
• 算法中H和融合图像的模拟都用到马尔科夫 随机场，记为MRF_HX。
• 类似于对H的估计，x可以优化为：
PCNN模型介绍
研究猫的视觉神经活动时，提出了基于脉冲耦合神经元的 神经网络。随后PCNN方法得到了较大的发展，常用的脉 冲耦合神经网络是在文献提出的网络基础上进行修改而构
建的，给出了单层的、各神经元横向连接的简化神经网络 模型。PCNN模型的神经元由3个部分组成：神经分支树， 调制耦合器，脉冲产生器 .
采用小波变换，基本思路是把经过预处理的图像A和B，进行小波 变换，把图像A的高频分量和图像B的高频分量采用基于算子和区 域能量的方法进行融合得到 高频分量，然后把图像A，B的低频分量按能量方法进行融合得到 低频分量，最后把高低频分量进行小波逆变换就可以得到融合后 的图象了。算法的流程图见图
对低频分量用基于能量的方法融合
馈送域的神经元与链接神经元耦合处理后，比较耦 合神经元的状态值U与T阈值 的大小，当U>T时，当 前馈送域神经元点火成功，产生脉冲。
MPCNN模型：
结论
传统PCNN模型具有处理速度慢，其因为是计算
的复杂性。本论文提出多聚焦图像融合算法使用 MPCNN。 EOL和SF是用来测量不同大小的块的图像 的清晰度。该方法不需要训练，因为PCNN的连接 能力。MPCNN两种不同类型的核矩阵的高斯和1 / r 的分布的已值被是用通于过不使同用的迭链代接方字法段决评定估。。实验结果表明， 图像的融合MPCNN用在1 / R内核矩阵作为链接字 段，执行比采用传统PCNN的图像融合更好。获得
当0[l<N时,则对于经过拉普拉斯金字塔分解的第l层图像,首先计算其区域能 量:
融合结果为：
融合效果： 图1
图2 图2
融合后图像
一、基于小波的图像融合方式
由于小波分解的特点，其小波系数的大小总的来说是低频的大于高频 的，即高层的大于低层的，水平的和垂直的大于对角的。图像的大部 分能量集中于低频部分，即部分。它对应图像的平滑成分，而另外三 个成分对应图像的细节成分.
融合问题关键在于H对x 和 的估计。
根据最大后验准则（MAP）有：
{Hˆ
,
Xˆ
}
arg
max[P( X
,
H
|
Y
)]
H,X
由于计算量过大，我们分解这个算法为两个子问题， 并且迭代地解决这两个问题：
max Hˆ
n 1
arg
[P(H | Y , Xˆ n )]
H
max Xˆ
n 1
arg
Hale Waihona Puke Baidu
[P( X | Y , Hˆ n )]
融合之前效果不是很好的两幅图像
融合之后 的图像
概括图像融合 图像融合算法分类 论文中讲到的算法 总结
图像融合方法分类
• 空间域融合算法 （1）像素值加权法 （2）统计模型融合方法 （3）假彩色图像融合方法 （4）人工神经网络融合方法
• 变换域的融合算法 （1）基于金字塔变换的融合方法 （2）基于小波变换的图像融合方法 （3）基于其它多尺度分解的融合算法
定义以（x,y）为中心的3x3区域M的区域能量为:
I（x,y）为某点像素的灰度值，则融合后的低频分量可 根据区域能量确定为：
式中
表示为j层分辨率下的各个低频带融合值。
高频分量采用基于算子和区域密度的方法进行融合
利用sober算子分别作用于图像A'的高频分量和图像B'的高频分 量。得到的图像分别用IA和IB表示. 再对A'和B'用3x3的区域能量特征方法进行高频分量的融合，高 频带的融合值由下式确定
一个脉冲耦合神经网络适合于应用在图像融合
技术的方法，提出了通过减少处理时间和计算复 杂度。提出的改变是在PCNN的链接和饲养领域。
该研究提出了一种多聚焦图像融合方法与拉普拉 斯（EOL）空间频率（SF）和能源使用改变PCNN （MPCNN）清晰度。提出更好的融合图像质量， 与传统的PCNN相比，图像融合方法使用MPCNN 可以减少均方根误差（RMSE）和计算时间。
• 设原图像为G0,以G0作为高斯金字塔的第0层(底层),对原 始输入图像进行高斯低通滤波和隔行隔列的下采样,得到 高斯金字塔的第一层;再对第一层图像低通滤波和下采样, 得到高斯金字塔的第二层;重复以上过程,构成高斯金字塔。
图像的拉普拉斯金字塔分解
• 将Gl内插方法,得到放大图像G*l,使G*l的尺寸与Gl-1的尺寸相同,表示为:
PCNN的数学模型描述为：
Fij (n) eaF Fij (n 1) VF wijklYij (n 1) Sij
(1)
k ,l
Lij (n) eaL Lij (n 1) VL mijklYij (n 1)
(2)
k ,l
Uij (n) Fij (n)(1 Lij (n))
(3)
1 Yij (n) 0
小组成员：邢江、周代勇、张贵 棕、王明春、王卓然
http://www.awesomebackgrounds.com
© 2004 By Default
图像融合概括 图像融合算法分类 论文中讲到的算法 总结
图像融合的定义
• 图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标 的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道 中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、 改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分 辨率，利于监测。
的金字塔来创建第K层融合金字塔； • C．考虑下一层的金字塔，重复B步骤直到
融合图像的所有层的金字塔创建完成；
• D．重建融合图像。
三．基于多波段多小波变换的多焦 点图像融合的研究
• 我们可以首先聚焦在一个特定的目标上获 得一个清晰的图像，然后聚焦在下一个目 标上获得下一个图像，直至获取一组相同 区域不同焦点的照片。融合这一组多焦点 图像序列，我们可以获得满意的结果。