图像融合报告.

X(i)为节点i的位置空间，F(i)=I(i)为强度值，矩阵D是N×N 的对角矩阵，对角线上的d(i)=ΣW(i,j)；
（3）解答(D-W)X=λ DX特征向量的最小特征值； （4）使用特征向量找出第二小的特征值，并找出 划分的点以便于把Ncut的值减小至最低范围； （5）检查Ncut的值，最简单的是依据第一个计算 特征向量的柱状图，然后计算在最大值和最小值 之间的二进特征向量的比率，在实验中，设置一 个像上述的比率阈值，小于阈值的特征向量是不 稳定的（本实验设置阈值为0.06）。 我们还可以按照第（2）进一步的细化。
文章理解
• 本文中，我们提出一种在空间域实行的并且适合 多聚焦图像的融合。直观的想法是图像被人们理 解为区域或对象级别用来代替像素级别。这包含 三个步骤：图像的分割、区域的明确计算和融合 图像的构建。 第一步，通过简单的求均值的方法合并两个源图 像。 第二步，被融合的图像使用归一化分割(Ncut)方 法分割，根据这个结果图像被划分开。 第三步，两个源图像相匹配的区域使用空间频率 的方法相融合。
• 图像的总的空间频率：
▽3、Multifocus image fusion using regions’ clarity （区域明确的多聚焦图像融合） • 融合的过程 （1）获得检录图像A和B的临时融合图像平均值； （2）使用归一化的分割算法把临时融合图像分割为几个区 域； （3）使用第(2)步的结论划分图像A和B； （4）计算每一个划分的A和B区域的空间频率； （5）比较两个源图像相匹配的区域空间频率，以决定哪一 部分用于构建融合图像，
▽4、Experimental results（实验处理） • 通过对不同源融合图像组合的比较得出我们实验的好坏， 这里有三种方法可供我们选择： a.wavelet-based fusion method（基于小波的融合方法） b.Region-based activity measurement（基于区域的放射性活 度测量） 用于反映已分解系数的活动程度，系数是通过选择最大值 组合成的。 c.Window-based verification（基于窗口的验证） • 本文的图像融合是由normalized cuts algorithm和waveletbased approach来完成的。 I 0.1, X 0.3, r 10 • 本文设定参数为：
谢谢 敬请批评指正
Multifocus image fusion using region segmentation and spatial frequency
xoulongxia 专业：计算机科学与技术
一 研究背景 二 研究动态
三 研究内容
四 文章理解 五想 法
研究背景
• 定义
图像融合（Image Fusion）是通过对源图像间冗余 信息和互补信息进行处理，使得到的融合图像可 靠性增强，能更客观地、更精确地和更全面地对 某一场景进行图像描述，更加适合人眼和机器视 觉感知，更加有利于图像分割、特征提取和目标 识别等更深层次的图像处理任务。
• 高效的图像融合方法可以根据需要综合处理多源 通道的信息，从而有效地提高了图像信息的利用 率、系统对目标探测识别地可靠性及系统的自动 化程度。其目的是将单一传感器的多波段信息或 不同类传感器所提供的信息加以综合，消除多传 感器信息之间可能存在的冗余和矛盾，以增强图 像中信息透明度，改善解译的精度、可靠性以及 使用率，以形成对目标的清晰、完整、准确的信 息描述。
• 决策级图像融合是最高层次的融合，包含检测、 分类、识别和融合，在决策级图像融合之前，每 种传感器已经被独立完成了决策和分类任务，融 合工作实质上是做出全局的最优决策。决策级图 像融合的优点主要表现为：它能在增加或减少一 个或多个传感器的情况下工作，对传感器没有特 殊的要求，因此，它具有很强的容错性、很好的 开放性、融合中心处理代价小，较短的处理时间 等特点。同时由于处理的数据量较小，信息通信 量小，抗干扰能力强，还能有效的反映环境或目 标各个侧面的不同类型信息。 由于是最高级别的融合，需要以前面级别的融合结 果作为输入，所以预处理的代价非常高。
• 特征级图像融合是中间层次上的融合，它是先提 取来自传感器的原始信息的特征，产生特征矢量, 然后对特征矢量进行融合处理。一般来说，提取 的特征信息应该是像素信息的充分表示量或充分 估计量，然后按照特征信息对多传感器数据进行 综合分析和处理。 特征级图像融合的主要优点有：由于提取传感器原 始信息的特征信息，信息得到了压缩，有利于实 时处理。
在图像融合目标识别方面，国外从70年以已开始 研究被动微波／红外复合的双模(双传感器)寻的 系统，进入80年代后，更多型式的双模(双传感器 )寻的系统如：半主动雷达／红外、主动毫米波／ 雷达、激光／红外等型式的双模寻的系统大量出 现，其主要的目的就是企图通过多种不同类型的 传感器系统的组合和信号的综合利用使整个系统 在性能上取得互补，以提高寻的系统总的性能指 标。
• 评价指标 /F 本文使用 Q AB 和交互信息 (mutual informaton(MI))标 准来度量实验结果的。其中A，B为输入的源图像 ，F为输出的融合图像。（在这里对两个性能指标不
做详细说明）
想法
1.对SF(空间频率)我们可以结合新的特征计算方法
，提取特征更加显著的分块图像，使融合后的图 像更加清晰平滑； 2.在图像分割之前我们可以先用小波进行分解，在 低频部分进行分割，消除块效应，最终达到更好 的融合效果。
• 例如，对于聚集不同的多幅对准图像，如果图像中 的一些景物在其中的一幅图像中很清晰，而在别的 图像中较为模糊的话，那么可以采取图像融合的方 法获得一幅新的图像，融合后的图像比融合前的任 意一幅图像具有更多的信息量。
图一：左聚焦图像
图二：右聚焦图像
图三：融合图像
研究动态
• 图像融合近年来在很多领域都有了越来越多的应 用和发展。在医学上，医学图像的配准和融合为 医生提供更加丰富、可靠的图像依据，以便更加 直观地利用这些信息并结合临床经验做出准确诊 断；随着遥感技术的发展，高空间分辨率、波谱 分辨率和时间分辨率的图像数据已经问世；根据 各种不同类型的多光谱数据信息之间存在着重叠 和互补，利用图像融合技术对遥感图像进行融合 ，近年来在土地动态监测、防洪防灾和军事侦察 方面得到应用。
▽2、Spatial frequency（空间频率）
• 空间频率源于人们的目视系统，表明在一个图像中的全部活动程度， 一个图像块的空间频率定义如下： 假定一个像素为M×N的图像，行频率RF(row frequencies)，列频率
CF(column frequencies),则
F(m,n)是图像F在位置(m,n)的像素灰度值
RoF 是第 i i个区域的融合图像，
B A SF SF 和 是图像 i A和B的第i个 i
区域的空间频率。
（6）挑选所有相融后的区域组建最后的图像。 如果有三个或更多的源图像，使用第(2)步的结论划分所有的源图像， 然后计算每个区域的空间频率，选择具有最大值的空间频率，最后按 照(6)重建所有区域相融后的图像。
源自文库
实验方案
▽1、Region segmentation using normalized cuts
（基于归一化分割方法的区域分割） • 被分割的图像是由点集组成的，节点之间的相互联系就构成了加权无 向图G = (V,E)。 • 我们给出 normalized cuts （Ncut）的定义：
Ncut( A, B ) cut( A, B ) cut( A, B ) assoc( A,V ) assoc( B ,V )
• 一般情况下，图像融合由低到高分为三个层次： 像素级融合、特征级融合、决策级融合。 • 像素级融合是在严格配准的条件下，直接在传感 器采集所得的图像原始数据层上进行处理，可用 来提高信号的灵敏度与信噪比，以利于目视观测 与特征提取。 像素级图像融合具有明显的局限性：它要处理的图 像数据量太大，处理代价高；这种融合是在信息 的最低层进行，传感器原始信息的不确定性、不 完全性和不稳定性要求在进行融合时有较高的纠 错处理能力；要求各传感器信息之间有精确到一 个像素的配准精度；数据通信量大，抗干扰能力 差。
研究内容
• 目前，国内外学术界在图像融合领域已取得了丰 硕的研究成果。在理论和方法方面主要有主成分 分析法、演化计算法、神经网络法、小波变换法 和模糊逻辑等图像融合方法：在融合效果客观评 价方面，有shannon提出的信息熵、交叉熵、互信 息、联合熵以及均方根误差、均值、标准差、平 均误差、偏差、相对偏差、空间频率、灰度标准 差、相关系数、信噪比和峰值信噪比等客观评价 标准。
其中， cut( A, B ) u 表示所有从节点 A到节点B的连接， W ( u ,t ) A ,tB
表示从节点 assoc( A,V ) W ( u ,t A ) 到所有结点的连接。 u A ,tV
• 计算流程
（1）定义一个给定的图像和权重函数的特征描述矩阵； （2）假定一个加权图G=（V,E），计算边缘权值，得出的 W和D的信息矩阵的W表达式如下：