西工大图像工程作业-梯度域融合

图像工程实验报告

——梯度域图像融合

(Gradient-Domain Fusion)

问题1：Toy Problem

1.1问题描述

该问题是在梯度域中重建图像，在这个问题中，首先给定一张图像，通过计算图像在x 与y 方向上梯度，满足一定的要求，重建出图像。要重建的图像如图所示。

1.2数学模型

Toy 图像重建问题，根据作业中的介绍，可以从中得出3个约束条件。 首先，将源图像记为),(y x s ，要重建出来的目标图像记为),(y x v 。对于所有像素，有如下两个约束条件：

1) 最小化2((1,)(,)((1,)(,)))v x y v x y s x y s x y +--+-，使得s 和v 在x 方向上的梯度值尽量接近。

2) 最小化2((,1)(,)((,1)(,)))v x y v x y s x y s x y +--+- ，使得s 和v 在y 方向上的梯度值尽量接近。

由于满足上述两个条件的v 有很多个，为了使其最接近于源图像s ，这里加上第三个限制条件：

3) 最小化2((1,1)(1,1))v s - ，使得s 和v 左上角的像素值接近。

对于以上三个约束条件，可以转化为最小二乘问题。 2

min n V R AV b ∈- 求解V 即可得到重建图像。

1.3计算方法

上述最小二乘问题的求解可以转化为求AV=b ，其中A 为一个稀疏矩阵，表示上述的约束条件，V 为重构图像的列向量表示形式，b 对应约束条件中的常量，

重构图像V 的向量形式如下：

(1,1)(2,1)(row,1)(row,col)v v V v v ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦

即将矩阵V(row,col)按列展开，进行向量化。

根据约束条件1，构造相应的稀疏矩阵A 1，具体形式如下

111000110011A -⎡⎤⎢⎥-⎢⎥=⎢⎥⎢⎥-⎣⎦

其中A 1的行数为（row-1)*col,列数等于V 的行数，为row*col 。相应的，b 的

矩阵构造如下：

1(2,1)(1,1)(3,1)(2,1)(,1)(1,1)(,)(1,)s s s s b s row s row s row col s row col -⎡⎤⎢⎥-⎢⎥⎢⎥=⎢⎥--⎢⎥⎢⎥⎢⎥--⎣

⎦ 同理对于约束2，可构建2A 和2b 如下：

22(1,2)(1,1)110(1,3)(1,2)0110(1,)(1,1)0101(,)(,1)s s s s A b s col s col s row col s row col -⎡⎤⎢⎥--⎡⎤⎢⎥⎢⎥⎢⎥-⎢⎥==⎢⎥⎢⎥--⎢⎥⎢⎥⎢⎥-⎣⎦⎢⎥--⎣⎦

2A 和2b 有(1)*col row -行，表示约束2的方程数。将约束1和约束2 联合起来表示为：

12A A A ⎡⎤=⎢⎥⎣⎦

12b b b ⎡⎤=⎢⎥⎣⎦

最后加上约束3的一个方程，则在A中加一个行向量(1,0,,0)，b中添加一个元素(1,1)

s。

这样，约束条件1、2和3综合在一起就可以表示如下：

AV b

最终结果v的如下：V=A\b.

1.4实验结果及分析

图1-1：左侧为原图，右侧为重构后图像

分析：由上图结果可以看出，重建图像V和原图像S一致，图像重建结果良好。

在使用zeros函数预先为A分配存储空间，再用V=A\b计算时，速度非常慢，原因是A矩阵太大，但由于A整体是一个稀疏矩阵，通过sparse函数进行稀疏化后再进行V 的计算可大大提高计算效率。

2、Poisson Blending

2.1 问题

从源图像中选取某个物体，如下图左所示，融合到目标图像，如下图中所示，最简单的方法就是直接将源图像中的选中像素复制到目标图像中的指定位置，如下图右所示，但这种方法即使在源图像和目标图像的背景完全匹配时也会产生非常明显的融合缝隙。

图2- 1 直接粘贴效果图

因此我们的目的是要让源图像和目标图像更完美的融合到一起。作业中已经给出了在源图像中的提取目标物体的程序，以及将提取的区域对准到目标图像中的方法，需要做的工作是使用泊松融合的方法，使得源区域和背景图中的周围区域具有相似的颜色。

2.2 数学模型

泊松融合的核心是带狄里克雷边界条件的泊松偏微分方程，狄里克雷边界条件指定了在影响域内未知函数的拉普拉斯算子，以及在区域边界上的未知函数值的拉普拉斯算子。

针对泊松融合问题，可将具体的额约束条件转化为下述方程。

给定源图像s和目标图像t的像素值，通过计算可以得出待融合区域S与新的像素值v满足如下的约束：

22

,,

argmin(()())(()())

i i

i j i j i j i j

v i S j N S i S j N S

v v v s s v t s s

∈∈⋂∈∈⋂⌝

=---+---

∑∑

其中i是区域S中的一个像素，j表示像素i的四邻域。上式表示梯度值之间的匹配程度，前半部分是基于两个可变像素的，后半部分基于一个可变像素和一个固定像素的。

使用上述方法进行图像融合的过程中，需要选择源图像中的目标物体和目标图像中要进行融合的位置。在源图像中选择目标物体时，就是选取一个包含目标物体的区域，同时在目标图像中选定一个位置来将源图像中选定的区域融合进来。在融合之前需要对选定的区域进行变形使得其与目标区域相匹配。选择源区域时自己要保证目标在区域之中，不需要边界紧贴目标，只要目标物体在所选择的区域之中即可。还要保证，在源图像中选择的包含目标物体多边形区域的大小应该可以融合到目标图像中，如果尺寸太大，需要先进行尺寸调整，使源图像满足大小的要求；否则将无法进行图像的融合。理想情况下，源图像中待融合区域的背景应该与目标图像的背景有相似的颜色，这样更容易实现图像的无缝融合，效果更好。

2.3 计算方法

泊松融合问题也可以转化为一个最小二乘问题。对于彩色图像的融合，可以分别对三个通道进行融合，然后将三个通道重新组合为彩色图像。因此，先考虑一个通道的融合过程，设源图像s的一个颜色分量图像为's，选定的目标区域为'S，目标图像为t，要生成的图像为v。由v得到待求向量V的方式和第一题中描述的方式相同。

设'S中有N个像素点，系数矩阵A的构造与第一题相似，由约束公式可知A ⨯+(row*col-N)对'S中的每个像素i，可构造4个线性方程组，同时的行数为4N

针对非S’中的像素点，直接复制背景像素值。

与第一题的一个不同的是，在构造向量b时，根据情况不同，选用不同的值。当像素i不在目标区域中时，对应的b为背景图像在i处的值，当像素i在目标区域，而某邻域像素j不在目标区域时，b为T_j+S_i-S_j，当像素i在目标区域，而某邻域像素j在目标区域时：b为S_i-S_j

同时，根据上述情况，修改A系数矩阵中的值。最后，约束条件同样转化为

=

AV b

求解其中的V即可得到单通道的图像融合结果，分别求出三个通道的融合结果，进行最后的合成，实现泊松融合。

2.4 结果分析

图2-2与图2-3展示了泊松融合效果比较好的结果，图2-4的融合效果不是很好，下面将讨论导致融合效果不太好的因素。