基于graph cuts 和主动轮廓的纹理感知图像分割

分析图像的纹理特征，如果我们考虑到图像是从可维表面获得的，经典的微分几何理论就为
我们提供了简洁的工具。对于N通道图像 我们表示大小n*n的窗口的中心，在像素（x,y）处： P(x,y)表示在局部区域的图像，当n=1时，P(x,y)代表I(x,,y) 被看作函数
我们构造了参数曲面它有个元素，第二个分量x和y是用来表示在空间里的位置，从微分几何 理论我们知道
●为进一步增强从graphcut所得到的分割结果，我们规定对于像素V的 是基于graphcut分割结果的背景为0前景为1的二进制图，然后对于 因而u越来越大以减少（13），这有利于分类v为前景像素。 ●为了确保被用户制定分类的那些像素是正确的，我们可以直接地对hr设置值，特别地，对于前 景种子v我们让 取一个很大的正数H，这样会使u(v)特别小，同样对于背景种子我们让 综合以上的三种情况： ,其中 的像素v，hr为负，
Texture aware image segmentation using graph cuts and active contours
（基于graph cuts和主动轮廓的纹理感知图像分割） 1. 关键字：Interactive image segmentation（交互式图像分割）、Graph cut、
3. 纹理感知graphcut 分割
这一部分首先简单地介绍了graphcut分割作为我们接下来工作的基础，然后提出了两项研究，
构造了纹理增强图像来代替输入图像用于分割以及把结构张量融入到graphcut模型当中。
3.1 graphcut 分割 graph Cut交互式方法的主要思想是：将对图像的目标和背景进行标记作为硬约束，在满足这
图的对应关系。左图图像中的像素看作是右图中的结点，邻接像素之间的相似性看作是边上的权值
。类似图，除了普通结点外，还包含两个称为“终点”的点 s、t。边集 E 中包含两种边，一种是 连接相邻结点之间的边(n-links)，一种是连接普通结点和“终点”之间的边(t-links)。
假设整幅图像的标签label为L= {l1,l2,,,, lp }，其中li为0（背景）或者1（目标）。那假设图像的 分割为L时，图像的能量可以表示为：
决方法，对于图像我们适应它，并融合作为后期处理从而增强分割的平滑性、准确性。
（4）：当分割比如伪彩色这样的复杂图像时，我们建议在图像分割过程中包含软约束，这样可以 允许用户去勾勒从而表明那些需要通过的边界的区域，这只是在用户身上小小的负担，但是能有
效地指导算法去找寻最满意的结果。
（1）给定输入图像和用户的前景/背景输入，算法分析图像并生成一幅增强图像，其中包含了原始 图像和纹理检测结果。
取值为:பைடு நூலகம்
把活动轮廓的方法结合到graphcut框架作为后期处理，以提高分割边界的效果，我们在执行纹 理感知graphcut之后运行以下三个步骤： （1）根据用户的最初前景和背景输入以及从graphcut得到的输出结果规定hr和gb （2）使用the Split Bregman method 分裂布雷格曼方法，以解决（13）中的u的问题 （3）通过阈值u来完成精确的分割。 现在步骤（1）剩下的是如何正确地规定hr和gb以确保改善在用户输入时的分割效果以及 遵循graphcut分割结果。
G实际代表的变化率 ,是表面元素到一个平面元件的。在含纹理的区域，由于颜色的变化的
区域 （强度），相应的表面往往会发生大的变化，并有一个大的G值。因此，一个纹理描述符T 能够被定义为是： 我们已经通过 来表示灰度图像，其中tij是由纹理描述符T来获得的，对于纹 理区域，纹理图案一般都是重复的，因此，在均匀的相同纹理图案的区域中，所构建的参数曲面 M（x,y）几何形状是一致的， 这意味着G值在区域是均匀的。 现在我们在一个位置通过结合原始图像和It来构建一个增强图像，从而用来分割图像。构建 如下的增强图像：
其中，Er为区域项（regional term），Eb为边界项（boundary term），
区域项： 其中 表示了在高斯混合模型中，前景为1或背景为0的像素概率
边界项：
其中 控制着分割边界的平滑性和准确性，通常选为
公式（1）的最小值是通过最大流/最小割算法a min-cut/max-flow algorithm来实现的， 它需要迭代来增强分割的精度。
其中阿尔法确定权重，在阿尔法即KL距离，广泛用于测量两幅图像之间的相似性/不相似性 ， KL距离KL(F,B)是通过下面公式计算的：
3.3结构张量
在公式（1）能量函数中，边界函数Eb的指数部分依赖于一个常数β和颜色（强度）的区别。在
一般情况下，对于图像β为固定的，当图像中包含的地区有不同对比度时，β的固定值不足以适应
图像分割可以看成像素标记问题，目标（s-node）的label设为1，背景（t-node）的label设为0，
cut就是我们想要的。同时这时候能量也应该是最小的。
首先用一个无向图G=<V，E>表示要分割的图像，V和E分别是顶点（vertex）和边（edge）的 集合。图像到图的映射 把图像表示为图是 Graph Cut 的首要步骤，问题的关键是如何建立图像与
通过整合这些technical components我们提出了一种纹理感知交互式分割算法，工作原理如下：
（2）基于结构张量的graphcut算法应用到增强图像进行初始分割。
（3）使用自适应的主动轮廓算法来改善最初的分割效果。 （4）如果需要的话，用户可以用算法提供的边界编辑来进一步改善分割效果 因为局部的边界编辑和其它三个元素的整合，论文的主要贡献在于： （1）前景图像框架的graph cut 分割 （2）graph cut能量函数中边界的结构张量的使用 （3）凸形主动轮廓改进并合并到graphcut中 （4）对于局部区域编辑的软约束的使用
3.2 色彩和纹理的结合
正如观察所见，graphcut和grabcut由于纹理的干扰不能很好的分割纹理图像，这就激励我们
通过把纹理考虑在内来改进graphcut 算法，特别地，我们建议观察图像纹理，并结合原图像和纹 理观察后的结果来创建一幅增强后的图像，然后对增强后的图像用graphcut算法为了减少在分割 过程中的纹理干扰，这个过程需要两个条件：有效地纹理描述和对于两个有效地结合策略。
效地处理带有纹理的图像。
（2）：我们构造几何学中的结构张量来描述图像中局部颜色（强度）的变化，并使它们归并到 graphcut模型，实际上，结构张量识别了对应的大小和方向以及最大和最小敏感色彩（强度）变 化，从而指导graphcut 在特征边缘分割图像，给出更精确的结果。
（3）：考虑到连续范围的凸优化活动轮廓模型利用边界和区域信息从而找到一个全局的最佳的解
Active contour（主动轮廓）、 Color-texture（彩色纹理）、 Structure tensor（结构张量）
2. 本文的研究意义：由于graphcut 的缺点，本论文在四个方面推广延伸了graphcut 算法：
（1）：把纹理考虑到分割过程中，我们设计了一个有效地、可靠的纹理探测器，用探测结果生成 一幅增强图像。然后对增强图像用graphcut算法，这样可以利用graphcu进行纹理感知以及有
相反，如果我们使用局部几何图像的结构来自适应地调整β，分割效果如图的右侧得到了改善。
Eb ，参考图4为示例。中间的图像显示使用一个固定的β分割结果，它的底部的分割边界不是很好。
4.凸优化活动轮廓 基于分割的凸优化轮廓可以表示为如下的最小化问题：
其中u是在图像领域中一个分类函数即接收一个值介于0和1的每个像素。图像分割是找到最优u 从而使（13）最小，然后通过阈值分割u提取前景图像，hr是区域项，µ是平衡因子,gb 是边界项，
一硬性约束的条件下，根据边界和区域的特性，定义一个能量函数，通过计算全局最优解来获得对
未标记的部分的自动分割，而边界和区域的特性可以看作是分割的软约束。交互式图像分割转化为
求解一个包含区域和边界信息能量函数的最小化过程。 这个过程可以通过最小化图割来最小化能量函数得到。那很明显，发生在目标和背景的边界处的
能量最小化解决问题包括两个步骤：第一步，定义问题的能量函数，并给出相应的约束条件； 第二步，最小化能量函数。
组合优化的理论之一既是最小割问题可以通过找从源点到汇点的最大流来解决。Ford 和
Fulkerson 的理论表明，从源点到汇点的最大流可以使图中的边达到饱和状态，并将图中的所有结 点分为两个互不相交的集合，就是最小割。
局部边界的全过程编辑如图所示。
为了定义hr三个因素需要考虑： ●用户的初始投入实际上给一个很好的关于前景和背景的颜色分布区域说明。因此，我们可以
使用前景色和背景高斯混合模型来定义对于像素v的 hr。
如果hr(v)为正，从而u变小从而减少 （13），这可能导致对于该像素属于背景的分类 否则，如果
最小化（13），可能会导致像素的分类属于前景。
同样，我们也可以使用高斯混合模型来权衡gb，特别是对于那些边界有可能被平滑掉地弱边缘地带， 具体而言，我们用 改变在像素v处的gb
其中gprob和gimg分别是是把边界函数（14)施加到地图 这两个参数的影响，通常设置为0.5
和扩张图像V的结果，权w2是为了控制
5.局部边界编辑
所提出的分割方法在没有明显对比的弱边界区域有时仍然有 一些问题,提高分割效果的一种方 法是用户提供一个'软刷''在那些能够通过的需要的分割边界勾勒一个窄带区域，然后再通过算法得 到满意的效果。我们的方法包括两个步骤：（1）产生一个初始路径和（2）优化路径。