基于最大相似度区域合并的交互式图像分割

基于最大相似度区域合并的交互式
图像分割
一．实验目的
实现一种可以将初步分割过后的图片进行目标与背景分离的算法，即基于最大相似度区域合并的交互式图像分割算法。

图像分割是图像分析及计算机视觉系统中的重要环节。

只有在图像分割的基础上才能对目标进行特征提取、参数测量和识别，使得更高层的图像分析和理解成为可能，图像分割质量的好坏直接影响后续图像处理的效果。

因此，可以说图像分割是图像处理中最为重要的环节。

本次实验中提出的算法可以很好地实现图像分割的目的。

二．实验背景知识及原理
1、Meanshift算法初始分割图片
区域合并的前提是输入图片为已被其他方法分割为小区域的图片，本文主要使用了均值漂移分割法（meanshift）。

经过分割后的图像如下图所示：
2、区域表示和相似性度量
本文采用RGB颜色空间估计的颜色直方图表示图像中的每个区域，当然，其它颜色空间，如HSI和Lab等，也可用于对区域建模。

将RGB颜色空间量子化
为16x16x16=4096箱格，然后计算每个区域的归一化直方图。

为了度量区域之间的相似性．选择巴氏系数测量区域R 和Q 的相似度：
∑=⋅=4096
1u u
Q u R Hist Hist Q)R,(ρ
上式中，u R Hist 和u Q Hist 分别表示区域R 和Q 的直方图。

上标u 表示直方图
的第u 个箱格。

两个区域的内容相似度越大，直方图越相似，巴氏系数就越高。

由此，可以通过计算巴氏系数来比较不同区域之间的相似度。

3、目标和背景的标记
用户只用做一小部分的标记：绿色标记目标，蓝色标记背景。

用以下符号来表示相关区域：
M B ：标记为背景的区域；M O ：标记为目标的区域；N ：未标记区域。

4、基于最大相似度的区域合并准则
（1）Q 是R 的邻近区域，用1,2,...q i Q i Q }{S S == 表示Q 的邻近区域，显然Q S R ∈。

（2）计算Q 与所有邻近区域之间的相似度q i ,...,2,1),S Q,(Q i =ρ。

（3）当)S Q,(max )Q R,(Q i ,...,2,1ρρq
i == 时，R 与Q 合并。

5、合并过程
整个合并过程共分为两个阶段，这两个阶段循环进行。

主要算法：
while 上次循环中有区域被合并 阶段一; 阶段二; end; 其中：
阶段一：（将N 中的区域和M B 中的区域合并）
（1-1）对每个M B 中的区域B ，它的邻近区域的集合为1,2,...r i i B }{A S ==。

（1-2）对每个不在M B 中的区域A i ，它的邻近区域的集合1,2,...q j A j A }{A S i i ==，
因此有i A S B ∈。

（1-3）如果)S ,A (max )B ,A (i
A j i ,...,2,1i ρρk
j == ，则表示B 和A i 具有最大相似度，
可以合并为同一个区域，否则不合并。

（1-4）相应地更新M B 和N 。

（1-5）如果M B 找不到新的合并区域，则阶段一结束。

否则，返回到（1-1）。

阶段二：（将N 中的区域与N 中的区域合并）
（2-1）对每个N 中的区域P ，它的邻近区域的集合为1,2,...p i i P }{H S ==。

（2-2）对每个N 中的区域H i ，它的邻近区域的集合为 1,2,...k j H j H }{A S i i ==
因此有i H S P ∈。

（2-3）如果 )S ,H (max )P ,H (i H j i ,...,2,1i ρρk
j ==则表示P 和H i 具有最大相似度，可
以合并为同一个区域，否则不合并。

（2-4）相应地更新N 。

（2-5）如果N 区域中没有还能合并的区域，阶段二结束。

否则返回到（2-1）。

循环停止条件：
在整个算法中，设未标记区域（N ）中的区域个数为n ，n 会随着一些未被标记区域与背景（M B ）或与其他区域合并而减少，当n 停止减少的时候，算法停止。

剩余的未被标记的区域将会被标记为目标（M O ），由此实现了目标与背景的分割。

三．实验结果及分析：
1、实验结果：
第一回合第一阶段的合并：
第一回合第二阶段的合并:
第二回合第一阶段的合并：
合并完成后的结果：
2、实验分析：
（1）MSRM方法分割图像的结果与GC P和GC R分割方法结果的比较：初始分割GC P GC R MSRM
从上述分割结果我们可以很明显地看出：MSRM方法的分割效果是明显优于其他方法的。

（2）在分别使用不同的颜色空间（如HSI）、不同的距离度量（如Euclidean）、不同的初始分割方法（如super-pixel）时，分割结果分别如下：
HSI颜色空间
Euclidean距离
super-pixel
由上述结果可以得知：颜色空间、距离度量、初始分割方法对分割结果基本无影响。

（3）只要标记覆盖了主要的特征区，合并的结果都是一样的。

左边图中的2次不同的标记，它们都包含了花的黄色部分和白色部分，因此合并的结果都是右边的图片。

（4）标记的越多，MSRM算法效果越好。

（5）图像质量的好坏影响最终的分割结果：
由分割结果可知：有阴影、边缘对比度低、区域模糊时，分割效果不好。

（6）当对目标或背景所做的标记不同时，可能会对合并结果产生影响：
由图像分割结果可知：上下两幅图在鸟嘴处的差别是比较明显的。

（7）由于区域合并等所需计算量较大，算法运行需要较长时间。

四、实验总结
该论文提出了一种基于区域合并的交互式图像分割算法MSRM，它用MeanShift算法对图像作初步分割，分割结果的区域作为算法处理的基本单位。

然后，用户输入交互式信息，指定目标和背景的大致位置和特征信息，提出的算法将自动从各种背景中分割目标。

算法在目标标记和背景标记的指导下，基于最大相似度机制进行区域合并，并提取目标。

提出的算法简单有效，避免了在传统的一些方法中阈值设置困难的问题。

但是，算法受用户输入的信息影响，并且由于需要大量计算而使得运行速度较慢。

提出的方法提供了一种通用的区域合并框架，它本身并不依赖于Mean Shift 分割，其它算法(如Watershed、SuperPixel)的分割结果同样可适用于这个框架。