GrabCut彩色图像分割算法的研究

方便处理 ＧＭＭ， 在优化过程中引入向量 ｋ＝（ ｋ１， …， ｋｎ， …， ｋＮ） 作 为 每 个 像 素 的 独 立 ＧＭＭ（ 前 景 或 背 景 ） 参 数 ， 且 ｋｎ∈｛１， ２， …， Ｋ｝， 相应像素点上的不透明度 !ｎ＝０ 或 １。
Ｇｉｂｂｓ 能量函数改写为
Ｅ（ !， ｋ， "， ｚ） ＝Ｕ（ !， ｋ， "， ｚ） ＋Ｖ（ !， ｚ）
Ｍａｔｔｉｎｇ 可以进一步优化硬分割， 这种方法允许在硬分割
边界附近存在一条完全透明的窄带， 这就足以处理当前
待分割物体边界处的模糊和像素重叠问题。边界优化主
要任务是统计这个窄带的 ! 图， 恢复前景的颜色。
３．１ 统计 ! 图
Ｂｏｒｄｅｒ Ｍａｔｔｉｎｇ 从一个闭合轮廓 Ｃ 开始（ 该轮廓是从
初始硬分割得到的） ， 重新计算三元图 $ＴＢ， ＴＵ， ＴＦ %， 其中 ＴＵ
更换， 取得了很好的效果。
【关键词】交互式图像分割； Ｇｒａｐｈ ｃｕｔｓ 算法； 前景提取； Ａｌｐｈａ 计算； ＧｒａｂＣｕｔ 算法
【中 图 分 类 号 】 ＴＮ９１９．８１
【文 献 标 识 码 】 Ａ
Ｒｅｓｅａｒ ｃｈ ｏｆ Ｇｒ ａｂｃｕｔ Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｌｇｏｒ ｉｔｈｍ
方差。式（ ８） 中的均值、协方差定义如下
$ｔ（ !） ＝（ １－ !） $ｔ（ ０） ＋!$ｔ（ １）
２ ＧｒａｂＣｕｔ 图像硬分割算法
ＧｒａｂＣｕｔ 的硬分割算法在 Ｇｒａｐｈ ｃｕｔｓ［３］的基础上做了 三方面的改进： 第一， 利用高斯混和模型（ Ｇａｕｓｓｉａｎ Ｍｉｘ－ ｔｕｒｅ Ｍｏｄｅｌ， ＧＭＭ） 取 代 直 方 图 ， 将 灰 度 图 像 扩 展 到 彩 色
图像； 第二， 用估计和参数学习过程中可进化的迭代算法
数字视频
式 中 ： Ｄ（ !ｎ， ｋｎ， "， ｚｎ） ＝－ ｌｏｇｐ（ ｚｎ｜!ｎ， ｋｎ， "） － ｌｏｇ#（ !ｎ， ｋｎ） ， ｐ
（·） 是高斯概率分布， #（·） 是混和权重系数（ 累积和为常
数） 。所以有
Ｄ（ !ｎ，
ｋｎ，
"，
ｚｎ） ＝－
ｌｏｇ#（ !ｎ，
ｋｎ）
＋
１ ２
ｌｏｇｄｅｔ（ !ｎ，
ｋｎ） ＋
# １
２
!ｚｎ－ $（ !ｎ， ｋｎ） "Ｔ
（ !ｎ， ｋｎ） !ｚｎ－ $（ !ｎ， ｋｎ） "
（ ３）
这样模型的参数就确定为
$ % # "＝ #（ !， ｋ） ， $（ !， ｋ） ， （ !， ｋ） ， ｋ＝１， ２， …， Ｋ （ ４）
彩色图像的平滑项为
# ) * Ｖ（ !， ｚ） ＝%
是边界 Ｃ 两侧宽 ｗ 的窄带内的像素集合 （ 这里采用 ｗ＝
６） 。这一步的目标是计算 ! 曲线图 !ｎ， ｎ∈ＴＵ。为了有效 完成任务， 在 ＴＵ内假设了 ! 图的形状。设 ｔ＝１， ２， …， Ｔ， 为 轮廓 Ｃ 的参数， 以 Ｔ 为周期（ 曲线 Ｃ 是闭合的） 。索引号 ｔ
（ ｎ） 对应每个像素 ｎ， ｎ∈ＴＵ。! 图为近似的阶跃函数： !ｍ＝ｇ
!ｎｎ∈Ｔｕ ｋ
（ ｇ） 从第 ４ 步开始重复执行， 直到收敛。
（ ｈ） 执行边界优化。
３） 用户交互编辑
Fra Baidu bibliotek
（ ｉ） 编辑：指定一些像素!ｎ＝０（ 背景） 或!ｎ＝１（ 前景 ） ， 相应的更新三元 Ｔ， 执行步骤（ ｆ） 。
（ ｊ） 优化： 执行整个迭代最小化算法。
迭代最小化过程可看成总能量 Ｅ 在 ｋ， "， ! 三个方面
动态规则不能准确地完成最小化， 则需要两次完整的动
态规划来近似， 假设第一次动态规则过程在 ｔ＝Ｔ／２ 处给
出最佳 ! 图， 数据项为
Ｄ,ｎ（ !ｎ） ＝－ ｌｏｇＮ)ｚｚ； $ｔ（ｎ） （ !ｎ） ， +ｔ（ｎ） （ !ｎ） *
（ ８）
式 中 ： Ｎ（ ｚ； $， +） 为 ｚ 的 高 斯 概 率 密 度 ， $ 为 均 值 ， + 为 协
!!ｍ≠!ｎ "ｅｘｐ
２
－ &‖ｚｍ－ ｚｎ‖
（ ｍ， ｎ） ∈Ｃ
２．２ 通过迭代实现能量最小化并进行分割
ＧｒａｂＣｕｔ 中 的 能 量 最 小 化 通 过 迭 代 来 实 现 ， 不 像
Ｇｒａｐｈ ｃｕｔｓ 算法是一次完成的， 优点是可自动修改不透
明度 ! 值， 并利用从初始三元图的 ＴＵ像素中重新确定的 像素来校正彩色模型 ＧＭＭ 的参数 "。
Ｄｉｇｉｔａｌ ｖｉｄｅｏ
文章编号： １００２－ ８６９２（ ２００８） ０６－ ００１５－ ０３
Ｇｒ ａｂＣｕｔ 彩色图像分割算法的研究
·论文·
王钧铭 １， 高立鑫 ２， 赵 力 ２ （ １． 南京信息职业技术学院， 江苏 南京 ２１００１３； ２． 东南大学， 江苏 南京 ２１００９６）
【摘 要】ＧｒａｂＣｕｔ 算法是一种高效的前景背景分割算法。传统分割算法应用纹理或边界 信息 中 的 一种 进 行 分割 ， 而 ＧｒａｂＣｕｔ 算 法
硬 分 割 的 实 现 是 对 Ｇｒａｐｈ ｃｕｔｓ 算 法 的 改 进 。 它 在 Ｇｒａｐｈ ｃｕｔｓ 算法基础 上 提 出 了 “不 完 全 标 号 ”和 “迭 代 估 计”的方法， 从而减少了用户的交互工作量， 提高了分割 的准确度。这样用户的交互操作就简化成在目标区域的 周围画一个矩形框。笔者将 ＧｒａｂＣｕｔ 算法应用在静态图 像编辑中， 用于更换图片背景， 效果很好［２］。
１ 引言
一个理想的分割工具应该能够产生连续的介于 ０ 和 １ 之间的不透明值， 这样像头发、树叶等精细的前景也能 够 很 好 地 自 动 分 割 出 来 ［１］。 但 是 以 往 的 经 验 告 诉 我 们 这 个目标很难实现。ＧｒａｂＣｕｔ 算法是一种有效的从复杂背 景中提取前景目标的交互式图像分割算法， 其分割准确 度与算法执行效率较高， 且交互操作量极少。ＧｒａｂＣｕｔ 算 法先通过交互式分割得到一个基本的“硬分割 ”， 然后在 环绕硬分割边界的条带上采用 Ｂｏｒｄｅｒ Ｍａｔｔｉｎｇ 的方 法计 算连续的值， 获得理想的分割效果。
综合 利 用了 纹 理 及边 界 两 种 信 息 进 行 图 像 分 割 。ＧｒａｂＣｕｔ 算 法 是 对 Ｇｒａｐｈ ｃｕｔｓ 算 法 的 改 进 ， 具 有 分 割 精 度 高 ， 交 互 式 操 作 少 的 优
点， 并将分割从灰度图像推广到了彩色图像领域， 是一种比较有前途的交互式分割算法。该算法用在静态图像编辑中的图片背景
ＷＡＮＧ Ｊｕｎ－ ｍｉｎｇ１， ＧＡＯ Ｌｉ－ ｘｉｎ２， ＺＨＡＯ Ｌｉ２ （ １． Ｎａｎｊｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｏｃｃｕｐａｔｉｏｎ Ｔｅｃｈｎｉｃａｌ Ｃｏｌｌｅｇｅ， Ｎａｎｊｉｎｇ ２１００１３， Ｃｈｉｎａ ； ２． Ｓｏｕｔｈｅａｓｔ Ｕｎｉｖｅｒｓｉｔｙ， Ｎａｎｊｉｎｇ ２１００９６， Ｃｈｉｎａ）
# # Ｅ＝ Ｄ,ｎ（ !ｎ） ＋ Ｖ, )(ｔ， )ｔ， (ｔ＋１ ， )ｔ＋１ *
（ ６）
ｎ∈ＴＵ
ｔ＝１
Ｖ, )(， )， (′， )′*＝*１（ (－ (′） ＋*２（ )－ )′）
（ ７）
式（ ７） 的作用是激励 ! 值沿着 Ｃ、随着 ｔ 的增加而均
匀地变化（ *１＝５０， *２＝１ ０００） 。如果轮廓 Ｃ 是闭合的， 一次
)ｒｎ； (ｔ（ ｎ） ， )ｔ（ ｎ） *， 其 中 ｒｎ是 像 素 ｎ 到 轮 廓 Ｃ 的 距 离 ， 参 数
(， ) 分别是 ! 图从 ０ 到 １ 跳变的中心和宽度。参数 (１，
)１， …， (Ｔ， )Ｔ是在 ｔ 上用动态规则方法来最小化能量函
数（ ６） 得出的， 式（ ７） 是平滑规则器。
Ｔ
上的单调递减。这样算法就能保证最终收敛到 Ｅ 的最小
值。当判断出 Ｅ 无大幅度衰减时自动终止迭代。这样就
保证了算法的收敛性。
２．３ 用户交互与不完全三元图
非完全编号取代了完整三元图， 带来了更大的灵活
性， 用户的初始交互只需确定背景区域 ＴＢ， 并不需要确定 前景， 可令 ＴＦ＝０。迭代能量最小化是通过允许一些编号临 时表示前景像素， 而背景 ＴＢ的编号是固定不变的。Ｇｒａｂ－ Ｃｕｔ 中的初始值 ＴＢ是用户通过标定矩形区域来确定的。
【Ａｂｓｔｒ ａｃｔ】 ＧｒａｂＣｕｔ ｉｓ ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ． Ｂｏｔｈ ｏｆ ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｅｘｔｕｒｅ ａｎｄ ｅｄｇｅ ａｒｅ ｕｓｅｄ ｉｎ Ｇｒａｂ－ Ｃｕｔ， ｗｈｉｌｅ ｏｎｌｙ ｏｎｅ ｋｉｎｄ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｕｓｅｄ ｉｎ ｃｌａｓｓｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ． ＧｒａｂＣｕｔ ｉｓ ａｎ ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ Ｇｒａｐｈ ｃｕｔｓ， ａｎｄ ｈａｓ ｈｉｇｈ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ｎｅｅｄｓ ｌｅｓｓ ｉｎｔｅｒａｃｔｉｖｅ ｏｐｅｒａｔｉｏｎｓ． Ｍｅａｎｗｈｉｌｅ， ＧｒａｂＣｕｔ ｉｓ ｎｏｔ ｏｎｌｙ ｕｓｅｄ ｉｎ ｏｒｉｇｉｎａｌ ｇｒｅｙ ｉｍａｇｅ， ｂｕｔ ａｌｓｏ ｕｓｅｄ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｃｏｌｏｒｆｕｌ ｉｍａｇｅ． Ｔｈｅｒｅｆｏｒｅ， ＧｒａｂＣｕｔ ｉｓ ａ ｐｒｏｍｉｓｉｎｇ ｉｎｔｅｒａｃｔｉｖｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ， ａｎｄ ｇｅｔｓ ｇｏｏｄ ｒｅｓｕｌｔｓ ｗｈｅｎ ｂｅｉｎｇ ｕｓｅｄ ｉｎ ｂａｃｋｇｒｏｕｎｄ ｒｅｐｌａｃｅｍｅｎｔ ｉｎ ｔｈｅ ｓｔａｔｉｃ ｐｉｃｔｕｒｅ ｅｄｉｔｉｎｇ． 【Ｋｅｙ ｗｏｒ ｄｓ】ｉｎｔｅｒａｃｔｉｖｅ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ； Ｇｒａｐｈ ｃｕｔｓ； ｆｏｒｅｇｒｏｕｎｄ ｅｘｔｒａｃｔｉｏｎ； Ａｌｐｈａ ｍａｔｔｉｎｇ； ＧｒａｂＣｕｔ
如果用户给出的初始化信息不足以得到满意的分割 效果， 就需要用户进一步交互， 提供更多的信息， 然后执 行算法中的步骤（ ｆ） 。此外优化改进操作可以根据用户操 作更新颜色模型信息， 并且高效的最优流可以在用户操 作过程中反复利用而无须重新计算。
３ 边界优化
对 于 边 界 优 化 应 该 用 连 续 的 ! 值 来 处 理 。 Ｂｏｒｄｅｒ
ＧｒａｂＣｕｔ 算法的主要流程描述如下：
１） 初值化
（ ａ） 用户通过设定背景 ＴＢ来初始化三元图 Ｔ。前景
设为空， 即 ＴＦ＝’， ＴＵ取背景的补集， 即 ＴＵ＝Ｔ+Ｂ。 （ ｂ） 对于 ｎ∈ＴＢ， 有 !ｎ＝０； ｎ∈ＴＵ有 !ｎ＝１。 （ ｃ） 分别用 !ｎ＝０ 和 !ｎ＝１ 两个集合来初始化前景和
背景的 ＧＭＭ 模型。
２） 迭代最小化
（ ｄ） 求得 ＴＵ中的每个像素 ｎ 所对应的 ＧＭＭ 参数 ｋｎ，
ｋｎ＝ａｒｇｍｉｎＤｎ（ !ｎ， ｋｎ， "， ｚｎ） ｋｎ （ ｅ） 从数据 Ｚ 中获取 ＧＭＭ 参数 "， "＝ａｒｇｍｉｎＵ（ !， ｋ，
"， ｚ） 。
（ ｆ） 用最小能量来得到初始分割： ｍｉｎｍｉｎＥ（ !， ｋ， "， ｚ） 。
（ １）
式中： ! 为不透明度， !∈［０， １］， ０ 为背景， １ 为前景目标； "
为图 像前景与背景的灰度直方图， "＝｛ｈ（ ｚ， !） ， !＝０， １｝； ｚ
为 图 像 灰 度 值 数 组 ， ｚ＝（ ｚ１， …， ｚｎ， … ， ｚＮ ） 。 式 （ １） 主 要 受
ＧＭＭ 变量 ｋ 影响。引入了 ＧＭＭ 的彩色数据模型， 其数
代替一次最小估计来完成能量最小化； 第三， 通过非完全
编号降低了对交互工作的要求［２］。
２．１ 彩色数据模型
彩色图像是由 ＲＧＢ 色彩空间上的像素组成的。创建
足够的色彩空间直方图是不现实的， 所以使用 ＧＭＭ 模
型来建立彩色图像数据模型［４］。每一个 ＧＭＭ（ 前 景或背
景） 都可以看作是一个 Ｋ 维的协方差（ 通常 Ｋ＝５） 。为了
据项可定义为
" Ｕ（ !， ｋ， "， ｚ） ＝ Ｄ（ !ｎ， ｋｎ， "， ｚｎ）
（ ２）
ｎ
＊ 国家自然基金项目（ ６０４７２０５８） ； 教育部博士点基金项目（ ２００５０２８６００１） ； 教育部“新世纪优秀人才支持计划”资助项目
１５ Ｎｏ．０６ Ｖｏｌ．３２ ２００８（ Ｓｕｍ Ｎｏ．３１５ ） ＶＩＤＥＯ ＥＮＧＩＮＥＥＲＩＮＧ