自动分割视频运动目标的一种实现方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
!73$),.$： Q6F: F:E E4EHG69G ?D 9ER O6ME? <?M69G >F59M5HM ’()*+% R:?>E <?M69G 6> K5>EM ?9 4?O69G ?KSE<FP> DE5T F;HE> 59M F:E R6ME 5UU76<5F6?9 ?D 69FE776GE9F >;HOE67759<E >8>FE4， F:E >F;M8 ?9 F:E 57G?H6F:4> ?D >EG4E9F69G 4?O69G ?KT SE<F> DH?4 O6ME? :5> KE<?4E 5 VE8 UH?K7E4$B:6> U5UEH UH?U?>E> 59M 64U7E4E9F> 5 4?O69G ?KSE<F >EG4E9F5F6?9 4EF:?M， R:6<: K5>EM ?9 69FEH +DH54E M6DDEHE9<E$W6H>F78， 6F EXFH5<F> F:E ?;F769E> ?D <:59GE 5HE5> DH?4 69FEH +DH54E M6DDEHE9<E， 59M F:E9 >EU5H5FE> F:E6H E9F6F6E> 5> D?HEGH?;9M K8 M675F69G ?UEH5F6?9$1E<?9M78， >F?H5GE> F:E U6XE7> 7?<5FEM ?9 F:E K?;9M5H8 ?D F:E D?HEGH?;9M 5> F:E E7E4E9F> ?D 1J （ >EEM 769E ） $J5>F78 ， ;>69G 1J >:H69V> F:E D?HEGH?;9M ;9F67 F:E K?;9M5H6E> ?D F:E 4?O69G ?KSE<F> 5HE HE5<:EM$B:6> 57G?H6F:4 6> >64U7E 69 ?UEH5F6?9， 9?F <?4U76<5FEM 69 <?4U;F5F6?9， 59M ?978 ;>E> D6H>F FR? DH54E> 69 O6ME? ， >? 6F <59 KE 5M?UFEM 69 HE57+F64E 5UU76<5F6?9$YE>;7F> ?D F:E EXUEH64E9F >:?R 6F> EDDE<F6OE9E>> ?D >EGT 4E9F69G F:E 4569 ?KSE<F>$ >#=?&)’3： AK>FH5<F6?9 ?D 4?O69G ?KSE<F， 096F657 >EG4E9F5F6?9， WH54E 5K>?7;FE M6DDEHE9<E ， Z6>>64675H6F8 4E5>;HE
! 运动检测 !$& 互帧差
在分离运动区域与背景时， 将视频图像中运动的一个或几 个对象称作为前景， 而将静止不变或变化缓慢的区域称作为背 景。 在固定摄像头拍摄的场景中， 背景不变， 只有运动的物体在 位置上有微小的变化。 首先想到的最简单的确定运动物体位置 的方法就是求相邻两帧的互帧差 ’()。其理论模型如下： ， ， 它们可以表示为： 设相邻头两帧图像为 !" （ #， $） !"%&（ #， $） （ !"（ #， $） *& "， #， $） %’(（ #， $） %)"（ #， $） &） "+&（ （ !"%&（ #， $） *& "， #， $） %’(（ #%!# ， $%!$ ） %""%&（ #， $） %*"%&（ #， $） !） "+&（ 式 中 & "， （ ， ） 为 场 景 （ ， ） ， （ ， ） 的 公 共 背 景 区 ， # $ ! # $ ! # $ " +& " "%& ， 分 别 为 目 标 ’( 在 帧 " ， )" （ #， $） "" %& （ #， $） " +& 的 遮 挡 区 和 恢 复 ， 对 应 目 标 在 "， 区， ’( （ #， $） ’( （ #%!# ， $%!$ ） " +& 帧 的 运 动 位 置 （ （ 为目标形心位移矢量） ， 为 " %& 帧 场 景 对 " !# ， !$ ） *" %& （ #， $） 帧的相对干扰噪声。（ 式， （ 式相减， 则邻帧差分法结果为： &） !） +"（ #， $） ,!"（ #， $） -!"%&（ #， $） ,’(（ #%!# ， $%!$ ） -’(（ #， $） %
文章编号 &""!+@##&+（ !""# ） !%+"&"#+"#
! "#$%&’ (&) !*$&+,$-. /#0+#1$,$-&1 &( 2-3*,4 "&5-10 678#.$3
9*- :,1%*, ;* <%,&=,10 （ 1<:??7 ?D BE7E<?44;96<5F6?9 )9G69EEH69G ， 012 25F6?957 IE8 J5K?H5F?H8 ， L6M659 N96O$， L6P59 3&""3&）
（ "， 2） !5
. /（ "， 2） -1 !（
/
）
!
（ 2）
可以取若干个块进行估计， 将其中最大值作为背景噪声方 差。 经过上述处理后， 图像中还存在一些小的噪声点， 此时采用
图& 自动分割视频运动对象原理图
形态学的腐蚀算子来滤除这些小的噪声点。 图 ! 是对汽车图像 序列进行自动分离背景与前景的结果。
图#
膨胀结果
. ! 进行 比 较 ， 的高斯噪声的方差 # 以初步确定前景和背景区域。 !& 表示第一帧图像的灰度， !! 为第二帧图像的灰度。则互帧差 ’,) &"% !""#$!% 计算机工程与应用
$
!） /（ .! （ 1 #， $） 34・ # "/ /
（ 0）
得到的 + 矩阵是一个二值图像。白色区域为前景， 黑色区 噪声方差 域为背景。 门限中的选取依具体图像而定， 该文 4 *# 。 的估计是在互帧差图像可能是背景的区域内取 %1% 的块 5 ， 在 这个块内估计噪声均方差：
.! * & # "/ 05
作者简介： 崔艳华（ ， 女（ 汉族） ， 硕士研究生， 主要研究方向： 图像处理、 图像识别。卢朝阳（ ， 男（ 汉族） ， 博士生导师， 主要研究方向： 图 &C33+ ） &C[#+ ） 形图像处理、 图像编码和图像识别。
计算机工程与应用 !""#$!% &"#
的结果基本相似， 但只利用了两帧， 其思想简单、 计算效率高。
&
引言
运动分割在图像序列分析中占有重要地位， 其结果可以用
好， 每一帧都可以将目标与背景准确地分割开。但现在对目标 识别跟踪系统的要求正朝着智能化方向发展， 要求系统具有对 目标进行自动捕获、 自动识别和自动跟踪的能力， 人工分割显 然受到限制。文献 .!/提出了一种基于光流场的运动参数估计， 即通过估算运动参数， 找出符合模型的象素区域， 进而合并区 域， 来构成运动对象。 但由于光流估算的可靠性较差， 其正确性 和精度尚需验证， 其分割结果不可靠。文献 .#/提出基于背景拼 图的视频分割方法， 即从连续多帧图像中， 提取一幅背景参考 帧， 后续多帧与参考帧比较获得运动目标。这种方法需要估计 运动参数等多个参数， 且要利用多帧信息， 所以运算量较大， 不 适合实时处理。此外， 文献 .%/针对彩色图像序列还提出了基于 颜色和纹理的视频分割方法。 该文提出了一种针对灰度图像序列自动分割运动目标的 方法， 实现的原理如图 & 所示。它只使用了运动图像序列的头 两帧信息， 求出相邻头两帧的互帧差， 在背景不变的情况下， 得 到位置发生变化的运动物体。膨胀运算将运动区域融合最大 化。 为每个运动区域建立种子队列， 存储区域的边缘点。 从种子 队列中的象素出发， 向背景区域内收缩， 结合不相似准则搜索 目标， 最后锁定目标。该文算法的分割结果与文 .&/中人工分割
为：
/*-!!.!&（ !）
（ %）
/ （ 计算窗口内的 ! 次矩 1 ： 设移动窗口的大小为 0$， #， $） /
!） & /（ 1 / , 0$
!
（ "， 2） !$（ #， $）
. ） （ /（ "， 2） -1 /
!
（ (）
/ 是 /（ 其中， 窗口内的抽样平均， 即 1 "， 2） / / （ ，） & 1 / " 2 , 0$
图! 采用互帧差自动分离背景与前景
!$!
膨胀
互帧差得到的二值图像中，白色部分为检测出的运动区
和 恢 复 区 "" （ 由于变化显著很容易被 域。遮挡区 )"%&（ #， $） #， $） 检测出来。但如果物体内部均匀， 则 ’(（ 会 #%!# ， $%!$ ） -’(（ #， $） 使均匀部分的信息丢失。 现在的目的是从互帧差图像中划分出 尽可能大的运动区域。所以对矩阵进行膨胀运算， 使物体内部 支离破碎的部分连接起来， 形成一个运动区域整体， 如图 # 所 示。这样的结果便于下一步运动标记及种子队列的形成。
（ "， 2） !$（ #， $） （ !）
!
/（ "， 2）
（ ,）
ห้องสมุดไป่ตู้
/ ， 逐 象 素 计 算1 并与一个门限比较（ 此门限与噪声变量 / / ! 成正比） ， 设 + 为运动标志矩阵， 则 # "/ +（ )， "） ,# "， %
$
!） /（ .! " （ !(( ， 1 #， $） 34・ # / "/
""%&（ #， $） -)"（ #， $） %*"（ #， $）
（ #）
由（ 式可见， 运 动 物 体 信 息 包 涵 在 ) "%& （ ， 和 #） #， $） "" （ #， $） 三者之中， 这是提取运动物体的重要线 ’( （ #%!# ， $%!$ ） -’(（ #， $） 索。 同时， 也可以看到要从这三者中进一步提取目标， 首先要排 。噪声主要来源有视频镜头产生的高斯 除噪声干扰项 *" （ #， $） 噪声， 视频序列中的随机噪声以及亮度变化、 背景纹理的慢变 化等统计量噪声。这些噪声的和符合高斯分布。滤除噪声的原 理就是在互帧差图像上逐点移动一个小的窗口区域， 然后求每 这个值与背景区域估计 个窗口区域内 ! 次互帧差和的平均值，
于二维场景中运动物体特征描述，用于基于特征的视频编码， 基于对象的视频控制， 及基于内容的视频提取等。在迅速发展 并得到广泛应 用 的 国 际 编 码 标 准 ’()*+% 中 ， 视 频 序 列 的 每 来表示。为了生成视频对象面， 需要 一帧由视频对象面（ ,-(） 对视频序列中的运动对象进行有效的分割， 分割出的视频运动 对象用于编码可以有效地提高视频压缩编码的效率。此外， 在 现有的视频监控系统中， 如能自动检测并跟踪运动对象， 将大 大提高视频监控系统的智能化程度。由此可见， 对视频序列进 行分割及跟踪是目前一个极其重要的研究领域。 运动目标分割是运动目标跟踪的第一步，也是关键的一 步。其分割的精度直接决定运动目标跟踪的成败。通常目标跟 踪的过程是： 首先分割出运动目标， 形成目标模板， 然后在运动 序列的每一帧中用模板进行匹配， 寻找目标的新位置， 再更新 模板。 可见， 初始分割的好坏直接影响模板的形成， 进而影响后 续跟踪的可靠性。因此， 运动目标初始分割是当前研究的一个 重要方面。 目前， 在这以领域已经有一些较成熟的算法。 文献 .&/ 中采用人工描绘运动目标轮廓作为初始模板。其跟踪效果较
自动分割视频运动目标的一种实现方法
崔艳华 卢朝阳 西安 3&""3& ） （ 西安电子科技大学通信工程学院 012 国家重点实验室，
)+4567： 859:;5<;6=>695$<?4
摘 要 随着基于运动对象特征编码的 ’()*+% 压缩标准的制定及智能监控系统的广泛应用，从视频序列中分割出运
动对象的算法成为当今研究的热点。为此， 文章提出并实现了一种基于互帧差的视频运动对象分割方法。它先从互帧差 图像中提取出运动物体的基本轮廓， 通过膨胀运算将尽可能是前景的区域分离出来。 再将前景区域边缘的象素作为种子 队列的元素， 从种子队列出发向前景区域内部收缩， 最后搜索到运动物体。这种算法方法简单， 运算量小， 而且只使用了 头两帧的信息， 因而适合于实时应用。实验结果表明， 这种方法能有效地分割出主要的运动目标。 关键词 运动目标提取 初始分割 互帧差 不相似测量 文献标识码 A 中图分类号 B(#C&
! 运动检测 !$& 互帧差
在分离运动区域与背景时， 将视频图像中运动的一个或几 个对象称作为前景， 而将静止不变或变化缓慢的区域称作为背 景。 在固定摄像头拍摄的场景中， 背景不变， 只有运动的物体在 位置上有微小的变化。 首先想到的最简单的确定运动物体位置 的方法就是求相邻两帧的互帧差 ’()。其理论模型如下： ， ， 它们可以表示为： 设相邻头两帧图像为 !" （ #， $） !"%&（ #， $） （ !"（ #， $） *& "， #， $） %’(（ #， $） %)"（ #， $） &） "+&（ （ !"%&（ #， $） *& "， #， $） %’(（ #%!# ， $%!$ ） %""%&（ #， $） %*"%&（ #， $） !） "+&（ 式 中 & "， （ ， ） 为 场 景 （ ， ） ， （ ， ） 的 公 共 背 景 区 ， # $ ! # $ ! # $ " +& " "%& ， 分 别 为 目 标 ’( 在 帧 " ， )" （ #， $） "" %& （ #， $） " +& 的 遮 挡 区 和 恢 复 ， 对 应 目 标 在 "， 区， ’( （ #， $） ’( （ #%!# ， $%!$ ） " +& 帧 的 运 动 位 置 （ （ 为目标形心位移矢量） ， 为 " %& 帧 场 景 对 " !# ， !$ ） *" %& （ #， $） 帧的相对干扰噪声。（ 式， （ 式相减， 则邻帧差分法结果为： &） !） +"（ #， $） ,!"（ #， $） -!"%&（ #， $） ,’(（ #%!# ， $%!$ ） -’(（ #， $） %
文章编号 &""!+@##&+（ !""# ） !%+"&"#+"#
! "#$%&’ (&) !*$&+,$-. /#0+#1$,$-&1 &( 2-3*,4 "&5-10 678#.$3
9*- :,1%*, ;* <%,&=,10 （ 1<:??7 ?D BE7E<?44;96<5F6?9 )9G69EEH69G ， 012 25F6?957 IE8 J5K?H5F?H8 ， L6M659 N96O$， L6P59 3&""3&）
（ "， 2） !5
. /（ "， 2） -1 !（
/
）
!
（ 2）
可以取若干个块进行估计， 将其中最大值作为背景噪声方 差。 经过上述处理后， 图像中还存在一些小的噪声点， 此时采用
图& 自动分割视频运动对象原理图
形态学的腐蚀算子来滤除这些小的噪声点。 图 ! 是对汽车图像 序列进行自动分离背景与前景的结果。
图#
膨胀结果
. ! 进行 比 较 ， 的高斯噪声的方差 # 以初步确定前景和背景区域。 !& 表示第一帧图像的灰度， !! 为第二帧图像的灰度。则互帧差 ’,) &"% !""#$!% 计算机工程与应用
$
!） /（ .! （ 1 #， $） 34・ # "/ /
（ 0）
得到的 + 矩阵是一个二值图像。白色区域为前景， 黑色区 噪声方差 域为背景。 门限中的选取依具体图像而定， 该文 4 *# 。 的估计是在互帧差图像可能是背景的区域内取 %1% 的块 5 ， 在 这个块内估计噪声均方差：
.! * & # "/ 05
作者简介： 崔艳华（ ， 女（ 汉族） ， 硕士研究生， 主要研究方向： 图像处理、 图像识别。卢朝阳（ ， 男（ 汉族） ， 博士生导师， 主要研究方向： 图 &C33+ ） &C[#+ ） 形图像处理、 图像编码和图像识别。
计算机工程与应用 !""#$!% &"#
的结果基本相似， 但只利用了两帧， 其思想简单、 计算效率高。
&
引言
运动分割在图像序列分析中占有重要地位， 其结果可以用
好， 每一帧都可以将目标与背景准确地分割开。但现在对目标 识别跟踪系统的要求正朝着智能化方向发展， 要求系统具有对 目标进行自动捕获、 自动识别和自动跟踪的能力， 人工分割显 然受到限制。文献 .!/提出了一种基于光流场的运动参数估计， 即通过估算运动参数， 找出符合模型的象素区域， 进而合并区 域， 来构成运动对象。 但由于光流估算的可靠性较差， 其正确性 和精度尚需验证， 其分割结果不可靠。文献 .#/提出基于背景拼 图的视频分割方法， 即从连续多帧图像中， 提取一幅背景参考 帧， 后续多帧与参考帧比较获得运动目标。这种方法需要估计 运动参数等多个参数， 且要利用多帧信息， 所以运算量较大， 不 适合实时处理。此外， 文献 .%/针对彩色图像序列还提出了基于 颜色和纹理的视频分割方法。 该文提出了一种针对灰度图像序列自动分割运动目标的 方法， 实现的原理如图 & 所示。它只使用了运动图像序列的头 两帧信息， 求出相邻头两帧的互帧差， 在背景不变的情况下， 得 到位置发生变化的运动物体。膨胀运算将运动区域融合最大 化。 为每个运动区域建立种子队列， 存储区域的边缘点。 从种子 队列中的象素出发， 向背景区域内收缩， 结合不相似准则搜索 目标， 最后锁定目标。该文算法的分割结果与文 .&/中人工分割
为：
/*-!!.!&（ !）
（ %）
/ （ 计算窗口内的 ! 次矩 1 ： 设移动窗口的大小为 0$， #， $） /
!） & /（ 1 / , 0$
!
（ "， 2） !$（ #， $）
. ） （ /（ "， 2） -1 /
!
（ (）
/ 是 /（ 其中， 窗口内的抽样平均， 即 1 "， 2） / / （ ，） & 1 / " 2 , 0$
图! 采用互帧差自动分离背景与前景
!$!
膨胀
互帧差得到的二值图像中，白色部分为检测出的运动区
和 恢 复 区 "" （ 由于变化显著很容易被 域。遮挡区 )"%&（ #， $） #， $） 检测出来。但如果物体内部均匀， 则 ’(（ 会 #%!# ， $%!$ ） -’(（ #， $） 使均匀部分的信息丢失。 现在的目的是从互帧差图像中划分出 尽可能大的运动区域。所以对矩阵进行膨胀运算， 使物体内部 支离破碎的部分连接起来， 形成一个运动区域整体， 如图 # 所 示。这样的结果便于下一步运动标记及种子队列的形成。
（ "， 2） !$（ #， $） （ !）
!
/（ "， 2）
（ ,）
ห้องสมุดไป่ตู้
/ ， 逐 象 素 计 算1 并与一个门限比较（ 此门限与噪声变量 / / ! 成正比） ， 设 + 为运动标志矩阵， 则 # "/ +（ )， "） ,# "， %
$
!） /（ .! " （ !(( ， 1 #， $） 34・ # / "/
""%&（ #， $） -)"（ #， $） %*"（ #， $）
（ #）
由（ 式可见， 运 动 物 体 信 息 包 涵 在 ) "%& （ ， 和 #） #， $） "" （ #， $） 三者之中， 这是提取运动物体的重要线 ’( （ #%!# ， $%!$ ） -’(（ #， $） 索。 同时， 也可以看到要从这三者中进一步提取目标， 首先要排 。噪声主要来源有视频镜头产生的高斯 除噪声干扰项 *" （ #， $） 噪声， 视频序列中的随机噪声以及亮度变化、 背景纹理的慢变 化等统计量噪声。这些噪声的和符合高斯分布。滤除噪声的原 理就是在互帧差图像上逐点移动一个小的窗口区域， 然后求每 这个值与背景区域估计 个窗口区域内 ! 次互帧差和的平均值，
于二维场景中运动物体特征描述，用于基于特征的视频编码， 基于对象的视频控制， 及基于内容的视频提取等。在迅速发展 并得到广泛应 用 的 国 际 编 码 标 准 ’()*+% 中 ， 视 频 序 列 的 每 来表示。为了生成视频对象面， 需要 一帧由视频对象面（ ,-(） 对视频序列中的运动对象进行有效的分割， 分割出的视频运动 对象用于编码可以有效地提高视频压缩编码的效率。此外， 在 现有的视频监控系统中， 如能自动检测并跟踪运动对象， 将大 大提高视频监控系统的智能化程度。由此可见， 对视频序列进 行分割及跟踪是目前一个极其重要的研究领域。 运动目标分割是运动目标跟踪的第一步，也是关键的一 步。其分割的精度直接决定运动目标跟踪的成败。通常目标跟 踪的过程是： 首先分割出运动目标， 形成目标模板， 然后在运动 序列的每一帧中用模板进行匹配， 寻找目标的新位置， 再更新 模板。 可见， 初始分割的好坏直接影响模板的形成， 进而影响后 续跟踪的可靠性。因此， 运动目标初始分割是当前研究的一个 重要方面。 目前， 在这以领域已经有一些较成熟的算法。 文献 .&/ 中采用人工描绘运动目标轮廓作为初始模板。其跟踪效果较
自动分割视频运动目标的一种实现方法
崔艳华 卢朝阳 西安 3&""3& ） （ 西安电子科技大学通信工程学院 012 国家重点实验室，
)+4567： 859:;5<;6=>695$<?4
摘 要 随着基于运动对象特征编码的 ’()*+% 压缩标准的制定及智能监控系统的广泛应用，从视频序列中分割出运
动对象的算法成为当今研究的热点。为此， 文章提出并实现了一种基于互帧差的视频运动对象分割方法。它先从互帧差 图像中提取出运动物体的基本轮廓， 通过膨胀运算将尽可能是前景的区域分离出来。 再将前景区域边缘的象素作为种子 队列的元素， 从种子队列出发向前景区域内部收缩， 最后搜索到运动物体。这种算法方法简单， 运算量小， 而且只使用了 头两帧的信息， 因而适合于实时应用。实验结果表明， 这种方法能有效地分割出主要的运动目标。 关键词 运动目标提取 初始分割 互帧差 不相似测量 文献标识码 A 中图分类号 B(#C&