多视频运动对象实时分割及跟踪技术

万方数据
第９期
孙志海，等：多视频运动对象实时分割及跟踪技术
的深度．设当前背景的更新模型为Ｂ（ｚ，ｙ，“），则 当Ｄ（ｚ，ｙ，“）积累至Ａ值时（其中Ａ＞ｏ），相应位置 的背景像素值可根据式（３）进行自适应更新，对 Ｄ（ｚ，ｙ，如）为。的点则不更新背景像素值，保持原 背景像素值不变． Ｂ（ｚ，ｙ，￡＾）一口·厂（ｚ，ｙ，“）＋（１一口）·Ｂ（ｚ，ｙ，“一１）
中图分类号：ＴＰ３９１．４１
震献标识码：Ａ
文章编嚼：１００８—９７３Ｘ（２００８）０９—１６３１一０５
Ｒｅａｌ一量耋Ｉ麓ｅ ｓｅｇｌ魏ｅ娃垂ａ鼍ｉｏ珏ａｎｄ 耄ｒ鑫ｃｋｉ鼗ｇ耄ｅｃｈｎｉｑ珏ｅ Ｏｆ薹ｎｕｌｔｉｐｌｅ
ｌｎ◇Ｖｉｎｇ ｏ喵ｅｅ惦 ｉ珏Ｖｉｄｅｏ ｓｅｑｌ重ｅ珏ｃｅ
ＳＵＮ Ｚｈｉ—ｈａｉ，ＺＨＵ Ｓｈａｎ—ａｎ ｔｃｏｌｌｅｇ毫。ｆ Ｅ｝￡ｃｔｒｉｅ馥ｔ Ｅ豫ｇ该ｅｅｒｉＡｇ，ｚｈ鲤；ｉ鼢ｇ Ｕ锋ｉ暂ｅｒｓｉｔ》，Ｈ叠携ｇｚ｝ｍ鞋３气ＱＱ：弧，Ｃｈｉ戳）
２视频运动对象分割
２。ｌ 自逶庭鹜豢建模 设有Ｍ帧视频序列，（ｚ，ｙ，￡ｔ），厂（ｚ，∥，如），
…，，（ｚ，ｙ，￡Ｍ），取，（ｚ，３，，￡，）为基准图像，则一幅 差异积累图像是由将基准图像和视频序列膀续图像 进行怼毙褥到的［１”．当基准匿像蠢序甍中图像之 间在某个像素位置上出现一次较小差异就令计数器 计数一次，这种计数器在差异积累图像每个像素的 位置上都有一个．当第矗帧图像与基准图像相比较
Ｗ
‘Ｗ
Ｗ
９
９
９
Ｗ
＿Ｉ．，
Ｗ
９
９
９
Ｗ
Ｗ
Ｗ
９
９
９
ｌ
ｌ
ｌ
旦×
９
ｌ
ｌ
ｌ
ｌ
ｌ
ｌ
“ｇ．２
图２ ３×３变系数空域滤波器掩模 Ｍａｓｋ ｏｆ ３×３ ｖａｒｉａｂｌｅ ｃｏｅｆｆｉｃｉｅｎｔ ｓｐａｔｉａｌ ｆｉｌｔｅｒ
给出的这种变系数空域滤波器，建立在均值滤 波器滤波原理的基础上，调整掩模系数，以适应对 不同图像的增强．该滤波器可以理解为均值滤波器 和变斜率灰度线性算子先后联合操作的过程，即经 过变系数空域滤波器增强的图像，不但带有均值滤 波器的平滑效果，而且还具有局部区域的灰度增强 特性．从试验的效果来看，给出的这种滤波器掩模
图１ 多视频落幼对象实时分割及跟踪技术框架
Ｆｉｇ．１
Ｆｒａｍｅ ｏｆ ｒｅａ卜ｔｉｍｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ 专ｅｅｈｎ遗硅ｅ ｏｆ嚣ｌ娃ｌｔｉｐｌｅ拍ｏｖｉｎｇ ｏ玛ｅｃｔｓ ｉｎ ｖｉｄｅｏ ｓｅ一
时，差异积累图像巾一个给定像素的输入项给出在 此位置上对应的像素与基准图像中同一位置的像素 闯灰囊级变化的次数。蘧羞时闻懿簧耨，差异积累 图像可视为一个像素值在动态更新的矩阵Ｄ（。，ｙ， 缸），差异大小是根据某阈值Ｔｆ设定好的．如取第 愚一ｒ帧图像，（ｚ，∥，“一，）为求取蒺异积累图像的参 考帧，刘当前帧，（。，∥，改）与参考帧，（ｚ，了，如一，） 之闺的差异图像Ｆ（ｚ，了，岛）戳及差异积累囊态矩 阵Ｄ（工，ｙ，如）分别如式（１）、（２）所示，通过分析羡 异积累动态矩阵来决定某像素属于前景或背景：
Ｂａｉｌｏ等人［８３从算法实时性角度出发，利用高斯分 布特性构建趱适应背景更新模型，实现了对视频运 动对象的分裁，貌类算法需要信计镜头嗓声或静止 背景中由噪声所引起的方差，算法自适应獠度较不 理想．Ｙａｎｇ等人［９０利用视频像素水平及帧水平特 性有选择地更新背景模型，然后采用形态学后处理 方法对税簇运羲对象送行分割，该算法对瑟豫 ＲＧＢ颜色空间的三维数据均进行了处理，当视频 窗口变大时，算法处理速度成倍下降，影响实时 性．Ｃｈｅｎ等人［１０］提出了一种采用背景记泶技术恢 复背景区域，结合背景差穗邻帧差信息分割裰频运 动对象的算法，该算法魏采没有准确酶前景物俸分 割，背景记泶技术得到的背景信息则不可熊，反而 影响了下一帧运动对象分割的准确性．
浙江太学学报（工学版）湖址：ｗｗｗ．ｊｏｕｒｎａｌｓ．茹ｊ¨．ｅｄｕ．ｃｎ／ｅｎｇ
作者简允：孙志海（１９８卜一）。男，福建漳州人．博士生。主要从褰视频运动对象分割的研究。Ｅ—ｍａｉｌ＃ｅｅｓ抽＠１６３．ｃｏｍ
透承联系人ｉ寒善安，男，教授，媾导。Ｅ．ｍａｉｌ；∞ａ＠ｏ鼢．霹ｕ．ｅ矗ｕ。ｃｎ
万方数据
浙 江 大 学 学 报（工学版＞
飓啪啪一滢篡班。吖ｂ’弩川Ⅺ，
（１）
ｆＤ（ｚ，ｙ，如一１）＋１，Ｆ（ｚ，岁，‘打）＝
Ｄ（搿，ｙ，如）一｛ ｏ，Ｄ（ｚ，ｙ，以一１）＜Ａ，
（２）
｝０，其德。
式（２）表示当菜位警像素的帧间羞异较小时，使
Ｄ（搿，ｙ，“）加ｌ，否则Ｄ（ｚ，了，“）赋值为Ｏ，表示该
像素的帧间差异比较大，｜；【记录每个像素差异积累
Ｂｄ（ｚ，ｙ，“）＝ｌ／（ｚ，ｙ，“）一Ｂ（ｚ，了，“）Ｉ． （４） 从试验结果来看，如果直接对Ｂ。（ｚ，３，，“）进行 二值化操作，所获得的视频对象平面大多具有空域 不完整特性，所以需对背景差图像进行空域滤波， 使视频对象平面保持空域连通性．常见空域滤波器 有均值滤波器、中值滤波器及拉普拉斯滤波器等， 但这些滤波器均有其各自的适用场合，直接采用某 种滤波器对背景差图像进行滤波并不一定能获得理 想的效果．建立在对以上这几种滤波器滤波效果分 析的基础上，本文给出了一种新型的变系数空域滤 波器（ｖａｒｉａｂｌｅ ｃｏｅｆｆｉｃｉｅｎｔ ｓｐａｔｉａｌ ｆｉｌｔｅｒ，ＶＣＳＦ）掩 模．考虑有意义掩模的最小尺寸为３×３，图２显示 了变系数空域滤波器掩模的两种形式，其中叫为待 整定的系数，取值为硼≥１，当叫一１时，该滤波器 即还原为常规的均值滤波器．
频运动对象努裁浆算法，毽褫蓑运凄薄象惠囊分割 的闻题还没完全薪决。实时自动分箭视频语义对象 的难点有：对复杂场景快速准确的背景建模；环境变 化及噪声影响算法的鲁棒性；算法通用性夔，复杂 斡分割算法潢是不了应鼹酶实畦性要求；多运动对 象戆分割及鼹踪》７３对分割算法挺毒了更离酌要求．
收藕日期：２００７一０４ｒ ２７．
第４２卷第９期 ２∞８年９月
wk.baidu.com
浙 江 太 学 学 报《工学版）
Ｊｏｕｒｎａｌ ｏｆ Ｚｈｅｊｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ（Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｃｉｅｎｃｅ）
ｌ×）｛：１０。３７８Ｓ／ｊ，ｉｓｓｎ。ｉ￥０８—９７３Ｘ。２００８．Ｏ§，０３ｅ
Ｖ０１，４２ Ｎｏ．９ 辍ｐ．２００８
多视频运动对象实时分割及跟踪技术
ｒｉｎｇ；ｂａｃｋｇｒｏｕｎｄ ｕｐｄａｔｅ
视簇运囊辩象分割及蹉踩缝子繁个巍觉鉴撬系 统的最底层，是各释后续高级处璩辩视频分橱“ｊ、 视频编码［２］、视频梭索ｃ３］以及视频艘控Ｈ１等的基础． 运动附象分割是指从视频流中实时提取出运动对 象，蒋运费对象鼹踪剃是指对嚣糠遴行连续的跟踪 叛确定萁运囊孰迹．尽管文献［５～？３报道了有关视
Ａｂｓ薯ｒａｃｔ：Ｅｆｆｅｃ毫ｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｗａｓ ｍｏｄｅｌｅｄ ｂｙ ａｃｃｌ王ｍｌｌｌａｔｉｖｅ赫ａｍｅ－ｔｏ—ｆｒａｍｅ ｄｉｆｆｅｒｅｎｅｅｓ，ａｎｄ ｆｏｒｅｇｒｏｕｎｄ ｃｏｕｌｄ ｂｅ ｅｘｔｒａｃｔｅｄ ｕｓｉｎｇ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｏｐｅｒａｔｉｏｎ． Ａ Ｖａｒｉａｂｌｅ ｃｏｅｆｆｉｃｉｅｎｔ ８ｐａｔｉａｌ“ｌｔｅｒ ｗａｓ ｐｒｅｓｅｎ。 ｔｅｄ，ｗｈｉｃｈ ｃｏｕｌｄ ｅｆｆｅｃｔｉｖｅｌｙ ｅｎｈａｎｃｅ ｔｈｅ ｂａｃｋｇｆｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｉｌｎａｇｅ ａｎｄ ｍａｋｅ ｔｈｅ ｆｏｒｅｇｒｏｕｎｄ ｒｅｇｉｏｎ ｈａｓ 猕ｕｅｈ蕊ｏｆ￡ｓｐａ专ｉ教ｌ ｅ。ｎ娃ｅｅｔｉｖｉｔｙ．Ａｎ ｉ轻ｌｐｒｐｖｅｄ Ｏｔｓ醢一ｂ程ｓｅ矗ｓｅｇｌｎｅ曹妓ａ皇ｉｏ珏ｆｎｅｔｈｏ矗ｗ毅ｓ ｐｒｅｓ￡ｎｔ矗ｔｏ ８ｃｅ醢ｒｉ睦ｅｌｙ 毛ｈｒｅｓｈｏｌ矗ｔ｝捷ｂａｃｋｇ＃ｏｕｎｄ鑫ｉｆｆｅｒｅ狂ｅｅ ｉｚｎａｇｅ。 Ｍｏｒｐｈｏｉｏｇｉｅａｌ ｏｐｅｒ氇ｔｉｏ芏１ ｗａｓ ｕｓｅｄ ｉｎ ｅｘｔｌ｜ａｅｔｉｎｇ ｃｏｎ毒ｏｕｒｓ ｏ｛ ｍｏｖｉｎｇ ｏｂｊｅｃｔｓ． Ａｆｔｅｒ ｇｅｔｔｉｎｇ ｔｈｅ ｃｏｎｔｏｕｒｓ ｏｆ ｍｏＶｉｎｇ ｏｂｊｅｃｔｓ，ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｗａｓ ａｐｐｌｉｅｄ ｔｏ ｌｏｃａｔｅ ｔｈｅ ｆｏｒｅｇｒｏｕｎｄ ｒｅｇｉｏｎ，ａｎｄ ｔｈｅ ｒｅｃｔａｎｇｌｅ ｃｅｎｔｒｅ ｗ杜ｓ ｓｅｅｎ ａｓ ｔｈｅ ｎ１８ｓｓ ｃｅｎｔｒｅ ｏｆ ｔｈｅ ｍｏＶｉｎｇ ｏ逆ｅｅｔｓ。奈压ｏｖｉｎｇ ｏ毽ｅｃｔｓ ｗｅｒｅ ｔｒ８ｅｋｅｄ ｕｓｉ珏ｇ ｍｉｎｉｍ鑫ｌ Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｅｅ ａｎｄ ｔｈｅ擞ｏｔｉｏｎ ｔｒ面ｅｃ童ｏｒｉｅｓ ｗｅｒｅ ａｌｓｏ ｐ鑫ｉ狂重ｅｄ＋ Ｅｘｐｅｒｉ￡ｎｅｎｔａｌ芏｝ｅｓ娃ｌｔｓ ｓｈｏ、酽ｅ建专ｈ鑫专ｐｒｏｐ。ｓｅ建曩ｌｇ。ｒｉｔｈｌ致ｗａｓ ｅ｜壬￡ｅ专ｉＶｅ ａｎ纛ｅｆｆｉｅｉｅｎｔ． Ｋｅｙ ｗｏｒｄｓ：ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ；ｍｏｖｉｎｇ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ；ｄｉｆｆｅｒｅｎｃｅ ａｃｃｕｍｕｌａｔｉｏｎ；ｓｐａｔｉａＩ ｆｉｌｔｅ。
孙志海，朱善安
（浙江大学电气工襁学院，浙江杭州３ｌ００２７）
搂要：鬟罐犊阔蓑雾羲熏蔷塞遴褥鑫逶建费景建横，采惩背景差鲶方涟梭弱鬟凝运动砖彖医壤。设｛中了一释变
系数豹空域滤波器，有效建对鹜爨戆霸豫送行了增强，使获褥豹褪频避动对象透蠛更舆有空域连通籍馁。绦出了
一种改进的基于（）ｔｓｕ法的自适应湖傅化方法，能剪准确地对背景差蹦像进行阈值化．莱闱形态学边界提取技术
形式很适用于对背景差图像的滤波． 在使用滤波器之前需先整定叫值，这里铷的
整定可采用两种方法：一是直接观察对应系数滤波 图像阈值化后的效果；二是根据最大类间方差的原 理，比较不同叫系数下滤波图像在特定阈值下的类 间方差［１ ２｜，从而整定似值．
图３为对ＭＡＴＬＡＢ提供的Ｖｉｐｔｒａｆｆｉｃ视频测 试序列（１６０×１２０，１５帧／ｓ）的第６８帧图像采用不 同空域滤波器及阈值化后的效果示意图．为了更有 效地进行比较，所选择的视频帧里含有一辆黑色的 车辆，其与背景的对比度明显不如视窗里的白色车 辆．从图３（ｄ）可以看出，直接对第６８帧的背景差 图像进行阈值化，其运动对象平面内部存在比较多 的空洞，特别是黑色车辆，这将直接影响视频运动 对象下一步的分割定位；在图３（ｅ）中，由于均值滤 波器的平滑效果，视频运动对象即三辆小车的内部 空洞面积相比图３（ｄ）有所减小；从图３（ｆ）可看出复 合拉普拉斯滤波操作不但没有减少空洞区域，反而 增加了背景差图像的高频分量；图３（ｇ）则为采用 ＶＣＳＦ滤波器的效果，其视频运动对象的空域连通 性对进一步分割定位非常有利．
本文结合实际视频运动对象的特点，针对实际 拍摄嚣交通裰羰系磺，绘出了一种多视频运动对象 实时分割及跟踪技术。
第４２卷
分割及跟踪技术框架
多视频运动对象实时分鬻ｌ及跟踪的技术框架如 图１所示．主要有５部分：囱适应背景建模；空域滤 波、轮廓提取；目标定位、质心标记；运动对象质心关 联；孰迹绘铡．
晕ｌ焉每隔一段时阉内每个像素酶浈闻积累差异 信息自适应建立背景模型，利用背景差技术检测出 运动物体区域；根据背景羞图像的特点，设计了一 种变系数的奄域滤波器，结合形态学处理的方法对 背景差图像遴行空域滤波并摄取出视频运动对象轮 廓；采用区域生长法对视频运动对象进行定位和质 心标记；在视频运动对象分割的基础上，利用运动 对象质心建立视频运动对象帧间向量，并比较运动 对象的犊翔向量模堕，对视频运动对象质心进行关 联跟踪及轨迹绘制。
（３）
式中：系数ａ影响着背景缓存平滑滤波的程度及更 新的速度，ａ取值区间为［ｏ，１］．根据经验，取值在 ［ｏ．０５，ｏ．１］区间时背景更新效果较好．一般以获取 的第一帧图像作为初始背景． ２．２变系数空域滤波
根据背景差技术可以快速地区分前景（视频运 动对象）和背景区域的特点，将当前帧厂（ｚ，ｙ，以）与 更新所得背景Ｂ（ｚ，ｙ，“）相减得背景差图，记为
对视频运动对熬轮廓进行提取．谯获得视频运动对缴轮廓的基础上．用隧域生长法对视频运动对象进行愁俄，将
矩形中心坐标搅为视频运动对象的爨心坐标。霜基予空闯欧氏距离簸蠛憨方法对每个视频运动对象震心进褥关联
鼷踪著绘裁鞔迹。试验续象表鼹，浚方法实鞋有效。
关键词：运动对象分割；运动对象鼹踪；差异积累；空域滤波；背景楚新