复杂条件下摄像视频前景提取技术研究

复杂条件下摄像视频前景提取技术研究
摘要：本文提出了摄像视频在复杂条件下,如复杂背景、光线剧烈变化等条件下,通过高斯背影建模、基于区域生长的前景提取、YUV空间阴影消除算法、基于亮度自适应的光线调节等技术,精确高效的提取出视频前景Mask方法,并给出了与新背景无缝融合的方法。

实验结果表明,该方法可以有效的在各种摄像头环境下进行精确的前景提取。

关键词：前景提取背景建模阴影消除
在当今信息化时代,越来越多的各种新技术被广泛地应用于网络视频资源制作领域。

前景提取抠像技术是计算机视频图像处理中一个应用广泛的研究课题,其具体目标是在视频或图像中分离出与场景背景不同的区域或由边缘点组成的闭合曲线围成的区域。

在一些简单的应用中,如在纯蓝色背景下的电视节目的录制,演员穿着与背景完全不同的服装情况下,分割比较容易。

但在室外视频监控、无定制背景的室内复杂条件下,该问题并没有很好的解决。

现有的算法很难适应多种变化环境,而且抗噪声能力不足。

同时,对于目前大量应用于家庭上网娱乐的普通摄像头,由于视频质量有限,现有算法并不具有很好的鲁棒性。

而且,受制于计算机的CPU处理性能,很难在实时状态下处理采集到视频的前景提取工作。

在网络视频直播或视频聊天等环镜中,就需要一种高效、高质量的前景提取方法。

本文跟据网络摄像头的特性,提出了一种通过高斯背影建模、基于区域生长的前景提取、YUV空间阴影消除算法、基于亮度自适应的光线调节等方法,精确高效的提取出视频前景Mask的方法,并给出了与新背景无缝融合的方法。

实验结果表明,该方法可以有效的在实时摄像头环境下进行精确的前景提取。

1、背景建模方法
在网络视频直播或视频聊天类应用场景中,摄像头通常是固定的,所以可以采用背景相减的方法完成对视频序列中的运动前景物体的检测。

背景相减法的基本思路是实时采集的视频帧中减去预先采集好的参考背景图像。

这个参考背景图像是通过训练和学习视频序列而获得的背景模型。

在本文中,采用单高斯模型方法进行背景建模。

在本文应用场景中,进行背景建模时,需要前景人物事先离开摄像头拍摄范围,此时场景中像素值在视频序列中服从高斯分布[1]。

针对每个固定的像素（Px,P y）,计算n帧训练图像序列中该像素值的n个样本的均值I和方差e,用以唯一确定该高斯模型[2]。

采集到的视频帧与该背景相减后的值与阈值比较,跟据｜It-I｜<3e就可以判断该像素是前景或是背景。

图(1)为经过训练后的均值图像。

图(1) 经过训练后的均值图像图(2) 前景物体进入场景后图像
经过RGB三通道相减后,可得到前景和背景的帧差图像。

从图中我们可看出,本方法除了进入场景的前景人物外,部分背景也产生了较大的帧差。

同时,前景部分由于有与背景接近的颜色也有部分像素帧差很小。

也就是说,利用简单的帧差阈值法,无法很好分割帧差图像得到前景图像的Mask,而且容易在前景图像中产生空洞现像。

因此,在背景建模的基础上,本文采用了一种基于区域生长的前景提取方法来进行精确的前景提取。

2、基于区域生长的前景提取方法
区域生长法是一种根据事先定义的准则将像素或子区域聚合成更大区域的过程。

基本方法是以一组“种子”开始,将与种子性质相似的的相邻像素附加到生长区域的每个种子上。

区域生长的另一个问题是用公式描述一个终止规则。

基本上,在没有像素满足加入某个区域的条件时,区域生长就会停止[3]。

2.1 种子生长的基本规则
在进行区域生长运算之前,首先需确定种子生长的规则。

本文选定从视频边缘均匀选16个点做为背景区域的种子,经实验分析,种子生长在同时符合以下条件时,判定为背景,可得到最优结果:
(pDiffY[yy*nSaveWidth+xx]<threshold*0.9)&&
(pDiffR[yy*nSaveWidth+xx]<threshold)&&
(pDiffG[yy*nSaveWidth+xx]<threshold*1.1)&&
(pDiffB[yy*nSaveWidth+xx]<threshold*1.1)
（其中,pDiffY为YUV颜色空间帧差图像的Y分量pDiffR,pDiffG,pDiffB分别为RGB颜色空间帧差图像的R、G、B分量,yy为纵坐标,xx为横坐标,nSaveWidth 为每行的像素数,”&&”为计算机语言中表示“与”的符号）。

经过研究分析发现,相对于其他像素,前景边缘像素需要更敏感的生长条件从而使得边缘部分的分割更为精确,因此,在当前像素为前景边缘时,需要降生长的阈值降低。

前景边缘的提取方法为,视频源边缘减去原背景的边缘。

前景边缘像素生长阈值为:
if (pEdgesMask[yy*nSaveWidth+xx]!=0)// pEdgesMask为前景边缘
{
threshold=origThreshold*0.7;
}
2.2 去阴影算法
在室内应用场合中,由于灯光,自然光方向等因素,极容易产生阴影的现像,在以上算法中,如果有阴影进入场景,则有较大的可能性会被判定为前景,这就对提取的准确性产生了不良影响[4]。

因此有必要研究一种能消除阴影的算法。

经分析发现,在YUV空间中,阴影部分主要影响了亮度分量Y,而对颜色分量U、V影响不大,因此,可以利用这一特性,对场景中Y分量差异较大,但UV分量几乎无差异的部分判定为阴影,由此可判定为背景[5]。

因此,原判定条件可修正为
((pDiffY[yy*nSaveWidth+xx]<threshold*0.9)&&
(pDiffR[yy*nSaveWidth+xx]<threshold)&&
(pDiffG[yy*nSaveWidth+xx]<threshold*1.1)&&
(pDiffB[yy*nSaveWidth+xx]<threshold*1.1))||
((pDiffY[yy*nSaveWidth+xx]<thresholdShadownY)&&
(pDiffU[yy*nSaveWidth+xx]<thresholdShadownUV)&&
(pDiffV[yy*nSaveWidth+xx]<thresholdShadownUV)))
(其中,thresholdShadownY、thresholdShadownUV表示阴影判定的阈值,”||”计算机语言中表示“或”的符号)
2.3 光线变化自适应算法
采用单高斯模型进行前景提取,有个前提因素就是背景采集后,在下一次采集之间是固定的。

在各种环境中,光线的变化会受到自然光强弱、灯光的开关和强弱的影响,同时,当前景物体进入到场景内时,可能会引起场景内亮度直方图的变化。

目前,市场上主流摄像头都具有自适应亮度调节功能,在场景较暗时,会自动调高视频亮度,场景较暗时则反之。

因此,当因前景物体进入到场景而触发摄像头调整亮度时,有必要对背景也进行同等程度的校正,弥补亮度调整造成的大面积误检情况。

在大部分应用场景中,前景物体所占面积都只占场景的一小部分,因此,可以推断,在正常状态下,前景和背景的帧差图像亮度直方图中,最大直方图统计亮度差应该是零。

如果得到的最大亮度差不是零,则可判定有光线发生了变化,或是摄
像头对光线做了自适应调节。

当index大于一定值时,就需要对背景进行一定的光线自适应补偿。

经过实验得出,当帧差图像直方图最大统计亮度差大于15时,便有必要对光线进行修正了。

如图(3),图表示亮度深度为255,共分成50等份,图中一格表示亮度差约为5。

图(3) 原帧差直方图图(4) 校正后帧差直方图
从图(4)中可看出,校正后,帧差直方图已恢复正常,证明校正后的帧差大部分背景区域与前景帧差都将小于阈值,减少了误判的可能。

2.4 离散区域消除算法
经过区域生长法得到的mask可以避免前景物体中出现大面积空洞的情况,但背景中还是难免出现一些噪声,前景与背景边缘也往往不够平滑。

因此,还需要通过一系统算法去除这些噪声,并平滑边缘。

首先,对经区域生长后得到的Mask 进行高斯模糊,并进行二值化处理。

可得到如图5所示。

对于边缘的平滑处理,还可继续对Mask进行一次形态学开运算,进行一次闭运算,从而消除可能出现的比较大面积的背景误检和前景的空洞,边缘不平滑的现像。

如图(6)所示。

图(5) 经形态学处理后的Mask 图(6) 边缘虚化Mask
3、图像融合
图像融合（Image Fusion）是指将几个信道所采集到的关于同一目标的图像数据经过计算机运算处理,对各自信道中的有利信息进行有效的提取,并最后合成高质量的所需图像。

一般情况下,图像融合由低到高分为三个层次:数据级融合、特征级融合、决策级融合。

数据级融合高层次图像融合的基础,通常也称像素级融合,主要是对采集器采集来的数据进行处理而获得融合图像的过程,这是目前图像融合研究的重点之一。

这种融合的优点是保持尽可能多得现场原始数据,提供其它融合层次所不能提供的细微信息。

融合算法常结合图像的平均值、熵值、标准偏差、平均梯度等;平均梯度反映了图像中的微小细节反差与纹理变化特征,同时也反映了图像的清晰度。

跟据图像合成公式,一副图像I可以表示为一幅前景图像F和一幅背景图像B 的一个合成[6],即:
I=αF +(1-α)B——（1）
前景提取即通过计算确定图像的α和F值,而用新背景图像B’取代B,即为图像合成过程。

为了使前景与新背景图片之间平滑的进行融合,需要对mask进行进一步高斯模糊化处理,使边缘虚化,如图(6)。

对图6进行取反运算后即得到虚化后的反mask图像,如图(7)。

图(7)虚化后的反mask 图(8) 新背景图片
图(9) 原始视频帧图(10) 合成后的视频帧
新背景图片和原始视频帧通过公式（1）中算法运算后,即可合成为图(10)中结果。

4、实验结果
为了验证算法的可靠性,本文采用Visual C++实现算法,在实际运行境下,做了大量防真实验。

实验证明,在复杂背景下和光线变化的情况下,本算法均表现出了良好的鲁棒性。

实验结果如图(11)。

图(11a) 高斯背景图(11b) 进入场景的物体
5、结语
本文提出了低质量摄像头视频在复杂条件下,如复杂背景、光线剧烈变化等条件下,通过高斯背影建模、基于区域生长的前景提取、YUV空间阴影消除算法、基于亮度自适应的光线调节等方法,精确高效的提取出视频前景Mask的方法,并给出了与新背景无缝融合的方法。

实验结果表明,该方法可以有效的在实时摄像头环境下进行精确的前景提取。

该算法在网络视频直播,电视节目制作,视频监控等应用领域有着重大的实践意义。

参考文献
[1] Chris Stauffer, W.E.L Grimson. Adaptive background mixture models for real-time tracking.0-7695-0I 49-4/99$ 10.00 0 1999 EEE
[2]韩颖婕,张海李,琳怡.基于混合高斯背景建模的阴影抑制算法[C].第十四届全国图象图形学学术会议.
[3]冈萨雷斯.数字图像处理（第二版）.电子工业出版社,P.496.
[4]ChuangYY,GoldmanDB, CurlessB,et al. Shadow matting and compositing [C]
//Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH,SanDiego, 2003:494-500
[5]Bouguet Jean - Yves, Perona Pietro. 3D photo graphyon your desk [C] //Proceedings of IEEE Internationa Conference on Computer Vision, Bombay, 1998:43-50
[6]PorterT,DuffT. Compositing digitalima ges [C] // Computer Graphics Proceedings, Annual Conference Series, ACMSIG 2 GRAPH, NewYork,1984:253-259。