高斯核密度估计背景建模及噪声与阴影抑制

型车辆经过时，摄像机会有轻微抖动，使得检测得到的前 景中包含很多虚警噪声值。这些噪声通常位于具明显对比 度的边界周围，如采用简单的形态算子处理会同时去掉面 积相当的运动物体。考虑到这些点之所以在计算背景密度 时具有较小值，是因为像素点发生了平移。因此，对候选 前景点进行进一步的判定，将这些由于抖动形成的错误前 景点重新划归为背景。
[6]
经过上述处理后图像中仍有一些分布较广的孤立噪 声，它们主要是因为所建立的模型中不包括当前图中背景 的状态所造成。但是这些孤立噪声的面积都很小，所以可 以采用形态算子来去除。然而，对于运动物体检测中普遍 遇到的阴影仍然无法去除。 运动物体产生的阴影一般面积较大，且通常与物体相 连。如果不进行抑制，会使分割得到的物体变形，甚至使 物体通过阴影合并产生欠分割问题，从而影响更进一步的 分析。许多研究发现，阴影通常具有比背景亮度低，色度 变化不大等特点[7]。因此，我们提出采用 MPEG-7 中定义 的计算简单且具有感知一致性的 HMMD 色彩空间来进行阴 影的检测和抑制 [8] 。为了计算简单有效，考虑到阴影通常 位于路面等具有较稳定模态的背景点处，因此利用背景样 本的中位数作为背景参考点对前景中亮度比之低但色度相 差不大的点进行检测，并将其作为阴影进行去除。
⎧ ⎪1 M t ( x, y ) = ⎨ ⎪ ⎩0 pt < T p pt ≥ T p
(
)
（6）
式中 m e d ( ) 为样本中值运算。 T s1 和 T s2 为 0 和 1 之间的 数。 T s1 考虑光源的强度，在户外环境中太阳越高光线越 强，（6）式中的比值越小， T s1 的取值也就越小。参数 T d 和 T h 由实验选定。
1
多模态背景模型
视频序列中每一像素某特征取值可视为一个随机过
1.1 核密度估计
程。由于户外场景复杂，背景不可能完全静止。因此，背 景密度分布不能简单地用一个单模态模型来完全描述，而 且背景分布形式通常无法事先假设。采用完全由视频数据 来得到背景模型的核估计方法 [6] 非常适用于密度分布未知 的计算机视觉分析问题。 假设 x 1 , x 2 , L , x N 为一像素特征空间内某特征的 N 用核函数的密度估计来计算：
（4）
M t 中 0 值点为背景点；1 值点表示候选前景点，需要进行
后续处理来得到真正的前景物体。 另外，背景模型需要及时进行更新来反映场景的变 化，非参数背景模型的更新主要通过更新样本集来实现。 首先将视频序列的前 n 整数倍帧去掉，加入相同数目的新 图像，然后由（2）式计算新加入的样本，从而得到模型的 更新。
个采样值，那么在 t 时刻观测到像素特征值为 x tαi K h ( x t − x i )
N
（1）
式中 K h 表示窗宽为 h 的核函数， α i 为归一化系数，通常 取 α i = 1/ N 。
1.2 背景样本集
核估计需要首先得到待估计量的一个训练样本集。
[1~3]
。在摄像机固定及对目标和环境缺乏先验知识的情形
下，背景减方法是其中应用较广的典型技术。它是将当前 时刻的背景从当前帧图像中减去，以得到运动前景物体的 初始检测结果。背景减法与相邻帧减法相比具有准确定位 及不扩大运动区域等优点。但在实际应用中，不包括运动 物体的纯背景图或完全静止不变的背景通常无法得到。由 于场景光照变化、摄像机抖动等因素，背景需要进行实时 维护与更新。因此，背景减法的难点主要不在于“减运 算”本身，而在于背景动态模型建立，即如何从包含运动 物体的视频序列中提取出背景。 基于所研究的车辆监控系统，本文提出了一种利用图 像灰度信息进行背景核密度估计的非参数模型。通过间隔 固定的两帧之差来粗略划分背景与非背景，从而得到背景
收稿日期：2004-05-08 修回日期：2004-08-06 基金项目：国家重点基础研究发展规划项目（TG.1998030408） 作者简介：毛燕芬(1975-), 女, 浙江, 博士生, 研究方向为视频图像处理 和智能交通系统；施鹏飞 (1939-), 男, 上海, 教授，博导, 图像处理与模 式识别研究所所长, 研究方向为图像处理、模式识别、数据挖掘等。
引
言1
运动目标检测是计算机视觉信息提取中的一个关键问
取值样本，降低了误检率。与传统的参数模型法[4~5]相比， 该模型不需要事先假定背景特征密度分布的形式，也不需 要估计模型参数及进行参数优化。由于保留了背景的多个 模态，该方法可处理背景复杂存在摄像机抖动、树叶摇 动、阴影等情形。
题，也是更高层次视频分析如跟踪、分类的一个重要基 础，主要用于视觉监视、人机交互、视频语义解释等系统
Abstract: A multimodal nonparametric background model is proposed to detect moving objects by background subtraction. In outdoor surveillance systems, the solution to some of the problems such as illumination changes, initialization of model with moving objects, and shadows are provided. The Gaussian kernel density estimation is exploited to estimate the probability density function of background intensity and to initially classify each pixel as belonging to background or candidate foreground. Pixel’s neighbor information is considered to remove noise due to camera jitter and small motion in the scene. The Hue-Max-Min-Diff (HMMD) color information is used to detect and suppress moving cast shadows. That decreases the false positive in object detection. Experimental results demonstrate the robustness to noise and shadow and good detection performance, and it can be used in outdoor environment surveillance systems. Keywords: kernel density estimation; shadow suppression; the hue-max-min-diff color space; moving object detection
Gaussian Kernel Density Estimation-based Background Modeling with Noise and Shadow Suppression
MAO Yan-fen, SHI Peng-fei
(Institute of Image Processing and Pattern Recognition, Shanghai Jiaotong University, Shanghai 200030, China)
⎧ ⎛ ⎞ I ts ⎪ 0; M I ⎜ T 1 ≤ ≤ T s2 ⎟ I t s s ⎪ ⎜ ⎟ med ( S j ) j =1,L , M S ⎝ ⎠ ⎪ ⎪ ⎪ d d ⎛ ⎞ med ( S j ) ≤ Td ⎟ I Μ′ ⎜ It − j= t = ⎨ 1,L , M S ⎝ ⎠ ⎪ ⎪ ⎛ I h − med ( S h ) ≤ T ⎞ ⎜ t j =1,L , M j h ⎟ ⎪ S ⎝ ⎠ ⎪ ⎪ ⎩Μ t ; 其它
( It −S j ) ⎞ ⎛ Ms − 1 2 ⎟ e 2h m ax ⎜ ∑ （5） 2 S∈ N S ( x , y ) ⎜ ⎟ j =1 h 2 π ⎝ ⎠ 式中 N S ( x , y ) 表示 ( x , y ) 八邻域点所对应的 M S 个采
g g 2
(a) 第 6218 帧（240×352）
pt ≡ p ( I tg ( x, y )) =
1 Ms
∑
Ms j =1
1 2π h 2
e
−
2 ( Itg −S g j)
2h2
（3）
1.3 初始检测与模型更新
用多模态背景模型描述的即时背景不能再由一幅图像 来完全表示，因此背景减提取运动物体也不再是简单“减 运算”，而是通过阈值化来实现。由（3）式计算得到当前 帧图像中每一像素点为背景的概率，利用下式来得到前景 物体检测的二值掩码。
I ig ( x , y ) − I ig+ n ( x , y ) < T g ; S ig ( x , y )＝ I ig+ n ( x , y ) （2） I ig ( x , y ) − I ig+ n ( x , y ) ≥ T g ; 不 用 于 背 景 估 计 式 中 I ig ( x , y ) 表 示 i 时 刻 像 素 ( x , y ) 的 灰 度 值 ， S ig ( x , y ) 为背景样本值， T g 为样本选取阈值。 n 由运动物 体相对于视频序列的帧速来决定。 N 帧图像序列中可以得 到最多为 N − n 的 M s ≡ M s ( x , y ) 个背景样本。核函数为 高斯函数的背景灰度密度估计为
3
仿真结果
实验分别用采集于不同时间和路段的交通序列进行仿
真。图像序列 1 采集于光线较强时，阴影不是太长，但由于 路边的树叶存在摇动，初始检测结果存在很多噪声（图 1）。 序列 2 采集于下午 4 点以后，阴影非常清晰而且较长 （图 2）。