三种视频分割方法

二、本领域国内外现状-II
目前正式使用的视频监控系统很少见报道，但应用领域比较成 熟的商业人脸识别软件有美国的Visionics公司的FaceIt和 Viisage公司的人脸检测测试软件等。国内有中科模式科技公司 和清华大学等都在开展工作。但这些算法一般针对静止图片有 较高的识别率。 一些视觉产品要求人体的某些部位（人脸、虹膜、指纹等）在 一个高信噪比的图像序列下才有较好的识别成功率，如Iris 。 IEEE专刊上报道的W4系统，porf. Thomas.Huang有不同见解。 实际应用往往是更复杂的背景环境和低质量的数字视频序列， 应用到实际的视频监控场景中仍是当今计算机视觉领域的一个 热点。计算机视觉的IEEE会议和IEEE专刊在该领域内的刊载每 年都很多。
（2）检测原理-I 通常在一段长时间内，在某点处出现背景的概率较 大，而被不同的人体遮挡的概率较小。 以概率由大到小将K个模型排队，若排在第一的高 斯模型的概率明显高于其它模型（50%），则将该模型 代表的亮度值作为该象素位置处的背景，新一帧输入的 该位置处象素的亮度值若与之匹配，自然对当前帧分割 时，该位置是背景点。 若新输入的该位置处象素的亮度值与这k个模型都 不匹配，那它一定是没有记录过的“异类”，自然代表 新的人体目标，则将该位置此时判为人体目标。此时， 应将K个模型中排队在最后的模型抛弃掉，并加入一个 新模型，维持模型的总数不变。新模型以该“异类”点 的亮度值为均值，方差为125，其出现的概率等于被抛 弃的模型概率，维持模型的概率总数恒为1。
ቤተ መጻሕፍቲ ባይዱ
V = ∇ I(s,t)= I(i + 1,j + 1) + 2*I(i,j+ 1) + I(i −1,j + 1) x x − I(i + 1,j −1) − 2*I(i,j−1) − I(i −1,j −1)
V = ∇ I(s,t) = I(i + 1,j + 1 ) + 2*I(i + 1,j) + I(i + 1,j − 1 ) y y − I(i − 1,j + 1 ) − 2*I(i − 1,j) − I(i − 1,j − 1 )
(二)复杂背景下Bayes判据检测人体目标方法的改进
（1）算法原理
A：为适应复杂背景建模，对任一像素位置建立三 类特征向量，来表示背景的三种特征： 颜色特征向量Vc(R,G,B):即像素的RGB 空间特征向量Ve(g_x,g_y):即像素邻域间的梯度值 帧间特征向量Vcc(R,G,B,R’,G’,B’):即同一像素点相 邻两帧RGB的联合
C(s ,s ) = V (s) ⋅ V (s) = V (s) t t t t t 2
如果此点处是被误判为前景的背景点，那么局部纹理特征 是相似的; 如果该点是真正的前景，此时它们是来自于不 同物体的表面，通常有很大的差别，选择合适的判断阈值 可将由于光照突变引起的误判纠正过来，提高前景目标分 割算法的鲁棒性。 仿真实验结果演示：原始视频 MOGs结果 改进方法
二、本领域国内外现状-I
世界范围内有许多专门研究人体（人脸）检测和 识别的科研机构，国际上著名的机构有美国卡耐梅隆 大学的机器人研究所、美国麻省理工大学的媒体试验 与人工智能实验室、英国Surrey大学视觉语音和信号 处理研究所、美国（illinois大学）的Beckman研究所、 illinois Beckman 法国的INRIA研究院、瑞士的IDIAP研究院、日本ART 研究所等。 国内有清华、北大、中国科大、中国科学院自动 化所模式识别与智能系统实验室等开展了相关研究。
一、论文选题意义
计算机视觉: 70年代后期，Marr提出了计算机视觉理论。 Marr认为，计算机视觉研究的是如何从一幅或多幅二维图 像来动态的获取对相应场景的理解。通俗地讲，即让计算 机能像人那样通过视觉观察和理解世界。 应用范围主要有：机器人视觉（e.g.海洋中的ROV视觉）, 人机交互系统（通过手势，面部表情）、数字视频监控等。 数字视频监控中对人的监控是计算机视觉的重要应用领域。 数字视频监控中对人体目标的检测和行为理解是数字视频 监控系统的主要任务。该系统一般由人体目标的检测、行 为理解和高层语义输出三个层次，其中人体目标的检测是 后面两个模块的基础，也是本文的选题所在。 另外，得到国家基金委的支持，项目批准号：60641010 。
（3）模型在线更新
K个高斯模型要动态在线更新，以跟踪变化的背景和不同 的人体目标，调整不同模型的出现概率等参数。 匹配成功的第j个模型按下列方式更新
µt = ( 1 − α) ⋅ µt-1 + α ⋅ I t 2 2 2 σ t = ( 1 − α) ⋅ σt-1 + α ⋅ (µt − I t ) (3)
Ps ( f | v) = Ps (v | f ) Ps ( f ) Ps (v)
（3）特征向量表的更新维护
每个特征向量表中向量元素的统计特征如下：
t pv (b) Tv(s) = t {Sv (i)}, i =1,…, M(v)
t pvi = Ps ( vi ) t S vt (i ) = pvi |b = Ps ( vi | b ) T v = ( v ,… , v i i1 iD ( v ) )
其中 pv (b) ，表示t时刻，当前像素被判为背景的概率；M(v)代表向量表中主 要向量元素的个数。D(v)为向量维数. 特征向量表通过下式进行更新
Pvt +1(b) = ( 1 − α)Pvt(b) + αLtb Pvti +1 = ( 1 − α)Pvti + αLtvi Pvti +b1 = ( 1 − α)Pvti b + α(Ltb Ltvi )
三种视频分割方法课件
信息2010研 信息2010研-试用版
主要内容
一、论文选题意义 二、本领域国内外现状 三、主要研究内容 (一)高斯混合模型(MOG)的人体目标检测改进 方法 (二)复杂背景下Bayes判据的人体目标检测改 进方法 (三)基于人体皮肤颜色特征的检测方法 (四)视频预处理——基于PCNN的视频中值滤波 四、总结-算法评价
匹配模型的均值更新，方差变小。 Ｋ个高斯分布的权值调整用公式表示为
ωn,t = ( 1 − α) ⋅ ωn,t-1 + α ⋅ M n,t n ∈ [ 1,K] (4)
M n,t
1 = 0
n= j else
总之，匹配模型的权值增大，未匹配模型的权值减小。
（4）匹配原理及其简化算法 人体目标检测的关键是新输入的象素亮度值与这k个模型 的匹配问题。匹配问题需要计算新输入的象素亮度值在某 个模型中的概率值，还要知道每个高斯模型的出现概率， 这是比较困难的。 简化算法如下: 为了避免计算新输入的象素亮度值在某个模型中的概率值， 可变通为若第j个模型满足下式
（1）算法原理（续）
B: 三类特征向量表的建立及更新 向量表存放一定数目的特征向量(e.g.30)，下一帧输入象 素的三类特征向量对应进行匹配更新。 更新三类向量表中的各向量的出现概率，并比较这三类向 量中此时哪种向量最稳定可靠，将该向量的概率值，代入 BAYES判据中，判定其为背景，还是人体目标。E.g.波动 的水面、摇摆的树叶等准周期变化背景：Vcc帧间特征较 其它两特征显著稳定；光照变化时，颜色特征不如梯度特 i征稳定； 而光照稳定时，颜色特征较稳定。
（5）仿真实验及其缺点
光照无明显变化的分割结果 原始视频 分割结果 光照剧烈变化的分割结果 实验室光照变化 光照变化分割结果 可靠性分析：光照变化时，不适应；运动 缓慢时分割效果差
2
克服光照变化的MOG改进方法
(1)提出一种检测帧间光照变化的简便方法
实际应用中视频图像的分辨率较大，逐像素检测亮度的变化是不可能的。 本文采用的方法是将每帧分辨率为240*320的彩色图像进行亚抽样为 10*10的亮度子图像。计算它与上一帧亮度子图的差分，比较这100个像 素亮度均值的帧间变化， 可检测到发生亮度（光照）变化帧。 光照变化的一般规律
（2）检测原理--II
若排在第一的高斯模型的概率不明显高于其它 模型（50%），如，前两个大概率模型的概率 相当（如为30-40%），在这种情况下，将这两 个大概率模型时为背景模型子集，若新输入的 该位置处象素的亮度值与它们匹配，仍将其判 为背景，将这两种模型的均值加权和作为背景 点的亮度。 若匹配的是后面的三个模型，则将该象素判为 前景人体目标。
t
其中，Lb=1代表当前像素点被判为背景；Lvi=1代表表中第i个向量Vi与当前 像素的典型（Vc, Ve或Vcc）向量匹配。特别的，当表中所有向量都不匹配 时，用公式（12）将表中最后一个向量置换成当前像素的典型向量。
+1 +1 PvtM(v) = α, PvtM(v) b
(一)高斯混合模型(MOG)的人体目标检测改进方法
1 传统高斯混合模型（MOG）人体检测方法 (1)建模 对于图像平面[height,width]上的某位置点，亮 度函数为Ｉ，其历史数据记为{I1 ,,I2,…,It-1}，使 用Ｋ个高斯分布按均值来归类这些历史数据，称 为该点的混合高斯模型。 Ｋ个高斯分布中有些能典型的代表大部分历史 数据，即出现的概率较大，相反有些出现的概率 较小，但它们的概率和为1。
（2）贝叶斯判据
那么根据贝叶斯判决理论，像素点处特征向量属于背景的后验概率可 表示如下： P (v | b) Ps (b) Ps (b / v) = s （2-1） Ps (v) 其中，表示背景，表示像素点处的特征向量属于背景的概率,表示该 像素点属于前景的概率，表示像素点处的特征向量的先验概率。同样 的，特征向量属于前景目标的后验概率可以表示为如下所示： （2-2） 其中，表示前景，根据贝叶斯判定理论，如果像素点处的特征向量满 足如下条件，那么该像素点就属于背景点；否则，就属于前景点。 （2-3） Ps (b | v) > Ps ( f | v) 由于任一像素点处的特征向量不是属于背景，就是属于前景目标，根 据概率统计，可得到如下等式成立： Ps (v) = Ps (v | b) Ps (b) + Ps (v | f ) Ps ( f ) （2-4） 把（2-1）和（2-4）代入（2-3），即得到贝叶斯判决理论： 2Ps (v | b)Ps (b) > Ps (v)
(I − µ )2 < β ⋅ σ 2 j t j,t
则认为当前像素点与第j个分布匹配成功。其中，当匹配 阈值设为1.29时，可使模型匹配的置信度达90%以上。 多个模型匹配成功时，应考虑每个高斯模型的出现概率。 小结：将Ｋ个高斯分布按w/σ从大到小排序，并依次与当 前像素点进行匹配，若当前像素点与第j个分布匹配成功， 则中止与后续模型的匹配。
（a）
（c）
（b）
（d） 图2-2 常见的几种光线变化情况 Fig2-2 Four common circumstances of variational illumination
(2)不同光照变化情况的处理-I
针对 (a)情况，光线变化之后稳定到t-1时刻亮度值上，原来t-1时刻 的高斯混合模型（MOGs）可继续适用于分割后续的视频； 针对(b)和(c)两种情况，光线变化后在t+m时刻稳定在另一个亮度值上， 则原t-1时刻的高斯模型要按下式进行修正才可用于后续帧的分割。 I t + m = I t −1 + α ⋅ Diffrencet −1_t + m 针对情况(d)和(a) (b) (c)光照变化帧，此时只能在原来高斯混合模 型分割结果上，结合梯度信息的帧间稳定性特点对检测结果进行校正: 对MOGs方法判为人体目标的像素点(x,y)，使用Sobel算子计算梯度向 量:
(2)不同光照变化情况的处理-II
分别计算当前帧与过去帧的帧间梯度相关性，用互相关函 数来表示为：
C(s ,s ) = V (s) ⋅V (s) = V (s) ⋅ V (s) ⋅ cos θ t t-n ⋅ ∆t t t-n ⋅ ∆t t t-n ⋅ ∆t n ∈ [1,5 ]
当前帧梯度向量的自相关函数可定义为：