GMM

1. GMM 概述
GMM 的基本思想是把每一个像素点所呈现的颜色用M 个状态来表示，通常M 取3-5之间，将每个状态用一个高斯分布来近似．将像素点所呈现的颜色用随机变量X 来表示，在每个时刻T 得到视频图像的像素值为随机变量X 的采样值．则对于第k 个状态(0)k M <≤的像素的分布可表示为：
11
()()2
1/2
/2
1(|,)(11)(2)
T t k t k x x k t k n k
p x k e
μμφπ---∑-=
-∑
其中k μ和k ∑分别表示期望和协方差矩阵．
随机变量X 的分布可用k 个状态分布的加权和来表示：
,,1
(|)(|,)
(12)M
k k t k t k t k p x p x k πφ=Φ=-∑
其中,k t π是T 时刻第k 个高斯分布的权值，它代表了由第k 个分布产生的采样值占总采样值的比例或者说表面k 出现在该像素的先验概率，且
,1
1M
k t
k π
==∑．Φ是全部参数的集合，定义
为{}1212,;,M M πππφφφΦ= ，所有参数需要从X 的观察值估计得到．上述表达式的直观意义是：在T 时刻观察到k x 的概率等于该值分别属于M 个高斯分布的概率的加权和． GMM 之所以能够将前景和背景分开是基于如下两点事实的：一，在长期观测的场景中，背景占大多数时间，更多的数据是支持背景分布的．二，即使是相对颜色一致的运动物体也会比背景产生更多变化，况且一般情况下物体都是带有不同颜色的．我们之所以将前景也用一个高斯分布来表示是因为：前景物体也有机会变为背景，当场景中添加物体时，通过一段自适应过程，可以用新的背景模型来替换旧的背景模型．而当物体移走时，由于原来的背景的模型依然存在，可以快速的恢复背景模型．
2. 参数估计
首先介绍EM 算法的基本思想，EM 算法是一种从不完全数据或有数据丢失的数据集中求解模型分布参数的最大似然估计方法．通常在下列两种情况下，应用EM 算法去估计参数，一是由于观测过程本身的限制或者错误，造成观测数据的丢失．二是参数的似然函数直接优化十分困难，通过假设隐含数据的存在并引入它们，使得函数的优化变得容易．在模式识别领域中，后一种情况更为常见．这时引入隐含数据，和原来的数据组成完全数据．高斯混合模型的参数估计问题也属于第二种情况．
已知一个依赖于参数集Φ的密度函数(|)p x Φ和一组长度为N 的样本数据
N 1X=(x ,,x } ．样本数据的联合概率密度函数表示为:
1
(|)(|)(|)
(21)N
i i P x p x L X =Φ=Φ=Φ-∏
函数(|)L X Φ被称为样本的似然函数，它是关于参数Φ的函数．在最大似然问题中，我们的目标是要找到一个使L 取最大值的*
Φ，
*arg max (|)
(22)L X Φ
Φ=Φ-
当(|)p X Φ是一个单高斯分布的时候，可以直接通过使log((|))L X Φ的导数为零得到参数．而对于混合高斯模型，其似然函数形式可化为：
1
log((|))log (|)log((|))
(23)N N M
i j j i j i j i L X p x p x π=
=
=Φ=Φ=Φ-∑∑∏
这个式子包含了和的对数，很难优化．但是，如果假设隐藏数据{}1N
i i Y y ==存在，它告诉我们数据是由哪个密度函数产生的，这样的话，似然函数就大大简化．具体的，假定对每个i ，
1,,i y M ∈ ，如果第i 个采样数据是由第k 个密度函数产生的，则i y k =．如果知道了Y 的
值，则似然函数变为：
1
1
log((|,))log((,|))log((|)())log((|))(24)
i i i N N
i i y y i y i i L X Y P X Y P x y P y p x π==Φ=Φ==Φ-∑∑对于GMM ，已知(|)i i p x φ为高斯分布，可进一步推导得到下面的结果：
1
1(|,)
(25)N
h i l l p i x N π==Φ-∑
11(|,)
(26)(|,)
N
h
l
l
l i N
h
l
l x p i x p i x μ==Φ
=
-Φ
∑∑
1
1
(|,)()()(27)(|,)
N
h T
l
l i l i l i N h l
l p i x x x p i x μμ==Φ
--∑=
-Φ
∑∑
这三个方程是迭代方程，新的参数值是用样本值和旧的参数值计算得到的．其中，i π，i μ和
i ∑是新估计的参数值，h Φ代表旧的参数值，(|,)h l p i x Φ表示X 属于第i 个分布的概率，可
以用贝叶斯公式计算得到:
1
(|,)
(|,)(28)(|)
h h
i l l M
h j
j l j p i x p i x p x ππ
=ΦΦ=
-Φ∑
上面的三个式子是在已知的N 个采样值的基础上得出的参数估计．为了进行实时计算，我们对每个式子进行推导．对于T -1时刻，式为：
1
1
,1(|,)
(29)1
t h
i
i k t p k x t π-=-Φ
=
--∑
则T 时刻时有
,1,,1(1)(|,)11
(1)(|,)(210)
k t t k t k t t t p k x t
p k x t t
π
π
π--⋅-+Φ==-+Φ-
令1
t
α=得：
对于同样可以用类似的方法推导出μ和η的递推形式：
,,,1,(1)(212)k t k t k t k t t x μ
ημη-=-⋅+⋅-
22
,,,1,,,(1)(()())(213)k t k t k t k t t k t t k t x x σησημμ-=-⋅+⋅---
其中,,(|,)t t k t k t p k x αηπ
Φ=
．
3. 背景模型估计
对于M 个分布，必须估计出其中哪些代表背景模型．在实际应用中，处理完当前帧后，模型
的参数要进行必要的更新，所以每一帧都要进行背景模型的重新估计．一般的，我们会对有较多数据支持且方差较小的高斯分布感兴趣，因为它们代表背景模型的可能性较大． 考虑两种情况，一是当背景物体是持久静止的时候，这时该物体表面产生的高斯分布代表着背景分布，那么支持这个分布的数据会持续累积，而且它的方差也会越来越小．第二种情况，当一个新的物体遮挡了原来的背景物体时，一般会导致两种结果：要么产生一个新的分布，要么把一个己存在的分布的方差增大．另外，当新的物体是一个运动物体时，它一般也会比背景像素保持更大的变化直到它停下来．从以上两种情况可以看出，影响一个分布是否背景分布的重要因素有两个:一，该分布产生的数据所占的比例大小;二，该分布的方差大小．基于这两个因素，我们采取如下的方法进行估计．
首先以/πσk k 的值对k 个分布进行排序，因为，πk 代表了第k 个分布产生的数据所占的比例，
,,1(1)(|,)(211)
k t k t t p k x π
απα-=-+Φ-
σk 是该分布的标准差，所以可以直观的看出，/πσk k 的值越大，第k 个分布是背景模型的
可能性就越大．一个分布的权值增大或方差减小，都可以使/πσk k 的值增大．排序以后，M 个分布形成了一个有序且末端开放的列表．最有可能是背景分布的排在最前面，较小可能的短暂的分布趋向于末端．我们将排序后的前C 个分布选为背景模型，C 满足：
1
argmin()
(31)c
k c
k C T π==>-∑
T 是一个全局的先验概率，它表示了出现在像素范围内的任何值属于背景像素的概率．上式的含义是，在排过序的分布中，累积概率超过T 的前C 个分布被当作背景模型，剩余的其它分布被当作前景模型．
在实际应用中，T 的值需要预先设定，如果选一个较小的T 值，背景模型就变成单模态，这时仅仅使用了最有可能的分布作背景．如果选一个较大的T 值，背景模型中就会包括一个以上的分布，这时就能描述多模态情况，产生一种透明的效果，允许背景模型接受两个或两个以上的色彩值．另外，如果σk 是标量时用/πσk k 进行排序，如果是n 维的向量，就用/πσk k
或2
/πσk k 来排序．
4. 状态估计和后验概率近似
有了状态估计和前景分割方程,就可以用它们动态处理图像序列，完成前景分割．运算时间的开销主要集中在对后验概率(|,)t p k x Φ的计算上．为了更进一步提高处理速度，采取近似算法来替代原来的MAP 状态估计和后验概率的计算．
现在用K —均值方法来近似估计当前状态k ．对一个新的采样值t x ，拿它和己经存在的M 个高斯分布去逐一比较，直到它和其中某一个分布匹配．其中采样值和高斯分布匹配是这样定义的：采样值与高斯分布的均值的距离小于λ倍的标准差．即：t k k x μλσ-<其中λ是一个常量，取值范围在2到3之间．对采样值t x 利用上面的式子进行判断后，找出第一个和它匹配的高斯分布k ．如果k 属于前C 个高斯分布的话，就将t x 划分为背景像素，否则划分为前景像素．
前面假设X 的各维是独立的，而且每一维的方差是相同的．当每一维的方差不同时，就不能用上式进行判断是否匹配，改用下式进行判断：
21,,,,,,()()
(41)T k t k t k t k t t k t d d d I x λσμ-<=--
对(|,)t p k x Φ作如下的近似，
1(|,)(42)0
t p k x ⎧Φ≈-⎨
⎩匹配不匹配
这样近似主要是因为，通过对(|,)t p k x Φ的观察，对于大多数t x ,(|,)t p k x Φ等于0或1．在某一个时刻，k 只有一个选择时它接近1．当k 有多个选择时，也是选择具有最高峰值的分布（/πσk,t k,t 最大)．将(４-２)式带入前面的方程(2-11)至(2-13)，得到新的参数估计方程:
,1,,1(1)(43)(1)t k t t k t t k t απ
απαπ
---⋅+⎧⎪=-⎨
-⋅⎪⎩ 匹配不匹配
,k t μ
和2,k t σ 的估计方程不变，,k t η发生变化， ,,(44)0t
k t k t
απη⎧⎪=-⎨⎪⎩
匹配不匹配
经过上述近似后可完全避免计算后验概率．
5. 模型更新总结
至此，我们对GMM 的整个更新过程总结，其中：
1) 当捕获到第一帧时对高斯分布进行初始化．主要包括对每个高斯分布的权值、期望
和方差赋初值．其中第一个高斯分布的权值为1，期望为第一个像素数据．其余高斯分布权值为0，期望为0．每个高斯分布都被赋予适当的相等的初始方差．对下一帧采样，转2)．
2) 对于时间T 新获得的像素t x ，计算它是否和现有的高斯分布相匹配．若有相匹配的高斯分布转3），若没有则转4）． 3) 对匹配的高斯模型，用（2-11）、（2-12）和（2-13）式进行更新．其中α决定了更
新的速率．和当前帧相匹配的高斯模型权值增大，方差和期望都进行更新．其余的高斯模型权值变小，而方差和期望都不变．转5）． 4) 用当前采样值初始化一个新的高斯模型．新初始的高斯模型被赋予一个小的权值和
较大的方差．并对其他的高斯模型的权值进行更新，保持权值和为1．转5）． 5) 计算/πσk k 的值，并根据/πσk k 对高斯模型进行降序排序．
6) 根据（3-1）判断当前采样值是前景还是背景．输出结果．对下一帧采样．转2）．
6. 模型的改进
1) 对α的讨论
由式可以看出，随着T 的增大，参数更新的结果对新的采样值越来越不敏感，这导致了更新后的模型不能及时反映当前的变化．对其进行的改进方法是用一个较小的分数 来代替α．这样新的估计值就只反映了当前t 帧的变化．但这种方法存在一个缺陷就是，若第一帧中存在运动物体的话，将过很长时间才能被真实的背景代替，降低了高斯适应环境的速度．
解决上述问题一般有两种方法：（1）首先用标准EM 算法对前N 帧进行学习（不参与前景建模），得到一个稳定的背景后采用固定的α进行检测．（2）将α设置为t α的一
个下界，首先采用（2-11）、（2-12）和（2-13）式对参数进行更新，对后验概率不采用近似以提高精度．当t αα=时，用固定的α处理后续序列．
这两个方法都能克服固定α带来的初始化问题，即使初始背景中有运动物体，也能够较好的初始化．方法一的缺点是需要保存前N 帧的值，且N 不能取的太大．方法二实时的集成T 帧的采样值进行实时估计，不需要保存前面的帧． 2) 节约空间的方法
GMM 算法由于对于每个像素都要建立3-5个高斯模型，所以计算复杂且占用空间较大．实际情况中，多模态主要出现在哪些有前景的地方，而这些地方占总像素个数的比例很小．很多像素出现运动物体的可能小，处在单模态下，但这时却要保存3个高斯模型，造成了一定的时空浪费．为此，我们可以在单高斯和混合高斯模型间取一个折中，在处理过程中，为每个像素动态增加高斯的个数，但对每个像素都设置一个上限．这样，刚开始时都用一个高斯模型进行初始化，当有新值出现的时候，若目前分布个数小于M ，新添一个分布，以新采样值作为均值，并赋予较大方差和较小权值，并调整个分布的权值，若目前模型个数等于M ，则用当前采样值初始化一个新模型，并替代最后一个模型．
7. GMM 检测结果
图7-1是用混合高斯模型对视频序列car 的第500帧的检测结果：
（a ）
（b ）
（c ）
（d ） （e ）
图7-1 （a ）为第500帧视频，（b ）为由灰度图提取的背景，（c ）为灰度图检测结
果，（d ）为彩色图提取的背景，（e ）为彩色图的检测结果
8. 程序流程
ope nc v 中程序是参考P ． Kaewtrakulpong 和 R ． Bowde n 写的论文An Improved Adaptive
Background Mixture Model for Real-time Tracking and Shadow Detection 中的算法写的．其中对每个像素点建立五个高斯模型．其更新策略是对前两百帧采用标准的EM 算法对模型进行更新，对两百帧以后的序列采用固定的0.05α=对后序序列进行更新．程序流程如下：
9.参考文献
1.P．RrakulPong，Ｒ．Bowden，An Improved Adaptive Background Mixture Model for
Real-time Tracking and Shadow Detection，Proc.2nd European Workshop on Advanced Video Based Surveillance Systems，A VBS01,Sept 2001.
2.秦红武，北京工业大学硕士学位论文，2005。