混高斯背景建模.

ˆ arg max log P(Y | )

(4)
这个问题没有解析解，只有通过迭代的方法求解。EM算法就 是可以用于求解这个问题的一种迭代算法。
2015/1/25
混合高斯模型背景建模
5
EM算法

算法推导
我们面对一个含有隐变量的概率模型，目标是极大化观测 数据（不完全数据）Y关于参数θ的对数似然函数，即极大 化
L( ) log P(Y | ) log P(Y , Z | )
(5) Z (5)中有未观测变量并有包含和（或积分）的对数，进行（求 导）极大化比较困难。
log( P( Z | ), P(Y | Z , ))
Z
2015/1/25
混合高斯模型背景建模
6
EM算法
EM算法通过逐步迭代近似极大化L(θ)。假设在第i次迭 代后θ的估计值 是 (i ) 。我们希望新估计值θ能使L（θ）增 加，即 L ( ) L (θ (i) ) ，并逐步达到最大值。为此考虑两者的 差：
(6)
则
Z
L( ) B( , (i ) )
(7)
即函数 B( , (i ) ) 是 L( ) 的一个下界，有式（6）可知，
(8) L( (i ) ) B( (i ) , (i ) ) 因此任何可以使 B( , (i ) ) 增大的θ，也可以使L(θ)增大。为 了 B( , (i ) ) (i 1) 使L(θ)尽可能的增大，选择 使 (i ) 达到极大，即 ( i 1) arg max B( , ) (9)
混合高斯模型背景建模
2015/1/25
3
EM算法
解：三硬币模型可以写作
P( y | ) P( y, z | ) P( z | )P( y | z, )
z z
(1) 这里，随机变量y是观测变量，表示一次试验观测的结果是 1或0；随机变量z是隐变量，表示未观测到的抛硬币A的结果； θ=(π,p,q)是模型参数。其中，y的数据可以观测，z的数据 不可观测。 T Z (Z , Z ,...,Z ) Y ( Y , Y ,..., Y ) 1 2 n ，未观测数据表示为 将观测数据表示为 则观测数据的似然函数为 (2) P(Y | ) P(Z | )P(Y | Z , )
2015/1/25 混合高斯模型背景建模 7
EM算法
(i ) P ( Z | Y , ) 1
其中 Z Jensen不等式： 若f是凸函数，X是随机变量，那么 E[ f ( X )] f ( EX )，当且仅当 P( X E ( X )) ，即 1 X为常量时去等号。Jensen不等式应用于凹函 数时，不等号取反。 log函数为凹函数，Y为X的函数：Y=g(X),X为离散随机变量时， P( X xk ) pk ,k=1,2,3...，若 g ( x ) p 绝对收敛，则 E(Y ) p g ( x ) 。 (i ) P(Y | Z , ) P( Z | ) P ( Z | Y , ) ，g是Z到 这里Y对应 P(Z | Y , ) ，X对应Z，Pk对 ( i ) P(Y | Z , ) P( Z | ) P(Y | Z , ) P( Z | ) P ( Z | Y , ) 的映射。那么 为EY，Elog(Y)为 P( Z | Y , ( i ) ) P( Z | Y , ) Z
混合高斯模型背景建模
汇报人：
2015/1/25
1
EM算法
EM算法是一种迭代算法，用于含有隐含变量的概率模 型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步,求期望 （expection）；M步，求极大（maximization）。
2015/1/25
混合高斯模型背景建模
2
EM算法

算法引入
算法距离： （三硬币模型）假设有3枚硬币，分别记作A，B，C。这些硬 币正面出现的概率分别是π，p和q。进行如下抛硬币实验：先抛硬 币A，根据其结果选出硬币B或硬币C,正面选硬币B，反面选硬币C； 抛选出的硬币，出现正面记作1，出现反面记作0；独立地重复n次实 验（这里，n=10）,观测结果如下： 1,1,0,1,0,0,1,0,1,1 假设只能观测到抛硬币的结果，不能观测抛硬币的过程。问如何估 计三枚硬币正面出现的概率，即三硬币模型参数。
1 2 n
πpy (1 p)1 y (1 π)qy (1 q)1 y
T

z
2015/1/25
混合高斯模型背景建模
4
EM算法
即
P(Y | ) [πp j (1 p)
y j 1 n 1 y j
来自百度文库
(1 π)q j (1 q)
y
1 y j
]
(3)
考虑求模型参数θ=(π,p,q)的极大似然估计，即
L( ) L( (i ) ) log( P(Y | Z , )P(Z | )) log P(Y | (i ) )
Z
利用Jensen不等式得到其下界：
P(Y | Z , ) P( Z | ) (i ) ) log P ( Y | ) (i ) P( Z | Y , ) Z P(Y | Z , ) P( Z | ) (i ) P( Z | Y , (i ) ) log log P ( Y | ) (i ) P( Z | Y , ) Z P(Y | Z , ) P( Z | ) P( Z | Y , (i ) ) log P( Z | Y , (i ) ) P(Y | (i ) ) Z L( ) L( (i ) ) log( P( Z | Y , (i ) )
k k
k
k
k
k
(i )
(i )
(i) P ( Z | Y , ) log Z
P(Y | Z,)P(Z | ) P(Z | Y, (i) )
。
混合高斯模型背景建模 8
2014/12/11
EM算法
接着令
B( , (i ) ) ˆ L( (i ) ) P( Z | Y , (i ) ) log P(Y | Z , ) P( Z | ) P( Z | Y , (i ) ) P(Y | (i ) )