混高斯背景建模

(10)
式(10)中的函数 Q(,(i)) 是EM算法的核心，称为Q函数，其含义 完全数据的对数似然函数 loP g(Y,Z|)关于在给定观测数据Y和当前 参数 (i) 下对未观测数据Z的条件概率分布 P(Z|Y,(i)) 的期望，即
Q (,( i) ) E Z [l P ( Y o ,Z |g ) |Y ,( i) ]
(4)
这个问题没有解析解，只有通过迭代的方法求解。EM算法就 是可以用于求解这个问题的一种迭代算法。
2015/1/25
混合高斯模型背景建模
4
EM算法
n 算法推导
我们面对一个含有隐变量的概率模型，目标是极大化观 测数据（不完全数据）Y关于参数θ的对数似然函数，即 极大
化
L()loP g(Y|)lo g P(Y,Z|)
Z
log (P(Z|),P(Y|Z,))
Z
(5)
(5)中有未观测变量并有包含和（或积分）的对数，进行（求
导）极大化比较困难。
2015/1/25
混合高斯模型背景建模
5
EM算法
EM算法通过逐步迭代近似极大化L(θ)。假设在第i次迭
代后θ的估计值 是 (i) 。我们希望新估计值θ能使L（θ）增
加，即 L()L(θ(i)) ，并逐步达到最大值。为此考虑两者的
Z P(Z|Y,(i))logP(YP|(ZZ,|Y),P((Zi))|)loP g(Y|(i))
Z
P(Z|Y,(i))logP(PZ(Y|Y|,Z,(i)))P P((YZ||()i))
2015/1/25
混合高斯模型背景建模
6
EM算法
其中
P(Z|Y,(i))1
Z
Jensen不等式：
若f是凸函数，X是随机变量，那么 E[f(X)]f(E)X ，当且仅当
7
EM算法
接着令
则
B (,( i) ) ˆL (( i) ) Z P ( Z |Y ,( i) ) lo P ( P Z ( Y |g Y |, Z , ( i) ) ) P P ( ( Y Z ||( ) i) ) (6)
L()B(,(i))
(7)
即函数 B(,(i)) 是 L( ) 的一个下界，有式（6）可知，
混合高斯模型背景建模
2015/1/25
9
EM算法
EM算法描述：
输入：观测变量数据Y，隐变量数据Z，联合分布 P(Y,Z|)， 条件分P布(Z|Y,) ；
输出：模型参数θ。
P(Y| Z,)P(Z|) P(Z|Y,(i))
P(Z|Y,(i))
的映射。那么
ZP(Z|Y,(i))P(Y P|(Z Z,|Y),P ((Z i))|) 为EY，Elog(Y)为
ZP(Z|Y,(i))loP(gYP|(Z Z,|Y),P ((Z i))|)。
混合高斯模型背景建模
2014/12/11
1,1,0,1,0,0,1,0,1,1 假设只能观测到抛硬币的结果，不能观测抛硬币的过程。问如何估 计三枚硬币正面出现的概率，即三硬币模型参数。
2015/1/25
混合高斯模型背景建模
2
EM算法
解：三硬币模型可以写作
P (y|) P(y,z|) P (z|)P (y|z,)
z
z
πyp (1p)1y(1π)y(1 qq)1y
L( (i))B( (i), (i))
(8)
因此任何可以使 B(,(i)) 增大的θ，也可以使L(θ)增大。为
了
(i1)
B(,(i))
使L(θ)尽可能的增大，选择 使
达到极大，即
(i1)arm ga B(x,(i))
(9)
混合高斯模型背景建模
2015/1/25
8
EM算法
现求 (i1) 的表达式。省去对θ的极大化而言是常数的项，有
差：
L () L (( i ) ) lo P ( Y g |Z ,) P ( ( Z |) l )P o ( Y |( g i ) )
Z
利用Jensen不等式得到其下界：
L()L((i))logZ(P(Z|Y,(i))P(YP|(ZZ,|Y),P((Zi))|))loP g(Y|(i))
2015/1/25
P (Y|) P (Z|)P (Y|Z ,)
z
混合高斯模型背景建模
(2)
3
EM算法
即
n
P (Y| ) [πyjp (1 p )1 yj (1 π )q yj(1 q )1 yj]
(3)
考虑求模型参数θj= 1 (π,p,q)的极大似然估计，即
ˆarm g a loxPg (Y|)
(1)
这里，随机变量y是观测变量，表示一次试验观测的结果是
1或0；随机变量z是隐变量，表示未观测到的抛硬币A的结果；
θ=(π,p,q)是模型参数。其中，y的数据可以观测，z的数据
ቤተ መጻሕፍቲ ባይዱ
不可观测。
将观测数据表示为 Y(Y1,Y2,..Y.n,)T，未观测数据表示为 Z(Z1,Z2,..Z.n),T
则观测数据的似然函数为
EM算法
EM算法是一种迭代算法，用于含有隐含变量的概率模 型参数的极大似然估计，或极大后验概率估计。
EM算法的每次迭代由两步组成：E步,求期望 （expection）；M步，求极大（maximization）。
2015/1/25
混合高斯模型背景建模
1
EM算法
n 算法引入
算法距离： （三硬币模型）假设有3枚硬币，分别记作A，B，C。这些硬 币正面出现的概率分别是π，p和q。进行如下抛硬币实验：先抛硬 币A，根据其结果选出硬币B或硬币C,正面选硬币B，反面选硬币C； 抛选出的硬币，出现正面记作1，出现反面记作0；独立地重复n次实 验（这里，n=10）,观测结果如下：
(i1)
argma(xL((i))
Z
P(Z|Y,(i))lo
P(Y| Z,)P(Z|) gP(Z|Y,(i))P(Y|(i)))
argma(x P(Z|Y,(i))logP((Y|Z,)P(Z|))) Z
argma(x P(Z|Y,(i))logP(Y,Z|)) Z
argmaQ x(,(i))
P(XE(X))，1即X为常量时去等号。Jensen不等式应用于凹函
数时，不等号取反。
log函数为凹函数，Y为X的函数：Y=g(X),X为离散随机变量时，
P(Xxk)pk ,k=1,2,3...，若 g(xk)pk 绝对收敛，则 。 E(Y) pkg(xk)
k
k
这里Y对应 P(Y|Z,)P(Z|) ，X对应Z，Pk对 P(Z|Y,(i))，g是Z到