EM算法详解.一种参数估计的方法

EM算法
种参数估计的方法一种参数估计的方法
提纲
⏹
高斯混合模型
⏹EM 算法的思想⏹EM 算法的应用
⏹总结
⏹参考文献
高斯混合模型
⏹
混合模型(Mixed Model)：
其中，满足
即混合模型由K 个成分组成，每个成分即合模个成分成每个成分
的权重为
⏹
若混合模型中每个成分为高斯分布，
则为高斯混合模型(Gaussian Mixture Model)
()
GMM 的例子
⏹
例1：一个班级每个学生的身高为
假设男生和女生的身高分别服从高斯分布
则
其中为男生的比例，
⏹
问题：给定独立同分布(independent and identically (p y
distributed----IID)的数据，求参数)
,,,,,(2
2
2
1
1
1
σ
μασμα
⏹
混合模型的参数估计是EM(Expectation Maximization)算法最典型的应用
GMM
的例子
例2：分布的随机数的直方图
n = 10000;z = zeros(1,n);pw1 = 0.6;)
1,3,4.0,2,2,6.0(),,,,,(222111-=σμασμαu1 = -2;std1 = 2;pw2=04;pw2 = 0.4;u2 = 3;std2 = 1;
y1 = randn(1,floor(n*pw1))*std1 + u1;y2 = randn(1,floor(n*pw2))*std2 + u2;z(1,1:floor(n*pw1)) =y1;z(1,(floor(n*pw1)+1):n) = y2;
提纲
⏹
高斯混合模型
⏹EM 算法的思想⏹EM 算法的应用
⏹总结
⏹参考文献
极大似然估计与EM 算法的关系
⏹计算极大似然估计(maximum likelihood MLE)需要求似然函数的极值estimate ,MLE)，需要求似然函数的极值
o
解析法:如求正态分布均值和方差的MLE
o
值计算：如高斯混合模型
EM 算法
(
)
极大似然估计(MLE)⏹
独立同分布(IID)的数据),,,(21n X X X Λ=X 其概率密度函数为)
|(θx f n
似然函数定义为log 似然函数定义为∏==X =X i i
X f f L 1
)|()|()|(θθθ)
|(log )|(X =X θθL l ^
⏹的极大似然估计为θ
θ
θθ)
|(max arg X =L θ
θ)
|(max arg X =l
完整数据
⏹
观测数据：观测到的随机变量的IID 样X 本)
,,,(21n X X X Λ=X ⏹缺失数据：未观测到的随机变量的值
Y )
,,,(21n Y Y Y Λ=Y 在GMM 中，若来自第k 个成分，则i X k Y i =⏹完整数据：包含观测到的随机变量和未
观测到的随机变量的数据，
X Y ),(Y X =Z )))
,(,),,((11n n Y X Y X K =Z
完整似然函数
若隐含变量的值已知，得),,,(21n Y Y Y Λ=Y 到完整数据的log 似然函数为：
log θθL l Y X =Y X )
|,(log
),|(g ),|(θn
i
i
Y X f ∏=)
|,(log 1
θi
i
n
k Y X f ∑==))
|(),|(log(1θθi
i
i
n
i Y f Y X f ∑==
1
i =
i
EM—Expectation ⏹观测数据X 已知，参数的当前值已知，在完整似然函数中缺失数据)t
θ在完整似然函数中，缺失数据(隐含变量) Y 未知，完整log 似然函数对Y 求期望。

⏹定义
其中是待确定的参数
通过求期望去掉了完整似然函数中的θ⏹通过求期望，去掉了完整似然函数中的变量Y 。

即EM 的E 步。

i i i
EM—Maximization
⏹对E 步计算得到的完整似然函数的期望求极大步）得到参数新的估计值即值（EM 的M 步），得到参数新的估计值，即
⏹每次参数更新会增加非完整似然值⏹反复迭代后，会收敛到似然的局部最大值
混合模型中的EM 算法
⏹完整似然函数：
根据贝叶斯公式的条件分布⏹根据贝叶斯公式，Y 的条件分布：
混合模型中的EM 算法⏹E 步
将完整似然函数和Y 的条件分布代入Q 函数中，经过复杂的变换得到，⏹M 步
求Q 函数最大时的参数⏹反复迭代，直到收敛
GMM 中的EM 算法
⏹高斯分布：
代入高斯分布的密度函数计算得到如下的迭代公式：⏹代入高斯分布的密度函数，计算得到如下的迭代公式：
⏹第t 次的估计为
⏹则第t+1次的估计为
GMM 中EM 算法的迭代过程
提纲
⏹高斯混合模型
⏹EM 算法的思想
⏹EM 算法的应用
⏹总结
⏹参考文献
⏹GMM_EM 求的参数为(05958-2076719973040422995610044)
⏹(0.5958,-2.0767,1.9973,0.4042,2.9956,1.0044)
⏹答案为)
1,3,4.0,2,2,6.0(),,,,,(222111-=σμασμα
⏹调用的接口为：
⏹estS = gmmb_em(rawdata', 'init', 'cmeans1', 'components', 2, 'thr'1e 8);
'thr', 1e-8);
⏹Matlab at ab 程序包的网址：
⏹http://www.it.lut.fi/project/gmmbayes/downloads/src/gmmbayest b/gmmbayestb-v1.0.tar.gz
提纲
⏹高斯混合模型
⏹EM 算法的思想⏹EM 算法的应用
⏹总结
⏹参考文献
总结
⏹EM 会收敛到局部极值，但不保证收敛到全局最优
⏹对初值很敏感：通常需要一个好的、快速的初
始化过程
如K-均值
⏹适合的情况：
缺失数据不能太多
数据维数不能太高
提纲
⏹高斯混合模型
⏹EM 算法的思想
⏹EM 算法的应用
⏹总结
⏹参考文献
参考文献
⏹[1]/yujs/papers/pdf/EM.pdf [2]htt //jdl //l i /t hi /St ⏹[2]/user/lyqing/teaching/St
atLearning/10_23ParametersEstimate3_EM.p df
⏹[3] J. A. Bilmes (1998).A General Tutorial of the EM Algorithm and its Application to
the EM Algorithm and its Application to
Parameter Estimation for Gaussian Mixture and Hidden Markov Models
and Hidden Markov Models.
⏹[4]http://www.it.lut.fi/publications/files/publicati ons/192/laitosrap95pdf
ons/192/laitosrap95.pdf
多谢！欢迎多提意见！。