EM算法(简)

Q ln (
M i 1 x j G i

p ( x j | i , i )) 1

i 1 x j G i
M
ln N ( x j | i , i )
2
M
( d ln ( 2 ) ln i ( x j i ) i ( x j i ))
Q ( ,
o ld
) E z [lo g p ( X , Z | )|X ,
o ld
]
Q ( ,
o ld
) E z [lo g p ( X , Z | )|X ,
o ld
o ld
]

z
lo g p ( X , Z | ) f ( Z | X ,
o ld
o ld
l 1
k
N ( xi | k
,k
o ld
) )

l 1
M
l
o ld
N ( xi | l
o ld
,l
o ld
• EM算法的具体流程为重复执行以下两个步骤直到 收敛: • 第一步称为E步骤，是根据参数初始值或上一次迭 代所得结果值来计算似然函数
P(X , Z | )
o ld
)dZ

lo g p ( X , Z | ) p ( Z | X ,
N
)
o ld
z

M M N
lo g ( lo g ( ...
M
p ( x i ; zi , zi )) p ( Z | X , zi
N
)
z i 1
z i 1
p ( x i ; zi , zi )) p ( z j | x j , zi
P(X | )

i 1
N
P ( xi | )

a rg m a x P ( X | )

2、问题描述（续）
• 为了使问题简化，我们求
lo g ( p ( X | ))
lo)
lo g (
i 1 k 1
N
K
•
N i ( x; i , i )
N i (x) 1 ( 2 )
d /2
的概率密度函数为
i
1/ 2
1 T 1 exp ( x i ) i ( x i ) 2
• 参数估计的最常用方法是最大似然估计，通过使 似然函数达到最大值得到参数的估计值。 • 将高斯混合密度函数中所有待定的参数记为 ， 则似然函数为：
2、问题描述
• EM算法是基于模型的聚类方法，假设样本 分布符合高斯混合模型，算法目的是确定 各个高斯部件的参数，充分拟合给定数据， 并得到一个模糊聚类，即每个样本以不同 概率属于每个高斯分布，概率数值将由以 上各个参数计算得到。
2、问题描述（续）
• 高斯混合模型被定义为M个高斯密度函数的线性 组合：
我的想法：
• 1）运用模糊的思想
E Z (ln p ( X , Z | )) E Z ( ln ( z N ( x n | z , z )))
n n n
N
n 1


n 1
N
E Z ln ( z N ( x n | z , z ))
n n n
ln (
• 其中，p ( k | x ,
i
( i 1 )
)可由下式求得。
o ld
p ( k | xi , p (k |
o ld
)
p ( k , xi | p ( xi |
o ld
)
o ld
)
o ld
) p ( xi | k ,
) )


M
p (l |
o ld
o ld
) p ( xi | l ,
3、EM算法原理（续）
• 假定可以观察到Z，问题变为求下式最大值
P(X , Z | )
lo g
i 1
N
p ( xi , zi | )
lo g (
i 1
N
i
N ( x i ; z , z ))
i i
• 但是Z是观察不到的，因此EM算法假设Z的 分布依据上一轮的估计参数确定，求取上式 期望的最大值。定义：

k
n ew N
xi p ( k | xi , p ( k | xi ,
o ld
)

i 1

i 1
N
o ld
)

k
n ew
N
p ( k | xi ,
o ld
)( x i k
n ew
)( x i k )
n ew
)
T

i 1

i 1
N
p ( k | xi ,
o ld
1
i 1 x j G i
o ld
)
o ld
k 1 i 1
)
k 1 i 1

M
N
lo g ( p k ( x i ; k , k )) p ( k | x i ,
)
k 1 i 1
对上式使用拉格朗日乘数法可得
k
new

1 N

i 1
N
p ( k | xi ,
o ld
)
求偏导并令值为零分别得：
P (x)
M

i 1
i
N i ( x; i , i )
• 其中 N i ( x ; i , i )为均值为 i ，协方差为 的高 斯分布， i 是混合参数，看做第i个高斯分布的 权重，表征先验概率。且
i

i 1
M
i
1且 0 i 1
2、问题描述（续）
n 1 l 1
N
M
l
N ( x n | l , l )) p ( l | x n ,
o ld
) ...
???

N
M
Z nl
(m )
ln ( l N ( x n | l , l )) ??? 再 使 用 可 能 性 聚 类 ？
n 1 l 1
• 2）可否以下式为目标函数：(效果较k均值差）
lo g
i 1
N
p ( xi , zi | )
lo g (
i 1
N
i
N ( x i ; z , z ))
i i
关于条件分布
Q ( ,
o ld
p (Z | X ,
o ld
)
的期望：
o ld
) E [lo g p ( X , Z | )|X ,
]
• 第二步称为M步骤，是将似然函数最大化以获得新 的参数值，用 n e w 更新 o ld 使 Q ( , ) 最大化。
EM算法
韩旭东 2010.6.18
内容概述
• • • • 1、背景简介 2、问题描述 3、EM算法原理 4、结论与讨论
1、背景简介
• EM是一种聚类算法 • 聚类：将数据集中的数据分成若干类 （簇），使类内相似度尽可能大，类间相 似度尽可能小。 • 聚类算法：基于划分的方法（K均值）、层 次聚类、基于密度的方法、基于网格的方 法、基于模型的方法。
k
N ( x i ; k , k ))
• 的最大值。 • 这里由于有和的对数，求导后形式复杂， 因此不能使用一般的求偏导并令导数为零 的方法。
3、EM算法原理
• 简化的问题：某混合高斯分布一共有k个分 布，并且对于每一个观察到的x，如果我们 同时还知道它是属于k中哪一个分布的，则 求各个参数并不是件难事。 • 比如用z来表示每一个高斯分布，那么我们 的观察集不仅仅是{x1,x2,x3…},而是 {(x1,z2),(x2,z3), (x3,z1)…} • 而现实往往是：我们不知道每个x属于哪个 分布，也就是说z是我们观察不到的，z是 隐藏变量。
j 1
o ld
)


M N M N
z 11 z 2 1
Z n 1 i 1

N
lo g (
p ( x i ; zi , zi )) p ( z j | x j , zi
j 1 o ld
N
o ld
)

lo g ( k p k ( x i ; k , k )) p ( k | x i , lo g ( k ) p ( k | x i ,
o ld
4、结论与讨论
• 1）EM算法比K-means算法计算复杂，收 敛也较慢，不适于大规模数据集和高维数 据，但比K-means算法计算结果稳定、准 确。（数学手段加快收敛） • 2）需要已知样本聚类数目（？） • 3）对初值敏感（可以多运行几次解决/密度 /最大最小原则/模糊/…） • 4）爬山技术，局部最优解（可以多运行几 次解决?） • 5）对孤立点敏感，有噪音时效果差（可能 性聚类？）