EM算法及其在半监督学习中的运用

k 1 i 1
M
N
对上式使用拉格朗日乘数法可得 N
k new
1 N
p(k | x ,
i 1 i
old
)
求偏导并令值为零分别得： N
k new
old x p ( k | x , ) i i i 1 N
p(k | x ,
i 1 i
old
)
k new
Q( , old ) Ez [log p( X , Z| )|X, old ]
Q ( , old ) Ez [log p ( X , Z| )|X, old ] log p ( X , Z| ) p( Z | X , old )
z z
log p ( X , Z | ) f ( Z | X , old ) dZ
i 1 M

其中Ni ( x; i , i ) 为均值为 i ，协方差为 i 的高 斯分布， i 是混合参数，看做第i个高斯分布的 权重，表征先验概率。且

i 1
M
i
1且0 i 1
EM问题描述

Ni ( x; i , i )的概率密度函数为
1 1 T 1 Ni ( x) exp ( x ) ( x ) d /2 i i i 1/2 (2 ) i 2
log(L( | , y )) f ( y | , t )dy
y y t t y
l ( t1 | ) l ( t | ) Q( t1 , t ) Q( t , t ) D( t , t1 )
t f ( y | , ) t 其中，D( t , t 1 ) log f ( y | , )dy 0 t 1 y f ( y | , )

对E步计算得到的完整似然函数的期望求极大 值（EM的M步），得到参数新的估计值，即 每次参数更新会增加非完整似然值 反复迭代后，会收敛到似然的局部最大值

23
EM的收敛性
Q( , t ) [log L( | , ) | , t ]
log(f ( y | , ) f ( | )) f ( y | , )dy log(f ( y | , )) f ( y | , )dy l ( | )


参数估计的最常用方法是最大似然估计，通过使 似然函数达到最大值得到参数的估计值。 将高斯混合密度函数中所有待定的参数记为 ， 则似然函数为：
P( X | ) P( xi | ) arg max P( X | )i 1 N源自EM问题描述
为了使问题简化，我们求
生成模型中的EM算法

假设我们有两种类型的数据集：
未标注数据：这个数据集由Nu 个样本构成xi Rl , i 1, 2..., 我们假设这些数据是相互独立、并且按照相同概率分配给 随机向量，这些向量来自边缘分布p( x; , P), 它也受 , P
T [P , P ,..., P ] 等参数的限定，由Du定义相应集合。 1 2 M
log( p( X | )) log p( xi | ) log( k N ( xi ; k , k ))
i 1 i 1 k 1 N N K

的最大值。 这里由于有和的对数，求导后形式复杂， 因此不能使用一般的求偏导并令导数为零 的方法。
EM算法原理



简化的问题：某混合高斯分布一共有k个分 布，并且对于每一个观察到的x，如果我们 同时还知道它是属于k中哪一个分布的，则 求各个参数并不是件难事。 比如用z来表示每一个高斯分布，那么我们 的观察集不仅仅是{x1,x2,x3…},而是 {(x1,z2),(x2,z3), (x3,z1)…} 而现实往往是：我们不知道每个x属于哪个 分布，也就是说z是我们观察不到的，z是 隐藏变量。
半监督学习
(Semi-supervised Learning )
学习分类

有监督的学习：学习器通过对大量有标记的训练例 进行学习，从而建立模型用于预测未见示例的标记 (label)。很难获得大量的标记样本。 无监督的学习：无训练样本，仅根据测试样本的在 特征空间分布情况来进行标记，准确性差。 半监督的学习：有少量训练样本，学习机以从训练 样本获得的知识为基础，结合测试样本的分布情况 逐步修正已有知识，并判断测试样本的类别。
26
生成模型中的EM算法
Du : Lu ( ) Inp ( xi ; ) In Py p ( xi | y; )
i 1 i 1 y 1 Nu Nu M
Nl ! Dl : Ll ( ) Inp ( y, ziy | y; ) In N1 ! N 2 !...N M ! y 1 i 1 Nl ! In( p y p ( ziy | y; )) In N1 ! N 2 !...N M ! y 1 i 1 E 步骤：


半监督学习的过程
半监督学习背景
传统的训练学习算法需要利用大量有标记的样本进 行学习。 随着信息技术的飞速发展，收集大量未标记的 （unlabeled）样本已相当容易，而获取大量有标记的示 例则相对较为困难，因为获得这些标记可能需要耗费大 量的人力物力。 如何利用大量的未标记样本来改善学习性能成为当 前模式识别研究中备受关注的问题。 优点：半监督学习（Semi-supervised Learning）能够充 分利用大量的未标记样本来改善分类器的性能，是目前 利用未标记样本进行学习的主流技术。


当Q取极大值时，观测数据的似然也在相同点 取极大值 EM算法会收敛到似然的局部极大值
24
EM算法缺点


1）EM算法比K-means算法计算复杂， 收敛也较慢，不适于大规模数据集和高 维数据，但比K-means算法计算结果稳 定、准确。 2）需要已知样本聚类数目 3）对初值敏感 4）爬山技术，局部最优解 5）对孤立点敏感，有噪音时效果差
2 Q ( ; (t )) p ( y | xi ; (t )) In( p ( xi | y; y , y ) Py )) i 1 y 1 2 In( p ( ziy | y; y , y ) Py ) i 1
9
极大似然估计(MLE)
独立同分布(IID)的数据 ( X , X , , X 其概率密度函数为 f ( x | ) 似然函数定义为 L( | ) f ( | ) f ( X | ) log似然函数定义为l ( | ) logL( | )

1 2
抛硬币实例
20
抛硬币实例
21
EM—Expectation


观测数据X已知，参数的当前值 t 已知， 在完整似然函数中，缺失数据(隐含变量 ) Y未知，完整log似然函数对Y求期望。 定义 其中 是待确定的参数 通过求期望，去掉了完整似然函数中的 变量Y。即EM的E步。
22

EM—Maximization
EM算法原理

假定可以观察到Z，问题变为求下式最大值
P( X , Z | ) log p( xi , zi | ) log( i N ( xi ; zi , zi ))
i 1 i 1 N N

但是Z是观察不到的，因此EM算法假设Z的 分布依据上一轮的估计参数确定，求取上式 期望的最大值。定义：
old new new T p ( k | x , )( x )( x ) i i k i k i 1
N
p(k | x ,
i 1 i
N
old
)

p(k | xi , (i 1) )可由下式求得。 其中，
old p ( k , x | ) old i p (k | xi , ) p ( xi | old )
z11 z 2 1 M N Zn 1 i 1 j 1
M
N
N
log( k pk ( xi ; k , k )) p( k | xi , old )
k 1 i 1 M N
log( k ) p ( k | xi ,
k 1 i 1
old
) log( pk ( xi ; k , k )) p( k | xi , old )
生成模型（Generative Model)中目前最流行的 方法是期望最大化（EM）算法，期望最大化是一种基 于循环过程的最大似然参数估计方法，用于解决带缺 失数据的参数估计问题。是最早的半监督学习方法。
EM算法描述



EM是一种聚类算法 聚类：将数据集中的数据分成若干类（簇）， 使类内相似度尽可能大，类间相似度尽可能小 EM算法是基于模型的聚类方法，假设样本分 布符合高斯混合模型，算法目的是确定各个高 斯部件的参数，充分拟合给定数据，并得到一 个模糊聚类，即每个样本以不同概率属于每个 高斯分布，概率数值将由以上各个参数计算得 到。
半监督学习的应用领域

在进行Web网页推荐时，需要用户标记出哪些网页是 他感兴趣的，很少会有用户愿意花大量的时间来提 供标记，因此有标记的网页示例比较少，但Web上存 在着无数的网页，它们都可作为未标记示例来使用。 这类问题直接来自于实际应用：例如，大量医学影 像，医生把每张片子上的每个病例都标出来再进行 学习，是不可能的，能否只标一部分，并且还能利 用未标的部分？

p ( k | old ) p ( xi | k , old )
p (l |
l 1 M
M
old
) p ( xi | l ,
old
)

k old N ( xi | k old , k old )