EM算法及其在半监督学习中的运用资料

N
N
K
log( p( X | )) log p(xi | ) log( k N (xi; k , k ))
i 1
i 1
k 1
的最大值。
这里由于有和的对数，求导后形式复杂， 因此不能使用一般的求偏导并令导数为零 的方法。
EM算法原理
简化的问题：某混合高斯分布一共有k个分 布，并且对于每一个观察到的x，如果我们 同时还知道它是属于k中哪一个分布的，则 求各个参数并不是件难事。
似然函数定义为 L( | ) f ( | ) f (X i | ) i1
log似然函数定义为l( | ) log L( | )
的极大似然估计为
^
arg max L(
| )
arg maxl( | )
10
极大似然估计(MLE)
如求正态分布均值和方差的MLE：
11
EM问题描述
高斯混合模型被定义为M个高斯密度函数的线性 组合：
log( zi p(xi ;zi , zi )) p(z j | x j , old )
z11 z 21 Zn1 i1
布符合高斯混合模型，算法目的是确定各个高 斯部件的参数，充分拟合给定数据，并得到一 个模糊聚类，即每个样本以不同概率属于每个 高斯分布，概率数值将由以上各个参数计算得 到。
9
极大似然估计(MLE)
独立同分布(IID)的数据 (X1, X 2 ,, X n )
其概率密度函数为 f (x |)
n
这类问题直接来自于实际应用：例如，大量医学影 像，医生把每张片子上的每个病例都标出来再进行 学习，是不可能的，能否只标一部分，并且还能利 用未标的部分？
半监督学习的主要方法
➢ 生成模型（Generative Model） ➢ 图基方法(graph-based methods) ➢ 转导支持向量机（Transductive Support
M
P(x) i Ni (x; i , i ) i 1
其中Ni (x;i , i ) 为均值为 i ，协方差为 i 的高 斯分布， i 是混合参数，看做第i个高斯分布的
权重，表征先验概率。且
M
i 1且0 i 1
i 1
EM问题描述
Ni (x;i , i )的概率密度函数为
Ni (x)
1
(2 )d/2 i 1/2
i 1
i 1
但是Z是观察不到的，因此EM算法假设Z的 分布依据上一轮的估计参数确定，求取上式 期望的最大值。定义：
Q( , old ) Ez [log p( X , Z| )|X, old ]
Q( , old ) Ez[log p( X , Z| )|X, old ]
log p( X , Z | ) f (Z | X , old )dZ z
log p( X , Z| ) p(Z | X , old ) z
N
log( zi p(xi ;zi , zi ))p(Z | X , old )
z i1
N
N
log( zi p(xi ;zi , zi )) p(z j | x j , old )
z i1
j 1Biblioteka MMMNN...
半监督学习的过程
半监督学习背景
传统的训练学习算法需要利用大量有标记的样本进 行学习。
随着信息技术的飞速发展，收集大量未标记的 （unlabeled）样本已相当容易，而获取大量有标记的示 例则相对较为困难，因为获得这些标记可能需要耗费大 量的人力物力。
如何利用大量的未标记样本来改善学习性能成为当 前模式识别研究中备受关注的问题。
Vector Machines ）
生成模型（Generative Model)
概述：样本数据分为标记样本和未标记样本，按照
统计的观点，对于每一个样本的产生，其背后都有一 个模型，即样本生成模型（generative models）。样本 生成模型的参数先由标记样本确定，再通过标记样本 和利用当前模型判断标记的未标记样本共同调整。
比如用z来表示每一个高斯分布，那么我们 的观察集不仅仅是{x1,x2,x3…},而是 {(x1,z2),(x2,z3), (x3,z1)…}
而现实往往是：我们不知道每个x属于哪个 分布，也就是说z是我们观察不到的，z是 隐藏变量。
EM算法原理
假定可以观察到Z，问题变为求下式最大值
N
N
P( X , Z | ) log p(xi , zi | ) log(i N (xi; zi , zi ))
半监督学习
(Semi-supervised Learning )
学习分类
有监督的学习：学习器通过对大量有标记的训练例 进行学习，从而建立模型用于预测未见示例的标记
(label)。很难获得大量的标记样本。
无监督的学习：无训练样本，仅根据测试样本的在 特征空间分布情况来进行标记，准确性差。
半监督的学习：有少量训练样本，学习机以从训练 样本获得的知识为基础，结合测试样本的分布情况 逐步修正已有知识，并判断测试样本的类别。
exp
1 2
(
x
i
)T
i1(x
i
)
参数估计的最常用方法是最大似然估计，通过使 似然函数达到最大值得到参数的估计值。
将高斯混合密度函数中所有待定的参数记为 ， 则似然函数为：
N
P( X | ) P(xi | ) arg max P( X | )
i 1
EM问题描述
为了使问题简化，我们求
生成模型（Generative Model)中目前最流行的 方法是期望最大化（EM）算法，期望最大化是一种基 于循环过程的最大似然参数估计方法，用于解决带缺 失数据的参数估计问题。是最早的半监督学习方法。
EM算法描述
EM是一种聚类算法 聚类：将数据集中的数据分成若干类（簇），
使类内相似度尽可能大，类间相似度尽可能小 EM算法是基于模型的聚类方法，假设样本分
优点：半监督学习（Semi-supervised Learning）能够充 分利用大量的未标记样本来改善分类器的性能，是目前 利用未标记样本进行学习的主流技术。
半监督学习的应用领域
在进行Web网页推荐时，需要用户标记出哪些网页是 他感兴趣的，很少会有用户愿意花大量的时间来提 供标记，因此有标记的网页示例比较少，但Web上存 在着无数的网页，它们都可作为未标记示例来使用。