半监督学习综述28页
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一般认为，半监督学习的研究始于B. Shahshahani和D. Landgrebe的 工作，最早是在这篇文章当中提到的。
B. Shahshahani, D. Landgrebe. The effect of unlabeled samples in reducing the small sample size problem and mitigating the hughes phenomenon. IEEE Transactions on Geoscience and Remote Sensing, 1994, 32(5): 1087-1095.
9
1.1 EM算法的特点
定义：具有隐状态变量的分布中参数的最大 似然估计。
适用：能够产生很好的聚类数据
困难：如果把在参数wk.baidu.com 下的期望 E
为
X E (X |Y)
。那么，在估计状态变量X时，
估值当然应该用条件期望然而这时就需要知
道参数 的 值；另一方面，为了知道 ， 又必X 须先知道X的估值（作为状态已知样本值）
优点：算法构思很简单，并且在数学上有很严格的理论基础
缺点：计算量过大，对生成模型的依赖较大。
返回
11
Figure: If the model is wrong, higher likelihood may lead to lower classification accuracy. For example, (a) is clearly not generated from two Gaussian. If we insist that each class is a single Gaussian, (b) will have higher probability than (c). But (b) has around 50% accuracy, while (c) is much better.
5
半监督学习的应用领域
在进行Web网页推荐时，需要用户标记出哪些网页是 他感兴趣的，很少会有用户愿意花大量的时间来提 供标记，因此有标记的网页示例比较少，但Web上存 在着无数的网页，它们都可作为未标记示例来使用。
这类问题直接来自于实际应用：例如，大量医学影 像，医生把每张片子上的每个病灶都标出来再进行 学习，是不可能的，能否只标一部分，并且还能利 用未标的部分？
优点：半监督学习（Semi-supervised Learning）能够充 分利用大量的未标记样本来改善学习机的性能，是目前 利用未标记样本进行学习的主流技术。
4
半监督学习的发展历程
未标记示例的价值实际上早在上世纪80年代末就已经被一些研究者意 识到了。
R. P. Lippmann. Pattern classification using neural networks. IEEE Communications, 1989, 27(11): 47-64 .
机器学习
有监督的学习：学习器通过对大量有标记的训练例 进行学习，从而建立模型用于预测未见示例的标记
(label)。很难获得大量的标记样本。
无监督的学习：无训练样本，仅根据测试样本的在 特征空间分布情况来进行标记，准确性差。
半监督的学习：有少量训练样本，学习机以从训练 样本获得的知识为基础，结合测试样本的分布情况 逐步修正已有知识，并判断测试样本的类别。
D.J. Miller和H.S. Uyar 认为，半监督学习的研究起步相对较晚，可能是因 为在当时的主流机器学习技术（例如前馈神经网络）中考虑未标记示例相对 比较困难。随着统计学习技术的不断发展，以及利用未标记示例这一需求的 日渐强烈，半监督学习才在近年来逐渐成为一个研究热点。
D. J. Miller, H. S. Uyar. A mixture of experts classifier with learning based on both labelled and unlabelled data. In: M. Mozer, M. I. Jordan, T. Petsche, eds. Advances in Neural Information Processing Systems 9, Cambridge, MA: MIT Press, 2019, 571-577
6
半监督学习应用实例
语音识别（Speech recognition） 文本分类（Text categorization） 词义解析（Parsing） 视频监控（Video surveillance） 蛋白质结构预测（Protein structure
prediction）
7
半监督学习的主要方法
10
1.2 EM算法的具体步骤（解决方法）
1、设定初值 0
(n)
2、（E-步骤）对 n 0 ，令 X En (X |Y)
3、（M-步骤）（修正的估计）取使之满足：
(n)
(n)
logf(n 1,X)m axlogf(,X)
其中E-步骤为取条件期望（expectation），而M-步骤 为取最大（maximum）。这种交替的方法称为EM方法。
➢ 最大期望（EM算法） ➢ 自训练（Self-training) ➢ 协同训练（Co-training) ➢ 转导支持向量机（Transductive Support
Vector Machines ） ➢ 基于图的方法(graph-based methods)
现状与展望
8
1. 最大期望（EM算法）
背景 ：期望最大化（EM）方法和朴素贝叶斯方法有 着共同的理论基础。期望最大化是一种基于循环过程 的最大似然参数估计方法，用于解决带缺失数据的参 数估计问题。是最早的半监督学习方法。
前提： 样本数据分为标记样本和未标记样本，按照
统计的观点，对于每一个样本的产生，其背后都有一 个模型，即样本生成模型（generative models）。样本 生成模型的参数先由标记样本确定，再通过标记样本 和利用当前模型判断标记的未标记样本共同调整。
1
半监督学习的过程
3
半监督学习背景
传统机器学习算法需要利用大量有标记的样本进行 学习。
随着信息技术的飞速发展，收集大量未标记的 （unlabeled）样本已相当容易，而获取大量有标记的示 例则相对较为困难，因为获得这些标记可能需要耗费大 量的人力物力。
如何利用大量的未标记样本来改善学习性能成为当 前机器学习研究中备受关注的问题。
B. Shahshahani, D. Landgrebe. The effect of unlabeled samples in reducing the small sample size problem and mitigating the hughes phenomenon. IEEE Transactions on Geoscience and Remote Sensing, 1994, 32(5): 1087-1095.
9
1.1 EM算法的特点
定义：具有隐状态变量的分布中参数的最大 似然估计。
适用：能够产生很好的聚类数据
困难：如果把在参数wk.baidu.com 下的期望 E
为
X E (X |Y)
。那么，在估计状态变量X时，
估值当然应该用条件期望然而这时就需要知
道参数 的 值；另一方面，为了知道 ， 又必X 须先知道X的估值（作为状态已知样本值）
优点：算法构思很简单，并且在数学上有很严格的理论基础
缺点：计算量过大，对生成模型的依赖较大。
返回
11
Figure: If the model is wrong, higher likelihood may lead to lower classification accuracy. For example, (a) is clearly not generated from two Gaussian. If we insist that each class is a single Gaussian, (b) will have higher probability than (c). But (b) has around 50% accuracy, while (c) is much better.
5
半监督学习的应用领域
在进行Web网页推荐时，需要用户标记出哪些网页是 他感兴趣的，很少会有用户愿意花大量的时间来提 供标记，因此有标记的网页示例比较少，但Web上存 在着无数的网页，它们都可作为未标记示例来使用。
这类问题直接来自于实际应用：例如，大量医学影 像，医生把每张片子上的每个病灶都标出来再进行 学习，是不可能的，能否只标一部分，并且还能利 用未标的部分？
优点：半监督学习（Semi-supervised Learning）能够充 分利用大量的未标记样本来改善学习机的性能，是目前 利用未标记样本进行学习的主流技术。
4
半监督学习的发展历程
未标记示例的价值实际上早在上世纪80年代末就已经被一些研究者意 识到了。
R. P. Lippmann. Pattern classification using neural networks. IEEE Communications, 1989, 27(11): 47-64 .
机器学习
有监督的学习：学习器通过对大量有标记的训练例 进行学习，从而建立模型用于预测未见示例的标记
(label)。很难获得大量的标记样本。
无监督的学习：无训练样本，仅根据测试样本的在 特征空间分布情况来进行标记，准确性差。
半监督的学习：有少量训练样本，学习机以从训练 样本获得的知识为基础，结合测试样本的分布情况 逐步修正已有知识，并判断测试样本的类别。
D.J. Miller和H.S. Uyar 认为，半监督学习的研究起步相对较晚，可能是因 为在当时的主流机器学习技术（例如前馈神经网络）中考虑未标记示例相对 比较困难。随着统计学习技术的不断发展，以及利用未标记示例这一需求的 日渐强烈，半监督学习才在近年来逐渐成为一个研究热点。
D. J. Miller, H. S. Uyar. A mixture of experts classifier with learning based on both labelled and unlabelled data. In: M. Mozer, M. I. Jordan, T. Petsche, eds. Advances in Neural Information Processing Systems 9, Cambridge, MA: MIT Press, 2019, 571-577
6
半监督学习应用实例
语音识别（Speech recognition） 文本分类（Text categorization） 词义解析（Parsing） 视频监控（Video surveillance） 蛋白质结构预测（Protein structure
prediction）
7
半监督学习的主要方法
10
1.2 EM算法的具体步骤（解决方法）
1、设定初值 0
(n)
2、（E-步骤）对 n 0 ，令 X En (X |Y)
3、（M-步骤）（修正的估计）取使之满足：
(n)
(n)
logf(n 1,X)m axlogf(,X)
其中E-步骤为取条件期望（expectation），而M-步骤 为取最大（maximum）。这种交替的方法称为EM方法。
➢ 最大期望（EM算法） ➢ 自训练（Self-training) ➢ 协同训练（Co-training) ➢ 转导支持向量机（Transductive Support
Vector Machines ） ➢ 基于图的方法(graph-based methods)
现状与展望
8
1. 最大期望（EM算法）
背景 ：期望最大化（EM）方法和朴素贝叶斯方法有 着共同的理论基础。期望最大化是一种基于循环过程 的最大似然参数估计方法，用于解决带缺失数据的参 数估计问题。是最早的半监督学习方法。
前提： 样本数据分为标记样本和未标记样本，按照
统计的观点，对于每一个样本的产生，其背后都有一 个模型，即样本生成模型（generative models）。样本 生成模型的参数先由标记样本确定，再通过标记样本 和利用当前模型判断标记的未标记样本共同调整。
1
半监督学习的过程
3
半监督学习背景
传统机器学习算法需要利用大量有标记的样本进行 学习。
随着信息技术的飞速发展，收集大量未标记的 （unlabeled）样本已相当容易，而获取大量有标记的示 例则相对较为困难，因为获得这些标记可能需要耗费大 量的人力物力。
如何利用大量的未标记样本来改善学习性能成为当 前机器学习研究中备受关注的问题。