机器学习-第7章-计算学习理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 主要讨论在只给定目标函数的训练样例和候选 假设空间的条件下，对该未知目标函数的归纳 学习问题
• 主要要解决的问题是：需要多少训练样例才足 以成功地学习到目标函数以及学习器在达到目 标前会出多少次错
4
简介（3）
• 如果明确了学习问题的如下属性，那么有可能给出前 面问题的定量的上下界
– 学习器所考虑的假设空间的大小和复杂度 – 目标概念须近似到怎样的精度 – 学习器输出成功的假设的可能性 – 训练样例提供给学习器的方式
• PAC可学习性的一个隐含的条件：对C中每个 目标概念c，假设空间H都包含一个以任意小误 差接近c的假设
14
有限假设空间的样本复杂度
• PAC可学习性很大程度上由所需的训练样例数 确定
• 随着问题规模的增长所带来的所需训练样例的 增长称为该学习问题的样本复杂度
• 我们把样本复杂度的讨论限定于一致学习器 （输出完美拟合训练数据的学习器）
• 因此界定任意一个一致学习器所需的样例数量， 只需要界定为保证变型中没有不可接受假设所 需的样例数量
• 定义：考虑一假设空间H，目标概念c，实例分 布D以及c的一组训练样例S。当VSH,D中每个假 设h关于c和D错误率小于时，变型空间被称为 c和D是-详尽的。 (hVSH,D)errorD(h)
• h关于c的错误率不能直接由学习器观察到，L只能观察到在训练 样例上h的性能
• 训练错误率：指代训练样例中被h误分类的样例所占的比例 • 问题：h的观察到的训练错误率对真实错误率产生不正确估计的可
能性多大？
11
PAC可学习性
• 我们的目标是刻画出这样的目标概念，它们能 够从合理数量的随机抽取训练样例中通过合理 的计算量可靠地学习
• 能够独立于特定算法，推导出任意一致学习器 所需训练样例数的界限
• 变型空间：能正确分类训练样例D的所有假设 的集合。VSH,D {h H | ( x, c(x) D(h(x) c(x))}
15
有限假设空间的样本复杂度（2）
• 变型空间的重要意义是：每个一致学习器都输 出一个属于变型空间的假设
17
有限假设空间的样本复杂度（4）
• 定理7.1（变型空间的-详尽化）
– 若假设空间H有限，且D为目标概念c的一系列m>=1个独立随 机抽取的样例，那么对于任意0=<<=1，变型空间VSH,D不是详尽的概率小于或等于：| H | em
• 证明：
– 令当hk1个,..假.,h设k为中H至中少关有于一c的个真恰实好错与误所率有大m于个独的立所随有机假抽设取。样当例且一仅 致时，不能使变型空间-详尽化。
多少训练样例和多大的计算量
• 本章的讨论将限制在学习布尔值概念， 且训练数据是无噪声的（许多结论可扩 展到更一般的情形）
8
问题框架
• X表示所有实例的集合，C代表学习器要学习的目标概念集合，C 中每个目标概念c对应于X的某个子集或一个等效的布尔函数c: X{0,1}
• 假定实例按照某概率分布D从X中随机产生 • 学习器L在学习目标概念时考虑可能假设的集合H。在观察了一系
13
PAC可学习性（3）
• 在实践中，通常更关心所需的训练样例数，
– 如果L对每个训练样例需要某最小处理时间，那么 为了使c是L可PAC学习的，L必须从多项式数量的 训练样例中进行学习
– 实际上，为了显示某目标概念类别C是可PAC学习 的，一个典型的途径是证明C中每个目标概念可以 从多项式数量的训练样例中学习到，且处理每个样 例的时间也是多项式级
9
假设的错误率
• 为了描述学习器输出的假设h对真实目标 概念的逼近程度，首先要定义假设h对应 于目标概念c和实例分布D的真实错误率
• h的真实错误率是应用h到将来按分布D抽 取的实例时的期望的错误率
• 定义：假设h的关于目标概念c和分布D的 真实错误率为h误分类根据D随机抽取的 实例的概率
errorD
复杂度和计算复杂度 • 7.4节介绍了假设空间复杂度的一个重要度量标
准，称为VC维，并且将PAC分析扩展到假设空 间无限的情况 • 7.5节介绍出错界限模型，并提供了前面章节中 几个学习算法出错数量的界限，最后介绍了加 权多数算法
7
可能学习近似正确假设
• 可能近似正确学习模型（PAC）
– 指定PAC学习模型适用的问题 – 在此模型下，学习不同类别的目标函数需要
• 对可学习性的表述
– 一所种需可的能训的练选样择例：数为了学习到使errorD(h)=0的假设h，
• 这样的选择不可行：首先要求对X中每个可能的实例都提 供训练样例；其次要求训练样例无误导性
– 可能近似学习：首先只要求学习器输出错误率限定 在某常数范围内的假设，其次要求对所有的随机抽 取样例序列的失败的概率限定在某常数范围内
– “成功”的学习器的设定
• 学习器是否输出等于目标概念的假设 • 只要求输出的假设与目标概念在多数时间内意见一致 • 学习器通常输出这样的假设
– 学习器如何获得训练样例
• 由一个施教者给出 • 由学习器自己实验获得 • 按照某过程随机生成
6
简介（5）
• 7.2节介绍可能近似正确（PAC）学习框架 • 7.3节在PAC框架下，分析几种学习算法的样本
机器学习
第7章 计算学习理论
1
概述
• 本章从理论上刻画了若干类型的机器学习问题中的困 难和若干类型的机器学习算法的能力
• 这个理论要回答的问题是：
– 在什么样的条件下成功的学习是可能的？ – 在什么条件下某个特定的学习算法可保证成功运行？
• 这里考虑两种框架：
– 可能近似正确（PAC）
• 确定了若干假设类别，判断它们能否从多项式数量的训练样例中 学习得到
18
有限假设空间的样本复杂度（5）
• 定理7.1基于训练样例的数目m、允许的错误率 和H的大小，给出了变型空间不是-详尽的概率
的上界
• 即它对于使用假设空间H的任意学习器界定了m个训练
样例未能将所有“坏”的假设（错误率大于的假设）
剔除出去的概率
• 利用上面的结论来确定为了减少此“未剔除”概率到 一希望程度所需的训练样例数
22
不可知学习和不一致假设（3）
• 将上式左边概率称为，问多少个训练样
例m才足以使维持在一定值内，求解得
到m
1 2 2
ln
|
H
|
ln(1/
)
• 式7.3是式7.2的一般化情形，适用于当最
佳假设可能有非零训练错误率时，学习
器仍能选择到最佳假设hH的情形。
• m随着1/线性增长，随着1/和假设空间的规模对数增 长
• 上面的界限可能是过高的估计，主要来源于|H|项，它 产生于证明过程中在所有可能假设上计算那些不可接 受的假设的概率和
• 在7.4节讨论一个更紧凑的边界以及能够覆盖无限大的 假设空间的边界
20
不可知学习和不一致假设
• 如果学习器不假定目标概念可在H中表示，而只简单地 寻找具有最小训练错误率的假设，这样的学习器称为 不可知学习器
16
有限假设空间的样本复杂度（3）
• -详尽的变型空间表示与训练样例一致的所有 假设的真实错误率都小于
• 从学习器的角度看，所能知道的只是这些假设 能同等地拟合训练数据，它们都有零训练错误 率
• 只有知道目标概念的观察者才能确定变型空间 是否为-详尽的
• 但是，即使不知道确切的目标概念或训练样例 抽取的分布，一种概率方法可在给定数目的训 练样例之后界定变型空间为-详尽的
21
不可知学习和不一致假设（2）
• 前面问题的回答使用类似定理7.1的证明方法，这里有 必要引入一般的Hoeffding边界
• Hoeffding边界刻画的是某事件的真实概率及其m个独 立试验中观察到的频率之间的差异
• H随o机eff抽di取ng样边例界的表集明合，S当上训测练量错时误，率则errorS(h)在包含m个
• 式7.2基于的假定是学习器输出一零错误率假设，在更 一般的情形下学习器考虑到了有非零训练错误率的假 设时，仍能找到一个简单的边界
• 令表S示代h的表训学练习错器误可率观，察即到S的中特被定h训误练分样类例的集训合练，样例err所orS占(h) 比例
• 令少h训be练st表样示例H才中足有以最保小证训其练真错实误错率误的率假e设rro，rD问(hb题est是)不：会多多 于+errorS(hbest)？（上一节问题是这个问题的特例）
– 任一假设真实错误率大于，且与一个随机抽取样例一致的可 能性最多为1-，因此，该假设与m个独立抽取样例一致的概 率最多为(1-)m
– 由于已知有k个假设错误率大于，那么至少有一个与所有m个 训练样例都不一致的概率最多为（当0 1 ，则 1 e ）
k(1 )m | H | (1 )m | H | em
• 定义了一个对假设空间复杂度的自然度量，由它可以界定归纳学 习所需的训练样例数目
– 出错界限框架
• 考查了一个学习器在确定正确假设前可能产生的训练错误数量
2
简介
• 机器学习理论的ቤተ መጻሕፍቲ ባይዱ些问题：
– 是否可能独立于学习算法确定学习问题中固有的难 度？
– 能否知道为保证成功的学习有多少训练样例是必要 的或充足的？
– 由| H | em
–
解出m，得到
m
1
ln
|
H
|
ln(1/
)
19
有限假设空间的样本复杂度（6）
• 式子7.2提供了训练样例数目的一般边界，该数目的样 例足以在所期望的值和程度下，使任何一致学习器 成功地学习到H中的任意目标概念
• 训练样例的数目m足以保证任意一致假设是可能（可 能性为1- ）近似（错误率为）正确的
(h)
Prc(
xD
x)
h(
x)
10
假设的错误率（2）
• 图7-1：h关于c的错误率是随机选取的实例落入h和c不一致的区间 的概率
• 真实错误率紧密地依赖于未知的概率分布D
– 如果D是一个均匀的概率分布，那么图7-1中假设的错误率为h和c不 一致的空间在全部实例空间中的比例
– 如果D恰好把h和c不一致区间中的实例赋予了很高的概率，相同的h 和c将造成更高的错误率
• 只要求学习器可能学习到一个近似正确的假设
12
PAC可学习性（2）
• PAC可学习性的定义
– 考虑定义在长度为n的实例集合X上的一概念类别C，学习器L 使用假设空间H。当对所有cC，X上的分布D，和满足0<, 这<时1/2称，C学是习使器用LH将的以L至可少PA1C-学输习出的一，假所设使h用H的，时使间er为ror1D/(h，)1/，， n以及size(c)的多项式函数
列关于目标概念c的训练样例后，L必须从H中输出某假设h，它是 对c的估计 • 我们通过h在从X中抽取的新实例上的性能来评估L是否成功。新 实例与训练数据具有相同的概率分布 • 我们要求L足够一般，以至可以从C中学到任何目标概念而不管训 练样例的分布如何，因此，我们会对C中所有可能的目标概念和 所有可能的实例分布D进行最差情况的分析
– 如果学习器被允许向施教者提出查询，而不是观察 训练集的随机样本，会对所需样例数目有怎样的影 响？
– 能否刻画出学习器在学到目标函数前会有多少次出 错？
– 能否刻画出一类学习问题中固有的计算复杂度？
3
简介（2）
• 对所有这些问题的一般回答还未知，但不完整 的学习计算理论已经开始出现
• 本章阐述了该理论中的一些关键结论，并提供 了在特定问题下一些问题的答案
• 本章不会着重于单独的学习算法，而是在较宽广的学 习算法类别中考虑问题：
– 样本复杂度：学习器要收敛到成功假设，需要多少训练样例？ – 计算复杂度：学习器要收敛到成功假设，需要多大的计算量？ – 出错界限：在成功收敛到一个假设前，学习器对训练样例的
错误分类有多少次？
5
简介（4）
• 为了解决这些问题需要许多特殊的条件设定， 比如
Pr[errorD (h) errorS (h) ] e2m 2
• 上式给出了一个概率边界，说明任意选择的假设训练 错误率不能代表真实情况，为保证L寻找到的最佳的假 设的错误率有以上的边界，我们必须考虑这|H|个假设 中任一个有较大错误率的概率
Prh H errorD (h) errorS (h) | H | e2m2
• 上面定义要求学习器L满足两个条件
– L必须以任意高的概率（1- ）输出一个错误率任意低（）的 假设
– 学习过程必须是高效的，其时间最多以多项式方式增长
• 上面定义的说明
– 1/和1/表示了对输出假设要求的强度，n和size(c)表示了实例 空间X和概念类别C中固有的复杂度
– n为X中实例的长度，size(c)为概念c的编码长度
• 主要要解决的问题是：需要多少训练样例才足 以成功地学习到目标函数以及学习器在达到目 标前会出多少次错
4
简介（3）
• 如果明确了学习问题的如下属性，那么有可能给出前 面问题的定量的上下界
– 学习器所考虑的假设空间的大小和复杂度 – 目标概念须近似到怎样的精度 – 学习器输出成功的假设的可能性 – 训练样例提供给学习器的方式
• PAC可学习性的一个隐含的条件：对C中每个 目标概念c，假设空间H都包含一个以任意小误 差接近c的假设
14
有限假设空间的样本复杂度
• PAC可学习性很大程度上由所需的训练样例数 确定
• 随着问题规模的增长所带来的所需训练样例的 增长称为该学习问题的样本复杂度
• 我们把样本复杂度的讨论限定于一致学习器 （输出完美拟合训练数据的学习器）
• 因此界定任意一个一致学习器所需的样例数量， 只需要界定为保证变型中没有不可接受假设所 需的样例数量
• 定义：考虑一假设空间H，目标概念c，实例分 布D以及c的一组训练样例S。当VSH,D中每个假 设h关于c和D错误率小于时，变型空间被称为 c和D是-详尽的。 (hVSH,D)errorD(h)
• h关于c的错误率不能直接由学习器观察到，L只能观察到在训练 样例上h的性能
• 训练错误率：指代训练样例中被h误分类的样例所占的比例 • 问题：h的观察到的训练错误率对真实错误率产生不正确估计的可
能性多大？
11
PAC可学习性
• 我们的目标是刻画出这样的目标概念，它们能 够从合理数量的随机抽取训练样例中通过合理 的计算量可靠地学习
• 能够独立于特定算法，推导出任意一致学习器 所需训练样例数的界限
• 变型空间：能正确分类训练样例D的所有假设 的集合。VSH,D {h H | ( x, c(x) D(h(x) c(x))}
15
有限假设空间的样本复杂度（2）
• 变型空间的重要意义是：每个一致学习器都输 出一个属于变型空间的假设
17
有限假设空间的样本复杂度（4）
• 定理7.1（变型空间的-详尽化）
– 若假设空间H有限，且D为目标概念c的一系列m>=1个独立随 机抽取的样例，那么对于任意0=<<=1，变型空间VSH,D不是详尽的概率小于或等于：| H | em
• 证明：
– 令当hk1个,..假.,h设k为中H至中少关有于一c的个真恰实好错与误所率有大m于个独的立所随有机假抽设取。样当例且一仅 致时，不能使变型空间-详尽化。
多少训练样例和多大的计算量
• 本章的讨论将限制在学习布尔值概念， 且训练数据是无噪声的（许多结论可扩 展到更一般的情形）
8
问题框架
• X表示所有实例的集合，C代表学习器要学习的目标概念集合，C 中每个目标概念c对应于X的某个子集或一个等效的布尔函数c: X{0,1}
• 假定实例按照某概率分布D从X中随机产生 • 学习器L在学习目标概念时考虑可能假设的集合H。在观察了一系
13
PAC可学习性（3）
• 在实践中，通常更关心所需的训练样例数，
– 如果L对每个训练样例需要某最小处理时间，那么 为了使c是L可PAC学习的，L必须从多项式数量的 训练样例中进行学习
– 实际上，为了显示某目标概念类别C是可PAC学习 的，一个典型的途径是证明C中每个目标概念可以 从多项式数量的训练样例中学习到，且处理每个样 例的时间也是多项式级
9
假设的错误率
• 为了描述学习器输出的假设h对真实目标 概念的逼近程度，首先要定义假设h对应 于目标概念c和实例分布D的真实错误率
• h的真实错误率是应用h到将来按分布D抽 取的实例时的期望的错误率
• 定义：假设h的关于目标概念c和分布D的 真实错误率为h误分类根据D随机抽取的 实例的概率
errorD
复杂度和计算复杂度 • 7.4节介绍了假设空间复杂度的一个重要度量标
准，称为VC维，并且将PAC分析扩展到假设空 间无限的情况 • 7.5节介绍出错界限模型，并提供了前面章节中 几个学习算法出错数量的界限，最后介绍了加 权多数算法
7
可能学习近似正确假设
• 可能近似正确学习模型（PAC）
– 指定PAC学习模型适用的问题 – 在此模型下，学习不同类别的目标函数需要
• 对可学习性的表述
– 一所种需可的能训的练选样择例：数为了学习到使errorD(h)=0的假设h，
• 这样的选择不可行：首先要求对X中每个可能的实例都提 供训练样例；其次要求训练样例无误导性
– 可能近似学习：首先只要求学习器输出错误率限定 在某常数范围内的假设，其次要求对所有的随机抽 取样例序列的失败的概率限定在某常数范围内
– “成功”的学习器的设定
• 学习器是否输出等于目标概念的假设 • 只要求输出的假设与目标概念在多数时间内意见一致 • 学习器通常输出这样的假设
– 学习器如何获得训练样例
• 由一个施教者给出 • 由学习器自己实验获得 • 按照某过程随机生成
6
简介（5）
• 7.2节介绍可能近似正确（PAC）学习框架 • 7.3节在PAC框架下，分析几种学习算法的样本
机器学习
第7章 计算学习理论
1
概述
• 本章从理论上刻画了若干类型的机器学习问题中的困 难和若干类型的机器学习算法的能力
• 这个理论要回答的问题是：
– 在什么样的条件下成功的学习是可能的？ – 在什么条件下某个特定的学习算法可保证成功运行？
• 这里考虑两种框架：
– 可能近似正确（PAC）
• 确定了若干假设类别，判断它们能否从多项式数量的训练样例中 学习得到
18
有限假设空间的样本复杂度（5）
• 定理7.1基于训练样例的数目m、允许的错误率 和H的大小，给出了变型空间不是-详尽的概率
的上界
• 即它对于使用假设空间H的任意学习器界定了m个训练
样例未能将所有“坏”的假设（错误率大于的假设）
剔除出去的概率
• 利用上面的结论来确定为了减少此“未剔除”概率到 一希望程度所需的训练样例数
22
不可知学习和不一致假设（3）
• 将上式左边概率称为，问多少个训练样
例m才足以使维持在一定值内，求解得
到m
1 2 2
ln
|
H
|
ln(1/
)
• 式7.3是式7.2的一般化情形，适用于当最
佳假设可能有非零训练错误率时，学习
器仍能选择到最佳假设hH的情形。
• m随着1/线性增长，随着1/和假设空间的规模对数增 长
• 上面的界限可能是过高的估计，主要来源于|H|项，它 产生于证明过程中在所有可能假设上计算那些不可接 受的假设的概率和
• 在7.4节讨论一个更紧凑的边界以及能够覆盖无限大的 假设空间的边界
20
不可知学习和不一致假设
• 如果学习器不假定目标概念可在H中表示，而只简单地 寻找具有最小训练错误率的假设，这样的学习器称为 不可知学习器
16
有限假设空间的样本复杂度（3）
• -详尽的变型空间表示与训练样例一致的所有 假设的真实错误率都小于
• 从学习器的角度看，所能知道的只是这些假设 能同等地拟合训练数据，它们都有零训练错误 率
• 只有知道目标概念的观察者才能确定变型空间 是否为-详尽的
• 但是，即使不知道确切的目标概念或训练样例 抽取的分布，一种概率方法可在给定数目的训 练样例之后界定变型空间为-详尽的
21
不可知学习和不一致假设（2）
• 前面问题的回答使用类似定理7.1的证明方法，这里有 必要引入一般的Hoeffding边界
• Hoeffding边界刻画的是某事件的真实概率及其m个独 立试验中观察到的频率之间的差异
• H随o机eff抽di取ng样边例界的表集明合，S当上训测练量错时误，率则errorS(h)在包含m个
• 式7.2基于的假定是学习器输出一零错误率假设，在更 一般的情形下学习器考虑到了有非零训练错误率的假 设时，仍能找到一个简单的边界
• 令表S示代h的表训学练习错器误可率观，察即到S的中特被定h训误练分样类例的集训合练，样例err所orS占(h) 比例
• 令少h训be练st表样示例H才中足有以最保小证训其练真错实误错率误的率假e设rro，rD问(hb题est是)不：会多多 于+errorS(hbest)？（上一节问题是这个问题的特例）
– 任一假设真实错误率大于，且与一个随机抽取样例一致的可 能性最多为1-，因此，该假设与m个独立抽取样例一致的概 率最多为(1-)m
– 由于已知有k个假设错误率大于，那么至少有一个与所有m个 训练样例都不一致的概率最多为（当0 1 ，则 1 e ）
k(1 )m | H | (1 )m | H | em
• 定义了一个对假设空间复杂度的自然度量，由它可以界定归纳学 习所需的训练样例数目
– 出错界限框架
• 考查了一个学习器在确定正确假设前可能产生的训练错误数量
2
简介
• 机器学习理论的ቤተ መጻሕፍቲ ባይዱ些问题：
– 是否可能独立于学习算法确定学习问题中固有的难 度？
– 能否知道为保证成功的学习有多少训练样例是必要 的或充足的？
– 由| H | em
–
解出m，得到
m
1
ln
|
H
|
ln(1/
)
19
有限假设空间的样本复杂度（6）
• 式子7.2提供了训练样例数目的一般边界，该数目的样 例足以在所期望的值和程度下，使任何一致学习器 成功地学习到H中的任意目标概念
• 训练样例的数目m足以保证任意一致假设是可能（可 能性为1- ）近似（错误率为）正确的
(h)
Prc(
xD
x)
h(
x)
10
假设的错误率（2）
• 图7-1：h关于c的错误率是随机选取的实例落入h和c不一致的区间 的概率
• 真实错误率紧密地依赖于未知的概率分布D
– 如果D是一个均匀的概率分布，那么图7-1中假设的错误率为h和c不 一致的空间在全部实例空间中的比例
– 如果D恰好把h和c不一致区间中的实例赋予了很高的概率，相同的h 和c将造成更高的错误率
• 只要求学习器可能学习到一个近似正确的假设
12
PAC可学习性（2）
• PAC可学习性的定义
– 考虑定义在长度为n的实例集合X上的一概念类别C，学习器L 使用假设空间H。当对所有cC，X上的分布D，和满足0<, 这<时1/2称，C学是习使器用LH将的以L至可少PA1C-学输习出的一，假所设使h用H的，时使间er为ror1D/(h，)1/，， n以及size(c)的多项式函数
列关于目标概念c的训练样例后，L必须从H中输出某假设h，它是 对c的估计 • 我们通过h在从X中抽取的新实例上的性能来评估L是否成功。新 实例与训练数据具有相同的概率分布 • 我们要求L足够一般，以至可以从C中学到任何目标概念而不管训 练样例的分布如何，因此，我们会对C中所有可能的目标概念和 所有可能的实例分布D进行最差情况的分析
– 如果学习器被允许向施教者提出查询，而不是观察 训练集的随机样本，会对所需样例数目有怎样的影 响？
– 能否刻画出学习器在学到目标函数前会有多少次出 错？
– 能否刻画出一类学习问题中固有的计算复杂度？
3
简介（2）
• 对所有这些问题的一般回答还未知，但不完整 的学习计算理论已经开始出现
• 本章阐述了该理论中的一些关键结论，并提供 了在特定问题下一些问题的答案
• 本章不会着重于单独的学习算法，而是在较宽广的学 习算法类别中考虑问题：
– 样本复杂度：学习器要收敛到成功假设，需要多少训练样例？ – 计算复杂度：学习器要收敛到成功假设，需要多大的计算量？ – 出错界限：在成功收敛到一个假设前，学习器对训练样例的
错误分类有多少次？
5
简介（4）
• 为了解决这些问题需要许多特殊的条件设定， 比如
Pr[errorD (h) errorS (h) ] e2m 2
• 上式给出了一个概率边界，说明任意选择的假设训练 错误率不能代表真实情况，为保证L寻找到的最佳的假 设的错误率有以上的边界，我们必须考虑这|H|个假设 中任一个有较大错误率的概率
Prh H errorD (h) errorS (h) | H | e2m2
• 上面定义要求学习器L满足两个条件
– L必须以任意高的概率（1- ）输出一个错误率任意低（）的 假设
– 学习过程必须是高效的，其时间最多以多项式方式增长
• 上面定义的说明
– 1/和1/表示了对输出假设要求的强度，n和size(c)表示了实例 空间X和概念类别C中固有的复杂度
– n为X中实例的长度，size(c)为概念c的编码长度