计算学习理论
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
L’s run-time (and hence, sample complexity) is poly( |x|, size(c), 1/ε,1/δ)
7
ε-exhausting the version
space
• 若假设空间H有限，且S为目标概念c的一
系列m≥1个独立随机抽取的样例，那么对
于任意0≤ε≤1，变型空间VSH,S不是ε-详尽
4
True error of a hypothesis
假设h关于目标概念c 和分布D 的真实错误 率(true error)为h 误分类按照D 随机抽
取的实例的概率 .
errorD (h) Pr [c(x ) h(x )] x D 5
Probably Approximately
Correct (PAC)
样本复杂度（Sample complexity）。 学习器要收敛到成功假设（以较高的概 率），需要多少训练样例？ 计算复杂度(Computational complexity)。学习器要收敛到成功假设 （以较高的概率）需要多大的计算量？ 出错界限（Mistake bound）。在成功 收敛到一个假设前，学习器对训练样例的 误分类有多少次？
• H={（1<x<2）,（1<x<4）,（4<x<7）, （1<x<7） }
• S能否被H打散？ • S={x0,x1,x2}时(x0<x1<x2)能否被能
否由单个区间构成的假设空间打散？
• 由单个区间构成的假设空间的VC维？
12
VC 维实例（2）
由线性决策面构成的假设空间的VC维？
13
学习的出错界限模型
定义在实例空间X上的假设空间H 的 Vapnik- Chervonenkis维，或VC(H)， 是可被H 打散的X 的最大有限子集的大小。 如果X 的任意有限大的子集可被H 拆散， 那么VC(H)≡∞。
VC维是度量H对实例空间的表示能力的一 种度量标准。
11
VC 维实例（1）
• S={3.1, 5.7}
Need both!
6
Probably Approximately Correct (PAC) Learning
Learner L can draw labeled instance <x,
c(x)> in unit time, x X drawn from distribution D labeled by target concept c C
Labeled by target concept c C
(Learner does not know c(.), D)
3
Protocol(2)
Learner outputs h H estimating c h is evaluated by performance on
subsequent instances drawn from D For now C=H (so c H ) Noise-free data
2
Protocol(1)
Given:
Set of example X Fixed (unknown) distribution D over X Set of possible target concepts C Learner observes sample S=<xi ,c(xi)> Instance xi drawn from distr. D
Contents
What is Computational Learning Theory? Probably approximately correct (PAC) learning Vapnik-Chervonenkis Dimension Mistake bounds
1
计算学习理论关注的内容
• 出错界限（mistake bound）模型中， 学习器评估标准是它在收敛到正确假设前 总的出错数。
• 最优出错边界是指在所有可能的学习算法 中，最坏情况下出错边界中最小的那一个。
14
（关于ຫໍສະໝຸດ Baidu）的概率≤
H e m
• 则 H e m 时可得在希望程度δ下所需的
训练样例数
m 1 (ln H ln(1/ ))
8
ε-exhausting the version
space
• Suppose H contains conjunctions of constraints on up to n boolean attributes, i.e. n boolean literals
Def’n: Learner L PAC-learns concept class C(by H), if
For any target concept c C , any distribution D , any ε , δ >0, L returns h H
s.t.
w/prob ≥1- δ, errorD (hˆ)
Goal:
PAC-Learner produces hypothesis that hˆ
is approximately correct,
errorD (hˆ) 0
with high probability
Attention:
P (errorD (hˆ) 0) 1
Approximately
Probably
• Then |H|=n3 , and
m 1 (n ln 3 ln(1/ ))
9
Shattering a Set of Instances
• 一实例集S 被假设空间H 打散(shatter) ， 当且仅当对S 的每个划分，存在H 中的某假
设与此划分一致。
10
The Vapnik-Chervonenkis Dimension
7
ε-exhausting the version
space
• 若假设空间H有限，且S为目标概念c的一
系列m≥1个独立随机抽取的样例，那么对
于任意0≤ε≤1，变型空间VSH,S不是ε-详尽
4
True error of a hypothesis
假设h关于目标概念c 和分布D 的真实错误 率(true error)为h 误分类按照D 随机抽
取的实例的概率 .
errorD (h) Pr [c(x ) h(x )] x D 5
Probably Approximately
Correct (PAC)
样本复杂度（Sample complexity）。 学习器要收敛到成功假设（以较高的概 率），需要多少训练样例？ 计算复杂度(Computational complexity)。学习器要收敛到成功假设 （以较高的概率）需要多大的计算量？ 出错界限（Mistake bound）。在成功 收敛到一个假设前，学习器对训练样例的 误分类有多少次？
• H={（1<x<2）,（1<x<4）,（4<x<7）, （1<x<7） }
• S能否被H打散？ • S={x0,x1,x2}时(x0<x1<x2)能否被能
否由单个区间构成的假设空间打散？
• 由单个区间构成的假设空间的VC维？
12
VC 维实例（2）
由线性决策面构成的假设空间的VC维？
13
学习的出错界限模型
定义在实例空间X上的假设空间H 的 Vapnik- Chervonenkis维，或VC(H)， 是可被H 打散的X 的最大有限子集的大小。 如果X 的任意有限大的子集可被H 拆散， 那么VC(H)≡∞。
VC维是度量H对实例空间的表示能力的一 种度量标准。
11
VC 维实例（1）
• S={3.1, 5.7}
Need both!
6
Probably Approximately Correct (PAC) Learning
Learner L can draw labeled instance <x,
c(x)> in unit time, x X drawn from distribution D labeled by target concept c C
Labeled by target concept c C
(Learner does not know c(.), D)
3
Protocol(2)
Learner outputs h H estimating c h is evaluated by performance on
subsequent instances drawn from D For now C=H (so c H ) Noise-free data
2
Protocol(1)
Given:
Set of example X Fixed (unknown) distribution D over X Set of possible target concepts C Learner observes sample S=<xi ,c(xi)> Instance xi drawn from distr. D
Contents
What is Computational Learning Theory? Probably approximately correct (PAC) learning Vapnik-Chervonenkis Dimension Mistake bounds
1
计算学习理论关注的内容
• 出错界限（mistake bound）模型中， 学习器评估标准是它在收敛到正确假设前 总的出错数。
• 最优出错边界是指在所有可能的学习算法 中，最坏情况下出错边界中最小的那一个。
14
（关于ຫໍສະໝຸດ Baidu）的概率≤
H e m
• 则 H e m 时可得在希望程度δ下所需的
训练样例数
m 1 (ln H ln(1/ ))
8
ε-exhausting the version
space
• Suppose H contains conjunctions of constraints on up to n boolean attributes, i.e. n boolean literals
Def’n: Learner L PAC-learns concept class C(by H), if
For any target concept c C , any distribution D , any ε , δ >0, L returns h H
s.t.
w/prob ≥1- δ, errorD (hˆ)
Goal:
PAC-Learner produces hypothesis that hˆ
is approximately correct,
errorD (hˆ) 0
with high probability
Attention:
P (errorD (hˆ) 0) 1
Approximately
Probably
• Then |H|=n3 , and
m 1 (n ln 3 ln(1/ ))
9
Shattering a Set of Instances
• 一实例集S 被假设空间H 打散(shatter) ， 当且仅当对S 的每个划分，存在H 中的某假
设与此划分一致。
10
The Vapnik-Chervonenkis Dimension