统计学习理论导论-3

N Λ (z1,L, zl ) ：用指示函数集中的函数能够把给定的样本分成多少种不同的 分类。 用这个量来表征函数集在给定的数据集上的多样性。
随机熵：H Λ (z1,L, zl ) = ln N Λ (z1,L, zl ) -- 函数集在给定数据上的多样性
Random Entropy
VC熵： H Λ (l) = E ln N Λ (z1,L, zl ) VC Entropy
.
(2-9)
这个向量集合处在 l 维立方体之中，并且在C度量（或在 Lp 度量）下有一
个有限的最小ε-网格。令 N = N Λ (ε; z1,L, zl ) 是向量集 q(α ),α ∈ Λ 的最小ε-
网格的元素数目。
随机ε-熵： H Λ (ε ; z1,L, zl ) = ln N Λ (ε ; z1,L, zl )
Xuegong Zhang Tsinghua University
对ERM原则的任何分析都必须是“最坏情况分析”
9
传统条件
lim
l→∞
P

R (α ) −
R emp
(α )
>
ε

=
0

( ) SLT条件
lim
l→∞
P
sαu∈Λp
R(α ) − Remp (α )
> ε = 0 ,
即，经验风险最小化学习过程一致性的充分必要条件是什么？ ―― 统计学习理论的基础
Xuegong Zhang
5
Tsinghua University
∑ Remp
(α )
=
1 l
l i =1
Q(zi ,α )
R(α ) = ∫ Q(z,α )dF (z) , α ∈ Λ
2.1 一致性(consistency)的概念
VC熵：
H
Λ
(ε ; l)
=
EH
Λ
(ε ;
z 1
,
L
,
zl
)
显然：指示函数集可以看作是实函数集的特例，对指示函数集，ε < 1有：
N Λ (ε ; z1,L, zl ) = N Λ (z1,L, zl )
H Λ (ε ; z1,L, zl ) = H Λ (z1,L, zl )
Xuegong Zhang
R(α ) 。
Xuegong Zhang
1
Tsinghua University
学习问题的一般表示
设有定义在空间Z上的概率测度F(z) 。考虑函数的集合 Q(z,α ) , α ∈ Λ 。机器学习的一般问题就是，在概率测度
F(z) 未知，但给定了一定的独立同分布样本
z1,L, zl
(1-7)
的条件下，最小化风险泛函
lim
l→∞
H
Λ (l) l
=
0
，
这是(2-10)的一个特例。
Xue提gon示g Zh：ang相对于样本数目来说，学习机器的能力不应太强15。
Tsinghua University
2.4 一致单边收敛的充分必要条件
Necessary & Sufficient Conditions of Uniform one-sided Convergence
回顾
损失函数：
L( y, f ( x,α ))
风险函数： R(α ) = ∫ L( y, f (x,α ))dF (x, y) (1-2)
学习的目标就是：
在联合概率分布函数F (x, y) 未知、所有可用的信
息都包含在训练集中的情况下，寻找函数 f (x,α0 ) ， 使它（在函数类 f (x,α ), α ∈ Λ上）最小化风险泛函
经验过程（empirical processes）
∫ ∑ 双边经验过程： ξ l = sup α∈Λ
Q(z,α
)dF
(z)
−
1 l
l i =1
Q(zi
,α
)
,
一致双边收敛：
{ } lim P ξ l > ε = 0, ∀ε > 0
l →∞
l = 1,2,L
∫ ∑ 单边经验过程：
ξ
l +
=
sup
α∈Λ
Q(z,α ) , α ∈ Λ 上在如下意义下一致收敛于实际风险 ：
( ) lim
l→∞
P sαu∈Λp
R(α )
−
Remp (α )
> ε = 0 ,
∀ε > 0
.
(2-4)
一致单边收敛 (uniform one-sided convergence)
换言之，ERM原则的一致性等价于(2-4)式的一致单边收敛成立。
∫ ∑ lim
l →∞
Psup α∈Λ
Q(z,α
)dF ( z )
−
1 l
l i =1
Q(zi ,α)
>
ε


=
0,
∀ε > 0
( ) ( ) lim
l→∞
P

suαp
R(α ) − Remp (α )
> ε 或suαp Remp (α ) − R(α )
> ε = 0
Q(z,α
)dF
(z)
−
1 l
l i =1
Q( zi
,α
)
,
l = 1,2,L
2.3.1 大数定律(The Law of Large Numbers)及其推广
1. 大数定律：随着样本数目的增加，随机变量的均值收敛于其期望（如
果期望存在的话）。
P
若函数集 Q(z,α) ,
α
∈Λ
中只包含一个元素，则ξ l
设
Q(z,αl
)
是对给定的独立同分布观测
z 1
,
L
,
zl
使经验风险泛函
∑ Remp
=
1 l
l i =1
Q(zi ,α )
最小化的函数。如果下面两个序列依概率收敛于同一个极限，即
P
R(αl
)
→
l→∞
inf
α∈Λ
R(α
)
,
P
Remp
(αl
)
→
l→∞
inf
α∈Λ
R(α
)
,
(2-1) (2-2)
则我们说ERM原则（或方法）对函数集Q(z,α), α ∈ Λ和概率分布函数 F(z) 是一致的。
H Λ (ε ; l) = H Λ (l)
14
Tsinghua University
2.3.4 一致双边收敛的条件
定理2.3 [Vapnik and Chervonenkis, 1981]
∫ ∑ 一致双边收敛
lim
l →∞
Psup α∈Λ
Q(z,α
)dF ( z)
−
1 l
l i =1
Q(zi ,α)
Xuegong Zhang
6
Tsinghua University
平凡一致性：
假设已经建立了某个函数集 Q(z,α) , α ∈ Λ ，对这个函数集ERM方法 是不一致的。考虑另一个扩展的函数集，它包括了这个函数集和一个额 外的函数 φ (z) 。假设这个额外的函数满足不等式
inf Q(z,α ) > φ (z) , ∀z
—— 具体的实现算法
2
基本起点：ERM原则
∑ Remp (α )
=
1 l
l i=1
Q(zi ,α)
R(α ) = ∫ Q(z,α )dF (z) , α ∈ Λ
Xuegong Zhang
3
Tsinghua University
统计学习理论研究的是下面四个问题：
• 一个基于ERM原则的学习过程一致充分必 要条件是什么？
>
ε


=
0,
的充分必要条件是
lim
l→∞
H
Λ (ε , l) l
=
0,
∀ε > 0
.
∀ε > 0
(2-10)
即，随着观测数目的增加，VC熵与观测数目的比值应该趋近于零。
推论 [Vapnik and Chervonenkis, 1968, 1971]
指示函数集 Q(z,α ) , α ∈ Λ 一致双边收敛的充分必要条件是
α∈Λ
显然对这个扩展的函数集来说，ERM方法就是一致的了。实际上，对任 何分布函数和对任意数量的观测，经验风险的最小值都将在函数 φ(z) 上 取得，而它也给出了期望风险的最小值。
Xuegong Zhang
7
Tsinghua University
严格（非平凡）一致性（Strict(Nontrival) Consistency）：
• 这个学习过程收敛的速度有多快？ • 如何控制这个学习过程的收敛速度（推广
能力）？
• 怎样构造能够控制推广能力的算法？
Xuegong Zhang
4
Tsinghua University
第二章 ERM原则和学习过程的一致性
经验风险最小化的核心问题：
一个使经验风险最小的学习机器，是否也使期望风险 （实际风险）最小？什么情况下是？什么情况下否？
使得 1. 对任意函数 Q(z,α ) ，存在一个函数Q*(z,α *) , 满足：
Q(z,α ) − Q*(z,α * ) ≥ 0 , ∀z,
∫ (Q(z,α ) − Q* (z,α * ))dF (z) ≤ δ .
(2-12)
2. 函数集 Q*(z,α *), α * ∈ Λ* 在l个样本上的VC熵满足下面的不等式：