一致收敛和一致性

一致收敛和一致性9.520 第八课，2002年3月5日Sayan Mukherjee和Alex Rakhlin

计划

z映射和假设空间

z稳定性的简明回顾

z一致收敛

z一致收敛是一致性的充分必要条件

z当假设空间中有一个函数时的一致性

z当假设空间中有有穷个函数时的一致性

z再生核Hilbert空间中的一致性和Ivanov正则化z覆盖数

映射和假设空间

我们已经讨论如何应用学习映射A : S S f →的稳定性来获得泛化界，即，一致性。我们也注意到一致稳定性是一个很强的条件——存在映射是一致的但不具备这种稳定性。

我们现在以一个不同的观点来看：控制假设空间。映射和假设空间可以如下联系起来： 对于所有可能的集合S ，假设空间H 是映射A ：S S f →输出的所有可能的函数组成的空间。 我们利用假设空间的性质来获得泛化界，即：证明一致性。

通过控制假设空间来获得泛化边界

我们讨论了如何使用一个映射的稳定性来获得泛化界。现在通过控制假设空间的大小来获得泛化界。

例如，2

||||K f M ≤的再生核Hilbert 空间上的函数构成一个完全界定了的假设空间，其“大小”可以被度量，并且可以被用来获得泛化界。我们现在来讨论这种方法。

风险回忆在第二课中我们定义了真实（期望）风险：

和经验风险：

泛化界

我们的目标是选择一个函数S f 使得[]S I f 很小。因为无法度量[]S I f ，所以这是困难的。 然而，我们可以度量[]S S I f 。一个泛化界是一个用来衡量偏差可能有多大的（概率的）界

如果我们可以界定这个偏差，并且我们可以观察到[]S S I f 是小的，那么[]S I f 必然是小的。 注意，如我们已经在第二课中定义的那样，这是经验风险最小化的一致性：当l →∞时，有[]0S D f →。

一致收敛

ε>

采用一致收敛，意味着对于任何0

注意到这是两边一致收敛的。

满足这个性质的函数类是uGC类。

现在我们将证明

一致性

经验风险最小化是一致的，如果依概率

ε>

或者，对于任意给定的0

在假设空间H中，经验误差中最小值的期望误差收敛到可能的最佳的期望误差。问题：Tikhonov正则化是一致的吗？

答案：取决于正则化参数λ衰退的速度。

一个关键的引理

下面的两种叙述是等价的：

∈上，经验风险最小化方法是一致的。z对于一个集合中的任意分布，在函数集f H

∈上，经验误差一致收敛到期望误差z对于一个集合中的任意分布，在函数集f H

经验风险最小化的一致性⇔一致收敛⇔一致Glivenko-Cantelli(uGC)

对于一个函数的一致收敛

如果我们的函数空间由一个函数组成，我们可证明

如果我们的损失函数被界定为10((),)V f x y B ≤≤，

那么我们可以使用Hoeffding 不等式：设X 为一个集合并且D 是X 上的一个分布，有函数:[,]h X a b →，那么

对损失应用上面的不等式，得

对k个函数的一致收敛

如果我们的再生核Hilbert空间由k个函数

1,...

k

f f组成，我们可以证明

我们知道对于每个函数

i

f

我们需要上面的式子对于k个函数中的每一个都成立。所以我们应用联合边界（Bonferroni逼近）

所以

Ivanov正则化

在文献中这通常被称为在限制假设空间中的经验风险最小化。我们最小化的泛函有以下的形式：

使得

Tikhonov ⇒Ivanov 正则化

在上一课中我们看到对于任何的Lipschitz 损失函数

式中0y C ≤。

所以，可以将我们的Tikhonov 问题转化为：

使得

完全有界的再生核Hilbert 空间上的一致收敛（直觉上的）

通常，我们的再生核Hilbert 空间不是一个有穷的函数集。事实上它们具有形式f H ∈，其中

2||||K f M ≤。

我们将使用一个ε网来计数这个空间中函数的个数。即可以选取某N 个函数1,...,N g g H ∈，其中i g ∃使得 (,)i f d f g ε∀≤。 我们会发现

为什么对于一个完全有界的再生核Hilbert 空间，N 是有穷的？

完全有界的再生核Hilbert空间上的一致收敛（更多直觉上的）

覆盖数是最小的，使得在H中存在半径为r的m个碟子的覆盖H。

使用与我们在k个函数上所使用的相同论点，现在我们可以证明

计算有限维再生核Hilbert 空间的覆盖数

对于一个有限维的有界再生核Hilbert 空间

这里2

||||K f M ≤。 我们希望计算(,,)N H r d 。

计算有限维再生核Hilbert空间的覆盖数（续）g可以被写成

每个函数

i

所以我们现在将问题转化成为

d。

寻找m个向量

i

计算有限维再生核Hilbert 空间的覆盖数（续）

这等价于问在中以欧几里得度量，需要用多少个半径为r 的球来覆盖一个半径为M 的球。 我们将计算堆积数以取代计算覆盖数。

代替使用覆盖数，我们将计算堆积数（packing numbers ）。

如果对于i j ≠，(,)i j d g g r >，那么N 个函数1,...,N g g 是r 分离的。堆积数(,,)D H r d 是r 分离集合的最大基数。

一个事实