07第七章___神经网络的泛化理论

３
7.3
结构复杂性和样本复杂性对神经网络泛化能力的影响
在神经网络结构设计时，唯一的信息通常就是一定数目的训练样本，因此，人们非 常关心神经网络泛化能力与网络结构复杂性和训练样本数之间的定量关系，下面，我们 介绍结构复杂性和样本复杂性对神经网络泛化能力的影响。其它因素，如样本质量、对 目标函数的先验知识、初始权值及训练时间等对神经网络泛化能力的影响，由于还没有 定量结果，我们将在 7.7 节简单介绍。 神经网络的结构复杂性是指神经网络的规模或容量，对线性阈值神经网络来说，结 构复杂性一般指神经网络的 VC 维数； 对函数逼近神经网络来说， 结构复杂性一般用神经 网络的权参数和隐节点数目来衡量。样本复杂性（Sample Complexity）是指训练某一固 定结构神经网络所需的样本数。 结构复杂性和样本复杂性对泛化能力的影响问题在泛化理论中得到了最多的研究， 也获得了许多定量的成果。所研究的神经网络类型也涵盖了多种最常见的前向网络，如 线性阈值神经网络和函数逼近神经网络（包括 BP 网和 RBF 网络） 。
的学习可描述成一个非线性回归问题。所谓回归，就是训练样本集 D 构造一个函数
f ( x; D) ，使得 f ( x; D) 在未知点 x 处能较好地逼近实际输出 y 。 y 对 x 的回归，即
E ( y x ) ，是给定 x 下 y 的均值，定义为 E ( y x ) = ∫ yPy x ( x, y )dy 。
第7章
神经网络的泛化理论
神经网络的泛化理论是神经网络研究的重要内容，其研究内容主要包括：各种因素 是如何影响神经网络泛化能力的？各种改善神经网络泛化能力的方法为何有效？本章介 绍了近十几年来前馈神经网络泛化理论研究的主要成果，其中 7.1 节简要介绍了神经网 络泛化理论的研究内容；7.2 节介绍了 Geman 等人的泛化误差的偏差－方差分解理论； 7.3 节介绍了神经网络规模和训练样本数对泛化能力的影响，这部分内容是神经网络结 构优化设计方法的理论基础；在 7.4 节，7.5 节，7.6 节，我们依次介绍了三类常用的泛 化方法：正则化方法，神经网络集成和样本加输入噪声方法是如何改善神经网络泛化能 力的；在 7.7 节，我们简要介绍了影响神经网络泛化能力的一些其它因素。
４
值神经网络函数类 F 的 VC 维数 VC dim(F ) 和成长函数 m F (l ) 的上界， 然后得到了以下 重要结论：假使线性阈值神经网络有 N 个计算节点和 W 个自由参数， 0 < ε ≤ 1 为逼
8
近误差，且训练样本数 m ≥ O(
W
确分类，则可以相信，该神经网络至少能正确分类 1 − ε 的未来工作样本。由此得到了为 保证固定结构神经网络的泛化能力所需的训练样本数上界。 对类似网络， 张鸿宾[张 1993a] 也给出了多种情况下为保证神经网络泛化能力所需要的样本数。 对单隐层全连接前向网络， Baum 与 Hausller 还指出[BaHa1989]， 如果训练样本数小 于 Ω(
( )
(
( ))
2
， 作为 f ( x; D) 是
否 能 有 效 预 测 y 的 度 量 。 而 f ( x; D ) 与 E y x 之 间 的 平 均 误 差 为
( )
E D ( f ( x; D) − E ( y x ))
[
2
] ，其中 E
D 表示在训练样本集
D 上的期望，即对所有可能的训
练样本集 D （集合中训练样本数固定为 N ）上取平均值。 对某个特定的训练集 D ， f ( x; D) 确实可能非常接近于回归 E y x 。但是，对不 同的 D ， f ( x; D) 也可能与 E y x 差别很大，或者 f ( x; D) 的均值（对所有可能的训 练样本集 D ）就与 E y x 差别很大，此时 f ( x; D) 就不能可靠地预测 y ，因此估计误 差（在这里可看作泛化误差） E D f ( x; D ) − E y x
１
由于影响神经网络泛化能力的主要因素是神经网络的结构复杂性和样本复杂性，所以第 一个问题是神经网络复兴以后（1990 年前后）泛化理论研究的主要问题。该问题目前已 得到了较多的研究，并获得了一些有价值的结果，但离实际应用尚有一定距离。 第二和第三个问题都与神经网络设计有关。其中第三个问题，即泛化方法问题，也 是目前神经网络领域的研究热点之一。泛化方法与泛化理论密切相关，一方面，对于影 响神经网络泛化能力的几乎每种因素，都已提出了相应的解决方案以改进网络的泛化能 力；另一方面，对那些能改善神经网络泛化能力的最主要方法，如正则化方法、神经网 络集成等，也都已经有了如何改进泛化的定量成果（即第二个问题的内容） 。目前神经网 络泛化方法主要集中在神经网络结构优化设计和参数优化设计两个方面。 本章综述了近十几年来神经网络泛化理论的研究成果。对第一个问题（影响神经网 络泛化能力的因素） ， 我们在讨论各因素对泛化能力影响的同时， 重点讲述神经网络的结 构复杂性和样本复杂性对泛化能力的影响；对第二个问题（泛化方法如何提高影响神经 网络泛化能力） ， 我们主要介绍正则化方法、 神经网络集成和样本加输入噪声方法对泛化 能力的影响。
n
数类，如果 F 中的某函数 f 对 l 个样本的错分率小于 (1 − γ )ε ， 0 < ε < 1 ， 0 < γ ≤ 1 ， 则对未来样本， f 的误分率大于 ε 的概率不超过 8m F (2l )e
− γ 2εl 4
， 其中 m F (2l ) 为函数类
F 的成长函数。
为了把上述结论用于线性阈神经网络， Baum 和 Haussler[BaHa1989]先给出了线性阈
7.2
泛化误差的偏差－方差分解
Байду номын сангаас
典型的神经网络学习问题实际上是根据训练样本确定输入 x 和输出 y 之间的映射关 系 ， 其 中 ( x, y ) 服 从 某 未 知 的 联 合 分 布 P ， 而 由 N 个 样 本 组 成 的 训 练 样 本 集
D = {( x 1 , y 1 ), L , ( x N , y N )} 则是 ( x , y ) 的一组实现。于是，神经网络对该训练样本集
7.3.1 线性阈值神经网络
线性阈值神经网络并不只限于多层感知器，它是指激活函数为线性阈值函数的任意 多层前向网络，也是被研究得最早的前向网络。泛化理论最重要的成果之一，便是对单 输出线性阈值神经网络，得出了其泛化能力与神经网络结构复杂性参数、训练样本数和 学习精度之间的关系。最终的理论成果，也是许多神经网络结构设计算法的理论基础。 线性阈值神经网络的泛化理论欲解决以下问题：假定训练样本和工作都样本都取自 某一不变但可以是任意的分布，网络中的计算节点数和自由参数个数分别为 N 和 W ， 对 l 个训练样本的允许学习误差为 ε ，欲以一定概率保证学习后的神经网络对工作样本 的分类正确率至少为 1 − ε ，则训练样本数 l 应取多大？这一提法沿用 Valiant 的 PAC （Probably approximately correct）学习的框架[Vili1984]。应该指出，在上述框架中，以 学习后的神经网络对工作样本正确分类的概率来衡量神经网络的泛化能力。解决上述问 题的数学工具是 Vapnik 和 Chervonenkis 等人的经验风险最小与期望风险最小之间关系的 理论[Vapn1982，VaCh1971]。 关于 Vapnik 等人的理论及相关的 VC 维数，成长函数等概念，张鸿宾[张 1993a]有 扼要的介绍。 Vapnik[VaCh1971]和 Blumer 等人[BlEh1989]指出，假定 F 为 R → {− 1,1}的某个函
( )
( )
( )
[(
( )) ] 的值就很大。
2
可以通过对估计误差进行偏差－方差分解，来进一步分析泛化误差的构成。类似前 面的推导，我们有[GeBi1992]
E D ( f ( x; D) − E ( y x )) = ED
[
2
[ f ( x; D)]) + (E D [ f ( x; D)] − E ( y x )))2 ] 2 2 = E D [( f ( x; D) − E D [ f ( x; D)]) ] + E D (E D [ f ( x; D)] − E ( y x )) + 2 E D [ f ( x; D) − E D [ f ( x; D)]](E D [ f ( x; D)] − E ( y x )) 2 = (E D [ f ( x; D)] − E ( y x )) ⇒ 偏差 2 + E D [( f ( x; D) − E D [ f ( x; D)]) ] ⇒ 方差
D
[(( f ( x; D) − E
]
（7.2）
上式最后一个等号右边的第一项称为偏差（bias） ，取决于神经网络模型的正确程度；第 二项称为方差 （variance） ， 与训练样本有很大关系。 如果偏差项不为零， 则称 f ( x; D) 对
E ( y x ) 是有偏的。
由上式可见，估计误差可分解为偏差和方差，总的估计误差是两者的和。希望两者 如果 f ( x; D) 都小是不可能的， 这是一个两难问题 （dilemma） 。 即使 f ( x; D) 是无偏的， 对训练样本集很敏感，即方差较大，也有可能导致大的估计误差；另一方面，即使对数 据拟合很好的模型，尽管偏差很小，也有可能有较大的方差。
2
] [
[ ] ≥ E [( y − E ( y x )) x ]
2 2
+ 2 E [( y − E ( y x )) x ](E ( y x ) − f ( x; D) )
2
[
]
]
（7.1）
2
= E ( y − E ( y x )) x + (E ( y x ) − f ( x; D) )