人工神经网络知识增殖性分析

人工神经网络知识增殖性分析*黄华罗四维刘蕴辉李爱军北京交通大学计算机与信息技术学院E-mail: idapro@摘要本文对神经网络知识增殖的问题进行了较为深入的探讨，从网络推广能力的角度分析了具有知识增殖能力的神经网络系统的结构设计问题，指出模块化途径是实现神经网络知识增殖能力的重要方法及其实现上的相关难点问题。

关键词人工神经网络知识增殖VC维数机器学习Knowledge Increase Ability Analysis on Artificial NeuralNetworkAbstractThis paper discusses the knowledge increase ability problem of artificial neural network (ANN) in depth. The architectural design problem of ANNs with knowledge increase ability is analyzed in the approach of generalization ability. As a result, modular approach is pointed out to be the most promising solution with the difficulties listed.KeywordsArtificial Neural Network, Knowledge Increase, VC Dimension, Machine Learning一、引言人工神经网络作为受人脑功能启发产生的计算模型，在形式上比传统的计算模型更接近人脑的构造，人们期望它具有更强的计算能力，以解决用传统计算方式难以解决的一些问题，如对新知识的自学习和对未知环境的自适应等智能性问题。

过去数十年里，尽管在网络模型、学习算法和实际应用方面都取得了长足的进步，人工神经网络模型在解决自学习和可拓展性问题上仍然受到了巨大的挑战，这些挑战主要表现在人工神经网络在适应新环境或面临新问题的局限性上。

作为模拟人脑功能提出的计算模型，人工神经网络的学习过程与人脑有着本质的差别，表现为人工神经网络的“一次性”学习过程。

人脑的学习是一个渐进的过程，对新知识的学习不会干扰已学习的知识，使得学习的知识量不断增加，解决问题的能力不断增强。

而人工神经网络的学习则是一个误差梯度下降的过程，在学习新知识过程中对连接权的修改会干扰对已学习知识的表示，从而破坏已学习的知识，使得人工神经网络无法实现类似于人脑的渐进学习能力。

因此在处理大规模或者较复杂的问题时，人工神经网络的学习存在困难，使得网络学习失败或学习后网络的推广能力不好，这是制约人工神经网络进一步发展和应用的主导因素之一。

对于人工神经网络遇到的困难，研究人员提出了许多措施以解决或缓解这些问z本文得到教育部博士点基金项目资助，项目编号：20020004005z本文得到国家自然科学基金资助，项目编号：69973002题，增量学习[1]和复杂问题分解[2]等是较为典型的方案。

虽然这些方法能够在一定程度上使问题得到缓解，但由于存在各种困难，在学习新知识的问题上表现不好或无能为力。

尽管目前人们对于人脑的学习过程尚不清楚，但赋予人工神经网络类似于人脑的渐进学习能力，使其具有知识增殖的功能，应该是从根本上解决问题的途径，也是人工神经网络发展的一个重要方向。

本文先简单的回顾了研究人员为解决人工神经网络的缺陷和不足而提出增量学习和任务分解等办法和措施，分析了其适用范围和存在的问题，指出只有具有知识增殖能力的人工神经网络才能从根本上解决上述问题，并从网络推广能力的角度分析了具有知识增殖能力的神经网络系统的结构设计问题，指出了需要解决的难点问题。

二、相关工作对于人工神经网络“一次性”学习问题，许多研究人员试图使神经学习系统具有类似人脑的增量学习（Incremental Learning）能力。

由于对增量学习的不同理解造成的分歧，目前增量学习包含两种类型[3]，一种是过程式增量学习，另一种是信息性增量学习。

前者与主动学习（Active Learning）紧密相关，强调在学习过程中学习算法根据中间学习结果主动从候选样本集中选择待学习的样本，学习过程结束后网络与被动学习训练的网络没有差别，没有继续学习新知识的能力。

目前的增量学习算法绝大部分都属于此类，如敏感度分析[4]、信息获取最大化[5]等。

信息性增量学习则强调了网络对新知识的可学习性，学习算法在学习过程中通常只有对当前样本集的访问权限。

遗憾的是，比较有效的信息性增量学习算法尚不多见，而且受到诸多限制，多建立在RBF网络的基础上，如Koichiro[6]等人根据J. Platt的资源配置网络（Resource Allocating Network, RNA）[7]提出了一种处理受干扰模式的办法，可以学习少量的新增知识，Joydeep等人的工作[8]也有类似的效果。

此外，神经网络集成[9]（Neural Network Ensemble）在某种程度上表现出知识增殖的能力，Polikar[10]等人就提出了一种基于Boosting算法的网络集成方案，可用于多层感知器的增量学习。

其方法是通过多个网络实现对新知识的增量学习，并利用加权投票的办法进行决策。

在小规模的测试集上，该算法显示出了较好的性能。

巨类分类问题是神经网络遇到的另一个主要难题，这也是目前机器学习领域中亟待解决的难题之一。

通常的办法是利用“分而治之”的策略将其分解为若干简单的子问题加以解决，混合专家网络[11]就是一个比较典型的方案。

混合专家网络通过将复杂问题分解为若干相对简单的子问题，并设置相应的模块处理对应的子问题，可以较好的解决该问题。

但由于混合专家网络需要设置一个专门的模块为各个模块分配信令，使得该模块需要处理整个输入空间，制约了系统拓展能力，使其对学习新知识无能为力。

为此，F. J. Smieja[12]等人从模块化神经网络入手，提出了网络模块的可靠性问题，并提出Minos模块试图解决这一问题。

其主导思想是利用一个网络来监控另一个网络的学习状况，这两个网络分别称为监控网络和工作网络。

监控网络根据工作网络对给定样本的学习情况确定网络输出的置信度。

该方法虽然避免了集中信令分配的难题，但却将其转嫁到监控网络上了，因此监控网络对未知样本的反应能力便成为影响系统性能的关键。

实际上，无论是神经网络的“一次性”学习的问题，还是巨类分类的难题，本质上都是一个神经网络知识增殖性问题。

如果人工神经网络具有类似人脑的知识增殖能力，可进行类似人脑的渐进学习，则上述问题都将迎刃而解。

因此，研究人工神经网络的知识增殖性对于人工神经网络的进一步发展具有重要的意义。

三、人工神经网络推广能力分析3.1 人工神经网络学习问题的描述人工神经网络的学习问题可一般的表述为：给定由l 个独立同分布观测值),(,),,(11l l y x y x L （1）组成的样本集S ，其中S 服从联合分布)|()(),(x y F x F y x F =。

神经网络的训练学习需要从给定的函数集Λ∈αα),,(x f 中选择出能够最好的逼近样本集S 的函数，Λ为参数集合。

为了得到最好的逼近，需要度量在给定输入x 时目标值y 与网络输出),(αx f 之间的差异),()),(,(y x dF x f y L α，其数学期望为：∫=),()),(,()(y x dF x f y L R αα （2）学习的目标就是在联合概率分布函数),(y x F 未知、所有可用信息均包含在训练集S 中的情况下，寻找函数),(0αx f ，使其最小化风险泛函)(αR 。

由于分布函数),(y x F 未知，通常把风险泛函)(αR 替换为经验风险泛函∑==li i emp x f y L l R 1)),(,(1)(αα （3）并使用经验风险（3）最小的函数),(l x f α逼近（2）式的最小值),(0αx f 。

这就是经验风险最小化（Empirical Risk Minimization, ERM ）的归纳原则。

由统计理论可知，当样本数目l 趋于无穷时，经验风险)(αemp R 一致收敛于真实风险)(αR 。

3.2 网络的推广能力分析当样本数目趋于无穷时，经验风险一致收敛于真实风险。

问题在于训练样本的数目往往是有限的，由此导致经验风险与期望风险的不一致，尽管训练的网络具有最小的ERM 值，但推广能力却不够好，这就是所谓的“过适应”问题[13]。

如图1所示，函数)(x f 上的样本点可由高频函数)sin(ax 任意拟合，但两者却大相径庭。

图1 过适应示例为讨论网络的推广能力，这里需要引入“VC 维数”的概念来表征指示函数集的分类容量。

函数集Λ∈αα),,(z Q 的VC 维数，是指能够被集合中所有可能的h 2种方式分成两类的向量hz z ,,1L 的最大数目h 。

对于网络的推广能力，有如下结论[14]。

采用完全有界非负函数集的网络推广能力的上界为： ⎥⎥⎦⎢⎢⎣⎡+++≤εαεααB R B R R l emp l emp l )(4112)()( B 为函数集的界 （4）采用无界函数集的网络的推广能力上界为：+−≤))(1()()(ετααp a R R l emp l 其中p p p p p a 12121)(−⎟⎟⎠⎞⎜⎜⎝⎛−−= )0,max()(u u =+ （5）如果函数集N i z Q i ,,1),,(L =α包含N 个元素，则lN ηεln ln 2−= 若函数集Λ∈αα),,(z Q 包含无限多个元素且VC 维数h 有限，则lh l h )4ln()12(ln4ηε−+=。

上述推广能力上界都至少以η−1的概率成立，l 为样本数目。

式（4）和（5）表明，一个小的ERM 值并不能保证小的实际风险值。

对于一定规模的样本集来说，网络的推广能力取决于其ERM 值以及网络所能表达的泛函集合的VC 维数h ，由此产生了针对经验风险及其对应的置信范围的结构风险最小化的归纳原则（Structural Risk Minimization, SRM ）。

该原则定义了对给定数据逼近的精度和逼近函数的复杂性之间的一种折衷。

3.3 神经网络的设计和知识增殖问题文献[15]表明，对于只有一个隐层的前馈网络，若隐层的节点数目为n ，W 为可供调节的权值的个数，N 为网络中的节点数目，则网络可实现的函数集的VC 维数h 满足如下关系：)(log 2222eN W h k n ≤≤⎥⎥⎤⎢⎢⎡ （6）其中算子⎡⎤A 表示取大于A 的最小整数，k 为输入的维数，e 为自然对数基底。