基于局部泛化误差界的RBF网络训练方法研究

0.9429
0.9510
0.9347
0.9224
0.9245
0.9245
0.9528
0.9340
0.9151
0.9245
0.9245
0.9057
0.9434
0.9340
初步实验情况
(Datazhao, Q=0.5) information：25×477， 5 classes
Hidden numbe r Train accurac y Test accurac y 17 18 21 16 18 17 14 17 15 16 16。9 （avera ge） 0.9751 （avera ge） 0.9646 （avera ge）
基于局部泛化误差界的 RBF网络训练方法研究
主要内容

课题来源及背景和意义 研究现状及分析 所做的工作 遇到的问题及进一步的工作 参考文献
课题来源及背景和意义



RBF神经网络的结构选择中，即隐含层神经元个数的确定问 题，一直是难点。合理的选择其结构会提高RBF神经网络的 泛化能力。 局部泛化误差模型，考虑分类器在输入空间局部区域上的泛 化能力。对于量化的考察对于网络的容错能力（errortolerance）和泛化能力(generalization ability) 有一定启发意 义。 神经网络的敏感性标示着这种分类器的variance特性，而经 验误差的大小则是标示着分类器的bias特性，将两者有机的 结合起来作为一种评价分类器泛化能力的标准可能会有很好 的效果。（criteria）

现存的局部泛化误差模型用于RBFNN的结构选择
f2 has a better Generalization capability
思想：两个分类器f1，f2，如果存在Q1，使得
RSM （Q1）＝a, for f1 RSM （Q2）＝a，for f2 Q1 < Q2
在相同误差界标准下，设计分类器使得它覆盖的Q 邻域比较大，认为覆盖的邻域面积越大，得到的分 类器的泛化能力越好。
0.9839
0.9839
0.9597
0.9758
0.9597
0.9758
0.9758
Test accurac y
0.9259
0.9444
1
0.9074
0.9815
0.9815
0.9444
0.9630
0.9815
0.9630
0.9593 (averag e)
(Ionosphere, Q=1.0) information：34 ×351， 2 classes
敏感性定义及其计算

定义：衡量网络输出对于输入或权重（或其他的参 数）的扰动而改变程度的定量度量。
Sensitivity to input perturbation 对象上： Sensitivity to weight perturbation Sensitivity to neuron perturbation
所做的工作


将经验误差项和敏感性项的加和做为一种新的评价分类器泛 化能力的标准（QNB－Q neighborhood balance）。考察其 合理性。 将QNB用于RBFNN的结构选择，设计网络结构。 用范数形式简化现有的局部泛化误差模型的分析表达式。得 到一种基于范数的局部泛化误差界的分析式。
Step 3: Select the width of each neuron to be half of the
maximum distance between the center itself and other neurons.
Step 4: Using pseudo-inverse method to obtain the weight.
2
Q
2
1 (2 Q )
n
dx
分类问题中，目标输出的最大最 小值之差至少为1，那么将该模 型用于结构选择时就会出现问题。

R em p

2

differences between the maximum and minimum values of the target output
研究现状及分析
0.9700
0.9730
0.9790
0.9700
0.9730
0.9700
0.9790
0.9820
0.9790
0.9760
0.9722
0.9722
0.9583
0.9792
0.9722
0.9722
0.9514
0.9444
0.9514
0.9722
遇到的问题及进一步的工作




实验结果显示了算法的可行性，在保证分类精度的前提下， 最后选择的隐含层个数比较少，网络结构比较精简。 SM(sensitivity measure)与RBFNN的隐含单元个数之间的关 系描述为：小振荡爬升。（非严格单调）这样，SM作为网络 复杂程度的度量的话是比较粗的估计。QNB作为measure for classifier generalization capability的理论依据。 目前QNB中的两项采用的线性组合的方式，能否考虑用其他 方式将这两参数信息融合后作为一个新的参量标准，用 RBFNN的architecture selection如何？ QNB能否用于对于RBFNN中心位置的选择？（Supervised learning）
(Pima, Q=0.1) information：8×768， 2 classes
Hidden number Train accuracy Test accuracy 23 0.7989 0.7749 22 0.7877 0.7706 15 0.7914 0.7662 18 0.7803 0.7489 17 0.7877 0.7662 22 0.7952 0.7792 22 0.8082 0.7359 26 0.8007 0.7489 18 0.8007 0.7749 21 0.7952 0.7619 20.4 (average) 0.7946 (average) 0.7628 (average)
APPLICATION TO RBFNN TRAINING”－－－ WING W.Y. NG, DANIEL S. YEUNG, DE-FENG WANG, ERIC C. C. TSANG, XI-ZHAO WANG 3.“Hidden neuron pruning multilayer perceptrons
2 2
Q
i 1
Step 6: Find the minimum error bound, and output the
corresponding hidden neuron’s number .
初步实验情况
(Iris, Q=0.1) information：4 ×150， 3 classes
Hidden number Train accuracy Test accuracy 9 0.9619 0.9333 13 0.9810 0.9556 8 0.9238 0.8667 8 0.9714 1 7 0.9524 0.9333 10 0.9619 0.9778 9 0.9714 0.9333 7 0.9619 0.9111 7 0.9810 0.9556 9 0.9714 0.9333 8.7 (average) 0.9638 (average) 0.9400 (average)
敏感性引用于RBF神经网络的中心 1. “Sensitivity analysis applied to the construction of radial basis function networks” 选择（结构选择） －－－D. Shia, D.S. Yeung, J. Gao
2. “LOCALIZED GENERALIZATION ERROR AND ITS
QNB作为一个衡量分类器评价标准的合理性
Q N B R em p S M
measure for classifier complexity
图示（1）：“simple” classifier
Low SM，but bad training error
QNB作为一个衡量分类器评价标准的合理性
图示（2）：“complex” classifier
yeungxiaoqinzeng?现存的局部泛化误差模型理论qsmsrqfx?????22122fxpxdx11fx2qqbqnnsxb??empsfx?dxnreya????????????differencesbetweenthemaximumandminimumvaluesofthetargetoutput分类问题中目标输出的最大最小值之差至少为1那么将该模型用于结构选择时就会出现问题
Training error
SM
QNB作为一个衡量分类器评价标准的合理性(实验)
Sensitivity measure 衡量 RBFNN复杂程度 Iris dataset
Ionosphere dataset
QNB作为一个衡量分类器评价标准的合理性(实验)
Hidden number （K）
QNB用于RBFNN的结构选择(architecture selection)
研究现状及分析
介绍局部泛化误差模型现状 敏感性SM (sensitivity measure)

敏感性定义及其计算
Constructive for neural network
敏感性用途
Center selection Feature/sample/weight accuracy selection
分析：界的阈值a的取值标准难以确定，现存的方法建议a取0.25，这样在 解上述二次方程时就会出现问题。
研究现状及分析

R em p
E S (( y ) ) A
2
Q

2
a
0.25
分类问题中取 值大于1
1. 由于在解方程时存在矛盾之处，造成该模型用于RBFNN结 构设计时存在问题。 2. 有关界的表达式，存在常数A其值是否相对过大的问题， 相对于前两项如果取值过大的话，其失去意义。 3. 单纯的将经验误差作为训练RBF分类器的标准的话，存在 过拟和 以及得到的分类器的泛化能力不高的缺点。
Hidden number
17
18
16
15
19
18
14
18
16
16
16.7 （aver age） 0.9339 （aver age） 0.9283 （aver age）
Train accura cy Test accura cy
0.9184
0.9388
0.9347
0.9143
0.9469
0.9347
Algorithm: Step 1: Start with the number of the hidden neurons by 1.
Step 2: Perform k-means clustering to find the location of centers
for the hidden numbers.
high SM，but bad generalization capability and maybe overfitting VC维较大
QNB作为一个衡量分类器评价标准的合理性
图示（3）：“good fit” classifier， what we expected
Good balance between
要求激活函数对 于输入是可微的 并且输入扰动必 须很小
Partial derivative sensitivity analysis 计算方式上： stochastic sensitivity analysis 考察输出变化的期 望或方差概率特性
敏感性的应用

正是由于敏感性考察网络各参数的变化对于网络输出的影响程度，因而， 基于敏感性分析来优化或调整各参数的选择即成为它的主要应用方向。
Step 5: For a selected Q value, compute the current neural
networks error bound by the following equation:
R
em p
ST SM
1 N

N
( f ( x i ) F ( x i )) E S ( y )
初步实验情况
(Wine, Q=1.5) information：13×178， 3 classes
Hidden number Train accurac y 7 8 8 7 9 7 9 7 8 8 7.8000 (averag e) 0.9742 (averag e)
0.9597
0.9919
0.9758
敏感性用于feature selection
wing
研究现状及分析Biblioteka 现存的局部泛化误差模型理论
R SM ( Q ) 1 N

SQ
( f ( x ) F ( x )) p ( x ) dx
2

b 1
N
S Q ( xb )
( f ( x ) F ( x )) E S (( y ) ) A
using a sensitivity measure”－－Daniel s. yeung， xiao－qin zeng
敏感性用于sample selection （Active learning）
“ Active Learning Using Localized Generalization Error of Candidate Sample as Criterion”－－Patrick P. K. Chan，Wing W. Y. Ng，Daniel S. Yeung