第8章基于数学原理的神经网络.ppt

W Φ 1d
(8.7)
7
3种常见的径向基函数
8
9
(1) 由于插值曲面必须通过所有训练数据点，当训 练数据中存在噪声时，神经网络将拟合出一个错误的插 值曲面，从而使其泛化能力下降。
(2)由于径向基函数的数量与训练样本数量相等，当 训练样本数远远大于物理过程中固有的自由度时，插值 矩阵求逆时可能导致不稳定。
(1). 径向基函数的扩展常数
d max
2M
13
(2). 输出层的权值
∵
W Φ 1d
∴ 只要得到插值矩阵Φ，即可由上式解出W。
11 12 1P w1 d1
21
22
2
P
w2
d
2
P1
P2
PP
wp
d
p
将所有样本输入一遍，即可得到矩阵Φ 。
14
8.1.3模式可分性观点与广义RBF网络
p 1
P
w p ( X 2 X p ) d 2
p 1
P
w p ( X P X p ) d P
p 1
(8.4)
5
令 ip ( X i X p )，i=1, 2, …, P，p=1, 2, …, P， 则上述方程组可改写为
P
w p1p d 1
p 1
P
w p2p d 2
p 1
P
w pPp d P
设N维空间有P个数据点 Xp ，p=1, 2, …, P ，在输出 空间相应的目标值为dp，p=1, 2, …, P。插值问题是寻 找一个非线性映射函数F(X)，使其满足下述插值条件
F(Xp)=d p， p=1, 2, …, P (8.1)
式中，函数F描述了一个插值曲面。 严格插值或精确插值：是一种完全内插，即该插值
10
8.1.2 正则化RBF网络
1、正则化RBF网络的结构与特点
能够实现完全内插的输入- 输出映射函数有很多，若 输入- 输出映射函数是光滑的，则问题的解是连续的，意
味着相似的输入对应着相似的输出。
正则化理论表明，当映射函数F(X)的基函数为Green 函数时，可保证函数的光滑性。
P
F ( X ) wpG( X , X p ) p 1
p 1
11 12 1P w1 d1
21
22
2P
w2
Leabharlann Baidu
d
2
P1
P2
PP
wp
d
p
(8.5)
6
令Φ表示元素为φip的P×P阶矩阵，W和d分别表示 系数向量和期望输出向量，式(8.5)还可写成下面的向量
形式
ΦW d
(8.6)
式中Φ称为插值矩阵。若Φ为可逆矩阵，就可以从式 (8.6)中解出系数向量W，即
21
3、 广义RBF网络设计方法
根据数据中心的取值方法，RBF网的设计方法可 分为两类。
第一类方法：数据中心从样本输人中选取。一般来说，样 本密集的地方中心点可以适当多些，样本稀疏的地方中心点可 以少些；若数据本身是均匀分布的，中心点也可以均匀分布， 总之，选出的数据中心应具有代表性。
第八章 基于数学原理的神经网络
除了的多层感知器外，径向基函数神经网络 (Radial Basis Function Neural Network，RBF网) 是另一类常用的3层前馈网络，也可用于函数逼近 及分类。
与BP网相比， RBF网结构更简洁，学习速度 也更快。
本章介绍RBF网的结构、工作原理和常用学习 算法。
Green函数的一个重要例子是多元Gauss函数，定
义为
G(
X
,
X
p
)
exp
1
2
2 p
X
X
p
2
11
G(X,X1)
y1
∑
x1
G(X,X2)
y2
x2
∑
xN
G(X,XP)
…
∑ yl
正则化RBF网络
12
2、RBF网络常用学习算法
当采用正则化RBP网络结构时，隐节点数即样本数， 基函数的数据中心即为样本本身，参数设计只需考虑扩展 常数和输出节点的权值。
1
8.1径向基函数RBF
8.1.1 基于径向基函数技术的函数逼近与内插 对于RBF网络工作原理的理解可基于2种不
同的角度： ①当用RBF网络解决非线性映射问题时，用 函数逼近与内插的观点来理解； ②当用RBF网络解决复杂的模式分类任务时， 用模式可分性观点来理解。
2
1963年Davis提出高维空间的多变量插值理论。径向 基函数是20世纪80年代后期Powell解决多变量有限点 插值问题时引入的。
射到高维空间将比投射到低维空间更可 能是线性可分的。
16
设有一组函数构成的向量 (X) 1(X),2(X),,M (X) ，
将N维空间的P个点映射到M维φ空间(M>N) ，如果在该M
维φ空间存在M维向量W，使得
W T( X ) 0,
W
T(
X
)
0,
X F1 X F2
则由线性方程WTφ(X)=0确定了M维φ空间中的一个分界 超平面。
曲面必须通过所有数据点。
3
选择P个基函数，每一个基函数对应一个训 练数据，各基函数的形式为
( X X p ) , p=1, 2, …, P (8.2)
基于径向基函数技术的插值函数定义为基函数的线
性组合
P
F ( X ) wp( X X p )
(8.3)
p 1
Xp
4
P
w p ( X 1 X p ) d1
17
2、 广义RBF网络
由于正则化网络的训练样本与“基函数”是一一对应 的。当样本数P很大时，实现网络的计算量将大得惊人。 为解决这一问题，可减少隐节点的个数，即
N< M< P
N为样本维数， P为样本个数，从而得到广义RBF网络。
18
广义RBF网络的基本思想是： 用径向基函数作为非线性变换函数，构成 隐层空间。隐层对输入向量进行变换，将低维 输入空间的模式变换到高维隐层空间内，使得 在低维空间中线性不可分问题在高维空间中变 得线性可分。
1、模式的可分性
若N维输入样本空间的样本模式是线性可分 的，总存在一个用线性方程描述的超平面，使两 类线性可分样本截然分开。
若两类样本是非线性可分的，则不存在一个 这样的分类超平面。但根据Cover定理，非线性 可分问题可能通过非线性变换获得解决。
15
Cover定理： 将复杂的模式分类问题非线性地投
19
广
y1 … yk … yl
义
○W1 ○Wk ○Wl
R
T
B
φ0 φ1
…φ2
…φj
φ
F
m
网
○
○○
○
○
络
x1
x2 … xi
… xn-1
xn
20
广义RBF网络与正则化RBF网络有以下几点不同： ⑴径向基函数的数目M与样本数P不相等，且M<P。 ⑵径向基函数的中心不再限于数据点，由训练算法确定。 ⑶各径向基函数的扩展常数不再统一，其值由训练算法确 定。 ⑷输出函数的线性中包含阈值参数，用于补偿基函数在样 本集上的平均值与目标值之平均值之间的差别。