人工神经网络理论与应用 第6章 RBF神经网络

。
，int(x)表示对x进行取整运 算。因此经过S1个样本之后，学习速率逐渐减至零。
• (4)判断聚类质量。
• 当满足
• 时，聚类结束，否则转到第(2)步。
14
2. 有监督学习阶段
• 确定好隐含层的参数后，利用最小二乘法原则求出隐含 层到输出层的连接权wki。
• 当ci确定以后，训练隐含层至输出层之间的连接权值， 由于输出层传递函数使用的是线性函数，则求连接权值
2
• RBF神经网络的结构与多层前向网络类似，是一种具有 单隐层的三层前向神经网络。输入层由信号源节点组成， 隐含层是单神经元层，但神经元数可视所描述问题的需 要而定，输出层对输入的作用作出响应。从输入层空间 到隐含层空间的变换是非线性的，而从隐含层空间到输 出层空间的变换是线性的。隐含层神经元的变换函数是 RBF，它是一种局部分布的中心径向对称衰减的非负非 线性函数。
• 输出层传递函数采用线性函数，隐含层到输出层的信号
传递实现了y1(x)→y2的线性映射，即
•
式
中
，
y
i
1
是
第
i个
隐
节点的
输
出
，
y
2 i
是
第k个隐
节
点
的输
出
，
w
k
2 i
是
隐
含
层
到
输
出
层
的
加
权
系
数
，Байду номын сангаас
b
2 k
是
隐
含
层
的
阈值。
11
6.3 RBF神经网络算法
• 假设RBF神经网络有N个训练样本，则系统对所有N个 训练样本的总误差函数为
• (4) 从理论上而言，RBF神经网络和BP神经网络一样可 近似任何的连续非线性函数。两者的主要不同点是在非 线性映射上采用了不同的作用函数。BP神经网络隐含层 激活函数使用的是Sigmoid函数，其函数值在输 入 空间 中无限大的范围内为非零值，即该激活函数为全局的； 而RBF神经网络隐含层激活函数使用的是高斯函数，即 它的作用函数是局部的。
23
★案列一 解（1）创建、训练、储存RBF神经网络。
clear all;
16
• 1) 直接计算法（随机选取RBF神经网络中心）
RBF神经网络隐含层节点的中心是随机地在输人样本中 选取，且中心固定。当隐含层节点中心固定时，隐含层 的输出随之确定下来，则求解 RBF神经网络隐含层到输 出层的连接权值就相当于求解线性方程组。
• 2) 自组织学习选取RBF神经网络中心
RBF神经网络隐含层节点的中心不是固定不变的，而是 需要通过自组织学习确定其位置，隐含层到输出层的连 接权值则是通过有监督的学习来确定的。自组织学习选 取RBF神经网络中心法是采用k均值聚类法来选择RBF 神 经网络的中心，属于无监督的学习方法。该方法是对神 经网络资源的再分配，通过学习使 RBF神经网络的隐含 层节点中心位于输入空间重要的区域。
10
• 式 中 ， y i 1 是 RBF神经网络第i个隐节点的输出，σi是第i 个隐节点的扩展常数，S1是隐节点个数，x = (x1, x2,…, xR)T是输入样本，ci是第i个隐含层隐节点高斯激活径向 基函数的中心向量，此向量是一个与输入样本x的维数 相同的列向量，即ci = (ci1,ci2,…, ciR)T。由式(6-11)可知， 隐含层节点的输出范围在0和1之间，且输入样本愈靠近 节点的中心，输出值愈大。
• 式中，N为输入输出样本对数，S1为RBF神经网络输出
节点数，tkp表示在样本p作用下的第k个神经元的期望输 出，表示在样本p作用下的第k个神经元的实际输出。
• RBF神经网络的学习过程分为两个阶段，无监督学习阶
段和有监督学习阶段。
1. 无监督学习阶段
• 根据所有的输入样本决定隐含层各节点的高斯径向基函
数的中心向量ci和标准化常数σi。
12
• 无监督学习是对所有样本的输入进行聚类，求得RBF神 经网络各隐含层节点的RBF神经网络的中心向量ci。无 监督学习这里使用k均值聚类算法调整中心向量ci，即此 算法就是将训练样本集中的输入向量分为若干族，在每 个数据族内找出一个径向基函数中心向量，使得该族内 各样本向量距与该族中心的距离最小。具体步骤如下：
7
2. RBF神经网络结构
• RBF神经网络由输入层、单隐含层、输出层三层组成， 其结构如图6-2所示。
图6-2 RBF神经网络的结构原理图
图6-2中，n1为RBF神经网络隐含层的中间运算结果，其 表达式为
8
• 式中，diag(x)表示取矩阵向量主对角线上的元素组成的 列向量。
• RBF神经网络隐含层的输出y1为
• BP神经网络用于函数逼近时，权值的调节采用负梯度下 降法，这种权值调节的方法存在着收敛速度慢和局部极 小等局限性。同时，BP 神经网络在训练过程中需要对 网络中的所有权值和阈值进行修正，属于全局逼近的神 经网络。
3
• 而RBF 神经网络在逼近能力、分类能力和学习速度等方 面均优于BP神经网络。另外，尽管RBF神经网络比BP 神经网络需要更多的神经元，但是它能够按时间片来优 化训练网络。因此，RBF神经网络是一种局部逼近性能 非常好的神经网络结构，有学者证明它能以任意精度逼 近任一连续函数。
人工神经网络及应用
第六章 RBF神经网络
1
6.1 概述
• 径向基函数(Radial Basis Function, RBF)是一个取值仅 取决于到原点距离的实值函数，记作 (x) ( x )，也可以 是到任意一中心点c的距离，即 (x,c) ( x c )。任何一个 满足上述特性的函数都可以称为RBF。
21
• (5)与BP神经网络收敛速度慢的缺点相反，RBF神经网 络学习速度很快，适于在线实时控制。这是因为RBF神 经网络把一个难题分解成两个较易解决的问题的缘故。 首先，通过若干个隐含层节点，用聚类方式覆盖全部样 本模式。然后，修改隐含层到输出层的连接权值，以获 得最小映射误差。这两步都是比较直观的。
• RBF神经网络的基本思想是用径向基函数作为隐含层隐 单元的“基”构成隐含层空间，隐含层对输入矢量向量 进行变换，将低维空间的输入数据变换映射到高维空间 内，使得在低维空间线性不可分的问题，在高维空间在 高维空间实现线性可分。
• 假设RBF神经网络的输入向量x为R维，输出向量y2为S2 维，输入输出样本长度为N。RBF神经网络隐含层的传 递函数由径向基函数构成，通常选用式(6-4)所示的高斯 函数。输入层节点传递输入信号到隐含层，实现了 x→y1(x)的非线性映射,即
• 另外，由于当x远离ci时，yi1(x)非常小，因此可作0对 待。 实际上仅当yi1(x)大于某一数值 (例如 0.05)时才对 相应 的权值wki进行修改，经这样处理后RBF神经网络也同样 具备局部逼近网络学习收敛快的优点。
• 对于RBF神经网络的学习算法，关键问题是隐含层节点 中心参数的合理确定。常用的方法是从给定的训练样本 集里按照某种方法直接选取，或者是采用聚类的方法确 定。以下是RBF神经网络的几种学习算法：
5
6.2 RBF神经网络结构和原理
1. RBF神经元模型
• RBF神经元模型如图6-1所示。
• 在图6-1中，
图6-1 RBF神经元模型
为欧式距离，用函数式可表示为
6
• 另外，净值运算n为RBF神经元的中间运算结果，可由 式(6-2)表式为
• RBF神经元模型的输出y为 • 上式中，rbf(x)为径向基函数，常见的形式有
•(2) 径向基函数，即径向对称函数有多种。对于同一组 样本，如何选择合适的径向基函数、确定隐含层节点数 等参数，从而使RBF神经网络学习达到所要求的精度， 目前还无法解决。当前，用计算机选择、设计、再检验 是一种通用的手段。
20
• (3) RBF神经网络用于非线性系统辨识与控制，已证明 RBF神经网络具有唯一最佳逼近的特性 ， 且无局部极小 值。虽具有唯一最佳逼近的特性，以及无局部极小的优 点，但隐含层节点的中心难求，这是RBF神经网络难以 广泛应用的原因。
17
• 3) 有监督学习选取RBF神经网络中心法 通过训练样本集来获得满足监督要求的RBF神经网络隐 含层节点中心、隐含层到输出层连接权值等参数。常用 的方法是梯度下降法。 • 4) 正交最小二乘法选取RBF神经网络中心法 正交最小二乘法（Orthogoal Least Square, OLS)的思想 来源于线性回归模型。RBF神经网络的输出实际上是隐 含层神经元的响应参数(如回归因子)和隐含层到输出层连 接权值的线性组合。所有隐含层神经元上的回归因子构 成回归向量，因此RBF神经网络的学习过程主要是回归 向量正交化的过程。
4
• 另外，RBF神经网络能够逼近任意的非线性函数， 可以处理系统内难以解析的规律性，具有良好的泛化能 力，并有很快的学习收敛速度。当有很多的训练向量时， 这种网络很有效果。目前，RBF神经网络已在非线性函 数逼近、时间序列分析、数据分类、模式识别、信息处 理、图像处理、系统建模、控制和故障诊断等多种场合 得到了成功应用。
22
6.5 应用案例
★案列一 给定输入向量p = -1 : 0.1 : 1和目标向量t = [0.0596
0.6820 0.0424 0.0714 0.5216 0.0967 0.8181 0.8175 0.7224 0.1499 0.6596 0.5186 0.9730 0.6490 0.8003 0.4538 0.4324 0.8253 0.0835 0.1332]，设计一个RBF神 经网络，完成y = f（x）的曲线拟合。
• n2为RBF输出层的中间运算结果，可由式(6-9)表示为
• RBF神经网络的输出y2为
• 隐含层节点中的径向基函数对输入信号在局部产生响应， 即当输入信号靠近该函数的中央范围时，隐含层节点将 产生较大的输出。因此，RBF神经网络具有局部逼近能 力，RBF神经网络也被称为局部感知场网络。
9
3. RBF神经网络原理
18
• 在很多实际问题中，RBF神经网络隐含层节点中心并非 是训练集中的某些样本点或样本的聚类中心，而是需要 通过学习的方法获得的，才能使所得到的隐含层节点中 心能够更好地反应训练集数据所包含的信息。
19
6.4 RBF神经网络的相关问题
• (1) RBF神经网络输 入 层到隐含层不是通过权值和阈值 进行连接的，而是通过输入样本与隐含层节点中心之间 的距离连接的。训练RBF神经网络时，需要确定隐含层 节点的个数、隐含层径向基函数中心、标准化常数以及 隐含层到输出层的权值等参数。到目前为止，求RBF神 经网络隐含层径向基函数的中心向量ci和标准化常数σi 是一个困难的问题。
• RBF人工神经网络以其独特的信息处理能力在许多领域 得到了成功的应用，它不仅具继承了神经网络强大的非 线性映射能力，而且具有自适应、自学习和容错性等， 能够从大量的历史数据中进行聚类和学习，进而得到某 些行为变化的规律。同时，RBF神经网络是一种新颖有 效的前馈式神经网络，具有最佳局部逼近和全局最优的 性能，且训练方法快速易行，这些优点使得RBF神经网 络在非线性时间序列预测中得到了广泛的应用。
• (1)给定各隐含层节点的初始中心向量ci(0)和判定停止计 算的误差阈值的为ε。
• (2)计算欧氏距离并求出最小欧式距离的节点:
• 式中，p为样本序号，r为中心向量ci(p-1)与输入样本x(p) 距离最近的隐含层节点序号。
13
• (3)调整RBF神经网络隐含层径向基函数的中心向量：
• 式中， 是学习速率，
• 1971年，Hardy用RBF来处理飞机外形设计曲面拟合问 题，取得了非常好的效果。
• 1985年，英国剑桥大学数学家Powell提出了多变量插值 的RBF方法。
• 20世纪末期，Broomhead、Lowe、Moody、Darken等 科 学 家 先 后 将 RBF 应 用 于 神 经 网 络 设 计 ， 提 出 了 一 种 RBF神经网络结构，即RBF神经网络。
的问题即相当于线性优化问题。因此，与线性网络相类
似，RBF神经网络神经网络隐含层到输出层连接权值wki 的学习算法为
• 式中， η为学习速率，通常取 出分量的期望值和实际值。
，yi1(x)为径向基函数。 。tk和yk分别表示第k个输
15
• 由于向量y1中只有少量几个元素为1，其余均为零，因 此在一次数据训练中只有少量的连接权值需要调整。正 是由于这个特点，才使得RBF神经网络具有比较快的学 习速度。