径向基函数神经网络模型与学习算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例2-4 建立一个径向基神经网络，对非线性函数 y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。
%输入从0开始变化到5，每次变化幅度为0.1 x=0:0.1:5; y=sqrt(x); %建立一个目标误差为0，径向基函数的分布密度为 %0.5，隐含层神经元个数的最大值为20，每增加5个 %神经元显示一次结果 net=newrb(x,y,0,0.5,20,5); t=sim(net,x); %在以输入x和函数值与网络输出之间的差值y-t坐标 %上绘出误差曲线，并用＂*＂来标记函数值与网络输 %出之间的差值 plot(x,y-t,'*-')
➢用RBF作为隐单元的“基”构成隐含层空间，将输入 矢量直接(即不需要通过权连接)映射到隐空间
➢当RBF的中心点确定后，映射关系也就确定 ➢隐含层空间到输出空间的映射是线性的
2.5.1 RBF神经网络模型
径向基神经网络的神经元结构
x1 w1h
x2 w2h
n
y
·
dist
· ·
wih
xm
b
激活函数采用径向基函数
无导师学习过程，求解隐含层基函数的中心与方差；
➢ 第二步，有导师学习阶段
求解隐含层到输出层之间的权值。
高斯函数作为径向基函数
R (xpci)=exp(-2 12
2
xpci )
2.5.2 RBF网络的学习算法
网络的输出(网络结构如图2-21所示 )
x yj= i= h 1w ijex p (-2 12
2.5径向基函数神经网络模型与 学习算法
智能中国网提供学习支持 www.5iai.com
概述
1985年，Powell提出了多变量插值的径向基函 数(Radical Basis Function，RBF)方法
1988年， Moody和Darken提出了一种神经网络 结构，即RBF神经网络
RBF网络是一种三层前向网络 RBF网络的基本思想
2
p ci )
j= 1 ,2 ,L,n
设d是样本的期望输出值，那么基函数的方差 可表示为 :
1 m
Pj
2
dj yjci
2.来自百度文库.2 RBF网络的学习算法
自组织选取中心算法步骤
➢1.基于K-均值聚类方法求取基函数中心
（1）网络初始化。 随机选取 h 个训练样本作为聚类中心ci(i1,2,L,h)。
2.5.2 RBF网络的学习算法
学习算法需要求解的参数 ➢径向基函数的中心 ➢方差 ➢隐含层到输出层的权值
学习方法分类（按RBF中心选取方法的不同分） ➢随机选取中心法 ➢自组织选取中心法 ➢有监督选取中心法 ➢正交最小二乘法等
2.5.2 RBF网络的学习算法
自组织选取中心学习方法
➢ 第一步，自组织学习阶段
进入下一轮的中心求解。
2.5.2 RBF网络的学习算法
➢2.求解方差
RBF神经网络的基函数为高斯函数时，方差可由下式求解：
i
cmax ,i 2h
1,2,L
h
式中 c m a x 为中所选取中心之间的最大距离。
➢3.计算隐含层和输出层之间的权值
隐含层至输出层之间神经元的连接权值可以用最小二乘法 直接计算得到，计算公式如下：
w ex p (cm 2 h axxp ci2) p 1 ,2 ,L,P ;i 1 ,2 ,L,h
2.5.3 RBF网络学习算法的MATLAB实现
RBF网络的MATLAB函数及功能
函数名 newrb() newrbe()
功能 新建一个径向基神经网络 新建一个严格的径向基神经网络
newgrnn() 新建一个广义回归径向基神经网络
以输入和权值向量之间的 d i s距t 离作为自变量
R( dist )=e- dist 2
2.5.1 RBF神经网络模型
径向基神经网络结构
... ... ...
w11
y1
R2
y2
whn
yn
2.5.1 RBF神经网络模型
RBF网络与BP网络比较： ➢RBF网络的输出是隐单元输出的线性加权和， 学习速度加快 ➢BP网络使用sigmoid()函数作为激活函数，这 样使得神经元有很大的输入可见区域 ➢径向基神经网络使用径向基函数（一般使用 高斯函数）作为激活函数，神经元输入空间区 域很小，因此需要更多的径向基神经元
（2）将输入的训练样本集合按最近邻规则分组。
本按的照各x个p 与聚中类心集为合ci p之(p间的1,欧2,L 氏,距P离)中将。x p 分配到输入样
（3）重新调整聚类中心。
中即计心为算Rc 各Bi ，F个神如聚经果类网新集络的合最聚终p类中的中训基心练函不样数再本中发的心生平，变均否化值则，，返则即回所新（得的2到）聚的，类c i
2.5.3 RBF网络学习算法的MATLAB实现
例2-4误差曲线和逼近曲线
小结
背景 RBF网络的基本思想 RBF神经网络模型 高斯函数 RBF网络的学习算法 RBF网络的MATLAB实现 RBF网络的应用
2.5.3 RBF网络学习算法的MATLAB实现
newrbe() ➢功能
建立一个严格的径向基神经网络,严格是指径向基 神经网络的神经元的个数与输入值的个数相等。
➢格式 (1) net = newrb(P，T， SPREAD)
➢说明
各参数的含义见Newrb。
2.5.3 RBF网络学习算法的MATLAB实现
newpnn() 新建一个概率径向基神经网络
2.5.3 RBF网络学习算法的MATLAB实现
newrb()
➢功能
建立一个径向基神经网络
➢格式
net = newrb(P，T，GOAL，SPREAD，MN， DF)
➢说明
P为输入向量，T为目标向量，GOAL为圴方误 差，默认为0，SPREAD为径向基函数的分布密 度，默认为1，MN为神经元的最大数目，DF为 两次显示之间所添加的神经元神经元数目。
%输入从0开始变化到5，每次变化幅度为0.1 x=0:0.1:5; y=sqrt(x); %建立一个目标误差为0，径向基函数的分布密度为 %0.5，隐含层神经元个数的最大值为20，每增加5个 %神经元显示一次结果 net=newrb(x,y,0,0.5,20,5); t=sim(net,x); %在以输入x和函数值与网络输出之间的差值y-t坐标 %上绘出误差曲线，并用＂*＂来标记函数值与网络输 %出之间的差值 plot(x,y-t,'*-')
➢用RBF作为隐单元的“基”构成隐含层空间，将输入 矢量直接(即不需要通过权连接)映射到隐空间
➢当RBF的中心点确定后，映射关系也就确定 ➢隐含层空间到输出空间的映射是线性的
2.5.1 RBF神经网络模型
径向基神经网络的神经元结构
x1 w1h
x2 w2h
n
y
·
dist
· ·
wih
xm
b
激活函数采用径向基函数
无导师学习过程，求解隐含层基函数的中心与方差；
➢ 第二步，有导师学习阶段
求解隐含层到输出层之间的权值。
高斯函数作为径向基函数
R (xpci)=exp(-2 12
2
xpci )
2.5.2 RBF网络的学习算法
网络的输出(网络结构如图2-21所示 )
x yj= i= h 1w ijex p (-2 12
2.5径向基函数神经网络模型与 学习算法
智能中国网提供学习支持 www.5iai.com
概述
1985年，Powell提出了多变量插值的径向基函 数(Radical Basis Function，RBF)方法
1988年， Moody和Darken提出了一种神经网络 结构，即RBF神经网络
RBF网络是一种三层前向网络 RBF网络的基本思想
2
p ci )
j= 1 ,2 ,L,n
设d是样本的期望输出值，那么基函数的方差 可表示为 :
1 m
Pj
2
dj yjci
2.来自百度文库.2 RBF网络的学习算法
自组织选取中心算法步骤
➢1.基于K-均值聚类方法求取基函数中心
（1）网络初始化。 随机选取 h 个训练样本作为聚类中心ci(i1,2,L,h)。
2.5.2 RBF网络的学习算法
学习算法需要求解的参数 ➢径向基函数的中心 ➢方差 ➢隐含层到输出层的权值
学习方法分类（按RBF中心选取方法的不同分） ➢随机选取中心法 ➢自组织选取中心法 ➢有监督选取中心法 ➢正交最小二乘法等
2.5.2 RBF网络的学习算法
自组织选取中心学习方法
➢ 第一步，自组织学习阶段
进入下一轮的中心求解。
2.5.2 RBF网络的学习算法
➢2.求解方差
RBF神经网络的基函数为高斯函数时，方差可由下式求解：
i
cmax ,i 2h
1,2,L
h
式中 c m a x 为中所选取中心之间的最大距离。
➢3.计算隐含层和输出层之间的权值
隐含层至输出层之间神经元的连接权值可以用最小二乘法 直接计算得到，计算公式如下：
w ex p (cm 2 h axxp ci2) p 1 ,2 ,L,P ;i 1 ,2 ,L,h
2.5.3 RBF网络学习算法的MATLAB实现
RBF网络的MATLAB函数及功能
函数名 newrb() newrbe()
功能 新建一个径向基神经网络 新建一个严格的径向基神经网络
newgrnn() 新建一个广义回归径向基神经网络
以输入和权值向量之间的 d i s距t 离作为自变量
R( dist )=e- dist 2
2.5.1 RBF神经网络模型
径向基神经网络结构
... ... ...
w11
y1
R2
y2
whn
yn
2.5.1 RBF神经网络模型
RBF网络与BP网络比较： ➢RBF网络的输出是隐单元输出的线性加权和， 学习速度加快 ➢BP网络使用sigmoid()函数作为激活函数，这 样使得神经元有很大的输入可见区域 ➢径向基神经网络使用径向基函数（一般使用 高斯函数）作为激活函数，神经元输入空间区 域很小，因此需要更多的径向基神经元
（2）将输入的训练样本集合按最近邻规则分组。
本按的照各x个p 与聚中类心集为合ci p之(p间的1,欧2,L 氏,距P离)中将。x p 分配到输入样
（3）重新调整聚类中心。
中即计心为算Rc 各Bi ，F个神如聚经果类网新集络的合最聚终p类中的中训基心练函不样数再本中发的心生平，变均否化值则，，返则即回所新（得的2到）聚的，类c i
2.5.3 RBF网络学习算法的MATLAB实现
例2-4误差曲线和逼近曲线
小结
背景 RBF网络的基本思想 RBF神经网络模型 高斯函数 RBF网络的学习算法 RBF网络的MATLAB实现 RBF网络的应用
2.5.3 RBF网络学习算法的MATLAB实现
newrbe() ➢功能
建立一个严格的径向基神经网络,严格是指径向基 神经网络的神经元的个数与输入值的个数相等。
➢格式 (1) net = newrb(P，T， SPREAD)
➢说明
各参数的含义见Newrb。
2.5.3 RBF网络学习算法的MATLAB实现
newpnn() 新建一个概率径向基神经网络
2.5.3 RBF网络学习算法的MATLAB实现
newrb()
➢功能
建立一个径向基神经网络
➢格式
net = newrb(P，T，GOAL，SPREAD，MN， DF)
➢说明
P为输入向量，T为目标向量，GOAL为圴方误 差，默认为0，SPREAD为径向基函数的分布密 度，默认为1，MN为神经元的最大数目，DF为 两次显示之间所添加的神经元神经元数目。