Matlab教程课件-RBF神经网络(my)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
局部逼近网络 学习速度快，有可能满足有实时性要求的应用
对网络输入空间的某个局 部区域只有少数几个连接 权影响网络的输出，则称
该网络为局部逼近网络
RBF网络的工作原理
函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF网络相当于用隐层单元的输出构 成一组基函数，然后用输出层来进行线性组合，以完成 逼近功能。
a2=radbas(p-1.5); a3=radbas(p+2); a4=a+a2*1+a3*0.5; figure; plot(p,a,'b-',p,a2,'b-',p,a3,'b-',p,a4,'m--'); title('径向基传递函数之和') xlabel('输入p') ylabel('输出a')
径向基函数 取统一的扩展常数
径向基函数的扩展常数 不再统一由训练算法确定
没有设置阈值
输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的
平均值与目标值之平均值之间的差别。
函数逼近问题（内插值）
一般函数都可表示成一组基函数的线性组合，
RBF网络相当于用隐层单元的输出构成一组基函数，
然后用输出层来进行线性组合，以完成逼近功能。
grid on
% 应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值 进行调整，从而进行函数逼近，预先设定均方差精度为eg以及散布常数sc。 eg=0.02; sc=1; net=newrb(P,T,eg,sc);
3.网络测试：将网络输出和期望值随输入向量变化 的曲线绘制在一张图上，就可以看出网络设计是 否能够做到函数逼近。
2.网络设计：设计一个径向基函数网络，网络有两层，隐含层 为径向基神经元，输出层为线性神经元。
p=-3:0.1:3; a=radbas(p); figure; plot(p,a) title('径向基传递函数') xlabel('输入p') ylabel('输出a')
grid on
% 每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将 这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确， 那么径向基函数网络就完全能够精确的逼近任意函数。
-0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201]; %以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。 figure; plot(P,T,'+') title('训练样本') xlabel('输入矢量P') ylabel('目标矢量T') grid on %目的是找到一个函数能够满足这21个数据点的输入/输出关系，其中一个方法是通 过构建径向基函数网络来进行曲线拟合
①给定样本数据
P {p1, p2 pi pQ},
②寻找函数，使其满足：ti F( pi )
பைடு நூலகம்
T {t1,t2 ti
1i Q
tQ}
G( P C1
p1
p2
G( P C2
w2w1
F P
pQ
wQ
G( P CQ )
1.网络隐层使用Ｑ个隐节点。 2.把所有Ｑ个样本输入分别作为Ｑ个隐节点的中心。 3.各基函数取相同的扩展常数。 4.确定权值可解线性方程组：
反演S型函数： r
拟多二次函数：
1
r
1
exp
r2
2
1
r 2 2
1
/
2
σ 称为基函数的扩展常数 或宽度， σ越小，径向基 函数的宽度越小，基函数 就越有选择性。
全局逼近和局部逼近
当神经网络的一个或多个可 调参数(权值和阈值)对任何 一个输出都有影响，则称该 神经网络为全局逼近网络。
全局逼近网络 学习速度很慢，无法满足实时性要求的应用
广义网络GN
模式分类
基本思想： 用径向基函数作为隐单元的“基”，构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维 空间内的线性不可分问题在高维空间内线性可分。
两种模型的比较
RN
隐节点=输入样本数
所有输入样本设为 径向基函数的中心
GN
隐节点＜输入样本数
径向基函数的中心 由训练算法确定
RBF网络特点
只有一个隐层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线
性函数。 隐层节点激活函数的净输入是输入向量与节点中心的距离
（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问
Q
RBF网络输出 F( pi ) wj( pi cj ) j1
举例：RBF网络实现函数逼近
1.问题的提出：假设如下的输入输出样本，输入向量为[-1 1] 区间上等间隔的数组成的向量P,相应的期望值向量为T。
P=-1:0.1:1; T=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344
Q
wjG( pi p j ) ti 1 i Q
j 1
设第j 个隐节点在第i个样本的输出为：ij G( pi p j )
可矩阵表示：W T,若R可逆，则解为 W 1T
根据Micchelli定理可得，如果隐节点激活函数采用 径向基函数，且p1, p2 ,..., pQ 各不相同，则线性方程组 有唯一解。
分类： 解决非线性可分问题。RBF网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分类功能。
RBF神经网络两种模型
正规化网络RN 通用逼近器
基本思想： 通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映射 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。
题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输
入输出映射时，在相同逼近精度要求下，RBF所需的时间要 比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。
径向基函数（RBF）
1.
Gauss（高斯）函数：r
exp
r2
2 2
2. 3.
对网络输入空间的某个局 部区域只有少数几个连接 权影响网络的输出，则称
该网络为局部逼近网络
RBF网络的工作原理
函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF网络相当于用隐层单元的输出构 成一组基函数，然后用输出层来进行线性组合，以完成 逼近功能。
a2=radbas(p-1.5); a3=radbas(p+2); a4=a+a2*1+a3*0.5; figure; plot(p,a,'b-',p,a2,'b-',p,a3,'b-',p,a4,'m--'); title('径向基传递函数之和') xlabel('输入p') ylabel('输出a')
径向基函数 取统一的扩展常数
径向基函数的扩展常数 不再统一由训练算法确定
没有设置阈值
输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的
平均值与目标值之平均值之间的差别。
函数逼近问题（内插值）
一般函数都可表示成一组基函数的线性组合，
RBF网络相当于用隐层单元的输出构成一组基函数，
然后用输出层来进行线性组合，以完成逼近功能。
grid on
% 应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值 进行调整，从而进行函数逼近，预先设定均方差精度为eg以及散布常数sc。 eg=0.02; sc=1; net=newrb(P,T,eg,sc);
3.网络测试：将网络输出和期望值随输入向量变化 的曲线绘制在一张图上，就可以看出网络设计是 否能够做到函数逼近。
2.网络设计：设计一个径向基函数网络，网络有两层，隐含层 为径向基神经元，输出层为线性神经元。
p=-3:0.1:3; a=radbas(p); figure; plot(p,a) title('径向基传递函数') xlabel('输入p') ylabel('输出a')
grid on
% 每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将 这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确， 那么径向基函数网络就完全能够精确的逼近任意函数。
-0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201]; %以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。 figure; plot(P,T,'+') title('训练样本') xlabel('输入矢量P') ylabel('目标矢量T') grid on %目的是找到一个函数能够满足这21个数据点的输入/输出关系，其中一个方法是通 过构建径向基函数网络来进行曲线拟合
①给定样本数据
P {p1, p2 pi pQ},
②寻找函数，使其满足：ti F( pi )
பைடு நூலகம்
T {t1,t2 ti
1i Q
tQ}
G( P C1
p1
p2
G( P C2
w2w1
F P
pQ
wQ
G( P CQ )
1.网络隐层使用Ｑ个隐节点。 2.把所有Ｑ个样本输入分别作为Ｑ个隐节点的中心。 3.各基函数取相同的扩展常数。 4.确定权值可解线性方程组：
反演S型函数： r
拟多二次函数：
1
r
1
exp
r2
2
1
r 2 2
1
/
2
σ 称为基函数的扩展常数 或宽度， σ越小，径向基 函数的宽度越小，基函数 就越有选择性。
全局逼近和局部逼近
当神经网络的一个或多个可 调参数(权值和阈值)对任何 一个输出都有影响，则称该 神经网络为全局逼近网络。
全局逼近网络 学习速度很慢，无法满足实时性要求的应用
广义网络GN
模式分类
基本思想： 用径向基函数作为隐单元的“基”，构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维 空间内的线性不可分问题在高维空间内线性可分。
两种模型的比较
RN
隐节点=输入样本数
所有输入样本设为 径向基函数的中心
GN
隐节点＜输入样本数
径向基函数的中心 由训练算法确定
RBF网络特点
只有一个隐层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线
性函数。 隐层节点激活函数的净输入是输入向量与节点中心的距离
（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问
Q
RBF网络输出 F( pi ) wj( pi cj ) j1
举例：RBF网络实现函数逼近
1.问题的提出：假设如下的输入输出样本，输入向量为[-1 1] 区间上等间隔的数组成的向量P,相应的期望值向量为T。
P=-1:0.1:1; T=[-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344
Q
wjG( pi p j ) ti 1 i Q
j 1
设第j 个隐节点在第i个样本的输出为：ij G( pi p j )
可矩阵表示：W T,若R可逆，则解为 W 1T
根据Micchelli定理可得，如果隐节点激活函数采用 径向基函数，且p1, p2 ,..., pQ 各不相同，则线性方程组 有唯一解。
分类： 解决非线性可分问题。RBF网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分类功能。
RBF神经网络两种模型
正规化网络RN 通用逼近器
基本思想： 通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映射 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。
题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输
入输出映射时，在相同逼近精度要求下，RBF所需的时间要 比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。
径向基函数（RBF）
1.
Gauss（高斯）函数：r
exp
r2
2 2
2. 3.