神经网络(RBF)讲课
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Moody 和 Darken 在 1989 年 发 表 文 章 《Fast learning in network of locallytunedprocessing units》，提出一种含有局部响应特性的神经网络，这种网络实际上 与Broomhead和Lowe提出的RBF神经网络是一致的，他们还提出了RBF神经网络的 训练方法。
RBF网络学习算法的MATLAB实现
RBF网络的MATLAB函数及功能
函 数 名 newrb() 功 能
新建一个径向基神经网络
newrbe()
newgrnn() newpnn()
新建一个严格的径向基神经网络
新建一个广义回归径向基神经网络 新建一个概率径向基神经网络
RBF网络学习算法的MATLAB实现
RBF网络学习算法的MATLAB实现
• 例 建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并 作出网络的逼近误差曲线。
%输入从0开始变化到5，每次变化幅度为0.1 x=0:0.1:5; y=sqrt(x); %建立一个目标误差为0，径向基函数的分布密度为 %0.5，隐含层神经元个数的最大值为20，每增加5个 %神经元显示一次结果 net=newrb(x,y,0,0.5,20,5); t=sim(net,x); %在以输入x和函数值与网络输出之间的差值y-t坐标 %上绘出误差曲线，并用＂*＂来标记函数值与网络输 %出之间的差值 plot(x,y-t,'*-')
n b
y
wih
• 激活函数采用径向基函数
• 以输入和权值向量之间的 距离作为自变量
径向基函数（RBF）
σ 称为基函数的扩展常数 或宽度， σ越小，径向基 函数的宽度越小，基函数 就越有选择性。
r 1. Gauss（高斯）函数：
2 r exp 2 2
r 2 r 2. 反演S型函数： 1 exp 2
1
3. 拟多二次函数： r
r
1
2
2
1/2
RBF神经网络模型
• 径向基神经网络结构
RBF神经网络模型
RBF神经网络工作原理
• RBF的非线性分类能力是什么？
RBF神经网络工作原理
K-MEANS聚类总结
• 缺点： • 在簇的平均值被定义的情况下才能使用，不适涉及有分类属性的数据 • 必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同 的初始值，可能会导致不同结果。 • 不适合于发现非凸面形状的簇或者大小差别很大的簇
• 对躁声和孤立点数据敏感 • 算法常以局部最优结束
RBF网络学习算法的MATLAB实现
• 例 误差曲线和逼近曲线
举例：RBF网络实现函数逼近
1.问题的提出：假设如下的输入输出样本，输入向量为[-1 1]区间上等间隔的数组 成的向量P,相应的期望值向量为T。
3.网络测试：将网络输出和期望值随输入向量变化 的曲线绘制在一张图上，就可以看出网络设计是 否能够做到函数逼近。
• newrb()
• 功能 • 建立一个径向基神经网络 • 格式 • net = newrb(P，T，GOAL，SPREAD，MN，DF) • 说明 • P为输入向量，T为目标向量，GOAL为圴方误差，默认为0， SPREAD为径向基函数的分布密度，默认为1，MN为神经元的最 大数目，DF为两次显示之间所添加的神经元神经元数目。
• 固定中心法 • 自组织选取中心法
• 有监督选取中心法
基于K-MEANS聚类方法求取基函数中心
• K-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚 类算法。
• 算法首先随机地选择k个对象，每个对象初始地代表了一个簇的平均 值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它赋给 最近的簇。然后重新计算每个簇的平均值。这个过程不断重复，直到 准则函数收敛。
x 1
2
2
e1 0.3679
RBF神经网络工作原理
• RBF解决异或问题
x2 1 R(x2) 1
0.1353
0
1
x1
0
0.3679
1
R(x1)
空间变换前
Fra Baidu bibliotek空间变换后
RBF网络的学习算法
• 学习算法需要求解的参数
• 径向基函数的中心 • 方差 • 隐含层到输出层的权值
• 学习方法分类（按RBF中心选取方法的不同分）
•
RBF网络的基本思想
• 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权 连接)映射到隐空间 • 当RBF的中心点确定后，映射关系也就确定 • 隐含层空间到输出空间的映射是线性的
RBF神经网络模型
• 径向基神经网络的神经元结构
x1 x2 xm
· · ·
w1h w2h
dist
谢谢聆听
•
发展简史
• 以后的研究者针对以前研究中存在的问题与不足提出了许多改进的方法，比如 Chen 提 出 的 OLS(Orthogonal Least Squares) 算 法 ； S.Lee 等 人 提 出 的 HSOL (Hierarchically Self-Organizing Learning) 算 法 ； Platt 提 出 的 RAN(Resource Allocating Network) 在 线 学 习 算 法 ； Kadirkamanathan 和 Niranjan 提 出 的 RANEKF(RAN via Extended Kalman Filter)算法等。 RBF 神经网络主要用于解决模式分类和函数逼近等问题。在数学上，RBF神经 网络结构的合理性可由 Cover 定理得到保证，即对于一个模式问题，在高维数据空 间中可能解决在低维空间中不易解决的分类问题。它以径向基函数作为隐节点的激 活函数，具有收敛速度快、逼近精度高、网络规模小等特点。
2
y
输出 x1 1 0 0 1 x2 0 1 0 1
1 0 0 1
R1 ( x ) e
1 1 1
0.3679 0.3679 0.1353 1
R2 ( x ) e
x 2
2
2 0
0
x 1 ( x1 1)2 ( x2 1)2 1 R1 ( x ) e
• 准则函数常常使用最小平方误差MSE • Minimum Squared-Error
K-MEANS算法过程
K-MEANS初值敏感
K-MEANS聚类总结
• 算法复杂度O(nkt)，其中t是迭代次数。
• 优点： • 是解决聚类问题的一种经典算法，简单、快速 • 对处理大数据集，该算法保持可伸缩性和高效率 • 当结果簇是密集的，而簇与簇之间区分明显时，它的效果 较好 • 常常用于其他聚类算法的一个阶段，如谱聚类
空间1
变换 空间变换
空间2
不易解决问题
空间1 线性不可分
易解决问题
空间2 线性可分
RBF神经网络工作原理
• RBF解决异或问题
X1 X2
输入
R1(X)
x1
x2 0 1 0 1 R1(X)
y 0 0 1 1 R2(X) 0.3679 0.3679 1 0.1353
∑
R2(X)
径向基神经元
x 1
RBF径向基函数神经网络
汇报人：
结构思路
• 发展简史 • 基本思想 • 径向基函数（高斯函数） • 神经网络模型 • 工作原理 • 学习算法
• MATLAB实现
发展简史
• Broomhead和Lowe最早将RBF (Radical Basis Function）用于神经网络设计之中。 他们在1988年发表的论文《Multivariable functional interpolation and adaptive networks》中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点， 进而提出了一种三层结构的RBF神经网络。
RBF网络学习算法的MATLAB实现
RBF网络的MATLAB函数及功能
函 数 名 newrb() 功 能
新建一个径向基神经网络
newrbe()
newgrnn() newpnn()
新建一个严格的径向基神经网络
新建一个广义回归径向基神经网络 新建一个概率径向基神经网络
RBF网络学习算法的MATLAB实现
RBF网络学习算法的MATLAB实现
• 例 建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并 作出网络的逼近误差曲线。
%输入从0开始变化到5，每次变化幅度为0.1 x=0:0.1:5; y=sqrt(x); %建立一个目标误差为0，径向基函数的分布密度为 %0.5，隐含层神经元个数的最大值为20，每增加5个 %神经元显示一次结果 net=newrb(x,y,0,0.5,20,5); t=sim(net,x); %在以输入x和函数值与网络输出之间的差值y-t坐标 %上绘出误差曲线，并用＂*＂来标记函数值与网络输 %出之间的差值 plot(x,y-t,'*-')
n b
y
wih
• 激活函数采用径向基函数
• 以输入和权值向量之间的 距离作为自变量
径向基函数（RBF）
σ 称为基函数的扩展常数 或宽度， σ越小，径向基 函数的宽度越小，基函数 就越有选择性。
r 1. Gauss（高斯）函数：
2 r exp 2 2
r 2 r 2. 反演S型函数： 1 exp 2
1
3. 拟多二次函数： r
r
1
2
2
1/2
RBF神经网络模型
• 径向基神经网络结构
RBF神经网络模型
RBF神经网络工作原理
• RBF的非线性分类能力是什么？
RBF神经网络工作原理
K-MEANS聚类总结
• 缺点： • 在簇的平均值被定义的情况下才能使用，不适涉及有分类属性的数据 • 必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同 的初始值，可能会导致不同结果。 • 不适合于发现非凸面形状的簇或者大小差别很大的簇
• 对躁声和孤立点数据敏感 • 算法常以局部最优结束
RBF网络学习算法的MATLAB实现
• 例 误差曲线和逼近曲线
举例：RBF网络实现函数逼近
1.问题的提出：假设如下的输入输出样本，输入向量为[-1 1]区间上等间隔的数组 成的向量P,相应的期望值向量为T。
3.网络测试：将网络输出和期望值随输入向量变化 的曲线绘制在一张图上，就可以看出网络设计是 否能够做到函数逼近。
• newrb()
• 功能 • 建立一个径向基神经网络 • 格式 • net = newrb(P，T，GOAL，SPREAD，MN，DF) • 说明 • P为输入向量，T为目标向量，GOAL为圴方误差，默认为0， SPREAD为径向基函数的分布密度，默认为1，MN为神经元的最 大数目，DF为两次显示之间所添加的神经元神经元数目。
• 固定中心法 • 自组织选取中心法
• 有监督选取中心法
基于K-MEANS聚类方法求取基函数中心
• K-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚 类算法。
• 算法首先随机地选择k个对象，每个对象初始地代表了一个簇的平均 值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它赋给 最近的簇。然后重新计算每个簇的平均值。这个过程不断重复，直到 准则函数收敛。
x 1
2
2
e1 0.3679
RBF神经网络工作原理
• RBF解决异或问题
x2 1 R(x2) 1
0.1353
0
1
x1
0
0.3679
1
R(x1)
空间变换前
Fra Baidu bibliotek空间变换后
RBF网络的学习算法
• 学习算法需要求解的参数
• 径向基函数的中心 • 方差 • 隐含层到输出层的权值
• 学习方法分类（按RBF中心选取方法的不同分）
•
RBF网络的基本思想
• 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权 连接)映射到隐空间 • 当RBF的中心点确定后，映射关系也就确定 • 隐含层空间到输出空间的映射是线性的
RBF神经网络模型
• 径向基神经网络的神经元结构
x1 x2 xm
· · ·
w1h w2h
dist
谢谢聆听
•
发展简史
• 以后的研究者针对以前研究中存在的问题与不足提出了许多改进的方法，比如 Chen 提 出 的 OLS(Orthogonal Least Squares) 算 法 ； S.Lee 等 人 提 出 的 HSOL (Hierarchically Self-Organizing Learning) 算 法 ； Platt 提 出 的 RAN(Resource Allocating Network) 在 线 学 习 算 法 ； Kadirkamanathan 和 Niranjan 提 出 的 RANEKF(RAN via Extended Kalman Filter)算法等。 RBF 神经网络主要用于解决模式分类和函数逼近等问题。在数学上，RBF神经 网络结构的合理性可由 Cover 定理得到保证，即对于一个模式问题，在高维数据空 间中可能解决在低维空间中不易解决的分类问题。它以径向基函数作为隐节点的激 活函数，具有收敛速度快、逼近精度高、网络规模小等特点。
2
y
输出 x1 1 0 0 1 x2 0 1 0 1
1 0 0 1
R1 ( x ) e
1 1 1
0.3679 0.3679 0.1353 1
R2 ( x ) e
x 2
2
2 0
0
x 1 ( x1 1)2 ( x2 1)2 1 R1 ( x ) e
• 准则函数常常使用最小平方误差MSE • Minimum Squared-Error
K-MEANS算法过程
K-MEANS初值敏感
K-MEANS聚类总结
• 算法复杂度O(nkt)，其中t是迭代次数。
• 优点： • 是解决聚类问题的一种经典算法，简单、快速 • 对处理大数据集，该算法保持可伸缩性和高效率 • 当结果簇是密集的，而簇与簇之间区分明显时，它的效果 较好 • 常常用于其他聚类算法的一个阶段，如谱聚类
空间1
变换 空间变换
空间2
不易解决问题
空间1 线性不可分
易解决问题
空间2 线性可分
RBF神经网络工作原理
• RBF解决异或问题
X1 X2
输入
R1(X)
x1
x2 0 1 0 1 R1(X)
y 0 0 1 1 R2(X) 0.3679 0.3679 1 0.1353
∑
R2(X)
径向基神经元
x 1
RBF径向基函数神经网络
汇报人：
结构思路
• 发展简史 • 基本思想 • 径向基函数（高斯函数） • 神经网络模型 • 工作原理 • 学习算法
• MATLAB实现
发展简史
• Broomhead和Lowe最早将RBF (Radical Basis Function）用于神经网络设计之中。 他们在1988年发表的论文《Multivariable functional interpolation and adaptive networks》中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点， 进而提出了一种三层结构的RBF神经网络。