6.第7章 径向基函数网络

dmax
2n
dmax 所选取的中心之间的最大距离 n为隐含节点的个数
网络权值可以采用伪逆法 ω = G+d G为隐含层输出，d为输出层的期望输出
3.径向基神经网络与多层感知器的比较
Ø 径向基神经网络是三层网络（输入层、隐含层、输出层），只有一个隐 含层，而多层感知器则可以有多个隐含层 Ø 径向基神经网络的隐含层和输出层完全不同，隐含层采用非线性函数 （径向基函数）作为基函数，而输出层采用线性函数，两者作用不同。 Ø 径向基神经网络的基函数计算的是输入向量与基函数中心之间的欧式距 离（两者取差值，再取欧几里德范数），而多层感知器的隐单元的激励函 数则计算输入向量与权值的内积 Ø 多层感知器对非线性映射全局逼近 ，径向基函数局部逼近
5.广义回归神经网络
广义回归神经网络（General Regression Neural Network，GRNN）是 径向基网络的另外一种变形形式
广义回归网络以径向基网络为基础，因此具有良好的非线性逼近性能， 与径向基网络相比，训练更为方便
广义回归神经网络尤其适合解决曲线拟合的问题
在MATLAB中newgrnn函数可以方便的实现GRNN网络
net=newrbe(P,T,spread)
1.径向基神经网络的两种结构
径向基函数：有多种形式，其中 最为常用的，是高斯函数
( X -Xi )
输入层
隐含层
输出层（线性）
1.正则化网络是一个通用逼近器，这意味着，只要有足够多的隐 含节点，它就可以以任意精度逼近任意多远连续函数。
2.给定一个未知的非线性函数f，总可以选择一组系数，使得网络 对f的逼近是最优的。
6.径向基神经网络相关函数详解
生成正弦函数，加入均匀分布的噪声，再用newrb建立 径向基函数进行拟合。
P=1:.5:10;
rand('state',pi);
T=sin(2*P)+rand(1,length(P));
% 给正弦函数加噪声
plot(P,T,'o')
% net=newrb(P,T);
net=newrb(P,T,0,0.6);
test=1:.2:10;
out=sim(net,test);
% 对新的输入值test计算相对应的函数值
figure(1);hold on;plot(test,out,'b-');
legend('输入的数据','拟合的函数');
n
CMi k
i0
6.径向基神经网络相关函数详解
newrbe——设计一个严格的径向基网络 ————正则化RBF网络
第7章 径向基函数网络
编者
Outline
n 1.径向基神经网络的两种结构 n 2.径向基神经网络的学习算法 n 3.径向基神经网络与多层感知器的比较 n 4.概率神经网络 n 5.广义回归神经网络 n 6.径向基神经网络相关函数详解 n 7.径向基网络应用实例
1.径向基神经网络的两种结构
Broomhead和Lowe根据生物神经元具有局部响应的原理，将 径向基函数引入到神经网络中。很快，RBF网络被证明对非线性 网络具有一致逼近的性能，在不同行业和领域逐步得到了广泛应
1.径向基神经网络的两种结构
正则化网络的一个特点就是：隐含节点的个数等于输入训 练样本的个数。因此如果训练样本的个数N过大，网络的计算 量将是惊人的，从而导致过低的效率甚至根本不可实现。
解决的方案是用Galerkin方法来减少隐含层神经单元的个 数，此时求得的解是较低维数空间上的次优解 。这就是广义 网络
用。
由三层构成的前向网络 。
Ø径向基网络
Ø 第一层为输入层，节点个数等于输入的维数；
ห้องสมุดไป่ตู้Ø概率神经网络
Ø 第二层为隐含层，节点个数视问题的复杂度而定； Ø广义回归网络模式分类 Ø 第三层为输出层，节点个数等于输出数据的维数。 和函数逼近
隐含层是非线性的，采用径向基函数作为基函数，从而将 输入向量空间转换到隐含层空间，使原来线性不可分的问题 变得线性可分，输出层则是线性的。
在实际应用中，一般都采用广义径向基函数网络。
2.径向基神经网络的学习算法
I
ykj 0 j ij ( X k , X i ), j 1, 2,, J i 1
Ø 确定隐含层结点中心 Ø 隐含层中基函数的标准差 Ø 网络权值（隐含层到输出层）
随机选取固定中心、自组织选取中心、有监督选取中心、正交最小二乘法
贝叶斯：通过先验 概率求后验概率。
p c1
x
p c1 p x
px
c1
4.概率神经网络
概率神经网络由输入层、隐含层、 求和层和输出层组成
Ø 第一层为输入层，用于接收来自训练样本的值，将数据传递给隐含层 Ø 径向基层，每一个隐含层的神经元节点拥有一个中心，该层接收输入 层的样本输入，计算输入向量与中心的距离，最后返回一个标量值 Ø 求和层把隐含层中属于同一类的隐含神经元的输出做加权平均 Ø 输出层取求和层中最大的一个作为输出的类别
4.概率神经网络
PNN网络的优点 Ø训练容易，收敛速度快，从而非常适用于实时处理。
Ø 可以实现任意的非线性逼近，用PNN网络所形成的判决曲面 与贝叶斯最优准则下的曲面非常接近。
Ø 只要有充足的样本数据，概率神经网络都能收敛到贝叶斯分 类器，没有BP网络的局部极小值问题
Ø 扩充性能好。网络的学习过程简单，增加或减少类别模式时 不需要重新进行长时间的训练学习
4.概率神经网络
概率神经网络（Probabilistic Neural Networks，PNN）在模式 分类问题中获得了广泛应用 。
概率神经网络可以视为一种径向基神经网络，在RBF网络的 基础上，融合了密度函数估计和贝叶斯决策理论。在某些易满足的
条件下，以PNN实现的判别边界渐进地逼近贝叶斯最佳判定面。
6.径向基神经网络相关函数详解
newrb——设计一个径向基函数网络. 函数创建一个径向基函数网络，该网络向隐含层添加隐含节点，直到 均方误差满足要求为止
net=newrb(P,T,goal,spread,MN,DF)
P是R*Q输入矩阵：每列一个输入样本 T是S*Q期望输出矩阵：每列一个输出样本 goal是标量，为指定的均方误差，缺省值为0 spread也是标量，表示径向基函数的扩散速度，缺省值为1