RBF神经网络剖析

注意：虽然说将一个复杂的模式分类问题非线性地投射到高维数空间将会比投射到低维 数空间更可能线性可分。不过有时非线性映射就足够导致线性可分，而不必升高隐藏单 元空间维数
XOR问题
XOR问题
R1(X)
x1 x2 0 1 0 1 R1(X) 0.3679 0.3679 0.1353 1 y 0 0 0 1 R2(X) 0.3679 0.3679 1 0.1353
与BP神经网络的比较
Poggio和Girosi已经证明： RBF网络是连续函数的最佳逼近，而BP网络不是。 BP网络使用的Sigmoid函数具有全局特性，它在输入值的很大范围内 每个节点都对输出值产生影响，并且激励函数在输入值的很大范围 内相互重叠，因而相互影响，因此BP网络训练过程很长。 BP网络容易陷入局部极小的问题不可能从根本上避免 BP网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。 RBF不仅有良好的泛化能力，而且对于每个输入值，只有很少几个 节点具有非零激励值，因此只需很少部分节点及权值改变。 学习速度可以比通常的BP算法提高上千倍,容易适应新数据
Cover理论
定义：假设空间不是稠密分布的，将复杂的模式分类问题非线性地投射到高维空 间将比投射到低微空间更可能是线性可分的。
x=0
Cover理论在RBF网络中应用
考虑一族曲面，每一个曲面都自然地将输入空间分成两个区域。 用代表N个模式（向量）x1,x2,……xN的集合，其中每一个模式都 分属于两个类1和2中的一类。如果在这一族曲面中存在一个曲面 能够将分别属于1和2的这些点分成两部分，我们就称这些点事二 分（二元划分）关于这族曲面是可分的。对于每一个模式x ，定 义一个由一组实值函数{ⱷ i(x)| i=1,2,…..m1}组成的向量，表示如下：
假设模式x是m0维输入空间的一个向量，则向量
Cover理论在RBF网络中应用
一个关于 的二分{1，2}是可分的。那么存在一个m1维的向量w使得可以得到如下公 式（Cover ，1965）：
那么所获得的超平面的逆像就是：
总结：模式可分性的cover定理
1、由 2、高维数的隐藏空间，这里的高维数是相对于输入空间而言的。维数由赋给m1的值 （即隐藏单元的个数）决定。 3、理论证明（Nilsson，1965）证明：隐藏空间的维数m1越高，则二分概率越趋向于1
可以将映射S看成一个超曲面
这样，该插值问题可以描述如下： 给定一个包含N个不同点的集合 ，寻找一个函数F： F(Xi)=di, i=1,2,…..N
和相应的N个实数的一个集合 满足下述插值条件：
RBF中的插值问题
径向基函数技术就是要选择一个函数F具有下列形式：
其中
RBF中的插值问题
那么综合以上的公式，我们可以得到在径向基网络（输入参数有N个，隐藏层有N个 节点，输出层有一个节点）中我们可以得到以下的线性方程： 向量d表示期望响应向量， w表示线性权值向量，N 是训练样本的长度 用������表示左边 那么该式就可以转换为： ������w=x 这里的������必须为非奇异矩阵， 因此存在。这样就可以解出 权值向量w，表示为： W=x
x 1
2
R1 ( x ) e
e
1
0.3679
0.1353
0
1
x1
0
0.3679
1
R(x1)
空间变换前
空间变换后
RBF神经网络的插值问题
RBF神经网络是基于RBF函数，RBF函数是解决多变量插值问题
首先了解下什么是插值问题？
插值问题
在工程技术上，给出一批离散的点，要求作出一条通过这些点的光滑曲线，以满足设计 和加工的需要。反映在数学上，即已知函数在一些点的值，寻求它的分析表达式。
y Y(x)
P(x)=? y2
x2 xi
y0 o x0 x1
y1
yi
yn
xn n
插值问题
一是在选定近似函数H(x)后，不要求它们通过已知样点，只要求 在某种意义下它在这些样点的总偏差最小----曲线拟合法。
二是给出函数f(x)的一些样点值，选定某些便于计算的函数，要求它们 通过已知样点，由此确定函数H(x)为f(x)的近似值----插值法;
RBF（径向基）神经网络
Keynote: 尤志强
1、RBF函数是为了解决多变量插值问题 2、RBF神经网络是为了解决非线性可分模式分类问 题
为什么要引入RBF神经网 络？
优点
① 它具有唯一最佳逼近的特性，且无BP算法中存在的局部极小问题。 ②RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向 网络中RBF网络是完成映射功能的最优网络。 ③ 网络连接权值与输出呈线性关系。 ④ 分类能力好。 ⑤ 学习过程收敛速度快。
RBF神经网络是怎样的？
RBF神经网络概念
1、1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function，RBF)方法 2、1988年， Moody和Darken提出了一种神经网络结构，即RBF神经 网络 3、RBF网络是一种三层前向网络 4、基于“Cover理论” 5、用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即 不需要通过权连接)映射到隐空间 ； 当RBF的中心点确定后，映射关系也就确定； 隐含层空间到输出空间的映射是线性的 通过最小二乘估计来解给定的分类问题。
RBF中的插值问题
这里有个关键问题：怎么能保证插值矩阵������是非奇异的？ 涉及到Micchelli定理（1986）： 如果 是中N个互不相同的点的集合，则N X N阶的插值矩阵������是 非奇异的。
RBF神经网络结构
这个网络,实现从输入空间到隐藏 空间的一个非线性映射，随后从隐 藏空间到输出空间是线性映射。
RBF中的插值问题
在RBF中是如何通过插值方法进行网路的训练呢？ 首先假设我们有N个m0维向量，那么我们就确定了输入层节点有 m0 个。相当于一个从m0维输入空间到一维输出空间的映射，可以写成 如下形式：
X1 X2
输入
∑
R2(X)
径向基百度文库经元
x 1
2
y
输出 x1 1 0 0 1 x2 0 1 0 1
1 0 0 1
R1 ( x ) e
1 1 1 0 2 0
R2 ( x ) e
x 2
2
x2 1
R(x2) 1
x 1
2
( x1 1)2 ( x2 1)2 1