基于最小二乘算法的RBF

基于正交最小二乘算法的RBF神经网络

一、实验环境

硬件平台Win10 64位操作系统，1.5GHZ，4G内存，软件版本MA TLAB2015b

二、实验数据

训练数据集：

T

F W M Y Q

1000.00130010000

20.00740.03350.00150.00320.010610000

30.00430.022300.00470.005310000

40.5520.30170.25810.30940.231601000

50.54520.27930.26110.29880.203601000

60.55020.24580.27170.31150.234701000

70.24620.15080.09470.09640.099900100

80.25350.10610.09680.09710.08100100

90.26650.08940.09370.09940.090800100

100.66150.52510.51950.471100010

110.67380.44130.52250.47320.966700010

120.66650.47490.52550.47690.975800010

13110.981210.820600001

140.97970.977710.9960.775900001

150.98460.97270.98470.98570.7600001

测试数据集：

T

F W M Y Q

10.00310.02350.00050.0030.004510000

20.54930.26260.26590.30880.222101000

30.25720.10060.09580.09810.08900100

40.67040.49720.52350.47410.979100010

50.9920.98990.99790.99370.797900001

三、算法介绍

RBF函数网络从结构上看是一个3层前馈网络，包括一个输入层、一个输出层和一个隐含层。输入层节点的作用是将输入数据传递到隐含层节点。隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，通常采用高斯型函数：Array

图1 RBF结构

RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令人满意。例如，如果某些中心靠的太近，会产生近似线形相关，从而带来数值上的病变条件。基本的RBF 神经网络采用随机抽取固定中心的方法，在输入样本数据的分布具有某种特性的情况下，采用这种方法解决给定问题就显得简单可行了。而针对其缺陷，已经有许多改进的方法，其中

之一就是利用最小二乘法选取中心，训练网络权重。

四、程序设计

1.RBF基本算法

程序分为数据准备，网络训练，网络测试，图形绘制四部分。

数据准备部分将EXCEL表格中的训练集测试集数

据导入MATLAB工作空间，作为实验的数据源。然后

对程序参数进行初始化设置在训练集中随机抽取数据

作为RBF中心。网络训练部分进行样本迭代训练，每

一次迭代结束计算误差是否达到精度要求，若未达到精

度要求则调整权值进行下一次迭代。精度达到要求或达

到最大步数则结束训练，进入测试阶段。最后绘制训练

误差图形，输出测试结果。

图2 基本RBF程序流程图2.基于正交最小二乘法的改进设计

正交最小二乘法是神经网络中的很重要的一种学习方法。线性回归模型是算法的来源。不失一般性，考虑网络中只有一个单元的输出层。令网络训练样本对为

其中、N代表训练样本数。Xn是网络输入数据矢量。d(n)表示网络期望输出响应。网络的期望输出响应根据选型回归模型可以表达为

式中M是隐含层的单元数M

Wi为模型参数，同样也可以表示输出层连接隐含层的权；e(n)是残差。将4-40写成矩阵方程形式，可表示为

式中，P为回归矩阵。选择回归算子矢量pi是求解回归方程式的关键。P确定以后，就可以用线性方程组来求解模型参数矢量。通常的RBF中心，是从输入的样本数据的矢量集合中做选择。每当选定一组ti，就能得到一个对应于输入样本的回归矩阵。值得注意的是，

回归算子的个数M的选择和它的变化都直接影响回归模型中的残差。我们要选择那些对降低残差贡献显著回归的算子，剔除对降低残差贡献差的回归算子。为了得到满足二次性能指标的网络输出，OLS法需要的工作是通过学习选择出合适的回归算子矢量，以及它的个数M，OLS法的基本思想是正交化pi，分析判断pi对降低残差的贡献，选择贡献显著的回归算子并确定其个数。

将P进行正交三角形分解，P=UA，U是各列正交的N*M阵，A为上三角矩阵。经运算得到最小二乘解

定义误差压缩比，据此可以选择重要的回归算子。

总结OLS算法的具体过程是：

（1）进行隐含层单元数的预选工作。

（2）选择一组RBF中心矢量ti，1≤i≤M

（3）选择输入样本矢量计算P

（4）正交化P矩阵

（5）分别计算

（6）计算上三角矩阵A，根据AW=G求连接权重。

（7）检查是否满足以下公式

如果得到满足,则停止计算。否则,重新开始第2步。

五、调试过程及结果

1.RBF基本算法

网络结构及参数：选择5个输入神经元，5个输出神经元，隐层神经元个数20个，目标精度0.001。训练过程误差变化如图3所示，经过两次迭代就达到精度要求。

图3 基本RBF训练过程