基于三次V系统的神经网络

基于三次V系统的神经网络

摘要：人工神经网络（ANN）是在现代神经生物学和认识科学对人类信息处理研究基础上提出的，并利用物理器件来模拟生物神经网络某些结构和功能，由于神经网络具有很强的自适应性和学习能力，非线性映射能力，鲁棒性和容错能力等特性，其广泛应用于控制领域。提出了一种基于三次V变换的神经网络系统。该系统在逼近非线性曲线时明显优于BP网络和Chebyshev神经网络，收敛时间和学习时间明显缩短，在较少的隐含神经元个数的情况下，达到较好的逼近效果，并在拐点处有较好的逼近特性。

关键词：人工神经网络；三次V系统；函数生成元

1 神经网络简介

1.1 神经元模型

神经元是神经网络的基本处理单元，其结构模型如图1。其中x-1,x-2,x-3,…，x-n为输入信号，w-{i1},w-{i2},w-{i3},…，w-{in}为神经元j之权值，u-i为线性组合结果，θ-i为阈值，y-i 为j的输出，将该模型用数学公式描述，可写为：u-j=∑p[]i=1w-{ij}x-i v-j=u-j-θ-j y-j=φ(v-j)

φ(•)成

1.2 神经网络学习算法

网络结构确定之后，唯一可变的是网络的权重和阈值。网络的学习就是指调整权重及阈值的过程。按有无教师指导可分为有教师指导学习型与无教师指导学习型。本文采用有教师指导学习型，其基本结构原理如图2所示。这种学习方式需要外界存在一个“教师”，它可对一组给定的输入数据提供应有的输出结果。这组已知的输入、输出数据称为训练样本集。学习系统可根据已知的输出与实际输出的差值来调整系统参数。

2 三次V神经系统构造

如图3所示，其中输入层至隐层的权值恒为1，隐层至输出层的权值设ω-i，输入层和输出层神经元的激励函数均为恒等映射，所有神经元的阈值恒为0.隐层神经元的激励函数g-i(x)是正交多项式基

该神经网络的输y=∑n[]i=0ω-ig-i(x)，如此构造的单输入正交多项式基函数神经网络，只需要三层便可逼近任意非线性函数f(x)，

如图3所示的神经网络，令隐层神经元的激励函数为三次V变换正交多项式基函数，则可构造一种V3神经网络模型，其

模型操作如下：

输入层：o=x

隐神经元输入：net-t=o

隐神经元输出：o-i=V-i(net-i)

输出层：y=∑n[]i=0ω-io-i=∑n[]i=0ω-iV-i(x).

设在样本（x-t,f(x-t)），t=1,2,…,s（s为样本点数）输入作用下，网络输出y与目标值f(x)的误差记为e-t=f(x-t)-y-t,t=1,2,…,s

网络训练指标：E=1[]2∑s[]t=1e+2-t

可采用如下基于梯度下降的BP学习算法进行权值修正：

Δω-i=-ηE[]ω-i=ηe-tV-i(x-t);i=0,1,2,…,s

ω-i(k+1)=ω-i(k)+Δω-i(k)

其中，0＜η＜1为学习率；k为学习（训练）

其学习算法描述如下：

Step 1：任取隐神经元个n>=3，随机选取初始权值ω-i(0)，学习率0＜η＜1，给定任意小正数ε和训练样本集（x-t,f(x-t)）；t=1,2,…，s，令E=0,t=1,k=0。

Step 2：计算

y-t(x)= ∑n[]i=0ω-iV-i(x),e-t=f(x-t)-y-t(k),E←E+0.5e+2-t

Step 3：权值调整ω-i(k+1)=ω-i(k)+ηe-tV-i(x-t)

Step 4：t←t+1，若t

Step 5：若E≤ε，则结束学习（训练），否则E=0，t=1，k←k+1，Step2.

在V3神经网络模型中，由于采用了较为复杂的非线性激励函数（例如，其隐神经元的激励函数为一组三次V正交基函数，他们两两不同，且彼此正交），因此当用该网络逼近复杂非线性目标特性时，比传统BP网络的神经元个数可明显减少。另外传统的BP网络需要调整输入层至隐层，隐层至输出层两个环节的权值，而V3神经网络只需要调整隐层至输出层一个环节的权值，调整工作量大大减少，有利于加快算法的收敛性。Chebyshev网络可以有效的逼近任意非线性曲线，但是对于剧烈变化的点，拐点或是不可导的点，其逼近效果相当不理想，利用V3网络的分段性可以很好的逼近此类非线性曲线。

3 实验结果与分析

考虑非线性目标函数f(u)=4u/(1+4u+2)

BP网络，Chebyshev网络和V3网络逼近f(u)，比较结果如下：

（1）文献[5]采用BP神经网络逼近f(u)，其网络结构为1*20*20*1，学习效率η=0.1，学习5000次后得到满意的逼近效

果。

（2）采用Chebyshev神经网络，选用1*16*1的网络结构，学习效率η=0.1，学习100次后得到均方差为9.6352e-008的逼近效果，如图4所示。

（3）采用V3神经网络，其网络结构为1*16*1，学习效率η=0.1，仅学习20次就能达到均方差为3.6831e-008的优异逼近效果，如图5所示

图5 V3神经网络仿真结果

通过对比，从图4和图5可以看出，我们知道采用V3神经网络与同结构的Chebyshev网络相比，学习较少的次数就可得到更好的逼近效果，V3神经网络的逼近效果优于Chebyshev神经网络。

考虑非线性目标函数

f(u)=u 0≤u＜0.250.25-u 0.25≤u＜0.5u-0.25 0.5≤u≤0.75Chebyshev网络和V3网络逼近f(u)，比较结果如下：

（1）采用Chebyshev神经网络，选用1*16*1的网络结构，学习效率η=0.1，学习600次后得到均方差为2.4096e-010的逼近效果，如图6所示。