神经网络在自学习系统中的应用

神经网络在自学习系统中的应用

于神经网络自学习时缺少可供分析的样本数据和网络结构形式不确定等特殊情况,则无法有效的提高学习速度。本文针对神经网络自学习的特点,提出一种贝叶斯初始化取值法,以初始神经网络实现基本控制功能为给定条件,计算各种权值组合在给定条件下的后验概率,根据计算得到的概率分布初始化权值,使初始化网络具有一定的控制功能,从而减小学习过程中权值修改的幅度,提高学习速度。通过在异步电机速度控制器自设计仿真实验中应用本方法和随机取值法对神经网络进行初始化,结果显示应用本方法的学习速度较随机取值法具有明显提高,验证了本方法对加快网络学习速度的有效性。1 贝叶斯权值初始化方法神经网络自学习是根据外部环境对系统给出的评价来强化那些受奖励的动作以改善自身性能,通过学习产生一系列动作策略。目前的神经网络自学习无论是Q学习、决策-评价学习[12-13],还是基于遗传算法[14]的再励学习,重点一般在如何根据环境评估来改善权值,而网络初始权值均采用随机赋值法,很大程度上影响了自学习的速度。由于缺少训练样本以及网络结构不确定等因素,已有的权值初始化方法

无法应用于自学习以提高训练收敛速度。神经网络学习时,监督学习能够通过具体的数据样本计算快速获得准确的权值,而对于无数据样本的自学习,再励学习通过/试错0法需要花费大量时间进行测试,如果再励学习时初始网络具有基本的控制功能,则可以减小权值的修改幅度,加快学习速度。要获得具有基本控制功能的初始化神经网络,可将神经网络控制器具有基本控制功能作为给定条件,利用贝叶斯理论计算给定条件下权值组合的后验概率,根据后验概率分布初始化网络权值,则可获得具有一定控制能力的神经网络控制器。文献[15]将控制问题归纳为整定、跟踪与最优控制,无论是那种控制问题,反馈控制系统中控制器基本的动作准则应满足:若误差erro>0,则输出减小若误差erro<0,则输出增大(1)从以上分析可知,构建一个最基本的控制器不需要任何的样本数据,只需根据基本的动作准则进行调整即可。要根据后验概率分布产生初始化神经网络控制器,需要根据贝叶斯理论构建先验与后验误差函数,从而求取各种权值组合在满足基本控制器功能条件下的后验概率。设未知神经网络权值(包括阈值)为W=(w1,w2,,,wn),样本点

D={(x1,y1),(x2,y2),,,(xm,ym))},其中、分别为权值以及样本点数目,则权值在样本点的条件概率为:P(w/D)=P(D/w)P(w)P(D)(2)其中P(w)为权值W的先验分布,P(D/w)为似然函数,P(D)=EiP(D/wi)P(wi)=1为归一化因子。在没有先验知识时,权的初始值应较小以免一开始就工作在激励函数的饱和部分,如果权值太小,则所有激励函数几乎都处于线性部分,也会降低收敛速度,一般认为权值服从指数分布[16]:P(W)=1ZW(A)exp(-AEW)(3)其中ZW(A)是一个归一化因子,以保证Qp(w)dw=1,ZW=Qexp(-AEW)dw,A是控制权值分布形式的参数,EW是一种误差函数,高斯分布是指数分布最常见的形式,表达式为P(W)=1ZW(A)exp(-A2+w+2)(4)

则:EW=12+w+2=12Eni=1w2i(5)似然函数P(D/w)也可以写为指数形式:P(D/W)=1ZD(B)exp(-BED)(6)ZD(B)=Qexp(-BED)dD(7)这里ED是误差能量,为待优化网络理想输出与实际输出之间的误差之和。对于设计具有基本控制能力的控制器,只要满足条件(1)即可,由于没有样本数据,则设误差能量

ED=Emi=112e2i,ei为网络理想输出与实际输出之间的误差,这里根据奖惩机制令ei满足:ei=$ANNout, x>0,$ANNout<00,x>0,$ANNout\0$ANNout,x<0, $ANNout>00,x<0,$ANNout[0(8)将式(3)和式(5)代入式(2)中,得:P(W/D)=1ZMexp(-BED-AEW)=1ZMexp(-M( W))(9)M(W)=BED+AEW(10)ZM(A,B)=Qexp(-BED-AEW)dW(11)其中,A=m/2EW,B=n/2ED。由以上分析可知,要获得后验分布最大值的WMP,就应使P(W/D)最大,由于归一化因子ZM与W 无关,求P(W/D)最大即是求M(W)最小。为了简化计算,可利用高斯分布近似后验分布[17],将M(W)在其最小点WMP附近按Taylor级数展开,并忽略高次项,有:M(W)=M(WMP)+12(W-WMP)TA(W-WMP) (12)其中A是M(W)的Hessian 阵:A=ýýMMP=BýýEMPD+AýýEMPW=BýýEM PD+AI(13)于是后验概率(9)简化为:P(W/D)=1Z*Mexp(-M(WMP)-12(W-WMP)T A(W-WMP))(14)其中根据文献[17]可得Z*M值为:Z*M(A,B)=e-M(WMP)(2P)n2(detA)-1/2(15)2

贝叶斯权值初始化方法的应用为了验证贝叶斯权值初始化方法提高神经网络训练速度的有效性,将其应用到交流电机速度环神经网络控制器自学习中,通过与随机赋值初始化方法的比较以验证本文方法的有效性。2.1 系统简介应用平台为基于矢量控制的异步电机调速系统控制器自学习系统,控制器自主设计在电机调速系统中的应用原理如图3所示。交流电机数学模型具有高阶非线性特点,为实现交流电机的高性能控制,一般借助于交流电机矢量控制理论[18]将电机系统分解为类似直流电机的励磁调节子系统和速度调节子系统两部分以分别进行控制。这里,在速度调节子系统中利用神经网络构建速度环控制器,图1虚线框中为自学习系统,其采用如图2所示的神经网络结构,其中利用遗传算法根据系统的性能指标在线逐步进化神经网络控制器的权值、阈值、激励函数,通过全局搜索寻找控制器最优解。2.2 权值初始化速度环神经网络控制器初始结构如图2所示,其中每层之间的连接权重矩阵为wij,每层反馈与该层的连接权重矩阵为feed_wi,阈值矩阵为biasi。网络中神经元彼此相连,且激励函数采用如下形

式:transfer(x)=transfer_w@tansig(x)hardlims(x )purelin(x)radbas(x)(16)因此,网络权值、阈值总数目为36,令权值、阈值为W=(w1,w2,,,w36),按照第二章介绍的贝叶斯方法首先对图2中神经网络进行初始化,令输入e(k)=-100+i(i=0,1,2,,,200)目标函数为式(9)。由于网络结构的不定性和复杂性,利用遗传算法求取目标函数最小点,这里权值个数m=36,样本个数n=200,具体的求取后验概率最大处的权值算法步骤如下:1)以式(9)作为适应度函数,初始值A=0,B=1,将交叉概率设为PC=0.8,变异概率设为Pm=0.01,进化代数设置为500代;以e(k)作为输入,依次测试种群中30组染色体个体的适应度,按大小对适应度进行排序;2)利用轮盘赌选择法选取6个父个体进行交叉、变异操作,将产生的6个子代个体替代3)中产生的适应度最小的6个个体,形成新的种群;3)按A=m/2EW,B=n/2ED重新计算A、B值,替换式(9)中原有值;4)判断进化代数是否大于500,若大于500则停止进化。否则转向3)继续进化。通过计算求得WMP=(0,0,,,0),A=6.215,B=9.163,M(WMP)=0,则由式(8)有ED=0,于是M(W)的Hessian