一种BP神经网络学习率的优化设计

第22卷第3期湖　北　工　业　大　学　学　报2007年06月

V ol.22N o.3　Journal of H ubei U niversity of T echnology Jun.2007

[收稿日期]2007-03-20

[基金项目]湖北省自然科学基金项目(2004ABA065).

[作者简介]刘幺和(1954-),男,湖北武汉人,湖北工业大学教授,美国ASM E 和IEEE 专业会员,研究方向:智能控制.

[文章编号]1003-4684(2007)0320001203

一种B P 神经网络学习率的优化设计

刘幺和1,陈　睿1,彭　伟2,周　蕾1

(1湖北工业大学机械工程学院,湖北武汉430068;2湖北工业大学计算机学院,湖北武汉430068)[摘　要]考虑到结构优化设计的实用性和模糊性.在大量智能计算的基础上,提出了一种动态BP 神经网络

的学习率优化方法,该方法如同Rough 集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构优化.实验表明,这种方法简单、实用且快速收敛.

[关键词]BP 网络;优化设计;学习率[中图分类号]TP183

[文献标识码]A

目前,智能计算在结构优化设计中已经得到广

泛应用.智能计算是根据人和动物的3大系统(神经系统、遗传系统、免疫系统)特性,提出恰当的数学模型来进行智能计算.

Rumelhart 等提出的误差反向传播(Back Propagation )学习算法是训练神经网络的强有力的工具.但是BP 算法存在收敛速度慢、易陷入局部极小等缺点,所以对BP 算法的改进是一个重要的研究课题.其中对学习率的研究是很重要的一个部分.如果学习率太小,收敛性容易得到保证,但收敛速度太慢;学习率太大,学习速度快,但可能导致振荡或发散[1].因而一个固定学习率不可能很好地适用于网络的整个学习过程.为实现快速而有效的学习收敛过程,人们提出了许多自适应地调节学习率的方法(自适应调节学习率,即在网络的学习过程中,学习率随着环境状态的变化不断自动调整).

1　BP 神经网络

BP 网络可实现输入空间到输出空间的非线性

映射,它采用了优化算法中的梯度下降法,把一组样

本的I/O 问题变为非线性优化问题,B P 神经网络模型一般由输入层、中间层、输出层构成(图1),该方法的数学原理和推导方法见文献[2].

算法的执行步骤如下[2].

1)对权系数W ij 置初值.对各层的权系数W ij 置一个较小的非零随机数,但其中W i ,n+1=-θ.

2)输入一个样本X =(X 1,X 2,…,X n ),以及对

应的期望输出Y =(Y 1,Y 2,…,Y n ).

3)计算各层的输出.对于第k 层第i 个神经元的输出X k i ,有

图1　BP 神经网络模型

4)求各层的学习误差d k i .对于输出层k =m ,

有

d m i =X m i (1-X m i )(X m

i -Y i ).

对于其他各层,有

d k i =X k i (1-X k

i )・

∑

t

W li

・d k+l l .

5)修正权系数W ij 和阀值θ有

ΔW ij (t +l )=ΔW ij (t )-η・d k i ・X k-1

j

.其中,

ΔW ij (t )=-η・d k i ・X k-1

j

+αΔW ij (t -l )=W ij (t )-W ij (t -l ).

6)当求出了各层各个权系数之后,可按给定品

质指标判别是否满足要求.如果满足要求,则算法结

束;如果未满足要求,则返回3)执行.

该学习算法,对于任一给定的样本X p=(X p1, X p2,…,X pn)和期望输出Y p=(X p1,Y p2,…,Y pn)都要执行,直到满足所有输入输出要求为止.

2　遗传算法和免疫算法在结构优化中的应用

遗传算法是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化概率搜索算法,其主要运算过程如下所示.

步骤一:初始化.设置进化代数计算器t=0;设置最大进化代数T;随机生成M个个体作为初始群体P(0).

步骤二:个体评价.计算群体P(t)中各个个体的适应度.

步骤三:选择运算.将选择算子作用于群体.

步骤四:交叉运算.将交叉算子作用于群体.

步骤五:变异运算.将变异算子作用于群体.群体P(t)经过选择、交叉、变异运算后得到下一代的群体.群体P(t+1).

步骤六:终止条件判断.若t≤T,则t=t+1,转到步骤二;若t>T,则以进化过程中得到的具有最大适应度的个体作为最优解输出,终止运算.

基本免疫算法基于生物免疫系统基本机制,模仿了人体的免疫系统,它从体细胞理论和网络理论得到启发,实现了类似于生物免疫系统的抗原识别、细胞分化、记忆和自我调节的功能.如果将免疫算法与求解优化问题的一般搜索方法相比较,那么抗原、抗体、抗原和抗体之间的亲和性分别对应于优化问题的目标函数、优化解、解与目标函数的匹配程度.

3　BP网络学习率的优化模型

BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但是B P模型存在收敛速度缓慢、容易陷入局部极小值、难以确定隐层节点的数目等缺点[3].

目前,有大量学者和研究人员试图采用遗传算法和免疫算法对B P网络学习率进行优化,建立了大量的数学模型.[4]但这些模型往往公式复杂、结构繁琐,既不利于学习和计算,也不利于计算机建模.

针对以上的问题,笔者在大量遗传算法和免疫算法的实验基础上,提出一种简单优化方法将学习率的变化公式

η=Ae-λn.

其中n为迭代次数,A和λ的取值根据实际情况选择,一般情况下,1≤A≤50,0.001≤λ≤0.0001.鉴于工程应用的复杂性和结构优化的模糊性,对应不同的系统和实际要求,得出不同的取值范围.

4　计算机仿真

利用BP网络函数逼近的功能对B P网络及两种改进算法的性能进行比较,采用的神经网络有6个输入节点,6个隐藏节点和6个输出节点,共三层.输入样本为{0,0,0,0,0,0},输出样本为:

{0.11,0.73,0.29,0.81,0.54,0.64}.

训练最大步数取5000步,目标误差定为0.01,固定学习率定为2,A选为8.1,λ选为0.001.表1是BP 网络和优化算法的训练结果比较.

表1　BP网络和优化算法的训练结果

迭代次数结果误差

基本BP网络960.001048优化学习率的BP网络190.001070

5　结论

以上实验仿真结果可以看出,在相同的误差要求下,优化过学习率的模型较之标准B P模型,训练次数明显减少,训练时间大大减短,而且结构简单,适用于计算机建模,该方法如同Rough集理论的数据分类简约功能去掉了多余属性的样本数据一样,从而使神经网络拓扑结构优化,快速收敛.

[　参　考　文　献　]

[1]　武美先,张学良,温淑花,等.BP神经网络的双学习率

自适应学习算法[J].现代制造工程,2005(10):29-

32.

[2]　史忠植.智能科学[M].北京:清华大学出版社,2006.

[3]　杨东侯,年晓红,杨胜跃.两种改进的BP神经网络学

习算法[J].长沙大学学报,2004,18(4):54-57. [4]　龚　安,张　敏.BP网络自适应学习率研究[J].科学

技术与工程:2006,6(1):64-66.

2湖　北　工　业　大　学　学　报2007年第3期