人工神经网络混合剪枝算法

ISSN 1000-0054CN 11-2223/N

清华大学学报(自然科学版)J T singh ua Un iv (Sci &Tech ),2005年第45卷第6期

2005,V o l.45,N o.630/37

831-834

人工神经网络混合剪枝算法

李　倩,　王永县,　朱友芹

(清华大学经济管理学院,北京100084)

收稿日期:2004-07-07

基金项目:国家重点自然科学基金资助项目(79930070);

山东省自然科学基金资助项目(03BS002)

作者简介:李倩(1978-),女(汉),山东,博士研究生。

通讯联系人:王永县,教授,E-mail:w angyx @em.tsin

摘　要:目前人工神经网络(A N N )应用中所遇到的挑战之一就是如何针对特定问题确定相应网络。基于进化算法和局部搜索算法两类策略的特点和不足,文中提出了混合剪枝算法HA P(Hy br id A lg or ithm o f P runing )。算法首先联合进化算法代表之一遗传算法(GA )和反向传播算法BP 的不同优势完成A N N 网络结构和权重进化的初步阶段;然后应用多权重剪枝策略(M W-OBS)进一步简化、确定网络结构。结合案例与以往的混合策略算法进行对比研究,结果表明HA P 在寻优能力、简化网络结构、保证稳定性等方面均有明显优势,更加适合大规模A NN 的优化问题。

关键词:人工神经网络结构;混合剪枝算法(HAP );遗传算

法(GA );反向传播算法(BP );多权重剪枝策略(M W -O BS)

中图分类号:T P 183

文献标识码:A

文章编号:1000-0054(2005)06-0831-04

Hybrid pruning algorithm for artificial

neural network training

LI Qian ,WANG Yon gxian ,ZH U Youqin

(S chool of Economics and Management ,Tsinghua University ,

Beij ing 100084,China )Abstract :A hybr id pruning algorithm combining three differen t meth ods w as developed to define proper net topologies for ar tificial neural n etw orks (ANN).Th e algorithm us es th e gen etic algorithm an d back progagation to optimiz e the num ber of n eural nodes an d the w eigh t values of each in dividual net.T he multi-weights -optim al brain surgeon (M W -OBS )algorithm,w as included to further p rune

unimp or tant weights or par ison of the algorith m with an oth er hybrid meth od sh owed that the algorith m gives a more concise topology,better net error train ing,and more stab le searches,es pecially for large netw ork optimization p roblems.Key words :ar tificial neural network (ANN)

topology ;

hybrid

prunin g algorithm;genetic algorithm (GA);back progagation (BP);multi-w eights-optimal brain s urgeon (M W -OBS )

人工神经网络(ANN)结构设计是网络求解问题的重要环节,结构过于简单会导致无法充分学习

样本信息,冗余的结构又会降低网络适应性[1]。常见的结构训练学习类算法如反向传播算法(BP)只能调整权重数值,无法改变其数量。而进化类算法如遗

传算法(GA )在解空间的多个点上进行全局搜索,却不易最终确定最优解个体[2]。并且对权重数值进行编码优化会导致编码长度过长,搜索效率降低[3]

。已有经验表明,BP 算法需要消耗相当的训练代价,才能确定最优解附近的区域,但可以很快由此收敛到最优解。而GA 可以较迅速到达含有最优解的区域,但是收敛到确定解往往比较困难[4]

。

为了提高ANN 训练效率和精度,利用GA 与BP 以及多权重剪枝策略(MW -OBS)[5]的有机结合,本文提出混合剪枝算法HAP,对网络结构进行优化。

1　HAP 算法思路与流程

在HAP 中,由GA 优化网络节点数量,BP 训练权重数值,以利用两者的收敛特性,减少遗传编码长度,提高优化速度。同时为了获得高适应性网络,HA P 中还融合了M W-OBS 算法(详见文[5])的特点,通过识别每个权重对网络误差的贡献,对权重数量进行删减,从而可以快速简化网络结构。1.1　HAP 中的个体表达方式

算法中用0、1染色体编码描述一个网络结构可行解,其中编码长度为网络中最多可能包含的节点数,编码顺序事先确定,如纵向自上而下横向从左向右,依次为输出/隐含/输入各层节点。1/0表示该节点在此可行结构中是/否存在,如针对图1a 中的网络结构,获得图1b 对应的编码值。