人工神经网络混合剪枝算法
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
ISSN 1000-0054CN 11-2223/N
清华大学学报(自然科学版)J T singh ua Un iv (Sci &Tech ),2005年第45卷第6期
2005,V o l.45,N o.630/37
831-834
人工神经网络混合剪枝算法
李 倩, 王永县, 朱友芹
(清华大学经济管理学院,北京100084)
收稿日期:2004-07-07
基金项目:国家重点自然科学基金资助项目(79930070);
山东省自然科学基金资助项目(03BS002)
作者简介:李倩(1978-),女(汉),山东,博士研究生。
通讯联系人:王永县,教授,E-mail:w angyx @em.tsin
摘 要:目前人工神经网络(A N N )应用中所遇到的挑战之一就是如何针对特定问题确定相应网络。基于进化算法和局部搜索算法两类策略的特点和不足,文中提出了混合剪枝算法HA P(Hy br id A lg or ithm o f P runing )。算法首先联合进化算法代表之一遗传算法(GA )和反向传播算法BP 的不同优势完成A N N 网络结构和权重进化的初步阶段;然后应用多权重剪枝策略(M W-OBS)进一步简化、确定网络结构。结合案例与以往的混合策略算法进行对比研究,结果表明HA P 在寻优能力、简化网络结构、保证稳定性等方面均有明显优势,更加适合大规模A NN 的优化问题。
关键词:人工神经网络结构;混合剪枝算法(HAP );遗传算
法(GA );反向传播算法(BP );多权重剪枝策略(M W -O BS)
中图分类号:T P 183
文献标识码:A
文章编号:1000-0054(2005)06-0831-04
Hybrid pruning algorithm for artificial
neural network training
LI Qian ,WANG Yon gxian ,ZH U Youqin
(S chool of Economics and Management ,Tsinghua University ,
Beij ing 100084,China )Abstract :A hybr id pruning algorithm combining three differen t meth ods w as developed to define proper net topologies for ar tificial neural n etw orks (ANN).Th e algorithm us es th e gen etic algorithm an d back progagation to optimiz e the num ber of n eural nodes an d the w eigh t values of each in dividual net.T he multi-weights -optim al brain surgeon (M W -OBS )algorithm,w as included to further p rune
unimp or tant weights or par ison of the algorith m with an oth er hybrid meth od sh owed that the algorith m gives a more concise topology,better net error train ing,and more stab le searches,es pecially for large netw ork optimization p roblems.Key words :ar tificial neural network (ANN)
topology ;
hybrid
prunin g algorithm;genetic algorithm (GA);back progagation (BP);multi-w eights-optimal brain s urgeon (M W -OBS )
人工神经网络(ANN)结构设计是网络求解问题的重要环节,结构过于简单会导致无法充分学习
样本信息,冗余的结构又会降低网络适应性[1]。常见的结构训练学习类算法如反向传播算法(BP)只能调整权重数值,无法改变其数量。而进化类算法如遗
传算法(GA )在解空间的多个点上进行全局搜索,却不易最终确定最优解个体[2]。并且对权重数值进行编码优化会导致编码长度过长,搜索效率降低[3]
。已有经验表明,BP 算法需要消耗相当的训练代价,才能确定最优解附近的区域,但可以很快由此收敛到最优解。而GA 可以较迅速到达含有最优解的区域,但是收敛到确定解往往比较困难[4]
。
为了提高ANN 训练效率和精度,利用GA 与BP 以及多权重剪枝策略(MW -OBS)[5]的有机结合,本文提出混合剪枝算法HAP,对网络结构进行优化。
1 HAP 算法思路与流程
在HAP 中,由GA 优化网络节点数量,BP 训练权重数值,以利用两者的收敛特性,减少遗传编码长度,提高优化速度。同时为了获得高适应性网络,HA P 中还融合了M W-OBS 算法(详见文[5])的特点,通过识别每个权重对网络误差的贡献,对权重数量进行删减,从而可以快速简化网络结构。1.1 HAP 中的个体表达方式
算法中用0、1染色体编码描述一个网络结构可行解,其中编码长度为网络中最多可能包含的节点数,编码顺序事先确定,如纵向自上而下横向从左向右,依次为输出/隐含/输入各层节点。1/0表示该节点在此可行结构中是/否存在,如针对图1a 中的网络结构,获得图1b 对应的编码值。