自适应前馈神经网络结构优化设计

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Ａｎａａｔｖｌｏｉｈｆｒｄｓｇｉｇｄｐｉｅａｇｒｔｍｏｅｉｎｎ
ｏｔｍａｅｄ—ｏｗａｄｎｅｒｌｎｔｒｒｈｔｃｕｅｐｉｌｆｅｆｒｒｕａｅｗｏｋａｃｉｅｔｒ
馈神经网络结构设计算法．该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点，达到设计最优神经网络结构的目的．在合并操作中，以互信息为准则对输出线性相关的隐节点进行合并；在分裂操作中，引入变异系数，
有助于跳出局部最优网络结构．算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合，减少了网络
第６卷第４期
２１年８月０１
智
能
系
统
学
报
Ｖｏ．ｏ．１６Ｎ４Ａｕ．０１ｇ２１
ＣＡＡＩＴｒｎｓｃｉｎｎＩｔｌｇｎｙｔｍｓａａｔｏｓｏｎｅｌｅｔＳｓｅｉ
ｄｉ１．９９ｊｉｎ１７４７５２１．４０５ｏ：０３６／．ｓ．６３８．００．０ｓ１
ｎｃｉｎｗｅｇｔａｔｒｍｅｇｎｐｉｏｒｔｏｓｃｍｂｎｄｗｉｈｔｅｐｏｅｓｏｒｉｉｇｔｅｒｌｎｔｒＴｈｒ — ｅｔｏｉｈｆｅｒｅａｄｓｌｔｐｅａｉｎｓｗａｏｉｅｔｈｒｃｓｆｔａｎｎｈｅｎｕａｅｗｏｋｅｅ
，
ｏｉｚｔｏｔａｅｙｗａｄｐｅｏｍｅｇｎｄｓｌｔｔｅｈｄｄｎｕｉｏｄｓｇｐｉｌｎｕａｔｒｒｈｉｃｕｅｐｔｍｉａｉｎｓｒｔｇｓａｏｔｄｔｒｅａｐｉｈｉｅｎｔｔｅｉｎｏｔｍａｅｒｌｎｅｗｏｋａｃｔｔｒｅ
自适应前馈神经网络结构优化设计
张昭昭，俊飞杨刚乔，
（．１北京工业大学电子信息与控制工程学院，北京１０２；．０１４２辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛１１５２０）５
摘
要：针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题，出一种自适应前提
对样本的学习次数，提高了网络的学习速度，增强了网络的泛化性能．非线性函数逼近结果表明，提算法能得到更所小的检测误差，最终网络结构紧凑。关键词：前馈神经网络；结构设计；自适应搜索策略；互信息中图分类号：Ｐ７文献标识码：文章编号：６３８（０１０－１－６Ｔ２３Ａ１７４７５２１）４０２０３
．
ａｍｔｉｎｃｅｃｎｗｓｎｒｄｃｄｔｈｌｍｐｏｔｆｏａｙｏｔａｎｔｏｋｈｒｃｓｏｊｓｎｅｃｎｕａｏｏｆｉｔａｉｔｕｅｅｊｕｃｌｐｉｌｅｒ．Ｔｅｏｅｓｆｄｕｔｇｔｏ — ｔｉｅｏｏｐｕｏｌｌｍｗｐａｉｈ
ａｄＩｆｒａｉｎＥｇｎｅｉｇ，ＬａｎｎｅｈｉａｉｅｓｙｎｎｏｍｔｎｉｅｒｏｎｉｏｉｇＴｃｎｃｌＵｎｖｒｉ，Ｈｕｕａ２１５ｔｌｄｏ１５０
，
Ｃｉａｈｎ）
来自百度文库
Ａｂｔａｔｓｒｃ：Ｄｕｏｔａｔｔｔｍｏｔａｇｒｔｍｓｕｅａｇｅｄｔａｅｙｉｅｉｎｎｒｉｃａｅｒｌｎｔｒｉｈｅｔｈｅｆｃｈａｓｌｏｉｈｓｒｅｙｓｒｔｇｎｄｓｇｉｇａｔｉｌｎｕａｅｗｏｋｓｗｈｃｉｆａｅｓｃｐｔｌｏｂｃｍｉｇｔａｐｄａｈｒｈｉｃｕａｏａｐｉｌｐｉｔａｄｐｉｅａｇｒｔｍｏｅｉｎｎｎｒｕｓｅｉｅｔｅｏｎｒｐｅｔｔｅａｃｔｔｒｌｌｃｌｏｔｍａｏｎｂｅｎａａｔｖｌｏｉｈｆｒｄｓｇｉｇａ
．
Ｉｈｅｍｅｇｐｒｔｎ，ｔｄｅｉｓｗｅｅｍｅｇｄｂｓｄｏｔａｎｏｍａｉｎｃｉｅｉｎＩｈｐｉｏｒｔｏｎｔｒｅｏｅａｉｏｈｅｈｉｄｎｕｎｔｒｒｅａｅｎｍｕｕｌｉｆｒｔｏｒｔｒｏｎｔｅｓｌｔｐｅａｉｎ．
ＺＡＧＺａｚａＱＡｕｆｉ，ＹＧＧｎＨＮｈｏｈｏ一，ＩＯＪｎｅＡＮａｇ
（．ＣｌｇｆｌｔｎｎｏｔｌｎｉｅｉｇＢｉｎｎｖｒｉｆｅｈｏｏｙＢｉｎ０１４Ｃｉ；．Ｉｓｔｔｏｌｃ０ｉ１ｏｅｅｏｅｒｉａｄＣｎｏＥｇｅｒ，ｅｉｇＵｉｅｓｙｃｎｌｇ，ｅｉ１０２，ｈｎ２ｎｔｕｅｆｅｔｎｃｌＥｃｏｃｒｎｎｊｔｏＴｊｇａｉＥｒ
，
ｏｉａｅｄｆｒｒｕａｅｗｏｋｗａｒｐｓｄ．Ｄｕｉｇｔｅｔａｎｎｒｃｓｆｔｅｎｕａｅｗｏｋｔｅａａｉｅｐｔｌｆｅ —ｏｗａｄｎｅｒｌｎｔｒｓｐｏｏｅｍｒｎｈｒｉｉｇｐｏｅｓｏｈｅｒｌｎｔｒｈｄｐｔｖ