具有混沌学习率的BP算法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一
完全 由网络 当时 的均方差 Ｅ 学习误差 和各 节点的输出 、
值 ０决定 。当网络 的拓扑结构及训练输入样本和 目标 输出值 定时 ， 学习率 Ｚ 的修改值ｌ 为 ： ｒ ＿ ７ ｊ
ｌ ｒ＝ 行信息处理 Fra bibliotek 对非线 性系统具有很强 的模拟能力 ， 目前应用 是
最 广 泛 的 人工 神 经 网络 之 一 。训 练 该 网络 的 算 法 称 为 Ｂ Ｐ算
ＧＥ Ｊ ｎ ｗｅ Ｓ ｕ － ｉ， ＨＡ ｉｇ ， ＦＡＮＧ Ｙｉ ｉ Ｊｎ ｕ ｑ
（ ．Ｃｏ ｌ ｇ ｆＳ ｆｗａ ｅ ．Ｃ ｌｅ ｅ ｏ ｍｐｕ ｅ ｉ ｎ ｅ ａ ｄ Ｔｅ ｈ ｏ ｏ ｙ， ａ ｌｅ ｅ ｏ ｏ ｔ ｒ ；ｂ ｏ ｌｇ ｆＣ ｏ ｔ ｒＳｃｅ ｃ ｎ ｃ ｎ ｌ ｇ Ｃｈ ｎ ｑ ｎ ｉ ｅ ｓｔ ｆＰｏ ｔ ｎｄ Ｔｅｅ ｏ ｏ ｇ ｉ ｇ Ｕｎ ｖ ｒ ｉｙ ｏ ｓ ｓ ａ ｌ ｃ ｍｍｕ ｃ ｔｏ ｎｉａ ｉ ｎ，Ｃｈ ｎ ｑ ｎ ０ ０ ５，Ｃｈ ｎ ） ｏ ｇ ｉｇ ４ ０ ６ ｉａ
ｔ ｅ ｓ ｅ ｄ ｏ ｏ ｖ ｒ ｅ ｃ ｓ ｖ ｒ ｌ ｗ．Ｔｏ ｓ ｌ ｅ ｔ ｅ ｐ ｏ ｌｍ ，ｔ ｉ ａ ｅ ｋ ｓ ｕ ｅｏｆｅ ｇ ｄ ｃ ｔ ｒ ｐｅ ｔ ｆｃ ａ ｓ ｔ ｒｓ ｉｓ ｉ ｒ ｖ ｍｅ ｒ ｍ ｈ ｐ ｅ ｆｃ ｎ ｅ ｇ ｎ ｅ ｉ ｅ ｙ ｓｏ ｏｖ ｈ ｒ ｂｅ ｈ ｓ ｐ ｐ ｒ ｍａ ｅ ｓ ｒ ｏ ｉｉｙ ｐ ｏ ｒ ｙ ｏ ｈ ｏ ，ｓ ａ ｔ ｔ ｍｐ ｏ ｅ ｎｔｆ ｏ ｔ ｅ ｌａ ｎ ｎ ａ ｅ ｈ ｅ ｒ ｉ ｇ ｒ ｔ ．Ｔｈ ｍｐ ｏ ｅ ｌ ｏ ｉｈ ｕ ｄ ｒ ｏｅ ｉ ｌ ｔ ｄ ｏ ｅ ａ ｉ ｎ ｗｉｈ Ｍ ａ ｌ ｂ Ｔｈ ｔ ｏ ｅ ｓ ｗｓ ｔ ｔ ｔ ｅ ａｇ ｒｔ ｍ ｍ ｐ ｏ ｅ ｈ ｅ ｉ ｒ ｖ ｄ ａ ｇ ｒｔ ｍ ｎ ｅ ｇ ｓ ａ ｓｍｕ ａ ｅ ｐ ｒ ｔｏ ｔ ｔ ． ａ ｅ ｏｕ ｃ ｍ ｈｏ ｈａ ｈ ｌ ｏ ｉｈ ｉ ｒ ｖ ｓ ｔ ｅ
ｓ ｅ ｄｏ ｔ ｒ ｔｄ ｎｄｔ ｅａ ｃ ｒ ｃ ｆｃ ｎ ｅｇｅ ｃ ｐ ｅ ｆｎｅｗｏ ｋｓｕ ｙ ａ ｈ ｃｕ ａ ｙ ｏ ｏ ｖ ｒ ｎ ｅ，ａ ｄ ｓｖ ｓｔ ｅｎｅｗｏ ｋ ｆｏ ｔ ｅｐ ｏ ｌｍ ｆｌｃｌｍｉ ｍ ａ ｎ ａ ｅ ｈ ｔ ｒ ｒ ｍ ｈ ｒ ｂｅ ｏ ｏ ａ ｎｉ ．
Ｍａｌｂ软件对改进算法进行仿 真。实验结果表明， ｔ ａ 该算＂ ￣够提 高神经网络 的学习效率和收敛精度 ， ａ ｇ － 较好地避免网络陷入局部极小点。
关 键 词 ： Ｐ神 经 网络 ；混 沌 ；学 习 率 ；遍 历 性 Ｂ
ＢＰ Ａｌ ｏ ｉｈ ｔ ａ ｔｃ Ｌｅ ｒ ｎｇ Ｒａ ｅ ｇ ｒ ｔ ｍ ｗｉｈ Ｃｈ ｏ ｉ ａ ｎｉ ｔ
［ ｂｔａｔＴｈ ｉ ｗｅｋｐ ｉｔ ｆ ａｋＰｏ ａ ａｉｎ Ｂ ）ａｇ ｒ ｈ ｉ ｔａ ｔｅｏ ｔ ｌ ｒｃｄ ｒ ａｉ ｒｐ ｅ ｔ ｃｌ ｎｍｕ ｖｌｅａ ｄ Ａ ｓｒｃ］ ｅｍａｎ ａ ｏｎ ｃ ｒｐ ｇｔ （ Ｐ ｌｏｉ ｍ ｈ ｔ ｈ ｐｉ ｏｅ ｕｅｉ ｅｓｙｔａｐ ｄｉ ｏｌ ａ ｍｉｉ ｍ ａｕ ｎ ｏＢ ｏ ｔ ｓ ｍａ ｐ ｓ ｌ ｎ ｏ
第３ ６卷 第 ２ ３期
Ｖ０ ． ６ Ｉ３
・
计
算
机
工
程
２１ ０ ０年 １ ２月
Ｄｅ ｅ ｂ ｒ ２ １ ｃｍ ｅ ０ ０
Ｎｏ ２ ． ３
Ｃｏ ｐｕ ｅ ｇ ｎｅ ｒｎｇ ｍ ｔ ｒＥｎ ｉ ｅ ｉ
人 工智能及 识别 技术 ・
文 章编号： ０— ４８２ｌ） —０６ ｏ １ ０ ３２（ ｏ２ １ — ３ ０ ０ ３ ８
Ｂ （ ａｋＰ ｏ ａａｉｎ￣ 经网络是 采用误 差逆 向传播学 Ｐ Ｂ ｃ ｒｐ ｇｔ ） ｏ
习 算 法 的 多层 前馈 神鲣 网络 ， 网络 模 型 一 般 有 输 人 层 、 该 隐层
和 输 出 层 ， 有 学 习 、 想 和 容 错 功 能 ， 能 进 行 大 规 模 并 Ｊ具 联 并
文献标识码： Ａ
中图分 类号： ｌ ｌ １３ 『ｌ Ｉ
具有 混沌 学 习率 的 Ｂ 算 法 Ｐ
葛 君 伟 沙 ， 静 方 义秋 ，
（ 庆邮电大学 ａ 重 ．软 件 学 院 ；．计 算 机 科 学 与 技 术学 院 ，重 庆 ４ ０ ６ ） ｂ ０ ０ ５
摘
要： 针对 Ｂ Ｐ算法在训练过 程中容 易陷入 局部 极 小值 ， 导致 收敛速 率慢 的 问题 ， 讨 一种利 用混 沌的遍历 特性 改进 学习效率 的算 法， 探 用
［ ｙｗ ｒ ｓ Ｂ ｃ ｒ ｐ ｇ ｔ ｎ Ｂ Ｋｅ ｏ ｄ ｌ ａ ｋＰ ｏ ａ ａ ｉ （ Ｐ）ｎ ｕ ａ ｅｗｏ ｋ ｈ ｏ ｌ ｒ ｉｇ ｒｔ ；ｅｇ ｄｃｔ ｒ ｐ ｒ ｏ ｅ ｒｌ ｔ ｒ ｃ ａ ｓ ｅ ｎｎ ａｅ ｒ ｏ ｉｉ ｐ ｏ ｅ ｔ ｎ ａ ｙ ｙ
１ 概述
Ｍ
Ｐ
Ｍ
Ｐ
，
Ｍ
Ｐ
ｒ
ｐ
Ｅ ［ Ｅ（
一 一
。） 善‘ ） ∑ｐ ｐ ＋ 。 。 蚤＝ ∑ ｉ ＋ ＋ （ ｏ １ ）
） ］
法， 其基本 思想是通过 网络误差 函数的极小值调整 权重分布 使神经网络收敛 于稳定状 态。但是 ， 现行 的 Ｂ Ｐ算 法采 用最 陡梯度下 降法使平方误差达到最小 的策略却存在一个不可避 免的问题 ： 训练过程容易陷入局部极小值 。针对这个缺 陷， 本 文在 现 行 Ｂ Ｐ算 法 基 础 上 ， 合 混 沌 遍 历 性 设 计 了一 种 具 有 结 混沌学 习率的 Ｂ Ｐ算 法 ， 以前者梯 度下 降算 法快 速 收敛到 局
完全 由网络 当时 的均方差 Ｅ 学习误差 和各 节点的输出 、
值 ０决定 。当网络 的拓扑结构及训练输入样本和 目标 输出值 定时 ， 学习率 Ｚ 的修改值ｌ 为 ： ｒ ＿ ７ ｊ
ｌ ｒ＝ 行信息处理 Fra bibliotek 对非线 性系统具有很强 的模拟能力 ， 目前应用 是
最 广 泛 的 人工 神 经 网络 之 一 。训 练 该 网络 的 算 法 称 为 Ｂ Ｐ算
ＧＥ Ｊ ｎ ｗｅ Ｓ ｕ － ｉ， ＨＡ ｉｇ ， ＦＡＮＧ Ｙｉ ｉ Ｊｎ ｕ ｑ
（ ．Ｃｏ ｌ ｇ ｆＳ ｆｗａ ｅ ．Ｃ ｌｅ ｅ ｏ ｍｐｕ ｅ ｉ ｎ ｅ ａ ｄ Ｔｅ ｈ ｏ ｏ ｙ， ａ ｌｅ ｅ ｏ ｏ ｔ ｒ ；ｂ ｏ ｌｇ ｆＣ ｏ ｔ ｒＳｃｅ ｃ ｎ ｃ ｎ ｌ ｇ Ｃｈ ｎ ｑ ｎ ｉ ｅ ｓｔ ｆＰｏ ｔ ｎｄ Ｔｅｅ ｏ ｏ ｇ ｉ ｇ Ｕｎ ｖ ｒ ｉｙ ｏ ｓ ｓ ａ ｌ ｃ ｍｍｕ ｃ ｔｏ ｎｉａ ｉ ｎ，Ｃｈ ｎ ｑ ｎ ０ ０ ５，Ｃｈ ｎ ） ｏ ｇ ｉｇ ４ ０ ６ ｉａ
ｔ ｅ ｓ ｅ ｄ ｏ ｏ ｖ ｒ ｅ ｃ ｓ ｖ ｒ ｌ ｗ．Ｔｏ ｓ ｌ ｅ ｔ ｅ ｐ ｏ ｌｍ ，ｔ ｉ ａ ｅ ｋ ｓ ｕ ｅｏｆｅ ｇ ｄ ｃ ｔ ｒ ｐｅ ｔ ｆｃ ａ ｓ ｔ ｒｓ ｉｓ ｉ ｒ ｖ ｍｅ ｒ ｍ ｈ ｐ ｅ ｆｃ ｎ ｅ ｇ ｎ ｅ ｉ ｅ ｙ ｓｏ ｏｖ ｈ ｒ ｂｅ ｈ ｓ ｐ ｐ ｒ ｍａ ｅ ｓ ｒ ｏ ｉｉｙ ｐ ｏ ｒ ｙ ｏ ｈ ｏ ，ｓ ａ ｔ ｔ ｍｐ ｏ ｅ ｎｔｆ ｏ ｔ ｅ ｌａ ｎ ｎ ａ ｅ ｈ ｅ ｒ ｉ ｇ ｒ ｔ ．Ｔｈ ｍｐ ｏ ｅ ｌ ｏ ｉｈ ｕ ｄ ｒ ｏｅ ｉ ｌ ｔ ｄ ｏ ｅ ａ ｉ ｎ ｗｉｈ Ｍ ａ ｌ ｂ Ｔｈ ｔ ｏ ｅ ｓ ｗｓ ｔ ｔ ｔ ｅ ａｇ ｒｔ ｍ ｍ ｐ ｏ ｅ ｈ ｅ ｉ ｒ ｖ ｄ ａ ｇ ｒｔ ｍ ｎ ｅ ｇ ｓ ａ ｓｍｕ ａ ｅ ｐ ｒ ｔｏ ｔ ｔ ． ａ ｅ ｏｕ ｃ ｍ ｈｏ ｈａ ｈ ｌ ｏ ｉｈ ｉ ｒ ｖ ｓ ｔ ｅ
ｓ ｅ ｄｏ ｔ ｒ ｔｄ ｎｄｔ ｅａ ｃ ｒ ｃ ｆｃ ｎ ｅｇｅ ｃ ｐ ｅ ｆｎｅｗｏ ｋｓｕ ｙ ａ ｈ ｃｕ ａ ｙ ｏ ｏ ｖ ｒ ｎ ｅ，ａ ｄ ｓｖ ｓｔ ｅｎｅｗｏ ｋ ｆｏ ｔ ｅｐ ｏ ｌｍ ｆｌｃｌｍｉ ｍ ａ ｎ ａ ｅ ｈ ｔ ｒ ｒ ｍ ｈ ｒ ｂｅ ｏ ｏ ａ ｎｉ ．
Ｍａｌｂ软件对改进算法进行仿 真。实验结果表明， ｔ ａ 该算＂ ￣够提 高神经网络 的学习效率和收敛精度 ， ａ ｇ － 较好地避免网络陷入局部极小点。
关 键 词 ： Ｐ神 经 网络 ；混 沌 ；学 习 率 ；遍 历 性 Ｂ
ＢＰ Ａｌ ｏ ｉｈ ｔ ａ ｔｃ Ｌｅ ｒ ｎｇ Ｒａ ｅ ｇ ｒ ｔ ｍ ｗｉｈ Ｃｈ ｏ ｉ ａ ｎｉ ｔ
［ ｂｔａｔＴｈ ｉ ｗｅｋｐ ｉｔ ｆ ａｋＰｏ ａ ａｉｎ Ｂ ）ａｇ ｒ ｈ ｉ ｔａ ｔｅｏ ｔ ｌ ｒｃｄ ｒ ａｉ ｒｐ ｅ ｔ ｃｌ ｎｍｕ ｖｌｅａ ｄ Ａ ｓｒｃ］ ｅｍａｎ ａ ｏｎ ｃ ｒｐ ｇｔ （ Ｐ ｌｏｉ ｍ ｈ ｔ ｈ ｐｉ ｏｅ ｕｅｉ ｅｓｙｔａｐ ｄｉ ｏｌ ａ ｍｉｉ ｍ ａｕ ｎ ｏＢ ｏ ｔ ｓ ｍａ ｐ ｓ ｌ ｎ ｏ
第３ ６卷 第 ２ ３期
Ｖ０ ． ６ Ｉ３
・
计
算
机
工
程
２１ ０ ０年 １ ２月
Ｄｅ ｅ ｂ ｒ ２ １ ｃｍ ｅ ０ ０
Ｎｏ ２ ． ３
Ｃｏ ｐｕ ｅ ｇ ｎｅ ｒｎｇ ｍ ｔ ｒＥｎ ｉ ｅ ｉ
人 工智能及 识别 技术 ・
文 章编号： ０— ４８２ｌ） —０６ ｏ １ ０ ３２（ ｏ２ １ — ３ ０ ０ ３ ８
Ｂ （ ａｋＰ ｏ ａａｉｎ￣ 经网络是 采用误 差逆 向传播学 Ｐ Ｂ ｃ ｒｐ ｇｔ ） ｏ
习 算 法 的 多层 前馈 神鲣 网络 ， 网络 模 型 一 般 有 输 人 层 、 该 隐层
和 输 出 层 ， 有 学 习 、 想 和 容 错 功 能 ， 能 进 行 大 规 模 并 Ｊ具 联 并
文献标识码： Ａ
中图分 类号： ｌ ｌ １３ 『ｌ Ｉ
具有 混沌 学 习率 的 Ｂ 算 法 Ｐ
葛 君 伟 沙 ， 静 方 义秋 ，
（ 庆邮电大学 ａ 重 ．软 件 学 院 ；．计 算 机 科 学 与 技 术学 院 ，重 庆 ４ ０ ６ ） ｂ ０ ０ ５
摘
要： 针对 Ｂ Ｐ算法在训练过 程中容 易陷入 局部 极 小值 ， 导致 收敛速 率慢 的 问题 ， 讨 一种利 用混 沌的遍历 特性 改进 学习效率 的算 法， 探 用
［ ｙｗ ｒ ｓ Ｂ ｃ ｒ ｐ ｇ ｔ ｎ Ｂ Ｋｅ ｏ ｄ ｌ ａ ｋＰ ｏ ａ ａ ｉ （ Ｐ）ｎ ｕ ａ ｅｗｏ ｋ ｈ ｏ ｌ ｒ ｉｇ ｒｔ ；ｅｇ ｄｃｔ ｒ ｐ ｒ ｏ ｅ ｒｌ ｔ ｒ ｃ ａ ｓ ｅ ｎｎ ａｅ ｒ ｏ ｉｉ ｐ ｏ ｅ ｔ ｎ ａ ｙ ｙ
１ 概述
Ｍ
Ｐ
Ｍ
Ｐ
，
Ｍ
Ｐ
ｒ
ｐ
Ｅ ［ Ｅ（
一 一
。） 善‘ ） ∑ｐ ｐ ＋ 。 。 蚤＝ ∑ ｉ ＋ ＋ （ ｏ １ ）
） ］
法， 其基本 思想是通过 网络误差 函数的极小值调整 权重分布 使神经网络收敛 于稳定状 态。但是 ， 现行 的 Ｂ Ｐ算 法采 用最 陡梯度下 降法使平方误差达到最小 的策略却存在一个不可避 免的问题 ： 训练过程容易陷入局部极小值 。针对这个缺 陷， 本 文在 现 行 Ｂ Ｐ算 法 基 础 上 ， 合 混 沌 遍 历 性 设 计 了一 种 具 有 结 混沌学 习率的 Ｂ Ｐ算 法 ， 以前者梯 度下 降算 法快 速 收敛到 局