BP算法的改进

式 分类 问题 ，教 师信号 通 常为 １或 ０ ，所 以
Ｈ 一 ：０ ．５
对 于模 式 Ｐ，输 出层 的接 近 程度 Ａ 定 义 为
Ａ ｐ备
Ａ 随着 网络计算 输 出与期 望输 出的接 近而减 小 ，所 以 ｇ 会 按照 如下 的规 则进 行 调整 ： ，
ｇ ｛ ｆ一 一 Ａｇ
第 ｌ卷年 ６ 期 ２ ３ 第２ １ ０１ 月
辽 宁师 专 学 报
Ｊ ｕ ｎ ｌ ｆＬｉ ｏ ｉ ｇ Ｔｅ ｃ ｅ ｓＣｏｌｇ ｏ ｒ ａ ａ ｎ ｎ ａ ｈ ｒ ｌ ｅ ｏ ｅ
Ｖ０．１ ．２ 】 ３ Ｎ０
Ｊ ｎ ．２ ０ １ １ ｕ
【 术 研 究】 学
的输入 信号太 高或 太低 以致 于所 有 隐含 层 的神经元 产生 了非 常接 近传 递 函数边 界值 的输 出 ，当然 ，这种 情
况 下 网络没 能取得 它 的期望 值 ． 本文 在对 Ｂ Ｐ算法 进行 总体 分 析 的基 础 上 ，采 用一 系列 修改传 递 函数 的方 式 对其 进 行改 进 ，基本 克 服 了Ｂ Ｐ算法 上容 易陷入 局部 极 小值 以及 收敛 速度 较慢 等缺点 ，取 得 了较好 的收敛 效果 ．
Ｂ Ｐ算法 的改进
张 俭
（ 口职 业技 术 学 院 ，辽 宁 营 口 １５ ０ ） 营 １ ０ ０
摘 要 ：针 对 多层 神 经 网 络 中 由 于 隐 含 层 神 经 元 饱 和 而 ｝ 起 的 局 部 极 小 值 问 题 ，提 出 一种 改进 的 Ｂ 算 ｌ Ｐ 法． 每 一种 训 练 模 式在 隐含 层 的 神 经 元 都 采 用 各 自 的传递 函 数 ，该 改进 算 法 的 思 想 是 当 网 络 输 出 没有 取 得 期 望 的结 果 时 ，修 改 传 递 函数 以 防止 隐含 层 神 经 元饱 和 ，这 种 改进 的算 法 既 不用 改 变 网络 的拓 扑 结 构 ，也 不 会 消耗 更 多 的计 算 时 间． 关 键 词 ：神 经 网络 ；Ｂ Ｐ算 法 ；局 部 极 小 ；饱 和 ；增 益 参 数 中 图分 类号 ：Ｔ １ ３ Ｐ ８ 文 献 标 识 码 ：Ａ 文章编号 ：
参考文献 ：
图２迭代次数与样本均方 误差关系 图 （ ｐ ｃ ５０ ０ Ｅ ｏｈ＝ ０ ０ ）
［ ］Ｍａｔ １ ｒ ｎＴ Ｈ，Ｈｏ ｒ ｉ ｗａｄＢＤ，ＭａｋＨ ．神经 网络设计 ［ ．北京 ：机械工业 出版 社 ，２ ０ ．３ ６ ８ ． ｒ Ｂ Ｍ］ ０ ２ ８ —３ ８ ［ ］王永庆．人工智能原理 与方 法 ［ ．西安 ：西安交通大学 出版社 ，２ ０ ．２ １ ９ ． ２ Ｍ］ ０ １ ９ —２ ９ ［］ＷａｇＣ，Ｐ ｉｅ ｅＪＣ ３ ｎ ｒ ｉ ．Ｔｒｉｉｇ ｎｕ ａ ｎｔ ｒ ｓｗｉ ｄ ｉｖ ｏｓ ｈ ｅｉ ｄｓｇ ａ Ｊ ．Ｉ Ｅ ｒｎ ．Ｎｅｒｌ ｎｐ ａ ｎ ｅ ｒｌ ｅｗｏｋ ｔ ａ ｄ ｉｅｎ ｉ ｉ ｔｅｄｓ ｅ ｉｎ ｌ［３ Ｅ Ｅ Ｔ ａｓ ｎ ｈ ｔ ｅｎ ｒ ｕａ Ｎ ｔ ｒｓ ９ ９ １ （） １ １ —１ １ ． ｅｗｏｋ ，１ ９ ， ０ ６ ：５ １ ５ ７ （ 稿 人 李树 东，责 任 编 辑 王 巍 ） 审 （ 接 ２ 上 Ｏ页 ）
２ ３ 在教 学 内容过 渡处创 设教 学情境 ． 教 师利 用多 媒体课 件 恰 当 、 自然地 进行 教学 内容 的过渡 ，对 新 旧知识 的衔 接起 到 桥梁 和纽带 作用 ．创 设 教学 情境 时 ，注意不 要产 生 知识 “ 断层 ” ，要从 一个 已学 知 识 点 自然 过 渡 到新 的知 识点 ．通 过 多媒 体课 件演示 ，学 生可 以直 观地 观察 到数 学方 法在 相关 学科研 究 中的重 要作 用 ，能激 发 学生 的兴 趣 ，增０
其他
然后将 新计 算 出 的 ｇ 用 于训 练模 式 Ｐ时隐含 层 的所 有神 经元 ． 由上 述 的公 式可 以看 出 ，ｇ 在 应 用于所 有模 式后 会调 整 回 １ ０ ． ，这 种情 况 会发 生在 网络计 算输 出接 近 期 望输 出时 ，所 以网络 的拓 扑结 构不 会 变 ，而且 不需要 大量 的附加 运算 ．
利用数 学软 件制 作 图表 ，从 量 与形 两方 面将 枯燥 、抽 象 的数 学 概念 和 理 论 变 得 直观 、形 象 、生 动． 个 知 一 识点可 用 多种方 式表示 ，教师 同时 进行 点评 与注 释 ，从 而有 助 于学生 的理 解 和接 受 ，激发 学生学 习数学 的
兴趣 ．
实验 结果 表 明 ，改进 后 的 Ｂ Ｐ算 法有 效地 避免 了局 部极 小值 问题 ．
４ 结 论
ｌ ＿ 是针 对多 层前 馈神 经 网络 提 出的改 进算 法及实 验效 果． 在这 个改 进 算法 中 ，每一 种训 练模式 在 ２－ ，１ 就 隐含层 的神 经元 中都 有 它 自己的传 递 函数 ，在 学习 的过 程 中 ，传递 函数 会 随着 ｇ 的变 化 而 调 整 ，这 种 调 整是 为了避 免 由于隐 含层 神经 元饱 和 而引起 的局 部极 小值 问题 ，当网络 计算 输 出接 近教 师信 号 的时候 ，ｇ
第三 步 ：使 用 近似 的最 速下 降法 更新 权值 和偏 置值
收 稿 日期 ：２ １一 Ｏ— ２ ０１ １ Ｏ 作 者 简 介 ：张 俭 （９ ０ ） １ ８ － ，女 ，辽 宁 营 口市 人 ，讲 师 ，主要 从 事 计 算 机 教 学 方 面研 究 ．
３ ８
辽 宁师 专 学报
２ １ 年 第 ２期 ０１
张
俭
Ｂ Ｐ算 法 的 改进
会 调整 回它 的初 始值 １ ０ 上述 的实 验表 明 ，这种 改进 的 Ｂ ．． Ｐ算法 在避 免局 部极 小 值 问题 上是 非常有 效 的 ， 但是 对于更 多 的大 问题 和应 用 还需 要进 一步分 析 ．
Ｅｏｈ ｐ ｃ
图１迭代次数与样本均方误差关系图 （ ｐ ｃ １ ０ ０ Ｅ ｏ ｈ＝ ０ ０ ）
Ｗ （ ＋ １ ＝ Ｗ （ ） ａ （ 一 １ 忌 ）＝ ＝ 志一 ５ 口 ）
ｂ 忌 １ ＝ ｂ ） — ｓ （ ＋ ） ＝ （ — 口 ＝
２ 改进 算法 的描述
对每个模式 都调整 隐含层 的 Ｓ形的传递 函数 ，这就可 以使 连接隐含 层和输 出层 的权值得 到协调 的修改．
取传 递 函数
，） （ 赤 ｚ
义另 外两个 参数 ，一 个是
其 中 ｇ为增 益参数 ，ｇ通常设 为 １ ０ ． ，这 时 厂（ ） ｚ 即为对 数 一Ｓ型 函数 ｌｇ ｉ． 令 ｇ ｏ ｓｇ 为模 式 Ｐ下 的 ｇ 值．ｇ 的值根 据输 出层 的期 望输 出和 网络 计算 输 出 的接 近程 度进行 调 整 ，为 了得 到 ｇ 的值 ，我们 需 要定 ｅ＝ ｍａ （ ｔ ～０ｊ） ｐ＝ ｘ １ Ｊ ｐ１ ＝ ｐ 其中 ｔ ，Ｏ 分 别为 期望 输 出和 网络 的计算 输 出． ｐ ｊ 另一 个参 数 Ｈ 为 不 同教师 信号 的平 均值 ，对 于一 个 给定 的学 习任务 ，Ｈ 是 个 常数 ． 对于 大 多数 的模
见附图 １ ．
（ ）在 Ｅ ｏｈ ００ ０ ｏ ｌ ． ０ ２ ｐ ｃ ＝５ ０ ，ｇ ａ ＝０ ０ ０ｌ时 ，学习结 果对 比表 见表 ２ ，选 代 次数 与样 本均 方程差 关系 图
见 附图 ２ ．
表 １ 学 习结 果 对 比 表 （ ｐ ｃ ＝ １ ０ ） Ｅ ｏ ｈ ００ ０ 表 ２ 学 习结 果 对 比表 （ ｐ ｃ ￣５ ０ ） Ｅ ｏｈ ００ ０
３ 实 验 结 果 及 分 析
以下用异 或 问题对 改 进 的 算 法 进行 验证 ，收 到 了很 好 的效 果 ，算 法 用 ＭＡＴＬ ＡＢ实 现． 实验 中采 用 ２ —１ —２ 结构 的神 经 网络 ，学 习率 ａ ． ，初 始权值 和偏 置值 随 机取 （ １ ０ １ Ｏ 之 间 的数 ，程 序开始 时 ， ＝０ １ 一 ． ，． ） 取 ｇ ＝１０ ＝ ． ，实 验结 果如 下 ｌ ＝ （ ）在 Ｅ ｏｈ ＝１ ０ ，ｇ ａ 一０ ０ ０１时 ，学 习结 果对 比表 见表 １ １ ｐ ｃ ： ００ ０ ｏ ｌ ． ０ ＝ ，选 代 次数 与样本 均 方误差关 系 图
的主动 性 和积 极性 ． ２ ４ 在巩 固练 习处创 设教 学情境 ．
０ 引 言
Ｂ Ｐ算 法 因其 结构 性 能好 ，拥有 较 强 的信 息 处理 能力 以及 自学 能 力 等 优 点 ，在 模 式识 别 、分类 、函数 逼 近 、数据 压缩 、智 能控 制及 系统 建模 等方 面得 到越来 越 广泛 的应 用．但 是 由于问题 本 身的复 杂性 和计算 机在 时间 、空 间上 的局 限性 ，Ｂ Ｐ算 法也 凸显 了其 不足 之处 ，例 如 在 学 习算 法 中其 收敛 速 度 较慢 且存 在 局 部极值 问题 ，网络 的初始 权值 以及 隐含 层单 元数 需要 根据 经验选 取 等 问题 有 待 于进一 步解 决［ ． 】 ］ Ｂ Ｐ算法 很难解 决局 部极 小 值 的问题 ，而 目前 存在 的 大多 数算 法 都 是 通过 修 改 学 习模 型来 解决 ，这 些 方 法 虽然克 服 了陷入局 部极 小 值 的趋势 ，但 是对 权值进 行 的多种 多样 的随机 调整 不能 有效 地避 免局部 极小 值 ，而且在 合理 的重复 次数 内 ，网络并 不 能收敛 于全局 最小 值 ．我 们 已经 注意 到一些 局 部极小 值问题 与 ］ 隐含层 的神 经元饱 和有 着密 切 的关 系 ：一旦 隐含层 的神 经元饱 和 ，隐含层 神经 元就 会 失去对 输入信 号 的精 确 性 ，而且信 息 的传播 也会 受堵 ，甚 至会 使 网络失 去学 习能力 ． 这里所 说 的 隐含层 神 经元饱 和是 指隐含层
其错 误部 分反方 向传 递 ，在 反方 向传 递过 程 中将错 误信 号分别 给 予各个 单 元处 理 ，从 而获得 其 中的误差信 号． 反复第 一输 入输 出过 程 和第二 误 差调 整过程 直 到输 出期望值 为 止． 当然 在实 际 的生 活过程 中，人 们会 有一 个错 误 的容 忍度 问题 ，在 反 复 的调整 纠错 过程 中人们 也可 以提前 设 定循 环 次数 以及将 误 差减小 到可 以 接受 的程 度．Ｂ Ｐ算法 的一 般 步骤 为 ： 第一 步 ：通 过 网络将 输入 向前 传 播