Matlab神经网络工具箱BP算法比较

学习步长 , X 为神经元连 接权 值 , p erf 为 网络性 能函 数 , 默认
142
是平均平方 误差 m se。traingd 的收敛速度很慢 , 学习步长的选 择很重要 , 过大容易振荡 , 无法 收敛到深窄的 极小点 , 过小则 容易爬行 , 或者陷于局部极小。 2) traingdm: 附加动量 的梯度 下降法。该 方法是 在反向 传播法的基础上 , 在每一个权值变化上 加上一项正 比于前次 权值变化的值 , 并根 据反向 传播 来产生 新的 权值的 变化 , 其 公式为 dX = m c * dXp rev + lr * ( 1 - m c) * dp erf / dX, p rev 表 示上一轮学习的参数 , mc为动量 项。 3) 以上两种是最原始的 BP 算法。它们确实可以解决多 层网络的学习问题 , 但是收敛速度的过 于缓慢阻碍 了神经网 络的发展。简单的网络用其学 习还可以应用 , 当网 络结构比 较复杂的时候 , 学习的时间会很长。 4) traingda , tra ingdx: 这 两 种 算法 都 是 自 适 应 学习 步 长 法。学习步长可以根据误差性 能函数进行调 节 , 能 够解决标 准 BP 算法中学习步长选择不当的问题。自适应学 习步长法 检查权重的修正 值是 否真 正降低 了误 差函数。 如果确 实如 此 , 则说明选取的学 习步长 有上 升的空 间 , 可以 对其增 加一 个量。如若不是 , 那么就应减小学习 步长的值。当 性能函数 m se( k + 1 ) < m se( k ) 的时候 , 增大步长 lr = lr inc * lr; 当 m se( k + 1 ) > 1. 04* m se( k ) 时 , 减小步长 lr = lr d ec * lr; 当 m se( k + 1 ) 位于 m se( k ) 与 1 . 04 * m se( k ) 之间的 时候 , 步长不变。 tra ingda和 traingdx 的区别在于 , tra ingdx 是 traing da的附加动量形式。 5) trainrp: 弹性 BP 算 法。这种 方法消 除偏 导数的 大小 对权值的有害影 响 , 只利用 导数 的符 号表示 权更 新的方 向 , 而不考虑导数的大 小。dX = d eltaX. * sign( gX ) , gX 是梯 度 , deltaX 是权值更 新值 , 会根据 gX 出现 的反复和符号的异 同进行修正。这种 算法 具有收 敛速 度快和 占用 内存小 的优 点。 6) traincg,f tra incgp , tra incgb, tra inscg : 四 种共 轭 梯度 法。 分别采用 F letcher- R eeves 算 法、 Po lak - R ib iers 算法、Pow ell - Beale算法、 成比例 的共轭 梯度 算法 。这几 种方 法收 敛速 度比普通的梯度 下降 法要 快很多。 前三种 方法 都需要 线性 搜索 , 存储量的要求依次增大 , 对收敛速度来 讲 , 不 同的问题 会不同。 T ra inscg不需 要线 性搜索 , 比 前三 种方法 需要 的迭 代次数更多 , 但每次迭代的计算量要 小许多。共轭 梯度算法 的计算代价比较低 , 在较大规模问题中十分有用。 7) trainbfg : 拟牛顿算 法。权值 根据 X = X + a * dX 修 改 , dX 是搜索方向 , a 用来沿着搜 索方向最小化性能函 数。 最 初的搜索方向沿着 梯度 的负 方向 , 再 之后 的迭 代中 按照 dX = - H - 1 * gX 来 修改 , H 为近 似 H essian 矩阵。 T ra inbfg算 法需要的迭代 次数 比较 少 , 但 由于 要每 步都 要存 储 H ess ian 矩阵 , 所以单步计算量和存储量都很大 , 适合小型网络。 8) trainoss : 一 步割 线算 法。为 共轭 梯度 法和 拟牛 顿法
2 M atlab神经网络工具箱中各种 BP 算法函数
1) traingd: 最基本 的 BP 算法。 反向 传播 采用 的是 梯度 下降法 , 按照梯度下降的方向修正各 连接权的 权值。权值的 修正量 dX = lr * dp erf / dX, 其中 d 表示微分 (下同 ), lr 为
收稿日期 : 2005 - 01- 21
的一 种折衷方法。权值根据 X = X + a * dX 修正 , dX 是搜 索方向 , a 用来 沿着搜索 方向 最小 化性 能函 数。 最 初的 搜索 方向沿着梯度 的负方向 , 再之后的迭代中按照 dX = - gX + Ac * X s tep + B c * dgX 来修改 , 其中 X step 是前次迭代 权值的变化 , dgX 是最近一次迭代梯度的变 化 , A c 与 B c 是新 的搜 索方 向 的 调 整 参 数。由 于 不 需 要 存 储 H essian 矩 阵 , tra ino ss算法 单步需要的计算 量和 存储 量都比 trainbfg要 小 , 比共轭梯度法 略大。 9) tra in l m: Levenberg - M a rquardt优化算法 , 权值根据 dX =- (j X T * jX + I * m u )-1j X T * E 进行修正 , 其中 j X 为误差对 权值微分的 Jacobian 矩阵 , E 为误差 向量 , mu 为调 整量。该 方法学习速度 很快 , 但占用 内存 很大 , 对于 中等 规模 的网络 来说 , 是最好的一 种训 练算法。 对于大 型网 络 , 可以通 过置 参数 m em - reduc将 Jacob ian 矩阵 分为几 个子矩 阵。这样可 以减少内存的 消耗 , 但学习时间会增大。 10) tra inbr : 贝叶斯 规则法。对 L evenbe rg - M arquardt算 法进行修改 , 降低了确定最优网络结构的难度。
1 引言
神 经网络 是从微 观结构 和功能上 模拟人 脑的组 织结构 和运行机制 , 由大量 简单的 神经 元分层 组织 在一起 , 实 现人 脑的某些功能。它不需要对被 描述的对象建 模 , 能 够较好地 描述非线性系统 和不 确定 性系统。 神经网 络具 有可并 行计 算、 分布式信息存储、 自适应和 自学习功能强 等优点 , 被广泛 应用在非线性控 制领 域。网络 的学 习过程 由正 向和反 向传 播二部分组成。在正向传播过 程中 , 工 作信号由施 加输入信 号后向前传播 , 通过与神经元的权值和 作用函数进 行作用产 生输出 , 直到 输 出端 得到 实 际输 出的 信 号。反向 传 播 过程 中 , 实际输出与期望输出的误差 , 从输出端 逐层的反向 传播。 在反向传播的过 程中 修改 各层神 经元 的权值。 这二个 过程 的交替反复 , 使得网络的实际输出逐渐向期望输出逼近。
第 23 卷
第 5期
计源自文库
算
机
仿
真
2006 年 5 月
文章编号 : 1006 - 9348( 2006) 05 - 0142- 03
M atlab神经网络工具箱 BP 算法比较
蒲春, 孙政顺 , 赵世敏
( 清华大学自动化系 , 北京 100084 ) 摘要 : BP 前馈网络 , 应用的最为广泛的神经网络 , 目前拥有许多算法。研究了 M at lab 神经网络工具箱提供的多种 BP 算法函 数各自的优势和不足 , 以能在各种不同条件面对不同问题时选用更合适更快速的算法。在介绍了这些算法的基本 原理的基 础上 , 以一级倒立摆模型为例进行仿真研究。分别选用简单网络和复杂 网络 , 并对学习 步长做了改变 , 对比了各种 BP 算法 在不同情况下的迭代次数和仿真时间 , 验证了新型 BP 算法的优势 , 得出了对简单网 络和复杂网络应 该如何选用 BP 算法的 结论。 关键词 : 神经网络工具箱 ; 反向传播算法 ; 倒立摆 中图分类号 : TP391. 9 文献标识码 : A
3 对一级倒立摆控制仿真的比较
下面以一 个一级倒立摆的模型为例比较一下各种 BP 算 法的学习时间 与迭代次数。 倒立摆系 统是一个 典型的 多变 量、 非线性、 强 耦合 和快 速运动的自然 不稳定系统。为一阶倒立摆系统做如下假设 : 1) 各部分得摩 擦力 ( 力 矩 ) 与 相对 速度 ( 角 速 度 ) 成正 比; 2) 整个对象系统 ( 除丝绳外 ) 视为刚体 ; 3) 丝绳无伸缩现象 ; 4) 电路中信号传递和机械传递迟延不计 。 定义符号 意义如下 : r: 小车位移 m: 摆质量 J: 摆对质量重心的转动惯量 度 F: 小车系统 的摩擦系数 与直流放大器 的输入电压之比 对一级倒 立摆做运 动分析 , 并 在平 衡点附 近做 线性 化 , 得到倒立摆的 状态方程 : x1 x2 x3 x4 其中令 : = M 0
Comparison of BP A lgorithm s in M atlab NN Toolbox
PU Chun , SUN Zheng- shun, ZHAO Sh i- m in
( D ept . o f A uto m ation, T singhua U niversity , Be ijing 100084 , Ch ina) ABSTRACT : BP feed forwa rd network , the m ost w ide ly used neural netwo rk, has m any a lgo rithm s at present . A dv antages and d isadvan tages o f various BP a lgo rithm s prov ided in M atlab neura l netwo rk too lbox are studied so that people can choo se m ore suitable and faster a lgor ithm sw hen d ifferent cond itions and different proble m s are faced . A fter intro ducing the basic pr incip le o f these a lgo rithm s , study o f si m ulation is carried out by using a sing le inverted pendu lum as examp le . Choosing si m p le and comp lex ne ts respective ly , and chang ing the learn ing steps , the iteration steps and si m ulation ti m e o f various BP a lgo rithm s in d iffe rent cond itions are compared. Advan tages o f new BP algor ithm s are va lidated . A dv ice on how to select BP function is g iven. KEYW ORDS : N eural netwo rk too lbox ; BP a lgo rithm; Inverted pendu lum BP 前馈网 络 是 应用 的 最为 广 泛的 神 经 网络。 标 准的 BP 网络是根据 W idro w - Ho ff 规则 , 采用梯 度下降算法 , 反向 计算各层系数的增量。在实用中 BP算法存在着两 个重要问 题 : 收敛速度 慢 和目 标函 数 存在 局部 极 小。这 大大 限 制了 BP 网络的应用。随着研究人员对 BP 网络 的深入研究 , 许多 新的快速有效 的算法出现了。 M atlab 以 神经网 络为基 础 , 包 含着 大量 BP 网络的作用函数和算法函数 , 为 BP网络的仿真 研究提供了便 利的工具。众多的算法各自有 各自的特 点 , 在 不同情况下选 用合适的算法可以达到事半功倍的效果。