Levenberg_Marquardt神经网络算法研究_董一芬

参数难以调整，非线性神经网络学习算法Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ可
以有效地克服 ＢＰ 算法所存在的这些缺陷。
一、前馈神经网络
前馈神经网络由输入层、隐层和输出层组成。令ｕ＝［ｕ１，ｕ２，Λ， ｕｍ］Ｔ，ｙ＝［ｙ１，ｙ２，Λ，ｙｎ］Ｔ 络的输入、输出向量， 令 Ｘ＝［ｘ１，ｘ２，Λ，ｘＮ］Ｔ 为网络的权及阈值的全体所组成的向量。给定 Ｐ 组输入输出训练
＝０．０１，ξ＝１０。在采用Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ算法时，为使收敛 速度更快，需要增加学习率因子α，取α为 ０．４。Ｌｅｖｅｎｂｅｒｇ－
（１） Ｍａｒｑｕａｒｄｔ算法的计算复杂度为
为网络权值数目，如果网
学术研讨
Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ 神经网络算法研究
董一芬 山东经贸职业学院
［摘 要］ 前馈神经网络中的向后传播算法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ （ＢＰ） Ａｌｇｏｒｉｔｈｍ）算法存在固有的缺陷，Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ神经网 络算法可以有效地克服这一点 ＢＰ 算法的缺陷。本文给出了 Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ 算法。
［关键词］ 前馈神经网络 Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ 算法 ＢＰ 算法
前馈神经网络ＢＰ学习算法在理论上具有逼近任意非线性连续
映射的能力，在非线性系统的建模及控制领域里有着广泛的应用。
然而ＢＰ 算法存在一些不足， 主要是收敛速度很慢； 往往收敛于
Байду номын сангаас
局部极小点； 数值稳定性差， 学习率、动量项系数和初始权值等
（２）
然后就可以按照各种学习算法开始对 Ｘ 进行训练， 得到最优 Ｘ ， 使得
ｏｐｔ
二、Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ神经网络算法 １．给定初始点 Ｘ（０）， 精度，σ，ｋ＝０。 ２．对 ｉ＝１，２，…，Ｍ 求 ｆ （Ｘ（ｋ）），得向量
ｉ
络中权值的数目很大。则计算量和存储量都非常大。因此，当 每次迭代效率显著提高时，其整体性能可以大为改善，特别是 在精度要求高的时候。
三、结论 前馈神经网络中，ＢＰ 算法存在收敛速度很慢，收敛于局部 极小点等缺陷，而Ｇａｕｓｓ－Ｎｅｗｔｏｎ的改进算法Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ 算法能有效克服 ＢＰ 算法的缺陷。
３８５ 《商场现代化》２００９ 年 ３ 月（上旬刊）总第 ５６８ 期
样本
定义网络的误差指标函数为：
５．若
则得到解 Ｘｏｐｔ，转向 ７（停止计
算）； 否则转向 ６。
６．Ｆ（Ｘ（ｋ＋１））＜ Ｆ（Ｘ（ｋ）），则令
，ｋ＝ｋ＋１，
转向 ２； 否则 ＝ ＊ ξ，转向 ３。 ７．停止计算 在实际操作中， 是一个试探性的参数，对于给定的 ，如
果求得的 ｈ（ｋ）能使误差函数 Ｅｐ（Ｘ）降低，则 被因子ξ除；若 误差函数 Ｅｐ（Ｘ）增加，则 乘以因子ξ。在仿真中，选取初始值
对 ｉ＝１，２，…，Ｍ 求得
３．解线性方程组 求出搜索梯度方向 ｈ（ｋ）。
４．直线搜索，
Ｊａｃｏｂｉ 矩阵
其中λ 满足 ｋ
参考文献： ［１］徐嗣鑫 戴友元：前向神经网络的一种快速学习算法及其应 用．控制与决策， １９９３， ８（４）： ２８４～ ２８８ ［２］王耀南 童调生 蔡自兴：基于神经元网络的智能 ＰＩＤ控制 及应用。信息与控制， １９９４， ２３（３）： １８５～１８９ ［３］张星昌：前馈神经网络的新学习算法研究及其应用。控制与 决策， １９９７， １２（３）， ２１３～ ２１６