一种小波神经网络的优化算法

a a
其中 , a 为伸缩因子 , b 为平移因子 ,
1
a Sigmoid 函数 , 就构成了小波神经网络 , 可以达到对任意函数的最佳逼近 。
为归一化系数 。取上述一维小波函数系作为神经网络传递函数代替
2 由于 ψa , b ( t ) 满足框架性质 , 即存在两个常数 0 < A ≤B < ∞, 使得对任意 f ∈L 2 ( R ) , 有 A ‖f ‖ ≤
n
E (θ( k ) )
( 7) ( 8)
E =
k =1
[ g( t ) ∑
k
- f ( t k) ] ・
5 ( ) g t 5θ
其中 ,λ为学习因子 ( 即迭代步长) 。
( 二) 变尺度算法
θ按照变尺度法修正 , 其公式为 , 当寻优过程开始接近最优时 , 更改寻优算法 , 即采用变尺度算法 。 θ( k + 1) = θ( k ) + λH ( k ) D ( k ) ( 9) 其中 , H ( k ) 为 Hesse 矩阵 , 并且 H ( 0) 取为单位矩阵 。 5 Ek ( 10) D ( k) = 5θ
3. 提高了资金拨付效率和规范化程度 。实行财政集中
123
终用款单位和收款人 。
4. 促进了单位管理意识和水平的提高 。国库集中支付
收付制度 ,主管部门完成支付程序后 ,资金从财政部门账户 到用款单位或收款人账户可在一天完成 。高校提出直接支 付申请时 ,必须按规范的程序和要求做好相关工作 , 克服以 往存在的随意性 。高校发出授权支付的支付令时 ,必须考虑 到整个支付过程对主管部门 、 对财政都是双向透明 、 完整记 录的 ,因而也不敢随意使用资金 。这些都大大加快了资金支 付的效率和速度 ,促进了支付过程的规范化管理 , 方便了最
( 11) ( 12) ( 13)
Δ D ( k + 1) = D ( k + 1 ) - D ( k ) ( 三) 改进算法描述
( 1) 选用合适的小波 ; ( 2) 始化参数 θ, L = 0 , Eol d (θ ) = 0;
( 3) 计算网络输出的误差和 E (θ ) 。如果 E (θ ) ≤ ε, 则网络训练成功 , 结束 ; 否则 , 如果| Eol d (θ ) - E (θ )|
ρ(ρ为误差域值 ,ρ≥ ≤ 0) , 则 L = L + 1 ; 否则 , L = 0 ; ( 4) 如果 L > p ( p ∈Z) , 则表明网络正逼近一极值点 , 转向第 ( 9 ) 步 , 使用 DFP 变尺度算法加速网络的 收敛 ;
( 5) Eol d (θ ) = E (θ ); ( 6) 计算 E (θ ) 的梯度 : ) 5 E (θ = 5 wi ) 5 E (θ = 5 ai ) 5 E (θ = 5 ai t k - bi 其中 : x k = ; ai ( 7) 利用式 ( 7 ) 更新 θ; ( 8) 返回第 ( 3 ) 步 ; ( 9) 利用式 ( 9 ) 更新 θ, 计算 E (θ ) , 迭代直到 E (θ ) ≤
( 6) 判断 E (θ ) < Emax ( 误差最大值) 或达到最大训练步数 , 则停止训练 ; 否则 , 令 E = 0 , 返回第 ( 3) 步 。
由于小波神经网络是一前向网络 , 因此基于 B P 算法的学习算法一般都适用于小波神经网络 , 如动量 法、 梯度法 , 人们采用最多的是各种梯度算法 。但无论哪种梯度法 , 其最大的问题是开始下降快 , 到后来收 敛速度越来越慢 , 甚至达到无法忍受的地步 , 为此本文在迭代初期采用负梯度下降法 , 当接近最优时采用 DFP 变尺度算法加快收敛速度 。 四、 与 DFP 变尺度法相结合的权值修正算法 ( 一) 梯度算法 误差寻优初期 ,θ按照负梯度下降方向修正的公式表示 θ( k + 1) = θ( k ) - λ
) = E (θ
1 2 [ g ( t) - f ( t) ] 2
( 6)
图1 小波神经网络结构
一般通过对式 ( 6) 进行最小化得到网络各参数 , 则学习算法步骤如下 :
( 1) 选用合适的小波 ; ( 2) 初始化参数 θ; ( 3) 计算 E (θ ) 的梯度 ; ( 4) 调整参数 θ; ( 5) 计算误差和 E (θ );
参考文献 :
[ 1 ] Zhang Q H ,Benveniste A. Wavelet networks[J ] . IEEE Transactions on Neural Networks ,1992 ,3( 6) :889 - 898. [2 ] 肖柳青 ,周石鹏 . 实用最优化方法 [ M ] . 上海 : 上海交通大学出版社 ,2000. [3 ] 陈开周 . 最优化计算方法 [ M ] . 西安 : 西安电子科大出版社 ,1987. [4 ] 万建 ,徐德民 ,等 . 一种小波神经网络结构及学习算法研究 [J ] . 系统工程与电子技术 ,2002 ,24 ( 3) :35 - 38. [5 ] 孙小点 ,任雪梅 ,等 . 连续小波神经网络优化结构研究 [J ] . 系统仿真学报 ,2001 ,13 ( 8) :26 - 28.
就有
n
g ( t) =
k =1
∑w ψ(
k
t - b 对于具有 m 个输入的多输入网络 , 式 ( 4) 变为
m n
g ( t) =
k =1
∑
ψ wk
i =1
∑u
ki t i
( i ) ( i ) - bk ak
( 5)
其中 , u ki 表示第 k 个输入样本对的第 i 个元素的权值 。 三、 小波神经网络的学习算法 图 1 所示的网络结构表示小波神经网络有一个输入 层、 一个隐层和一个输出层 。其中 w 1 , w 2 , …, w N 为权 系数 。用 θ表示式 ( 4) 中的所有参数的集合 , 网络输入为 x ( t ) , 输出为 g ( t ) , 我们的目的是确定网络参数 θ。可 以通过下述误差能量函数对网络参数进行优化 。
图2 小波神经网络的逼近效果
( 下转第 123 页)
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved.

第 2 期 冯 瑛 : 高校国库集中收付制度改革初探 地保障了财政资金支付的安全和高效 。

第 2 期 王鸿斌 ,陈惠明等 : 一种小波神经网络的优化算法
41
ρ∈ ψ
∑ < ρ, f
>|
2
2 ψa , b ( t ) , 于是 ≤B ‖f ‖ , 这表明使框架 ψa , b ( t ) 中元素的所有线性组合的集合属于 g ( t ) ∈
收稿日期 :2006 - 01 - 05 基金项目 :本课题为山西省自然科学基金资助项目 ( 编号 20051038) 作者简介 :王鸿斌 ( 1972 - ) , 男 , 山西河曲人 , 忻州师范学院计算机系讲师 , 太原理工大学在读硕士研究生 , 从事神经网络 及多用户检测的研究 。
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved.
On Ref orm of Collective Receiving and Paying System of National Treasury in Universities and Colleges
N N k =1
[ g( t ) ∑
k k
ψ( x k ) - f ( t k) ] ・ 5 xk 5 at 5 xk 5 bt
k =1 N
[ g( t ∑ [ g( t ∑
( x k) ・ - f ( t k ) ) ] ・w ψ i ′ ( x k) ・ - f ( t k ) ) ] ・w ψ i ′
k
k =1
ε结束 。 五、 结论 πx + sin ( 16 πx ) , x ∈ 利用非线性函数 f ( x ) = sin8 [0 , 013 ] 作为被逼近函数 , 采用 Morlet 小波 , 使用结合 DFP 变尺度算法训练网络 , 通过计算机仿真 , 结果如图 2 所示 。由此可见 , 结合 DFP 变尺度算法的小波神经网络 比一般的小波神经网络具有较好的函数逼近能力 , 避免 了一般神经网络对劣质点计算所浪费的大量时间 , 使得 网络的训练速度明显提高 。 ( 责编 : 贺 霞)
∫ h ( t) d t
- ∞
+∞
( 1)
这使得小波具有有限能量
∫
| ψ( w ) | 2 dw < ∞ | w |
( 2)
其中 ,ψ( w ) 表示 h ( t ) 的傅里叶变换 。则以函数ψ( w ) ∈L 2 ( R ) 1 为母小波 , 采用不同的平移和伸缩因子 , 可 生成一维小波函数系 。 ψa , b ( t ) = 1 ψ( t - b) , ( a , b ∈ R 2 ) ( 3)
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved.

忻 州 师 范 学 院 学 报 第 22 卷 42
改革以来 ,各高校都认真按照用款计划申请使用财政资金 , 资金使用的计划性 、 科学性和规范性得到加强 。同时 , 预算 单位通过使用财政管理信息系统 ,在数据收入 、 财务处理 、 数 据上报等方面更为快捷 、 便利 ,高校支出管理也更为细致 ,管 理水平也有新的提高 。
( 责编 : 史 颖)
Vol. 22 No. 2 第 22 卷 第2期 忻 州 师 范 学 院 学 报 Apr. 2006 2006 年 4 月 J OU RNAL OF XINZHOU TEACHERS UN IV ERSIT Y