切比雪夫正交基神经网络的权值直接确定法

则称多项 式系 { Uj ( x ) } 在 [ - 1, 1 ] 上对于 权函 数 Q( x ) = ( 1 - x2 ) - 1 / 2 构成正交系 , { Uj ( x ) } 即为切比雪夫正交多项 式 (第一类 ), 它满足如下的正交性 [ 9 ] : 0, dx = P / 2, P, iX j i= j> 0 i= j= 0
图 1 比雪夫正交基神经网络模型
关 系 y = < ( x ), 其中 x 为输入 , y为输 出。 通常情况下 , 函 数关系 < ( x ) 是未 知的 , 而只能在某个区间 [ a, b] A R 上得到 一系列数据点 xi 及其对应的 函数值 yi = < ( x i ), 即训 练样本 集 { ( xi, yi ) , i = 1, 2, ,, m }, 可列表如表 1 所示。
第 26 卷
第 1期
计
算
机
仿
真
2009 年 1 月
文章编号 : 1006 - 9348( 2009) 01 - 0157- 05
切比雪夫正交基神经网络的权值直接确定法
张雨浓, 李 巍 , 蔡炳煌, 李克讷
(中山大学电子与通信工程系 , 广东 广州 510275) 摘要 : 经典的 BP 神经网络学习算法是基于误差回传的思想。而对于特定的网络模型 , 采用伪逆思想可以直接确定权值进而 避免以往的反复迭代修正的过程。根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络 , 其模型采用三 层结构并 以一组切比雪夫正交多项式函数作为隐层神经元的激励函数。依据误差回传 ( BP) 思想可以推导出 该网络模型的 权值修正 迭代公式, 利用该公式迭代训练可得到网络的最优权值。区别于这种经典的做法 , 针对切比雪夫正交基神经网络 模型 , 提出 了一种基于伪逆的权值直接确定法 , 从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程。仿真 结果表明 该方法具有更快的计算速度和至少相同的工作精度 , 从而验证了其优越性。 关键词 : 切比雪夫正交多项式 ; 人工神经网络 ; 激励函数 ; 权值修正公式 ; 权值一步确定 ; 伪逆 中图分类号 : TP183 文献标识码 : A
1 引言
人工神经网络 因其 高度的 并行 性、 分布式 存储、 自 适应 自学习能力等显著的特点 , 在人工智能、 模式 识别、 信号处理 和机器人及 其非线 性控 制等领 域有 着广 泛的 应用 [ 1- 3] 。我 们也曾利用神经网 络开 展过科 学计 算工作 如矩 阵方程 求解 和矩阵实时求逆等 [ 4- 5] 。在实际应用 中 , 很多 人工神 经网络 模型是采用 基于 误差 回传 ( Back P ropagation, 即 BP ) 的 神经 网络及其变形体 , 它们可以说是应用最 广泛也最重 要的网络
基金项目 : 中国国家自然科学基金 ( 60643004) 、 中山大 学科研启 动费 和后备重点课题。 收稿日期 : 2007 - 11- 11 修回日期 : 2007- 11- 30
)
157 )
的权值直接确定法 , 从而 避免了 传统 BP 算 法的 冗长迭 代过 程。值得指出的是 , 该神经网络的隐层 神经元权值 可以通过 BP 算法反复迭代 训练而 获得 , 也可 以利 用本 文提 出的 基于 伪逆思想的权值 直接 确定 法而得 到。仿真 结果 显示基 于伪 逆的权值直接确定法不仅具有 更快的计算速 度 , 而 且可以获 得至少与传统的 BP迭代算法相同的工 作精度。
表 1
输入 /输出 输入 x 输出 y
定义 1[ 9 ] (切比雪夫正交多 项式 ) 在 [ - 1, 1 ] 上 针对权 函 数 Q( x ) = ( 1 - x2 ) - 1 / 2 构成正交系的多项 式 Uj ( x ) 称为第 一类切比雪夫正交多 项式。 通常提到的切 比雪 夫正交 多项 式就是 指上 述定义 1 中 的第 一 类 切 比 雪 夫 多 项 式。由 定 义 1 可 知 , 若 多 项 式 系 { < j ( x ) } (其中 j = 0 , 1, 2, , ) 和权 Q( x ) = ( 1 - x2 ) - 1 / 2 满足 如下关系 : Q( x ) U ( x ) U ( x ) dx = Q Q( x ) U ( x ) U ( x ) dx X Q
[ 8- 9 ]
U0 ( x ) = 1 ; Uj ( x ) = j 2
f loo r(j / 2 )
E
( - 1) i
i= 0
( j - i - 1 )! ( 2x ) j- 2i , j \ 1 ! ( j - 2 i)! i
并且对于 Uj ( x ), 有递推关系式 : Uj+ 1 ( x ) = 2x Uj ( x ) - Uj- 1 ( x ), j = 1 , 2, 3, ,。 在图 1, 给出了切比雪夫正交基神经网络的模型。 它由输 入层、 隐层和输出层组 成 , 其中 输入 层和输 出层 有一 个神经 元使用 线性激励 函数 f ( x ) = x (并固 定其权 值为 1、 阀值为 0 ), 而隐层 有 n 个神经元并使用一组阶次逐渐增高 的切比雪 夫正 交多项式函数 Uj ( x ) 作为激励函数 , j = 0, 1, 2, ,, n - 1; 换言之 , 隐层第 j + 1 个神经元的激励函数是 Uj ( x )。 其中 , U0 ( x ) = 1 U1 ( x ) = x U2 ( x ) = 2x2 - 1 U3 ( x ) = 4x3 - 3x U4 ( x ) = 8x4 - 8x2 + 1 , (x I , , [ - 1, 1] , j = 0, 1, 2, ,, n - 1 )
A Chebyshev Orthogonal B asis N eural N etwork w ith D irectW eight D eter m ination
ZHANG Yu- nong , L IW e,i CA I B ing- huang, L I K e- ne
( D epa rt m en t of E lectronics and Comm un ication Eng inee ring , Sun Y at- Sen U n iv ers ity , G uang zhou G uangdong 510275, Ch ina) ABSTRACT: Standard BP neura l netwo rk is based on the erro r back- propaga tion m ethod . Fo r a spec ia l neura l ne t work m ode,l the we ights cou ld be deter m ined d irec tly w ithout lengthy iterative updating by using a pseudo - inverse m e thod . Based on po lynom ia l in terpolation and approx i m a tion theory , a Chebyshev orthogonal basis neura l ne t w ork is constructed in th is pape r . The model adopts a three- laye r structure , where the h idden- layer neurons are activa ted by a g roup o f Chebyshev orthogonal po lyno m ia l functions . T he w eight updating for m ula is derived by fo llow ing the standa rd BP tra in ing m e thod . M ore i m po rtan tly , the pseudo- inverse based me thod is then proposed, which cou ld mm ediate ly deter i m ine the neura l- network we ights. Co m pute r si m ulation resu lts show that the one- step we ightde ter m ination m ethod cou ld be m ore effic ient than the conventional BP ite rative- tra in ing m ethod, equally- h igh w ork ing- prec ision at least , wh ich revea ls its advantages . KEYW ORDS : Chebyshev orthogonal po lynom ia ls ; A rtific ia l neural netwo rks ; A ctivation functions ; W eigh t- updating fo r mu la ; One- step w eight- de ter m ina tion ; P seudo- inverse in add ition to the
, 构造了一种切比雪夫正交基神经网络 (如图 1所
示 ) , 它能够快速有效地学习给定样本并逼近 目标函数。 在分 析该切比雪夫正交基神经网络 的任意逼近能 力之前 , 首先给 出切比雪夫正交多项 式的定义。
值得 注意的是 , 该 切比雪 夫正交 基神经 网络 所有 神 经元 的 阀值 都恒 定设为 0, 这因此 简化了网络的结构 , 有利于其未来的硬 件实现。 上 述切比 雪夫正 交基 神经 网 络仍 然 可以 看成 是一种 BP 前 向神 经网 络 , 并采 用通 常的误 差回 传学 习 算法 迭 代修 正权 值 w B= [ w 0 , w 1, w 2 , ,, w n- 1 ] T 。 显然 , 该切比雪夫 正交基 神经网 络可应 用于 辨识 实 际问 题 中的 函数
Q
1 -1
Ui ( x ) Uj ( x ) 1 - x2
对于切比 雪夫正交多项式 Uj ( x ), 具有如下表达式 :
ቤተ መጻሕፍቲ ባይዱ2 网络模型及理论基础
基于负梯度法 ( 或 称梯 度下 降法 ) 的 BP 网络 是一 种多 层前向神经网络 , 其核 心是误 差反 向传 播算法。 该标准 做法 是依据负梯度下降方 向 , 迭代调整网络 的权值和阀 值以实现 误差函数的减小。 其权值 w 修正的迭代 公式可简 写为 w ( k + 1) = w ( k ) - $ w = w ( k ) - G ( 5E /5w ) | w = w (k ) , 其中迭代次数 k = 0, 1, 2, ,, G为迭 代步长 (或称学习率 ), $ w = G ( 5E /5w ) | w = w (k ) 为第 k 次迭代时的权值修正量 , 而 5E /5w 代 表误差函 数 E 对权值 w 的偏导。 但这种经典的 BP神经网络存在着收敛 速度慢和易陷入局部 极小 点等缺 点。 为 改善网 络的 性能 , 本 文从网络结构和激励函数的角 度出发 , 基于多项式 插值和逼 近理论
模型之一。 经典的 BP神经网络存在着诸 如收敛速度慢和易陷入局 部极小点等缺点 , 因此很多改进算法 得以提出。它 们大体上 可以分为两类 [ 6- 7] : ¹ 基于 标准梯 度下 降法 的改进 ( 如加动 量项 ), º 基于数值优化方 法的改 进 ( 如采用 拟牛顿法 或 L M 算法等 ), 这些改进多是着眼于学习 算法本身 , 即通 过改进网 络训练的迭代 规则来提高神经网络的性能。 不同的是 , 本文期望通过改进网络 的结构定义 和激励函 数来解决收敛 速度慢 和局 部极小 点问 题。因此 构造 了一种 切比雪夫正交 基神经网络 , 其隐层神经 元的激励函 数为一组 切比雪夫正交 多项式函数。该神经网络不仅 结构简单 , 而且 对于这种特殊 的网络模型 , 本文进一步 提出了一种 基于伪逆