基于函数正交基展开的过程神经网络学习算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关键词 过程神经网络 ; 函数正交基 ; 聚合运算 ; 学习算法 ; 计算复杂性 中图法分类号 TP183
Learning Algorithms of Process Neural Net works Based on Orthogonal Function Basis Expansion
XU Shao2Hua1) HE Xin2Gui2)
作者在文献 [ 4 ,5 ]中针对此类问题提出了过程 神经元网络的概念. 过程神经元的结构与传统神经 元 [ 6 ] 不同之处在于过程神经元的输入和连接权都可 以是时变的函数 ,同时增加了一个对于时间的聚合 算子. 过程神经元既在空间上有对多输入函数的聚 合 ,亦有对时间过程的累积 ,即同时仿效了生物神经 元信息处理过程中所具有的空间总和效应和时间总 和效应. 过程神经网络可以直接把时变过程作为输 入输出信号 ,是传统人工神经网络在时间域上的一 种扩展. 对于缺乏先验知识和模型的复杂非线性连 续系统的仿真建模 、系统辨识 、过程模拟以及泛函数 逼近等问题 ,表现出明显优势. 至今 ,已在丙烯酰胺 均相聚合反应 、采油工程中的渗流模拟等实际问题 中得以成功应用.
Keywords process neural network ; orthogonal function basis ; aggregation operation ; learning algorithm ; complexity of computation
收稿日期 :2002209215 ;修改稿收到日期 :2003212204. 本课题得到国家自然科学基金 (60373102) 和教育部博士点基金 (20030001701) 资助.许 少华 ,男 ,1962 年生 ,博士研究生 ,研究方向为模式识别 、神经网络. E2mail :xush62 @163. com. 何新贵 ,男 ,1938 年生 ,教授 ,博士生导师 ,中 国工程院院士 ,研究领域为模糊逻辑 、神经网络 、进化计算 、数据库理论.
图 1 含一个隐层的过程神经网络
图 1 中 ,输入层有 n 个节点 , 中间层 (过程神经 元隐层) 有 m 个节点. 网络输入输出之间的映射关
5期
许少华等 :基于函数正交基展开的过程神经网络学习算法
647
系为
∑ ∫∑ m
Tn
y =g
vjf
wi j (t) xi (t) dt - θ(j1) - θ (1)
2 过程神经元网络模型
过程神经元由加权 、聚合和激励运算三部分组 成 ,其输入和连接权可为与时间有关的函数. 聚合运 算既有对空间的多输入聚集 ,亦有对时间过程的累 积. 过程神经网络是由若干个过程神经元和一般非 时变神经元按照一定的拓扑结构组成的前馈网络. 为讨论问题方便 ,这里只考虑仅含一个过程神经元 隐层的多输入单输出系统 (不难推广到多输入多输 出情况) . 如果过程神经元的空间聚合算子取为加权 和 ,时间聚合算子为积分 ,则网络拓扑结构如图 1 所示.
线性函数 ,可见 ,这种过程神经元网络模型表达了一
种很复杂的非线性变换机制.
3 学习算法
3. 1 输入函数的正交基展开
设过 程 神 经 网 络 的 输 入 空 间 为 ( C [ 0 , T ]) n ,
b1 ( t) , b2 ( t) , …, bl ( t) , …为 C[0 , T ]的一组标准正
Abstract Both the input and link weights of process neural network can be all time2various functions , an ag2 gregation operator on time is added to the process neuron , which provides the neural network with the capabili2 ty of handling simultaneously two dimension information of time and space. In consideration of the complexity of the aggregation operation of time in process neural networks , a new learning algorithm based on function or2 thogonal basis expansion is proposed. Firstly a group of proper function orthogonal bases in the input function space of the neural network is selected , and then the input functions and the network weight functions are rep2 resented as expansion of the same orthogonal basis. With orthogonality of basis functions , the aggregation oper2 ation of process neurons to time is simplified. The application shows that the algorithms simplify the computing complexity of process neural networks , and raise the efficiency of the network learning and the adaptability to real problem resolving. The effectiveness of the algorithm has been proved in the rotation machinery fault diag2 nosis and the simulation in oil field development process.
对于过程神经元网络的训练问题 ,由于网络的
输入输出以及连接权均可为时间的函数 ,同时过程 神经元有对时间的聚合运算 ,因此与传统神经网络 的训练过程有着很大的不同. 作者在文献[ 7 ]中给出 了过程神经网络基于梯度下降的一般学习算法. 但 在实际应用中 ,由于系统的输入是由具体问题确定 的 ,权函数的形式具有任意性 ,因此在训练中有时不 稳定 ,且计算复杂度高.
第 27 卷 第 5 期 2004 年 5 月
计 算 机 学 报 CHINESE JOURNAL OF COMPUTERS
Vol. 27 No. 5
May 2004
基于函数正交基展开的过程神经网络学习算法
许少华1) 何新贵2)
1) (北京航空航天大学计算机科学与工程系 北京 100083) 2) (北京大学信息科学技术学院 北京 100871)
j =1
0 i =1
式 (1) 中 , wi j ( t) 为输入层节点 i 到过程神经元隐层
节点 j 的连接权函数 , vj为隐层节点 j 到输出节点的
连接权值 ,θ(j1) 为隐层节点 j 的激励阈值 , [0 , T ]为时
间采样区间 , f 为过程神经元激励函数 , g 为输出节
点激励函数 ,θ为输出节点阈值. 其中 f 和 g 都是非
Li
∑ sup
0Φt ΦT
xi ( t)
-
ai lbl ( t)
l =1
令 L = max{ L1 , L2 , …, L n} ,则
Φε/ n ,
L
∑ sup
0Φt ΦT
xi ( t)
-
ai lbl ( t)
l =1
Φε/ n , i = 1 ,2 , …, n ,
∑ ∑ n
sup
0 Φt Φ T i =1
摘 要 过程神经网络的输入和连接权均可为时变函数 ,过程神经元增加了一个对于时间的聚合算子 ,使网络同 时具有时空二维信息处理能力. 该文在考虑过程神经网络对时间聚合运算的复杂性的基础上 ,提出了一种基于函 数正交基展开的学习算法. 在网络输入函数空间中选择一组适当的函数正交基 ,将输入函数和网络权函数都表示 为该组正交基的展开形式 ,利用基函数的正交性 ,简化过程神经元对时间的聚合运算. 应用表明 ,算法简化了过程 神经网络的计算复杂度 ,提高了网络学习效率和对实际问题求解的适应性. 以旋转机械故障诊断问题和油藏开发 过程采收率的模拟为例验证了算法的有效性.
646
计 算 机 学 报
2004 年
1 引 言
目前应用的人工神经网络模型大多处于 PDP 理论框架之下 ,其中的人工神经元较好地模拟了生 物神经元信息处理过程中的空间总和效应和阈值的 作用. 然而 ,生物学研究表明 ,生物系统在进行信息 处理时 ,生物神经元中突触的输出变化与输入脉冲 的相对定时有关 ,即依赖于持续一定时间的输入过 程 ;输出信号既与输入信号的空间总和效应有关 ,也 依赖于时间过程的总和效应[1] . 在实际问题中 ,许多 系统的输入也是依赖于时间变化的连续函数 (或称 过程) ,其输出既依赖于对输入过程的空间聚合作 用 ,又与输入过程的时间累积效应密切相关. 例如 , 农作物的最终产量和品质依赖于整个生长过程中 水 、肥 、光照等诸多输入因数 ,它们都是时变过程 ;各 种化学反应也都是依赖于各种因素的时变过程 (例 如温度 、压力等) 的典型例子. 对于用神经网络方法 解决这类时变系统的信号处理问题 ,人们已提出了 一些网络模型 ,例如 ,延时单元网络[2] 、回归网络 、部 分反馈网络[3]等. 这些网络模型的本质还都是基于 传统神经元 ,并未改变神经元本身的信息处理机制 , 其应用方法是将时间关系转化为空间关系 (时间序 列) 后再进行处理. 但由于传统神经元模型难于表达 连续输入信息的累积效应 ,同时依赖于时间的采样 往往数据量很大 ,而目前神经网络实际上还难于解 决较大样本的学习和泛化问题 ,因此 ,传统神经网络 在解决大容量非线性时变系统的信息处理问题时还 存在不适应性.
交基函数 (例如三角基函数 、小波基函数等) , X ( t)
= ( x1 ( t) , x2 ( t) , …, xn ( t) ) 为输入源自文库间中的任意函
数 ,则 xi ( t) 可展开为[9 ]
∞
∑ xi ( t) =
ai lbl ( t) .
l =1
由数学分析理论知 ,对于 Πε> 0 , ϖL i ,使得
1) ( Department of Computer Science and Engineering , Beijing University of Aeronautics and Astronautics , Beijing 100083) 2) ( School of Electronics Engineering and Computer Science , Peking University , Beijing 100871)
L
xi ( t) -
ai lbl ( t)
本文提出了过程神经网络一种基于函数正交基 展开的学习算法. 在输入空间中引入一组适当的函 数正交基 ,将输入函数在给定精度下展开为该组正 交基的有限项级数形式 ,同时把网络权函数表示为 同一组基函数的展开形式 ,利用基函数的正交性 ,来 简化过程神经元对时间聚合运算的复杂性. 在该算 法下 ,过程神经元网络的学习过程与传统前馈神经 网络的训练过程具有相同的计算复杂度. 应用表明 , 这种算法简化了过程神经网络的计算 ,同时还可提 高网络学习的稳定性和收敛率. 对于函数正交基的 选择有许多种方法 ,考虑系统的实际输入既可能是 解析函数也可能是离散时间上的采样数据 ,可选择 三角函数系和 Walsh 函数系[8] 作为基函数. 文中以 旋转机械故障诊断和油藏开发过程模拟问题为例验 证了算法的有效性.
Learning Algorithms of Process Neural Net works Based on Orthogonal Function Basis Expansion
XU Shao2Hua1) HE Xin2Gui2)
作者在文献 [ 4 ,5 ]中针对此类问题提出了过程 神经元网络的概念. 过程神经元的结构与传统神经 元 [ 6 ] 不同之处在于过程神经元的输入和连接权都可 以是时变的函数 ,同时增加了一个对于时间的聚合 算子. 过程神经元既在空间上有对多输入函数的聚 合 ,亦有对时间过程的累积 ,即同时仿效了生物神经 元信息处理过程中所具有的空间总和效应和时间总 和效应. 过程神经网络可以直接把时变过程作为输 入输出信号 ,是传统人工神经网络在时间域上的一 种扩展. 对于缺乏先验知识和模型的复杂非线性连 续系统的仿真建模 、系统辨识 、过程模拟以及泛函数 逼近等问题 ,表现出明显优势. 至今 ,已在丙烯酰胺 均相聚合反应 、采油工程中的渗流模拟等实际问题 中得以成功应用.
Keywords process neural network ; orthogonal function basis ; aggregation operation ; learning algorithm ; complexity of computation
收稿日期 :2002209215 ;修改稿收到日期 :2003212204. 本课题得到国家自然科学基金 (60373102) 和教育部博士点基金 (20030001701) 资助.许 少华 ,男 ,1962 年生 ,博士研究生 ,研究方向为模式识别 、神经网络. E2mail :xush62 @163. com. 何新贵 ,男 ,1938 年生 ,教授 ,博士生导师 ,中 国工程院院士 ,研究领域为模糊逻辑 、神经网络 、进化计算 、数据库理论.
图 1 含一个隐层的过程神经网络
图 1 中 ,输入层有 n 个节点 , 中间层 (过程神经 元隐层) 有 m 个节点. 网络输入输出之间的映射关
5期
许少华等 :基于函数正交基展开的过程神经网络学习算法
647
系为
∑ ∫∑ m
Tn
y =g
vjf
wi j (t) xi (t) dt - θ(j1) - θ (1)
2 过程神经元网络模型
过程神经元由加权 、聚合和激励运算三部分组 成 ,其输入和连接权可为与时间有关的函数. 聚合运 算既有对空间的多输入聚集 ,亦有对时间过程的累 积. 过程神经网络是由若干个过程神经元和一般非 时变神经元按照一定的拓扑结构组成的前馈网络. 为讨论问题方便 ,这里只考虑仅含一个过程神经元 隐层的多输入单输出系统 (不难推广到多输入多输 出情况) . 如果过程神经元的空间聚合算子取为加权 和 ,时间聚合算子为积分 ,则网络拓扑结构如图 1 所示.
线性函数 ,可见 ,这种过程神经元网络模型表达了一
种很复杂的非线性变换机制.
3 学习算法
3. 1 输入函数的正交基展开
设过 程 神 经 网 络 的 输 入 空 间 为 ( C [ 0 , T ]) n ,
b1 ( t) , b2 ( t) , …, bl ( t) , …为 C[0 , T ]的一组标准正
Abstract Both the input and link weights of process neural network can be all time2various functions , an ag2 gregation operator on time is added to the process neuron , which provides the neural network with the capabili2 ty of handling simultaneously two dimension information of time and space. In consideration of the complexity of the aggregation operation of time in process neural networks , a new learning algorithm based on function or2 thogonal basis expansion is proposed. Firstly a group of proper function orthogonal bases in the input function space of the neural network is selected , and then the input functions and the network weight functions are rep2 resented as expansion of the same orthogonal basis. With orthogonality of basis functions , the aggregation oper2 ation of process neurons to time is simplified. The application shows that the algorithms simplify the computing complexity of process neural networks , and raise the efficiency of the network learning and the adaptability to real problem resolving. The effectiveness of the algorithm has been proved in the rotation machinery fault diag2 nosis and the simulation in oil field development process.
对于过程神经元网络的训练问题 ,由于网络的
输入输出以及连接权均可为时间的函数 ,同时过程 神经元有对时间的聚合运算 ,因此与传统神经网络 的训练过程有着很大的不同. 作者在文献[ 7 ]中给出 了过程神经网络基于梯度下降的一般学习算法. 但 在实际应用中 ,由于系统的输入是由具体问题确定 的 ,权函数的形式具有任意性 ,因此在训练中有时不 稳定 ,且计算复杂度高.
第 27 卷 第 5 期 2004 年 5 月
计 算 机 学 报 CHINESE JOURNAL OF COMPUTERS
Vol. 27 No. 5
May 2004
基于函数正交基展开的过程神经网络学习算法
许少华1) 何新贵2)
1) (北京航空航天大学计算机科学与工程系 北京 100083) 2) (北京大学信息科学技术学院 北京 100871)
j =1
0 i =1
式 (1) 中 , wi j ( t) 为输入层节点 i 到过程神经元隐层
节点 j 的连接权函数 , vj为隐层节点 j 到输出节点的
连接权值 ,θ(j1) 为隐层节点 j 的激励阈值 , [0 , T ]为时
间采样区间 , f 为过程神经元激励函数 , g 为输出节
点激励函数 ,θ为输出节点阈值. 其中 f 和 g 都是非
Li
∑ sup
0Φt ΦT
xi ( t)
-
ai lbl ( t)
l =1
令 L = max{ L1 , L2 , …, L n} ,则
Φε/ n ,
L
∑ sup
0Φt ΦT
xi ( t)
-
ai lbl ( t)
l =1
Φε/ n , i = 1 ,2 , …, n ,
∑ ∑ n
sup
0 Φt Φ T i =1
摘 要 过程神经网络的输入和连接权均可为时变函数 ,过程神经元增加了一个对于时间的聚合算子 ,使网络同 时具有时空二维信息处理能力. 该文在考虑过程神经网络对时间聚合运算的复杂性的基础上 ,提出了一种基于函 数正交基展开的学习算法. 在网络输入函数空间中选择一组适当的函数正交基 ,将输入函数和网络权函数都表示 为该组正交基的展开形式 ,利用基函数的正交性 ,简化过程神经元对时间的聚合运算. 应用表明 ,算法简化了过程 神经网络的计算复杂度 ,提高了网络学习效率和对实际问题求解的适应性. 以旋转机械故障诊断问题和油藏开发 过程采收率的模拟为例验证了算法的有效性.
646
计 算 机 学 报
2004 年
1 引 言
目前应用的人工神经网络模型大多处于 PDP 理论框架之下 ,其中的人工神经元较好地模拟了生 物神经元信息处理过程中的空间总和效应和阈值的 作用. 然而 ,生物学研究表明 ,生物系统在进行信息 处理时 ,生物神经元中突触的输出变化与输入脉冲 的相对定时有关 ,即依赖于持续一定时间的输入过 程 ;输出信号既与输入信号的空间总和效应有关 ,也 依赖于时间过程的总和效应[1] . 在实际问题中 ,许多 系统的输入也是依赖于时间变化的连续函数 (或称 过程) ,其输出既依赖于对输入过程的空间聚合作 用 ,又与输入过程的时间累积效应密切相关. 例如 , 农作物的最终产量和品质依赖于整个生长过程中 水 、肥 、光照等诸多输入因数 ,它们都是时变过程 ;各 种化学反应也都是依赖于各种因素的时变过程 (例 如温度 、压力等) 的典型例子. 对于用神经网络方法 解决这类时变系统的信号处理问题 ,人们已提出了 一些网络模型 ,例如 ,延时单元网络[2] 、回归网络 、部 分反馈网络[3]等. 这些网络模型的本质还都是基于 传统神经元 ,并未改变神经元本身的信息处理机制 , 其应用方法是将时间关系转化为空间关系 (时间序 列) 后再进行处理. 但由于传统神经元模型难于表达 连续输入信息的累积效应 ,同时依赖于时间的采样 往往数据量很大 ,而目前神经网络实际上还难于解 决较大样本的学习和泛化问题 ,因此 ,传统神经网络 在解决大容量非线性时变系统的信息处理问题时还 存在不适应性.
交基函数 (例如三角基函数 、小波基函数等) , X ( t)
= ( x1 ( t) , x2 ( t) , …, xn ( t) ) 为输入源自文库间中的任意函
数 ,则 xi ( t) 可展开为[9 ]
∞
∑ xi ( t) =
ai lbl ( t) .
l =1
由数学分析理论知 ,对于 Πε> 0 , ϖL i ,使得
1) ( Department of Computer Science and Engineering , Beijing University of Aeronautics and Astronautics , Beijing 100083) 2) ( School of Electronics Engineering and Computer Science , Peking University , Beijing 100871)
L
xi ( t) -
ai lbl ( t)
本文提出了过程神经网络一种基于函数正交基 展开的学习算法. 在输入空间中引入一组适当的函 数正交基 ,将输入函数在给定精度下展开为该组正 交基的有限项级数形式 ,同时把网络权函数表示为 同一组基函数的展开形式 ,利用基函数的正交性 ,来 简化过程神经元对时间聚合运算的复杂性. 在该算 法下 ,过程神经元网络的学习过程与传统前馈神经 网络的训练过程具有相同的计算复杂度. 应用表明 , 这种算法简化了过程神经网络的计算 ,同时还可提 高网络学习的稳定性和收敛率. 对于函数正交基的 选择有许多种方法 ,考虑系统的实际输入既可能是 解析函数也可能是离散时间上的采样数据 ,可选择 三角函数系和 Walsh 函数系[8] 作为基函数. 文中以 旋转机械故障诊断和油藏开发过程模拟问题为例验 证了算法的有效性.