反馈神经网络用于多输入输出动态系统建模
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
但是 ,前馈神经网络从结构上说属于一种静态网络 ,其输 入 、输出向量之间是简单的非线性函数映射关系 。实际应用 中系统过程大多是动态的 ,前馈神经网络辨识就暴露出明显 的不足 ,用前馈神经网络只是非线性对应网络 ,无反馈记忆环 节 。为了克服前馈神经网络的缺点 ,使神经网络更加接近系 统的实际过程 ,利用反馈神经网络的动态特性 ,拥有记忆环 节 ,对一个多输入多输出的复杂的对象进行辨识 ,测试了建模 效果并与实验效果进行了对比 。
1 反馈神经网络及学习算法
1. 1 反馈神经网络介绍 Elman神经网络是 Elman于 1990 年首先针对语音处理
问题而提出来的 ,它是一种典型的局部反馈神经网络 , Elman 神经网络由于处理时序输入输出数据的优越性在系统建模等 方面得到了广泛的应用 。本文对电炉热工过程模型辨识使用 的 Elman神经网络结构如图 1。
750 W 的电热丝绕在瓷套管上加热 ,瓷套管中间空悬着钢试 样及其钢夹具 ,在钢试样表面相距 25 mm 的两点安装两只 K ( EU 22)分度号的露头铠装热电偶 。热量要先加热瓷套管 , 再管壁辐射热量到钢试样和热电偶上 。
该电炉具有以下特点 :该电炉是一个双输入双输出需要 解耦控制的对象 ,而且下加热偶的耦合要大于上加热的耦合 , 解耦有不对称性 ;由于电热丝的热量要经过瓷套管和管内热 空气等不良传热媒体 ,对象的热惰性很大 ,传统辨识方法对复 杂对象建模方法繁琐 ,并且很难达到精度要求 。图 2 为电炉 内部的结构示意图 。
图 2 电炉内部结构示意图
2. 2 辨识过程原理 根据辨识 对 象 的 结 构 , 设 计 网 络 的 两 个 输 入 : 上 加 热
u1 ( 0 ～ 100% 的变化值 ) 和下加热 u2 ( 0 ～ 100% 的变化值 ) 输出 :上温度 y1 ( ℃) ,下温度 y2 ( ℃) 。设计出反馈神经网络模 型的结构如图 3。
设网络的输入节点个数为 r, 隐含层节点个数为 n, 输出层节
点个数为 m ,网络输入 u为 r维向量 ,隐含层输出 x及结构单
元输出 xC 为 n维向量 ,网络输出 y为 m 维向量 ,连接权 w1记 为 n ×r维矩阵 , w2为 n ×m 维矩阵 , w3为 n ×n维矩阵 。
设第 k步 , 系统的实际输出为 yd ( k) , 定义误差函数为
Abstract: The method of feedback neural network modeling overcomes the defects of the feed2forward neural network in multi2input2output dynam ic system s. Feedback neural network can reflect dynam ic p rocess of input and output. It has a high stability to filter outside interference signals w ith a very high accuracy. The feedback neural network was used in electric furnace identification, and achieved a good result.
关键词 :反馈神经网络 ;前馈神经网络 ;建模 ;仿真 中图分类号 : TP182 文献标志码 : A
Feed back neura l network applica tion in m ulti input2output dynam ic system s m odeling
PAN Chang2bo1 , L I Hong2xing2
权值变化值 Δw1jr、Δw2jl 和 Δw3ij,将三个权值变化量代入权值 修正公式 W ( k) = W ( k - 1) +ΔW 进行权值修正 ,得到的新权
值进行前向网络计算 。再进行训练 , 直到相对误差 E ( k) =
( Y ( k) - Yd ( k) ) / Yd ( k) 小于 0. 5% ,停止运算 ,记录权值 。
5xj ( k + 1)
5w
1 jl
= f′j (·) xl ( k - 1)
+α
5xj ( 5w
k
1 jl
)
(9)
δ0 = ( yd, i ( k) - yi ) ) g′i (·)
( 10 )
m
∑ δh =
(δ0 w
3 ij
)
f′j (·)
( 11 )
i =1
将式 (9～11)的结果代入式 (4～6)进行计算 ,得出各层的
算法建立的反馈神经网络与实际系统处于并行工作条件下 ,
用系统输出 Yd和神经网络的输出 Y的差 e对反馈神经网络进 行训练 。
图 5 反馈神经网络辨识结构
系统具有耦合性 ,所以样本采集过程中 ,采集的数据要具 有代表性 ,让样本包含系统温度的整个变化过程和各个状态 系统输出的耦合的特征 。每组训练的数据格式为 : u1 和 u2 是 输入层的输入 ,输出层输出为每隔 30 s周期采集一次的温度 。
3 数据预处理和网络学习
神经网络建模学习样本之间有较强的相似性 ,这样通过
对训练样本的学习才能得到一个比较满意的输出结果 。如果
数据的波动性很大 ,输出和实际监测到的结果相差就比较大 ,
会产生连续效果不佳或者是过拟合的情况 。要使精度提高 ,
就必须使数据能基本满足神经网络建模的要求 ,也就是要弱
化数据的波动性 。
(1. College of Inform a tion Science Technology, B eijing U niversity of Chem ica l Technology, B eijing 100029, China; 2. A u tom a tion College, B eijing U nion U n iversity, B eijing 100101, Ch ina)
U ( 0) 、U ( 1) 、…、U ( k + 1) 具有记忆的功能 ,能够建立动态对
象的模型 ,可以对复杂的动态系统进行“黑箱 ”建模 , 只需知
道系统的输入与输出 。
1. 2 反馈神经网络学习算法 反馈神经网络学习方法普遍采用梯度下降的方法进行离
线学习 。梯度下降法的基本原理是对每次循环的训练结果求
采样时间的延时反馈给关联层节点 。 Elman网络的输入 、输 出 、反馈层激励函数均使用线性函数 ,只有隐含层使用 Tansig 激励函数 。
图 1 Elman神经网络结构
反馈神经网络的结构的神经元关系方程 :
X ( k + 1) = f (w 2X ( k) + w 1U ( k + 1) )
(1)
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
33 6
计算机应用
第 29卷
前馈连接部分进行连接权修正 ,而递归部分则是固定的 。
Key words: feedback neural network; feed2forward neural network; modeling; emulation
在多输入多输出的动态的系统中 ,控制对象特性复杂 ,传 统方法难以描述复杂的系统 。为控制对象建立模型 ,可以减 少直接进行实验带来的负面影响 ,所以模型显得尤为重要 。
Hale Waihona Puke Baidu
4 模型辨识仿真结果
图 3 双输入输出的反馈神经网络结构
根据动态系统内部特性 ,系统的反馈神经网络模型原理 可用图 4表示 , x 为状态矢量 , u ( 4 ～20 mA )作为系统的输 入 。系统输出为温度值 。反馈神经网络的输入取系统的输
对辨识的模型进行仿真实验 ,模型的仿真结果与实验结 果进行比较 ,如图 6 所示 ,实线是电炉的上加热温度输出曲 线 ,虚线为反馈神经网络模型输出结果 ,模型的输出在时间上 稍有些滞后 ,但模型精度满足要求 。
Y ( k + 1) = g (w 3X ( k + 1) )
(2)
Y ( k + 1) = g (w 3X ( k + 1) ) =
g (w 3f (w 2X ( k) + w 1U ( k) ) … =
ψ( X ( 0) , U ( 0) , U ( 1) , …U ( k + 1)
(3)
由推导出的式 ( 3) 可见 , 反馈神经网络的输出与 X ( 0) 、
E ( k) = ( yd ( k) - y ( k) ) T ( yd ( k) - y ( k) ) /2,将 E对连接 权 w1, w2, w3分别求偏导 ,由梯度下降法可得 Elman网络的
学习算法 :
Δw 1jr
=
ηδh 1j
ur
(
k
-
1)
(4)
∑ Δw 2jl
m
=
η 2
(δ0i w
1 ijr
第 29卷 2009年 6月
计算机应用 Journal of Computer App lications
Vol. 29
June 2009
文章编号 : 1001 - 9081 (2009) S1 - 0335 - 02
反馈神经网络用于多输入输出动态系统建模
潘长波 1 ,李红星 2
(1. 北京化工大学 信息科学与技术学院 ,北京 100029; 2. 北京联合大学 自动化学院 ,北京 100101) (zdhthongxing@ buu. com. cn)
)
i =1
5xj ( k) 5w2jl
(5)
Δw 3ij
=
ηδ0 3i
xj
(
k)
(6)
其中的
η 1
,η2
,η3
为
w
1、w
2、w
3的学习效率
。从以上方程可知
,
由于隐含层存在反馈连接 , 在任意给定时刻网络的输出受到
网络过去输入和输出的影响 , 其影响程度由节点间的连接矩
阵决定 。
2 辨识过程介绍
2. 1 辨识对象描述 电炉是一个双输入双输出温度对象 。电炉由上下两组各
入 ,目标向量为模型与实际的温度差 。
图 4 反馈神经网络系统空间形式
系统输入输出空间关系为 :
·
x = f ( x, u)
(7)
·
y = g ( x) = g ( f ( x, u) ) =
ψ( x ( 0) , u ( 0) , …, u ( k + 1) )
(8)
系统的辨识结构可用图 5表示 ,采用反馈神经网络学习
选取 10组数据用作网络学习 ,其余 5组用作网络检验 。
用系统输出和神经网络的输出的差 e对反馈神经网络进行梯
度下降学习算法的训练 , E ( k) = Y ( k) - Yd ( k) ,模型输出为 y1 和 y2 ,实际输出为 yd1 和 yd2 ,根据公式代入各个变量值算出 两个参数 δ0、δh 的值 :
摘 要 :使用前馈神经网络对多输入输出动态系统建模有很多不足之处 。反馈神经网络具有动态特性 ,拥有记 忆环节 ,对多输入输出的动态模型进行建模 ,克服了前馈神经网络只能反应静态映射的缺点 ,反馈神经网络能够反应 出多输入输出的动态过程 ,并且有非常高的稳定性 ,能够过滤外界干扰信号 ,精度高 。利用反馈神经网络对电炉进行 辨识 ,取得了良好的效果 。
E lm an神经网络可以看作一个具有局部记忆单元和局部 反馈连接的前向 BP神经网络的改进形式 。但其与前向 BP 网络不同 , Elman神经网络加入关联层作为动态记忆环节 ,输 入层节点到隐含层节点 、隐含层节点到输出层节点 、关联层节 点到隐含层节点之间都具有可以调整的权值 (w1、w2、w3) , 隐含层的输入矢量与每个隐含层节点进行全连接 ,隐含层节 点的输出一方面作为输出层节点的输入 ,另一方面经过一个
误差 ,再对误差求权值的偏导 ,根据偏导的负值修正权值 ,这 样可以使权值在每次学习之后 ,朝着误差下降的方向收敛 ,最 终使神经网络达到学习要求 。
收稿日期 : 2008 - 09 - 10。 基金项目 :国家自然科学基金资助项目 (60773157) ;北京市教委科技发展项目 ( km200611417007) 。 作者简介 :潘长波 (1983 - ) ,男 ,河北唐山人 ,硕士研究生 ,主要研究方向 :现场总线集成技术 ; 李红星 ( 1956 - ) ,男 ,山西忻州人 ,教授 ,主 要研究方向 :控制网络技术 、智能控制 、复杂系统的建模与控制 。
1 反馈神经网络及学习算法
1. 1 反馈神经网络介绍 Elman神经网络是 Elman于 1990 年首先针对语音处理
问题而提出来的 ,它是一种典型的局部反馈神经网络 , Elman 神经网络由于处理时序输入输出数据的优越性在系统建模等 方面得到了广泛的应用 。本文对电炉热工过程模型辨识使用 的 Elman神经网络结构如图 1。
750 W 的电热丝绕在瓷套管上加热 ,瓷套管中间空悬着钢试 样及其钢夹具 ,在钢试样表面相距 25 mm 的两点安装两只 K ( EU 22)分度号的露头铠装热电偶 。热量要先加热瓷套管 , 再管壁辐射热量到钢试样和热电偶上 。
该电炉具有以下特点 :该电炉是一个双输入双输出需要 解耦控制的对象 ,而且下加热偶的耦合要大于上加热的耦合 , 解耦有不对称性 ;由于电热丝的热量要经过瓷套管和管内热 空气等不良传热媒体 ,对象的热惰性很大 ,传统辨识方法对复 杂对象建模方法繁琐 ,并且很难达到精度要求 。图 2 为电炉 内部的结构示意图 。
图 2 电炉内部结构示意图
2. 2 辨识过程原理 根据辨识 对 象 的 结 构 , 设 计 网 络 的 两 个 输 入 : 上 加 热
u1 ( 0 ～ 100% 的变化值 ) 和下加热 u2 ( 0 ～ 100% 的变化值 ) 输出 :上温度 y1 ( ℃) ,下温度 y2 ( ℃) 。设计出反馈神经网络模 型的结构如图 3。
设网络的输入节点个数为 r, 隐含层节点个数为 n, 输出层节
点个数为 m ,网络输入 u为 r维向量 ,隐含层输出 x及结构单
元输出 xC 为 n维向量 ,网络输出 y为 m 维向量 ,连接权 w1记 为 n ×r维矩阵 , w2为 n ×m 维矩阵 , w3为 n ×n维矩阵 。
设第 k步 , 系统的实际输出为 yd ( k) , 定义误差函数为
Abstract: The method of feedback neural network modeling overcomes the defects of the feed2forward neural network in multi2input2output dynam ic system s. Feedback neural network can reflect dynam ic p rocess of input and output. It has a high stability to filter outside interference signals w ith a very high accuracy. The feedback neural network was used in electric furnace identification, and achieved a good result.
关键词 :反馈神经网络 ;前馈神经网络 ;建模 ;仿真 中图分类号 : TP182 文献标志码 : A
Feed back neura l network applica tion in m ulti input2output dynam ic system s m odeling
PAN Chang2bo1 , L I Hong2xing2
权值变化值 Δw1jr、Δw2jl 和 Δw3ij,将三个权值变化量代入权值 修正公式 W ( k) = W ( k - 1) +ΔW 进行权值修正 ,得到的新权
值进行前向网络计算 。再进行训练 , 直到相对误差 E ( k) =
( Y ( k) - Yd ( k) ) / Yd ( k) 小于 0. 5% ,停止运算 ,记录权值 。
5xj ( k + 1)
5w
1 jl
= f′j (·) xl ( k - 1)
+α
5xj ( 5w
k
1 jl
)
(9)
δ0 = ( yd, i ( k) - yi ) ) g′i (·)
( 10 )
m
∑ δh =
(δ0 w
3 ij
)
f′j (·)
( 11 )
i =1
将式 (9～11)的结果代入式 (4～6)进行计算 ,得出各层的
算法建立的反馈神经网络与实际系统处于并行工作条件下 ,
用系统输出 Yd和神经网络的输出 Y的差 e对反馈神经网络进 行训练 。
图 5 反馈神经网络辨识结构
系统具有耦合性 ,所以样本采集过程中 ,采集的数据要具 有代表性 ,让样本包含系统温度的整个变化过程和各个状态 系统输出的耦合的特征 。每组训练的数据格式为 : u1 和 u2 是 输入层的输入 ,输出层输出为每隔 30 s周期采集一次的温度 。
3 数据预处理和网络学习
神经网络建模学习样本之间有较强的相似性 ,这样通过
对训练样本的学习才能得到一个比较满意的输出结果 。如果
数据的波动性很大 ,输出和实际监测到的结果相差就比较大 ,
会产生连续效果不佳或者是过拟合的情况 。要使精度提高 ,
就必须使数据能基本满足神经网络建模的要求 ,也就是要弱
化数据的波动性 。
(1. College of Inform a tion Science Technology, B eijing U niversity of Chem ica l Technology, B eijing 100029, China; 2. A u tom a tion College, B eijing U nion U n iversity, B eijing 100101, Ch ina)
U ( 0) 、U ( 1) 、…、U ( k + 1) 具有记忆的功能 ,能够建立动态对
象的模型 ,可以对复杂的动态系统进行“黑箱 ”建模 , 只需知
道系统的输入与输出 。
1. 2 反馈神经网络学习算法 反馈神经网络学习方法普遍采用梯度下降的方法进行离
线学习 。梯度下降法的基本原理是对每次循环的训练结果求
采样时间的延时反馈给关联层节点 。 Elman网络的输入 、输 出 、反馈层激励函数均使用线性函数 ,只有隐含层使用 Tansig 激励函数 。
图 1 Elman神经网络结构
反馈神经网络的结构的神经元关系方程 :
X ( k + 1) = f (w 2X ( k) + w 1U ( k + 1) )
(1)
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
33 6
计算机应用
第 29卷
前馈连接部分进行连接权修正 ,而递归部分则是固定的 。
Key words: feedback neural network; feed2forward neural network; modeling; emulation
在多输入多输出的动态的系统中 ,控制对象特性复杂 ,传 统方法难以描述复杂的系统 。为控制对象建立模型 ,可以减 少直接进行实验带来的负面影响 ,所以模型显得尤为重要 。
Hale Waihona Puke Baidu
4 模型辨识仿真结果
图 3 双输入输出的反馈神经网络结构
根据动态系统内部特性 ,系统的反馈神经网络模型原理 可用图 4表示 , x 为状态矢量 , u ( 4 ～20 mA )作为系统的输 入 。系统输出为温度值 。反馈神经网络的输入取系统的输
对辨识的模型进行仿真实验 ,模型的仿真结果与实验结 果进行比较 ,如图 6 所示 ,实线是电炉的上加热温度输出曲 线 ,虚线为反馈神经网络模型输出结果 ,模型的输出在时间上 稍有些滞后 ,但模型精度满足要求 。
Y ( k + 1) = g (w 3X ( k + 1) )
(2)
Y ( k + 1) = g (w 3X ( k + 1) ) =
g (w 3f (w 2X ( k) + w 1U ( k) ) … =
ψ( X ( 0) , U ( 0) , U ( 1) , …U ( k + 1)
(3)
由推导出的式 ( 3) 可见 , 反馈神经网络的输出与 X ( 0) 、
E ( k) = ( yd ( k) - y ( k) ) T ( yd ( k) - y ( k) ) /2,将 E对连接 权 w1, w2, w3分别求偏导 ,由梯度下降法可得 Elman网络的
学习算法 :
Δw 1jr
=
ηδh 1j
ur
(
k
-
1)
(4)
∑ Δw 2jl
m
=
η 2
(δ0i w
1 ijr
第 29卷 2009年 6月
计算机应用 Journal of Computer App lications
Vol. 29
June 2009
文章编号 : 1001 - 9081 (2009) S1 - 0335 - 02
反馈神经网络用于多输入输出动态系统建模
潘长波 1 ,李红星 2
(1. 北京化工大学 信息科学与技术学院 ,北京 100029; 2. 北京联合大学 自动化学院 ,北京 100101) (zdhthongxing@ buu. com. cn)
)
i =1
5xj ( k) 5w2jl
(5)
Δw 3ij
=
ηδ0 3i
xj
(
k)
(6)
其中的
η 1
,η2
,η3
为
w
1、w
2、w
3的学习效率
。从以上方程可知
,
由于隐含层存在反馈连接 , 在任意给定时刻网络的输出受到
网络过去输入和输出的影响 , 其影响程度由节点间的连接矩
阵决定 。
2 辨识过程介绍
2. 1 辨识对象描述 电炉是一个双输入双输出温度对象 。电炉由上下两组各
入 ,目标向量为模型与实际的温度差 。
图 4 反馈神经网络系统空间形式
系统输入输出空间关系为 :
·
x = f ( x, u)
(7)
·
y = g ( x) = g ( f ( x, u) ) =
ψ( x ( 0) , u ( 0) , …, u ( k + 1) )
(8)
系统的辨识结构可用图 5表示 ,采用反馈神经网络学习
选取 10组数据用作网络学习 ,其余 5组用作网络检验 。
用系统输出和神经网络的输出的差 e对反馈神经网络进行梯
度下降学习算法的训练 , E ( k) = Y ( k) - Yd ( k) ,模型输出为 y1 和 y2 ,实际输出为 yd1 和 yd2 ,根据公式代入各个变量值算出 两个参数 δ0、δh 的值 :
摘 要 :使用前馈神经网络对多输入输出动态系统建模有很多不足之处 。反馈神经网络具有动态特性 ,拥有记 忆环节 ,对多输入输出的动态模型进行建模 ,克服了前馈神经网络只能反应静态映射的缺点 ,反馈神经网络能够反应 出多输入输出的动态过程 ,并且有非常高的稳定性 ,能够过滤外界干扰信号 ,精度高 。利用反馈神经网络对电炉进行 辨识 ,取得了良好的效果 。
E lm an神经网络可以看作一个具有局部记忆单元和局部 反馈连接的前向 BP神经网络的改进形式 。但其与前向 BP 网络不同 , Elman神经网络加入关联层作为动态记忆环节 ,输 入层节点到隐含层节点 、隐含层节点到输出层节点 、关联层节 点到隐含层节点之间都具有可以调整的权值 (w1、w2、w3) , 隐含层的输入矢量与每个隐含层节点进行全连接 ,隐含层节 点的输出一方面作为输出层节点的输入 ,另一方面经过一个
误差 ,再对误差求权值的偏导 ,根据偏导的负值修正权值 ,这 样可以使权值在每次学习之后 ,朝着误差下降的方向收敛 ,最 终使神经网络达到学习要求 。
收稿日期 : 2008 - 09 - 10。 基金项目 :国家自然科学基金资助项目 (60773157) ;北京市教委科技发展项目 ( km200611417007) 。 作者简介 :潘长波 (1983 - ) ,男 ,河北唐山人 ,硕士研究生 ,主要研究方向 :现场总线集成技术 ; 李红星 ( 1956 - ) ,男 ,山西忻州人 ,教授 ,主 要研究方向 :控制网络技术 、智能控制 、复杂系统的建模与控制 。