一种新型的动态模糊神经网络算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
528000) ( 佛山科学技术学院 计算机系 , 广东 佛山
摘
要 : 为了解决模糊系统中的 知识抽 取问题 和避免 初值 选择的 任意 性 , 提出 一种 新型
的动态模糊神经网络算法 。 运用规则产生准则时 , 考虑输出误差和可容纳 边界的有 效半径这 2 个重要因素 ; 通过分级学习法 , 大大提高学习的有效性 , 加之参数的调整只限于线性参数 , 没 有迭代学习 , 因而学习速度很快 , 这使算法应用于实时学习成为可能 ; 非线性参数是由训练样 本和启发式方法直接决定的 。 利用 D - FNN 来进行 M ackey- G lass 混沌时 间序列预测 实验 。 仿 真结果表明 D - FNN 算法的有效性和实用性 。 关 键 词 : 动态模糊神经网络 ; 模糊逻辑 ; 神经网络 ; 系统预测 中图分类号 : TP 391 文献标识码 : A
Abstrac t :
In o rder to solve the know ledge extraction proble m in fuzzy sy stem and avo id the starting va lue cho ice haphazardness . A dy -
na m ic fuzzy neural network ( D-FNN ), a lgor ithm is proposed. W hen the cr iterion o f rule generation is used, the ou tput error and the effective rad ius o f the m ay -ho ld boundary are considered , as two i m po rtant factors . By using the g raduation study strategy s ' app lication, the study va lid ity is greatly enhanced . In addition the param eter adjust m ent is on ly restricted in the linea r para m ete r , w ithout itera ted the study . T hus the study speed is very qu ick. It is poss ible tha t the a lgor ithm is applied in to the real ti m e study . The no linear para me ter is directly dec ided by the training sa m ple and the heur istic m ethod . TheM ackey -G lass chaos ti m e se ries forecast exper i m ent using DFNN is done . T he si m u lation result show s the effectiveness and practicab ility . K ey word s : D-FNN; fuzzy log ic ; neura l netwo rk; sy stem prediction
1 引
言
2
D-FNN 的结构与学习算法的理论分析
模糊神经网络致力于获得两种系统的优点而克 服各自的缺点。到今天, 模糊神经网络已不仅应用 在消费电子、工业控制, 还包括系统辨识、图像处 理、模式识别、信号处理、数据挖掘、财务工程等 领域。尤其 是动态模糊神 经网络采用 在线学习 方 法 , 且学习速度快, 更适合于实时控制应用, 如过 [ 1] 程控制及机器人控制等 。 一般神经网络或模糊 神经网 络文献中 , /动 态 0 是指神经元具有动态特性 ; 输入输出带反馈 , 即所谓反馈神经网络 ; 神经网络层间带反馈。本文 中的 / 动态 0 是指模糊神经网络的网络结构不 是 预先设定的 , 而是 动态变 化的, 即在学 习开始 之 前 , 没有一条模糊规则, 其模糊规则是在学习过程 中逐渐增长而形成的。
k=1 u
( 3)
第 5 层 称为输出层, 该层中的每个节点分别 表示一个输 出变量, 该输 出是所有输 入信号的 叠 加: y (X ) =
Ew
k= 1
u
上面的模糊神经网络等同于一个扩展的 RBF 神 经网络。与一个标准的 RBF 神经网络相比 , 所谓 / 扩 展的 RBF 神经网络 0这个术语是指: ¹ 具有超过 3 层 的网络结构; º 未考虑偏置量 ; » 权值可以是输入的 [ 5] 函数而不是实常数 。 2) D-FNN 的学习算法 图 1可知, 第 3 层的每 个节点代表模糊规则的 IF-部分或者 RBF 单元。如果 需要辨识模糊规则数 , 就不能预先选择 D-FNN 的结 构。因此必须对 D-FNN 提出一种新的学习算法, 该 算法能自动地确定模糊规则并能达到系统的特定性 [ 6] 能 。 ¹ 规则产生准则 显然 , 如果规则数太少 , 系统 将不能完全包含输入-输出状态空间。 D-FNN 的性能 将表现得很差。另一方面 , 如果规则数太多, 不仅增 加系统不必要的复杂性, 而且将极大地增加计算负担 并导致 D-FNN 泛化能力变差。因此, 输出误差是确 定新规则是否应该加入的重要因素。 误差判断 可以描述如下: 对于第 i 个观测 数据 (X i, ti ), 其中, X i 是输入向量, ti 是期望的输出, 根据 式 ( 7 )计算 D-FNN 现有结构的全部输出 y i。 定义: + ei + = + ti - y i + ( 9) 如果: + ei + > ke ( 10 ) 则要考虑增加一条新的规则。这里的 k e 值是根据 DFNN 期望的精度预先选定的 。 从高斯函数角度来看, 一个高斯函数具有良好 的局部特性, 因为其输出随着与中心距离的增加而 单调递减。当输入变量的隶属函数采用高斯函数描 述时, 即说整个输入空间由一系列的高斯函数所划 分的。如果一个新的样本位于某个存在的高斯函数 覆盖范围或称为可容纳边界内, 则该新样本可以用 存在的高斯函数代表, 而无须 D-FNN 产生新的高斯 [ 8] 单元 。 可容纳边界判据的描述如下。 对于第 i 个观测数据 ( X i, ti ) 计算输入值 X i 和现有 RBF单元的中心 Cj 之间的距离 di ( j ), 即: d i ( j) = +X i - Cj +, ( j = 1 , 2 , ,, u ) ( 11 ) 式中, u 是现有的模糊规则或者 RBF单元的数量。 找出:
E
2
r
( x i - cij ) / Rj ] = exp[ - + X 2 2
i= 1
C j + /R j ] , ( j = 1 , 2 , ,, u )
r
( 2)
式中, X = [ x 1, x 2, ,, x r ] I R ; C j = [ c1j, c2j, ,, crj ] I R 是第 j 个 RBF 单元的中心。
+ X - Ci + +X - C i + exp( ) ] / E exp( ) 2 2 i= 1 Ri R ( 7) S 模型: y (X ) =
E E
u
u
[ a i0 exp( -
i= 1
+X - Ci + )] / 2 Ri
2 2 2
exp( - +X - Ci + / Ri )
( 8)
i= 1
Novel Dynam ic Fuzzy Neural Net w orks A lgorithm
ZHANG D e-f eng, LU Qing-hua, ZHOU Yan
( D epart m ent of Com puter S cien ce , Foshan U n ivers ity, Foshan 528000 , C h ina)
1) D-FNN 的结构 本文所研究的动态模糊神 经网络的结构 , 如图 1 所示。
图 1 D-FNN 的结构 F ig1 1 D-FNN struc ture
图中, x 1, x 2, ,, x r 是 输入 的语 言变 量; y 是系统的输出; M Fij 是第 i 个输入变 量的第 j 个 隶 属函数 ; R j 表示第 j 条模糊规则; N j 是第 j 个归一 化节点 ; w j 是第 j 个规则的结果参数或者连接权 ,
收稿日期 : 2009-04 -13; 收修定稿日期 : 2009-05 -21 基金项目 : 广东省自然科学基金资助项目 ( 8452800001000023) 作者简介 : 张德丰 ( 1963 -) , 男 , 辽宁大连人 , 副教授 , 研究生 , 主要从事图像处理与智能信息、小波分析及其应用等方面的教学 与科 研工作。
r
wenku.baidu.com
由式 ( 2) 可以看到, 该层的每个节点即代表了 一个 RBF 单元。此时模糊规则数等同一个 RBF 节 [ 4] 点数 。 第 4 层 称为归一化 层, 称这些节点为 N 节 点。显然, N 节点数与模糊规则节点数相等。第 j 个节点 N j 的输出为 W , 2 , ,, u ) j = <j / E <k , ( j = 1
( 12 )
dm in > kd ( 13 ) 则要考虑增加一条新的模糊规则, 否则, 观测数据 X i 可以由现有的最近的 RBF 单元表示。这里, kd 是 可容纳边界的有效半径。 º 分级学习 思想 分 级学习主 要思想是 每个 RBF单元的可容纳边界不是固定的而是根据如下的 方式动态地调节的。 起初 , 可容纳的边界设置较大 , 以实现全局学 习, 随着不断学习, 边界逐渐减小, 开始局部学习, 根据这个思想, 提出了一种简单的方法, 即基于单 调递减函数, 逐渐减少每个 RBF 单元的有效半径和 [ 9] 误差指数 。 也就是说, 式 ( 10)和式 ( 13)中的 k e, kd 不是常 数, 而由下列式子确定: i k e = m ax [ em ax @ B, em in ] ( 14) 式中 , em ax 为预先定义好的最大误差; em in为期望的 D-FNN 精度; B( 0< B< 1)为收敛常数。 i kd = m ax [ dm ax @ C , dm in ] ( 15) 式中 , dm ax为输入空间的最大长度; dm in为所关心的 最小长度; C( 0< C < 1) 为衰减常数。 分级学习的关键思想是首先确定产生输出误差 大而没有被现有模糊规则覆盖的位置, 这个阶段也 称为粗学习, 当 ke, kd 分别达到 em in和 dm in时, 这个 阶段的学习就称为细学习 。 » 提前分配参数 当一条模糊规则产生后 , 要 解决的问题就是如何确定它的参数。 仿真结果显示, RBF 单元的宽度对系统的泛化 性能至关重要。如果这个宽度小于邻近输入的距离 (即 RBF 单元没有重叠 ), 模糊神经网络的泛化能力 就很差, D-FNN 将不能对未知的输入给出有用的输 [ 11] 出 。但是, 如果宽度太 大, 则 RBF 单元 容易饱 合, 即无论输入是多少, 它的输出都将会很大 ( 接近 1 . 0) 。因此, 新产生的规则的初始参数按照如下方 式分配: Ci = Xi ( 16 ) Ri = k @ dm in ( 17) 式中 , k ( k > 1)是重叠因子。
把式 ( 2) , 式 ( 3) , 式 ( 5) 及式 ( 6 ) 分 别代入 式 ( 4) , 则分别得到 : TSK 模型 : y (X ) =
E
u
[ ( a i0 + a i1 x 1 + , + air x r ) @
i= 1
# 466#
控
制
工
程
第 16 卷
dm in = argm in ( di ( j ) ) 如果 :
第 4期
张德丰等 : 一种新型的动态模糊神经网络算法
2 u
# 465#
2
u 指系统总的规则数。 [ 2] 下面, 对该网络各层的含义做详细的描述 。 第 1 层 称为输入层, 每个节点分别表示一个 输入的语言变量。 第 2 层 称为隶属函数层, 每个节点分别代表 一个隶属函数, 该隶属函数用如下高斯函数表示: 2 2 Lij (x i ) = exp ( - (x i - cij ) /Rj ), ( i= 1 , 2 , ,, r), ( j = 1 , 2 , ,u ) ( 1) 式中, L cij 是 x i 的第 j 个 ij 是 x i 的第 j 个隶属函数; 高斯隶属函数的中心 ; Rj 是 x i 的第 j 个高斯隶属函 数的宽度; r 是输入变量数; u 是隶属函数的数量 , [ 3] 也代表系统总的规则数 。 第 3 层 称为 T范数层 , 每个节点分别代表一 个可能的模糊规则中的 I F部分。因此 , 该层节点 数反映了模糊规则数。 第 j 个规则 R j 的输出为 <j = exp[ 2
2 0 09年 7月 第 16 卷第 4 期
文章编号 : 1671 -7848( 2009) 04-0464-04
控 制 工 程 Contro l Eng in eering o f China
Ju l. 2 0 0 9 Vo.l 16 , No . 4
一种新型的动态模糊神经网络算法
张德丰, 卢清华, 周 燕
[ 7]
k
#W k
( 4)
式中, y 为变量的输出 ; w k 为 TH EN部分或者第 k 个规则的连接权。 对于 T SK 模型: w k = ak 0 + ak 1 x 1 + , + akrx r, ( k = 1, 2 , ,, u ) ( 5) 当结果参数是实常数时: w k = ak, ( k = 1 , 2 , ,, u ) 这就是 S 模型。 ( 6)
摘
要 : 为了解决模糊系统中的 知识抽 取问题 和避免 初值 选择的 任意 性 , 提出 一种 新型
的动态模糊神经网络算法 。 运用规则产生准则时 , 考虑输出误差和可容纳 边界的有 效半径这 2 个重要因素 ; 通过分级学习法 , 大大提高学习的有效性 , 加之参数的调整只限于线性参数 , 没 有迭代学习 , 因而学习速度很快 , 这使算法应用于实时学习成为可能 ; 非线性参数是由训练样 本和启发式方法直接决定的 。 利用 D - FNN 来进行 M ackey- G lass 混沌时 间序列预测 实验 。 仿 真结果表明 D - FNN 算法的有效性和实用性 。 关 键 词 : 动态模糊神经网络 ; 模糊逻辑 ; 神经网络 ; 系统预测 中图分类号 : TP 391 文献标识码 : A
Abstrac t :
In o rder to solve the know ledge extraction proble m in fuzzy sy stem and avo id the starting va lue cho ice haphazardness . A dy -
na m ic fuzzy neural network ( D-FNN ), a lgor ithm is proposed. W hen the cr iterion o f rule generation is used, the ou tput error and the effective rad ius o f the m ay -ho ld boundary are considered , as two i m po rtant factors . By using the g raduation study strategy s ' app lication, the study va lid ity is greatly enhanced . In addition the param eter adjust m ent is on ly restricted in the linea r para m ete r , w ithout itera ted the study . T hus the study speed is very qu ick. It is poss ible tha t the a lgor ithm is applied in to the real ti m e study . The no linear para me ter is directly dec ided by the training sa m ple and the heur istic m ethod . TheM ackey -G lass chaos ti m e se ries forecast exper i m ent using DFNN is done . T he si m u lation result show s the effectiveness and practicab ility . K ey word s : D-FNN; fuzzy log ic ; neura l netwo rk; sy stem prediction
1 引
言
2
D-FNN 的结构与学习算法的理论分析
模糊神经网络致力于获得两种系统的优点而克 服各自的缺点。到今天, 模糊神经网络已不仅应用 在消费电子、工业控制, 还包括系统辨识、图像处 理、模式识别、信号处理、数据挖掘、财务工程等 领域。尤其 是动态模糊神 经网络采用 在线学习 方 法 , 且学习速度快, 更适合于实时控制应用, 如过 [ 1] 程控制及机器人控制等 。 一般神经网络或模糊 神经网 络文献中 , /动 态 0 是指神经元具有动态特性 ; 输入输出带反馈 , 即所谓反馈神经网络 ; 神经网络层间带反馈。本文 中的 / 动态 0 是指模糊神经网络的网络结构不 是 预先设定的 , 而是 动态变 化的, 即在学 习开始 之 前 , 没有一条模糊规则, 其模糊规则是在学习过程 中逐渐增长而形成的。
k=1 u
( 3)
第 5 层 称为输出层, 该层中的每个节点分别 表示一个输 出变量, 该输 出是所有输 入信号的 叠 加: y (X ) =
Ew
k= 1
u
上面的模糊神经网络等同于一个扩展的 RBF 神 经网络。与一个标准的 RBF 神经网络相比 , 所谓 / 扩 展的 RBF 神经网络 0这个术语是指: ¹ 具有超过 3 层 的网络结构; º 未考虑偏置量 ; » 权值可以是输入的 [ 5] 函数而不是实常数 。 2) D-FNN 的学习算法 图 1可知, 第 3 层的每 个节点代表模糊规则的 IF-部分或者 RBF 单元。如果 需要辨识模糊规则数 , 就不能预先选择 D-FNN 的结 构。因此必须对 D-FNN 提出一种新的学习算法, 该 算法能自动地确定模糊规则并能达到系统的特定性 [ 6] 能 。 ¹ 规则产生准则 显然 , 如果规则数太少 , 系统 将不能完全包含输入-输出状态空间。 D-FNN 的性能 将表现得很差。另一方面 , 如果规则数太多, 不仅增 加系统不必要的复杂性, 而且将极大地增加计算负担 并导致 D-FNN 泛化能力变差。因此, 输出误差是确 定新规则是否应该加入的重要因素。 误差判断 可以描述如下: 对于第 i 个观测 数据 (X i, ti ), 其中, X i 是输入向量, ti 是期望的输出, 根据 式 ( 7 )计算 D-FNN 现有结构的全部输出 y i。 定义: + ei + = + ti - y i + ( 9) 如果: + ei + > ke ( 10 ) 则要考虑增加一条新的规则。这里的 k e 值是根据 DFNN 期望的精度预先选定的 。 从高斯函数角度来看, 一个高斯函数具有良好 的局部特性, 因为其输出随着与中心距离的增加而 单调递减。当输入变量的隶属函数采用高斯函数描 述时, 即说整个输入空间由一系列的高斯函数所划 分的。如果一个新的样本位于某个存在的高斯函数 覆盖范围或称为可容纳边界内, 则该新样本可以用 存在的高斯函数代表, 而无须 D-FNN 产生新的高斯 [ 8] 单元 。 可容纳边界判据的描述如下。 对于第 i 个观测数据 ( X i, ti ) 计算输入值 X i 和现有 RBF单元的中心 Cj 之间的距离 di ( j ), 即: d i ( j) = +X i - Cj +, ( j = 1 , 2 , ,, u ) ( 11 ) 式中, u 是现有的模糊规则或者 RBF单元的数量。 找出:
E
2
r
( x i - cij ) / Rj ] = exp[ - + X 2 2
i= 1
C j + /R j ] , ( j = 1 , 2 , ,, u )
r
( 2)
式中, X = [ x 1, x 2, ,, x r ] I R ; C j = [ c1j, c2j, ,, crj ] I R 是第 j 个 RBF 单元的中心。
+ X - Ci + +X - C i + exp( ) ] / E exp( ) 2 2 i= 1 Ri R ( 7) S 模型: y (X ) =
E E
u
u
[ a i0 exp( -
i= 1
+X - Ci + )] / 2 Ri
2 2 2
exp( - +X - Ci + / Ri )
( 8)
i= 1
Novel Dynam ic Fuzzy Neural Net w orks A lgorithm
ZHANG D e-f eng, LU Qing-hua, ZHOU Yan
( D epart m ent of Com puter S cien ce , Foshan U n ivers ity, Foshan 528000 , C h ina)
1) D-FNN 的结构 本文所研究的动态模糊神 经网络的结构 , 如图 1 所示。
图 1 D-FNN 的结构 F ig1 1 D-FNN struc ture
图中, x 1, x 2, ,, x r 是 输入 的语 言变 量; y 是系统的输出; M Fij 是第 i 个输入变 量的第 j 个 隶 属函数 ; R j 表示第 j 条模糊规则; N j 是第 j 个归一 化节点 ; w j 是第 j 个规则的结果参数或者连接权 ,
收稿日期 : 2009-04 -13; 收修定稿日期 : 2009-05 -21 基金项目 : 广东省自然科学基金资助项目 ( 8452800001000023) 作者简介 : 张德丰 ( 1963 -) , 男 , 辽宁大连人 , 副教授 , 研究生 , 主要从事图像处理与智能信息、小波分析及其应用等方面的教学 与科 研工作。
r
wenku.baidu.com
由式 ( 2) 可以看到, 该层的每个节点即代表了 一个 RBF 单元。此时模糊规则数等同一个 RBF 节 [ 4] 点数 。 第 4 层 称为归一化 层, 称这些节点为 N 节 点。显然, N 节点数与模糊规则节点数相等。第 j 个节点 N j 的输出为 W , 2 , ,, u ) j = <j / E <k , ( j = 1
( 12 )
dm in > kd ( 13 ) 则要考虑增加一条新的模糊规则, 否则, 观测数据 X i 可以由现有的最近的 RBF 单元表示。这里, kd 是 可容纳边界的有效半径。 º 分级学习 思想 分 级学习主 要思想是 每个 RBF单元的可容纳边界不是固定的而是根据如下的 方式动态地调节的。 起初 , 可容纳的边界设置较大 , 以实现全局学 习, 随着不断学习, 边界逐渐减小, 开始局部学习, 根据这个思想, 提出了一种简单的方法, 即基于单 调递减函数, 逐渐减少每个 RBF 单元的有效半径和 [ 9] 误差指数 。 也就是说, 式 ( 10)和式 ( 13)中的 k e, kd 不是常 数, 而由下列式子确定: i k e = m ax [ em ax @ B, em in ] ( 14) 式中 , em ax 为预先定义好的最大误差; em in为期望的 D-FNN 精度; B( 0< B< 1)为收敛常数。 i kd = m ax [ dm ax @ C , dm in ] ( 15) 式中 , dm ax为输入空间的最大长度; dm in为所关心的 最小长度; C( 0< C < 1) 为衰减常数。 分级学习的关键思想是首先确定产生输出误差 大而没有被现有模糊规则覆盖的位置, 这个阶段也 称为粗学习, 当 ke, kd 分别达到 em in和 dm in时, 这个 阶段的学习就称为细学习 。 » 提前分配参数 当一条模糊规则产生后 , 要 解决的问题就是如何确定它的参数。 仿真结果显示, RBF 单元的宽度对系统的泛化 性能至关重要。如果这个宽度小于邻近输入的距离 (即 RBF 单元没有重叠 ), 模糊神经网络的泛化能力 就很差, D-FNN 将不能对未知的输入给出有用的输 [ 11] 出 。但是, 如果宽度太 大, 则 RBF 单元 容易饱 合, 即无论输入是多少, 它的输出都将会很大 ( 接近 1 . 0) 。因此, 新产生的规则的初始参数按照如下方 式分配: Ci = Xi ( 16 ) Ri = k @ dm in ( 17) 式中 , k ( k > 1)是重叠因子。
把式 ( 2) , 式 ( 3) , 式 ( 5) 及式 ( 6 ) 分 别代入 式 ( 4) , 则分别得到 : TSK 模型 : y (X ) =
E
u
[ ( a i0 + a i1 x 1 + , + air x r ) @
i= 1
# 466#
控
制
工
程
第 16 卷
dm in = argm in ( di ( j ) ) 如果 :
第 4期
张德丰等 : 一种新型的动态模糊神经网络算法
2 u
# 465#
2
u 指系统总的规则数。 [ 2] 下面, 对该网络各层的含义做详细的描述 。 第 1 层 称为输入层, 每个节点分别表示一个 输入的语言变量。 第 2 层 称为隶属函数层, 每个节点分别代表 一个隶属函数, 该隶属函数用如下高斯函数表示: 2 2 Lij (x i ) = exp ( - (x i - cij ) /Rj ), ( i= 1 , 2 , ,, r), ( j = 1 , 2 , ,u ) ( 1) 式中, L cij 是 x i 的第 j 个 ij 是 x i 的第 j 个隶属函数; 高斯隶属函数的中心 ; Rj 是 x i 的第 j 个高斯隶属函 数的宽度; r 是输入变量数; u 是隶属函数的数量 , [ 3] 也代表系统总的规则数 。 第 3 层 称为 T范数层 , 每个节点分别代表一 个可能的模糊规则中的 I F部分。因此 , 该层节点 数反映了模糊规则数。 第 j 个规则 R j 的输出为 <j = exp[ 2
2 0 09年 7月 第 16 卷第 4 期
文章编号 : 1671 -7848( 2009) 04-0464-04
控 制 工 程 Contro l Eng in eering o f China
Ju l. 2 0 0 9 Vo.l 16 , No . 4
一种新型的动态模糊神经网络算法
张德丰, 卢清华, 周 燕
[ 7]
k
#W k
( 4)
式中, y 为变量的输出 ; w k 为 TH EN部分或者第 k 个规则的连接权。 对于 T SK 模型: w k = ak 0 + ak 1 x 1 + , + akrx r, ( k = 1, 2 , ,, u ) ( 5) 当结果参数是实常数时: w k = ak, ( k = 1 , 2 , ,, u ) 这就是 S 模型。 ( 6)