模糊神经网络

1 2 d ( y (t ) − y (t )) E = 2
∂E ∂m i
=
∂E ∂a (5) ∂a (5) ∂m i
= -[ y d (t)-y(t)]
σ u i( 5 ) σ i u i( 5 ) ∑
i
σ i u i(5) mi (t+1)= mi (t)+η [ y d (t)-y(t)] σ i u i(5) ∑
非 线 性 模 型
非线性模型隶属函数的变化
语 言 输 出 模 型
语言输出模型 隶属函数的变化
● 神经网络模糊化
①模糊感知器 I 精确划分的问题：每个分量都有同 样的“重要性”，用在分类时，当分类有 重叠时（如图），得不到很好的结果。 模糊感知器的基本思想：给隶属函数 以一定的修正量，对隶属度接近0.5的 样本,在确定权值向量时,给予较小的影 响: m d W kj +1 = W kj + η µ1 ( x k ) − µ 2 ( x k ) [ y k − y k ] x kj ,
解决模糊推理中二个问题：①缺乏确定的方法选择隶属函数； ②缺乏学习功能校正推理规则。 用神经网络实现T—S模型，称为神经网络驱动模糊推理(NDF). 网络由二部分组成: R s : If X = ( x1 , x2 ,..., xn )是As , Then y s = NN s ( x1 , x2 ,..., xn )
ˆ µi (xi ) = µi (xi ) /
⑵ 后件为一阶线性方程
i = 1, 2,..., n y* =
∑µi (xi )
i=1
n i =1
R i : If x1是 Ai11和 x 2 是 Ai2 2 , Then y = f i ( x1 , x 2 )
∑ µ i f i ( x1 , x 2 ) ∑ µ i = ∑ µˆ i f i ( x1 , x 2 )
对类别 I ： µ（ x k ) = 0 .5 + 1 e f ( d 2 − d1 ) / d − e − f 2 (e f − e − f ) µ 2 ( x k ) = 1 − µ（ x k ) 1 e f ( d1 − d 2 ) / d − e − f 2(e f − e − f ) µ1 ( x k ) = 1 − µ （ x k ) 2
ANN——大量、高度连接，按样板进行学习 FLS—— 按语言变量、通过隐含、推理和去 模糊获得结果。
㈡ 信息处理基本单元方面： ANN——数值点样本，xi yi FLN——模糊集合（Ai，Bi） ㈢ 运行模式方面： ANN——学习过程透明，不对结构知识编码 FLN——不透明，对结构知识进行编码，推理过程外界 可知 ㈣ 应用上： ANN——偏重于模式识别，分类 FLN —— 偏重于控制
s Em =
∑ ∑
i =1 i =1 Nc
Nc
{ y i − µ s ( x i ) µ As ( x i )} 2
或
s Em =
µ As ( x i ){ y i − µ s ( x i ) µ As ( x i )} 2 （加权）
6
5）简化后件部分 在NN S的输入端，任意消去x p ，比较误差：
∑ ∑
nA nB
( y iA − y iAA ) 2
i =1
EA =
( y iB − y iBB ) 2
i =1
UC = C =
∑
( y iAB − y iAA ) 2 +
i =1
∑
nB
( y iBA − y iBB ) 2
i =1
2 2 E A + E B + UC
常 数 模 型
常 数 模 型 隶属函数的变化
对类别 II ： µ （ x k ) = 0 .5 + 2
其中:
d 1 是属于向量类别 I 均值 ( 相当于离聚类中心 d 2 是属于向量类别 II 均值 ( 相当于离聚类中心 d f 是类别 I 和 II 均值之间的距离； 是正常数， 控制隶属函数下降到
)的距离； )的距离；
0 . 5的速率 .
6）最终输出
●神经网络的模糊建模 有三种模型： ⑴ 后件为恒值：
R i : If x1是Ai11和x2 是Ai2 2 , Then y = f i (i = 1,2,..., n) y* = ˆ ∑ µi f i / ∑ µi = ∑ µi f i
i =1 i =1 n n n
i1 , i 2 = 1, 2 ,3
现在看，如果有A能否“回忆”起B？ 如果AT = (0 0 0 1), 则AT•M = B；如果AT = （1 0 0 0）则 AT•M = （0.18 0.1 0.12) 只回忆起B的20%。 由m个FAM组成的FAM系统。 把m个关联（A k，B k）分别存到存贮库中，把m 个记忆向量 叠加起来。即： ' T B k = A o M k = A o ( Ak o B k ) k = 1, 2,..., m. 所记忆的隶属向量，等于各记忆向量的加权和：
3) 算法停止的判据: （当分类错误，不确定向量不再产生另一迭代）
µ 1 ( x k ) > 0 .5 + Beta 或 µ （ x k ) < 0 .5 − Beta 2
Beta = 1− e− f 2(e
f
−e
−f
)
+ε
ε ≥0
ε = 0.02, Beta 在 0 .5附近 .
产生良好的结果.
② 模糊联想存储器 （FAM） 双向联想存贮器的模糊化。把双向联想存贮器的权矩阵变换 成模糊集合的关系（关联）矩阵。
模糊关联矩阵M确定有二种方法：1）相关最小编码 m i j= Min（a i ,b j） 假定A= (0.2 0.5 0.9 1.0), B= (0.9 0.5 0.6),则：
0.2 0.2 0.5 0.5 T M = A o B = (0.9 0.5 0.6) = 0.9 0.9 1.0 0.9 0.2 0.2 0.5 0.5 0.5 0.6 0.5 0.6
对任一节点i 输入与输出的关系： 对任一节点 输入与输出的关系：
输入：net
i
= f (u 1k , u 2k ,• • • u k , w1k , w 2k • • • w k ) p p
k 代表层次 , f 代表组合
输出：Output
k i
= o = a(neti ) = a( f )
29
2）自上至下与第2层
（ a ∧ b ) = soft min( a , b ) = ae − ka + be − kb e − ka + e − kb
当k → ∞ 时， Softmin(a, b) → Min(a, b)
●神经网络驱动模糊推理（NDF）
R i : If X 是 Ai 和 Y 是 B i , Then z 是 f（ x , y ) i
1 ≤ j ≤ n + 1 (迭代次数）
II
∑ µ i ( xk ) = 1,
i =1
2
i = 1,2.
0<
∑ µ i ( xk ),
k =1
p
µ i ( x k ) ∈ [0,1]
p是向量 x的维数。i是分类的数目。
模糊感知器算法的问题: 1) 如何选择 m? 2) 如何给向量赋与模糊隶属函数? 3) 算法的终止判据. 回答：1）m >1; 如隶属函数接近0.5. m 》1；如隶属函数大于0.5. 2) 给向量赋与模糊隶属函数的规则:
i =1 i =1 i =1
n
n
n
f i ( x1 , x 2 ) = a i 0 + a i1 x1 + a i 2 x 2
a ij (j = 0,1,2) 是常数
⑶后件为模糊变量
i Rk : ( If x1是Ai11和x2 是Ai2 2 , Then y是Bk )是τ Ri
k
i = 1,2,..., n .
模糊神经网络
ANN（Artificial Neural Network）和 FLS（Fuzzy Logical Network）的比较： 相同之处 1） 都是非数值型的非线性函数的逼近器、 估计器、和动态系统； 2） 不需要数学模型进行描述，但都可用 数学工具进行处理； 3）都适合于VLSI、光电器件等硬件实现。 不同之处：㈠ 工作机制方面：
' µk n
k = 1,2 =
2
ˆ ∑ µiτ R
i =1
i k
y* =
∑
k =1
' − ' µk µ B1 (µk )
k
∑
k =1
2
' µk =
∑
k =1
2
ˆ' − ' µk µ B1 (µk )
k
应用
假定要辨识的系统为 数据40 对，见表6.1 评判指标:
EA =
nA
0 − g = (1 + x1 .5 + x 2 1 + x 1 .5 ) 2 3
1 E = 2 i = 1 j∈ N n
∑ ∑
N
mi − m j σi
2
− r
2
d) 确定连接和模糊规则
e) 规则合并,减少规则
1) 有完全相同的结果 2) 前提一样的规则 3) 其它前提的并,组成了某些输入变量的整个术语的集合
监督学习阶段
一样，产生隶属函数
第5层：
1) 由下至上 输入： : 决策Fra Baidu bibliotek去模糊
f =∑
j
( w ij5 )u ij =
( (m ij σ ij ) u ij5 ) ∑
j
隶属函数为钟形 输出： a = f
∑
j
σ
( u ij5 ) = y i ij
( 权值 : w ij5 ) = m ij σ ij
2)由 上而下 与第1层一样 .
m clost (t + 1) = m clost (t ) + α (t )[x (t ) − m clost (t ) ] m i (t + 1) = m i (t ), 对 m i ≠ m clost
1≤ i ≤ k
{ x (t ) − m i (t ) }
x (t ) 代表输入、输出语言变 量 x1 , x 2 ,..., x n , y1 , y 2 ,..., y m 的任意一个
神经模糊网络——把ANN的学习机制和FLN的人类思维 和推理结合起来。
结合方式有3种： 1）神经模糊系统——用神经元网络来实现模糊隶属函数、 模糊推理，基本上（本质上）还是FLN。 2）模糊神经系统——神经网络模糊化，本质上还是ANN。 3）模糊-神经混合系统——二者有机结合。 ●基于神经网络的模糊逻辑运算 ①用神经网络实现隶属函数 ②神经网络驱动模糊推理 ③神经网络的模糊建模
s = 1,2,..., r r为规则数, As是前提的模糊集合.NNs是模型的函数结构, 由BP网络实现.
学习的网络和训练的步骤
8
2) 将数据聚类.分成r 类.即有r 条规则.TRD的数据有N t 个. 3) 训练规则的前提部分网络NNm.。
6 4）训练对应于规则R s的后件部分（Then部分）NN s 6
●用神经网络实现隶属函数
1 y1 = µ s ( x ) = {1 + exp[ − w g ( x + wc )]}
a 是非线性函数，生成
sigmoid 函数。
wc 和 wg 分别确定Sigmoid函数的中心和宽度,µS(x),µM(x),µL(x) 组成大、中、小三个论域的隶属函数。 逻辑“与”可以用Softmin 来实现：
M = A oB
T
现在看，如果有A能否“回忆”起 B？ AM = B； BoMT = [0.2 0.5 0.9 0.9]= A’ ≠ A. 2）相关乘积编码 M = AT • B mij = ai b j
0 .18 0 .45 T M = A B= 0 .81 0 .9 0 .1 0 .25 0 .45 0 .5 0 .12 0 .3 0 .45 0 .6
学习（训练）
目的：1）决定第2层和第4层中的隶属函数中心mij和宽度σij
2）决定第3层和第4层中的规则
自组织学习
a ) 输入变量x1空间的划分 输入变量x T(x1)×T(x2)× … ×T(x n)=T(x) T(y i) b)第 b)第4层处在自上至下的模式
x (t ) − m clost (t ) = min
B=
∑
m
' Wk Bk
k =1
如在输出论域Y=（y1,y2,…,y p)需要一个单独的输出， 则要去模糊：
B=
∑ yi µ B ( yi ) / ∑ µ B ( yi )
i =1 i =1
p
p
A并行地加于各联想存贮器上。
神经模糊网络——神经模糊控制器
●
模糊自适应学习控制网络(FALCON) 模糊自适应学习控制网络(FALCON)