T-S型模糊神经网络与入侵检测解析

2007-03-07
哈尔滨理工大学网络信息中心
7
T-S型模糊神经网络与入侵检测

T-S型模糊神经网络介绍
BP算法原理用于T-S
FNN模糊参数
学习
遗传算法用于T-S FNN的权值学习 T-S FNN应用于入侵检测数据分析

2007-03-07
哈尔滨理工大学网络信息中心
8
BP算法原理用于T-S FNN模糊参数 学习
哈尔滨理工大学网络信息中心
11
BP算法原理用于T-S FNN模糊参数 学习

信息的正向传递

隐含层中第k个神经元的输出为：

输出层中第l个神经元的输出为：

定义误差为
哈尔滨理工大学网络信息中心 12
2007-03-07
BP算法原理用于T-S FNN模糊参数 学习
利用梯度下降法求权值变化及误差的反向 传播 梯度下降法
T-S型模糊神经网络与入侵检 测
哈尔滨理工大学 卜明玮
2007-03-07
哈尔滨理工大学网络信息中心
1
T-S型模糊神经网络与入侵检测
主要内容
T-S型模糊神经网络介绍
BP算法原理用于T-S FNN模糊参数学习 遗传算法用于T-S FNN的权值学习 T-S FNN应用于入侵检测数据分析
2007-03-07
哈尔滨理工大学网络信息中心
16
BP算法原理用于T-S FNN模糊参数 学习

依据前面介绍的ＢＰ算法原理，可依次求 得每一层的误差
k(5)

( 4) j
E E y dk y k y k f k(5)
r E ( 4) k(5) y kj f j k 1

2007-03-07
哈尔滨理工大学网络信息中心
2
T-SБайду номын сангаас模糊神经网络介绍

T-S FNN的结构
2007-03-07
哈尔滨理工大学网络信息中心
3
T-S型模糊神经网络介绍
T-S FNN结构的说明 网络由前件网络和后件网络两部分组成

前件网络用来匹配模糊规则的前件 后件网络用来产生模糊规则的后件

2007-03-07
哈尔滨理工大学网络信息中心
5
T-S型模糊神经网络介绍

后件网络
它由r 个结构相同的并列子网络组成, 每个子 网络产生一个输出量。 输入层中第0个结点的输入值x0= 1, 它的作用 是提供模糊规则后件中的常数项。 子网络的第2层共有m 个结点, 每个结点代表 一条规则, 该层的作用是计算每一条规则的后 件

2007-03-07
哈尔滨理工大学网络信息中心
4
T-S型模糊神经网络介绍

前件网络
第一层为输入层。 第二层每个结点代表一个语言变量值 第三层的每个结点代表一条模糊规则, 它的作 用是用来匹配模糊规则的前件, 计算出每条规 则的适用度。 第四层的结点数与第三层相同, 它所实现的是 归一化计算

2007-03-07
哈尔滨理工大学网络信息中心
6
T-S型模糊神经网络介绍
yk是各规则后件的加权和, 加权系数为各 模糊规则的归一化适用度, 也即前件网络 的输出用作后件网络第3层的连接权值。 这里不考虑各输入分量的模糊分割数的划 分, 需要学习的参数主要是后件网络的连 接权以及前件网络第2层各结点隶属函数 的中心值及宽度
2l 2l 2l
el Tl a2k
Tl a2l f 2' kl
2l
2l
2007-03-07
哈尔滨理工大学网络信息中心
14
BP算法原理用于T-S FNN模糊参数 学习

隐含层的权值变化
t E E a2l a1k ' 2 ' W T a f W f1 Pj kl Pj 1 2 l 2 kl 1 1 W jk a2l a1k W jk l 1 1 jk
2007-03-07
BP算法原理用于T-S FNN模糊参数 学习

利用梯度下降法求权值变化及误差的反向 传播

输出层的权值变化
2 Wkl
E a2l ' ( T a ) f a1k kl a1k l 2 l 2 2 a2l Wkl
其中 kl Tl a2l f2' el f2' E E a b 同理可得： b a b
其中： jk ek f e W b1k jk 同理可得：

' 1
k k 1 kl
s
2 kl
2007-03-07
哈尔滨理工大学网络信息中心
15
BP算法原理用于T-S FNN模糊参数 学习

现在考虑T-S型模糊神经网络中前件网络 的隶属函数参数的学习问题。先将后件网 络的连接权参数W j i固定，从而T-S FNN 的结构图可以简化为如下形式。
哈尔滨理工大学网络信息中心 10
2007-03-07
BP算法原理用于T-S FNN模糊参数 学习

以前面图中所示的三层网络为例进行BP 算法推导，设输入为P，输入神经元有r个， 隐含层有s个神经元，激活函数为f1，输 出层内有t个神经元，对应的激活函数为f2， 输出为A，目标矢量为T。
2007-03-07


是一种对某个准则函数的迭代寻优算法。设 J(a)是准则函数，a为一向量。d为J(a)在点ak 的梯度，为一向量，其方向为J(a)增长最快 的方向；负梯度方向，则是减少最快的方向。 因此，若求某函数的极大值，沿梯度方向走， 可以最快的速度到达极大点；反之沿负梯度 方向走，可以最快地到达极小点。
哈尔滨理工大学网络信息中心 13

我们先用一个简单的BP网络结构说明BP 算法的原理，下面是具有一个隐含层的 BP网络的结构
2007-03-07
哈尔滨理工大学网络信息中心
9
BP算法原理用于T-S FNN模糊参数 学习

BP算法是一种监督式的学习算法，其主 要思想是：q输入学习样本（P1, P2,…, Pq），己知与其对应的期望输出样本为： T1，T2，…，Tq。学习的目的是用网络 的实际输出A1，A2，…，Aq与目标矢量 T1，T2，…，Tq之间的误差来修改权值， 使Ai（i=1，2，…，q）与期望的Ti尽可能 地接近，即是网络输出层的误差平方和达 到最小。