最新[]第四章自组织神经网络幻灯片课件

5
11 -180
6
24 -180
w1
7 8
24 -130 34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
* *
*
* *
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。
欲使两单位向量最相似，须使其点积最大。即：
W ˆj*TX ˆj { m 1,2,..m a.},(W x ˆjTX ˆ)
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 -130 34 -100 44 -100
为Winner Take All。
竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量
X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)
Xˆ
X X
x1
n
x2j
j1
...
T
xn n x2j
j1
向量归一化之前
*
*
* *
向量归一化之后
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
竞争层设两个权向量，随机初始化为单位向量： W1(0)1010o W2(0)01118o0
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
w1
9 10
34 -100 44 -100
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -1源自文库0
w2
w1
8 9
10
34 -130 34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
[]第四章自组织神经网络
第四章 自组织神经网络
竞争层 输入层
自组织神经网络的典型结构
4.1.2 竞争学习原理
竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被 激活，结果在每一时刻只有一个输出神经元 被激活。这个被激活的神经元称为竞争获胜 神经元，而其它神经元的状态被抑制，故称
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 -90 43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
将一维样本空间的12个样本分为3类
竞争学习游戏
o1
o1
o1
w1
w2
w3
x
训练样本集
例4.1 用竞争学习算法将下列各模式分为2类：
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
00..3943297 X5
00..68
解：为作图方便，将上述模式转换成极坐标形式 ：
X1136.89o X2180oX31 4.4 5X4170oX5153.13o
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 -90 43 -81
15
47.5 -81
W j(t1)W ˆj(t)
jj*
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
竞争学习的几何意义
☻*
*
*
*
竞争学习的几何意义
* Wˆ1
┆
** Wˆ j*
W (t) h(t)[ Xˆ p (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
Wˆ j
Wˆ m
*
…
*
竞争学习游戏
W ˆj*TX ˆj { m 1,2,..m a .},(W x ˆjTX ˆ)
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 j j*
oj
(t
1) 0
j j*
W j* ( t 1 ) W ˆj* ( t) W j* W ˆj* ( t)( t)(X ˆ W ˆj* )
竞争学习规则——Winner-Take-All
X ˆ W ˆj* j m 1 ,2 ,.m . .iX ,ˆn W ˆj
X ˆW ˆj* (X ˆW ˆj*)T(X ˆW ˆj*)
X ˆTX ˆ2W ˆT j*X ˆW ˆT j*W ˆT j* 2(1WTj*X ˆ )
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：