SOM算法

20
x3 x w2 w1 x
14:41
1
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
14:41
15
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
j j* j j*
ˆ ˆ ˆ ˆ W j* (t 1) W j* (t ) W j* W j* (t ) (X W j* )
ˆ W j (t 1) W j (t )
jj*
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
14:41
12
竞争学习的几何意义
16
x
3
x1 w2 w1
x2
14:41
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
25
x3 w1 1 x
x w2
14:41
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
激活或点火，结果在每一时刻只有一个输
出神经元被激活或点火。这个被激活的神
经元称为竞争获胜神经元，而其它神经元 的状态被抑制，故称为Winner Take All。
14:41
6
竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量 X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
23
x3 x w1
1
w2
14:41
x
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
*
*
*
*
14:41
13
竞争学习的几何意义
ˆ * W1
ˆ W j*
*
ˆ ˆ W (t ) (t )[ X p (t ) W j * (t )]
*
┆
ˆ W j * (t 1)
ˆ X p (t ) ˆ Wm
ˆ Wj
*
…
*
14:41
14
例4.1
1
用竞争学习算法将下列各模式分为2类：
0.8 2 0.1736 3 0.707 4 0.342 5 0.6 X X 0 .6 0.9848 X 0.707 X 0.9397 X 0.8
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
ห้องสมุดไป่ตู้W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
22
x3 x w1 w2
1
x
14:41
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
解：为作图方便，将上述模式转换成极坐标形式 ：
X1 136.89 X2 1 80 X 3 144.5 X4 1 70 X5 153.13
竞争层设两个权向量，随机初始化为单位向量：
1 1 W1 (0) 10 W2 (0) 1180 0 0
24
x3 x w1
1
w2
14:41
x
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
37相似性测量余弦法411余弦法适合模式向量相同或模式特征只与向量方向相关的相似性测量同一类内各个模式向量间的夹角不允许超过某一最大夹412竞争学习规则winnertakeall网络的输出神经元之间相互竞争以求被激活或点火结果在每一时刻只有一个输出神经元被激活或点火
第四章 竞争学习神经网络
自组织神经网络的典型结构
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
21
x3 x w2
1
w1
x
14:41
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
类2
类1
同一类内 各个模式 向量间的 夹角不允 许超过某 一最大夹 角ψ T
相似性测量
(b)基于余弦法的相似性测量
14:41
余弦法适合模式向量相同或模式特征 只与向量方向相关的相似性测量
5
4.1.2 竞争学习原理
竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被
X ˆ X X
14:41
x1 x2 j
j 1 n
...
xn n x2 j j 1
T
7
原始向量
*
*
* *
14:41
8
归一化后的向量
* *
*
*
*
14:41
9
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
17
x3 x w2
1
w1
x
14:41
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
类1 T (a)基于欧式距离的相似性测量 类2

(b)基于余弦
同一类内各个模式向量间的欧式距离不 允许超过某一最大值Ｔ
14:41 4
4.1.1 基本概念
• 相似性测量＿余弦法
cos
类2 T
XT X i X Xi
14:41
10
竞争学习规则——Winner-Take-All
ˆ ˆ X Wj *
ˆ ˆ X Wj*
j , 2,..., m 1
min
ˆ ˆ X W
j
ˆ ˆ ˆ ˆ (X W j* )T (X Wj* )
ˆ ˆ ˆ ˆ ˆ ˆ XT X 2WT* X WT* WT* j j j


4.1.1 基本概念
分类——分类是在类别知识等导师信号的 指导下，将待识别的输入模式分配到各自 的模式类中去。 聚类——无导师指导的分类称为聚类，聚 类的目的是将相似的模式样本划归一类， 而将不相似的分离开。

14:41
3
4.1.1 基本概念
• 相似性测量＿欧式距离法
X X i ( X X i )T ( X X i )
4.2 自组织特征映射网
（Self-Organizing feature Map）
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
14:41
1
第四章 自组织神经网络
自组织学习(self-organized learning) ：
通过自动寻找样本中的内在规律和本
质属性，自组织、自适应地改变网络参数
与结构。
自组织网络的自组织功能是通过竞争
学习（competitive learning）实现的。
14:41
2
4.1 竞争学习的概念与原理
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 -75 -75
19
x3 x w2
1
w1
x
14:41
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
18
x
3
x1 w2 w1 x
14:41
2
x
4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
ˆ 2(1 WT* X) j
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
ˆ * T X max (W T X) ˆ ˆ Wj ˆ j
j{1, 2,..., m}
14:41 11
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 o j (t 1) 0