自组织神经网络(SOM)方法及其应用

19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
w1
6 7
24 -180 24 -130
8
34 -130
9
34 -100
10
44 -100
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
w1
9 10
34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5

max (Wˆ
j{1,2,...,m}
j
T
Xˆ )
竞争学习规则——Winner-Take-All
Xˆ Wˆ j*
min
j1, 2 ,..., m
Xˆ Wˆ j
Xˆ Wˆ j* (Xˆ Wˆ j* )T (Xˆ Wˆ j* )

Xˆ T
Xˆ

2
Wˆ
T j*
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 34 44
-130 -100 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
w2
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
4.2自组织特征映射神经网络 （Self-Organizing feature Map）
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 43
-90 -81
15
将不相似的分离开。
4.1.1 基本概念
• 相似性测量＿欧式距离法
X Xi (X Xi )T (X Xi )
类1
类2



T
(a)基于欧式距离的相似性测量

(b)基于
类2

相似性测量
4.1.1 基本概念
• 相似性测量＿余弦法
c os XT Xi
X Xi
SOM网的拓扑结构
Xˆ

Wˆ
T j*
Wˆ
T j*

2(1

WT j*
Xˆ )
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
Wˆ j*T Xˆ

max (
j{1, 2 ,...,m}
Wˆ
j
T
Xˆ )
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 j j*
第四章 自组织神经网络
4.1竞争学习的概念与原理 4.2自组织特征映射神经网络
第四章 自组织神经网络
竞争层 输入层
自组织神经网络的典型结构
第四章 自组织神经网络
自组织学习(self-organized learning) ： 通过自动寻找样本中的内在规律和本
质属性，自组织、自适应地改变网络参数 与结构。
自组织网络的自组织功能是通过竞争 学习（competitive learning）实现的。
4.1竞争学习的概念与原理
4.1.1 基本概念
分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的 模式类中去。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 34 44
-130 -100 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
竞争层设两个权向量，随机初始化为单位向量：
1
1
W1 (0) 0 10 W2 (0) 0 1180
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
1981年芬兰Helsink大学的T.Kohonen教授 提出一种自组织特征映射网，简称SOM网，又称 Kohonen网。
Kohonen认为：一个神经网络接受外界输 入模式时，将会分为不同的对应区域，各区域 对输入模式具有不同的响应特征，而且这个过 程是自动完成的。自组织特征映射正是根据这 一看法提出来的，其特点与人脑的自组织特性 相类似。
6
24 -180
7
24 -130
8
34 -130
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
w2
x2
x4
17
42 -80.5
18 43.5 -80.5
w1
6 7
24 -180 24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
类1

类2


T


(b)基于余弦法的相似性测量
4.1.2 竞争学习原理
竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被 激活，结果在每一时刻只有一个输出神经元 被激活。这个被激活的神经元称为竞争获胜 神经元，而其它神经元的状态被抑制，故称
为Winner Take All。
* Wˆ1
┆
** Wˆ j*
W (t) h(t)[ Xˆ p (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
Wˆ j
Wˆ m
*
…
*
竞争学习游戏
将一维样本空间的12个样本分为3类
竞争学习游戏
o1
o1
o1
w1
w2
w3
x
训练样本集
例4.1 用竞争学习算法将下列各模式分为2类：
SOM网的生物学基础
生物学研究的事实表明，在人脑的感觉通道上， 神经元的组织原理是有序排列。因此当人脑通过感官 接受外界的特定时空信息时，大脑皮层的特定区域兴 奋，而且类似的外界信息在对应区域是连续映象的。
对于某一图形或某一频率的特定兴奋过程，神经 元的有序排列以及对外界信息的连续映象是自组织特 征映射网中竞争机制的生物学基础。
11
40.5 -100
12
40.5 -90
w1
13 14
43 43
-90 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
47.5 -81
16
42 -81
w2
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -18037 -180来自x1 w14 5
-32 -180 11 -180
x3
2 -30.8 -180
3
7 -180
x1 w1
4 5
-32 -180 11 -180
6
24 -180
7
24 -130
8
34 -130
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
X1


0.8 0.6

X2

00.1.9783468
X3

00..770077
X
4

00..3943297
X5

00..68
解：为作图方便，将上述模式转换成极坐标形式 ：
X1 136.89 X2 1 80 X 3 144.5 X4 1 70 X5 153.13
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
w1
7 8
24 -130 34 -130
w2
9
34 -100
10
44 -100
向量归一化之后
* *
*
* *
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。
欲使两单位向量最相似，须使其点积最大。即：
Wˆ j*T Xˆ
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
010101???????????w18010102????????????wx5x3x1w2w1x2x4训练次数ww11ww2211223344556677889910111213141516171819201843??308??7??32??11??24??24??34??34??44??405??405??43??43??475??42??42??435??435??485??180??180??180??180??180??180??130??130??100??100??100??9900??90??81??81??81??805??805??75??75??x5x3x1w2x2x4w1训练次数ww11ww2211223344556677889910111213141516171819201843??308??7??32??11??24??24??34??34??44??405??405??43??43??475??42??42??435??435??485??180??180??180??180??180??180??130??130??100??100??100??9900??90??81??81??81??805??805??75??75??x5x3x1w2x2x4w1训练次数ww11ww2211223344556677889910111213141516171819201843??308??7??32??11??24??24??34??34??44??405??405??43??43??475??42??42??435??435??485??180??180??180??180??180??180??130??130??100??100??100??9900??90??81??81??81??805??805??75??75??x5x3x1w2x2x4w1训练次数ww11ww2211223344556677889910111213141516171819201843??308??77??32??11??24??24??34??34??44??405??405??43??43??475??42??42??435??435??485??180??180??180??180??180??180??130??130??100??100??100??9900??90??81??81??81??805??8