自组织竞争神经网络SOM

第四章 自组织竞争型神经网络
本章主要介绍自组织竞争型神经网络的结构 学习算法;及相关理论
1
第四章自组织竞争型神经网络
§4 1 前言 §4 2 竞争学习的概念和原理 §4 3自组织特征映射神经网络 §4 4自组织特征映射神经网络的设计 §4 5 对偶传播神经网络 §4 6小结
2
§4 1 前言
在生物神经系统中;存在着一种侧抑制现象;即一 个神经细胞兴奋以后;会对周围其他神经细胞产生 抑制作用 这种抑制作用会使神经细胞之间出现竞 争;其结果是某些获胜;而另一些则失败 表现形式 是获胜神经细胞兴奋;失败神经细胞抑制
在网络结构上;它一般是由输入层和竞争层构成的 两层网络 两层之间各神经元实现双向连接;而且网 络没有隐含层 有时竞争层各神经元之间还存在横 向连接
4
在学习算法上;它模拟生物神经元之间的兴奋 协调 与抑制 竞争作用的信息处理的动力学原理来指导 网络的学习与工作;而不像大多数神经网络那样是 以网络的误差或能量函数作为算法的准则
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
00..3943297
X5
0.6 0.8
解：为作图方便;将上述模式转换成极坐标形式 ：
X113.68o9X2180oX314.4 5X4170oX515.31o3
竞争层设两个权向量;随机初始化为单位向量：
W1(0)1010o W2(0)01118o0
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 -90 43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
26
x5
训练 次数
1
x4
17
42 -80.5
18
43.5 -80.5
19
43.5
-75
20
48.5
-75
32
§4 3自组织特征映射神经网络
1981年芬兰Helsink大学的T Kohonen教授提出 一种自组织特征映射网;简称SOM网;又称 Kohonen网
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
28
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
9
• 相似性测量＿欧式距离法
两个模式向量的欧式距离越小;两 X X i (X X i)T(X X i)
个向量越接近;因此认为这两个模
类1
类2
式越相似;当两个模式完全相同时 其欧式距离为零 如果对同一类内 各个模式向量间的欧式距离作出
规定;不允许超过某一最大值T;则
• •
•
• •
• T
(a)基于欧式距离的相似性测量
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
22
训练 次数
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
W1
W2
18.43 -180
-30.8 -180
7 -180
-32 -180
6
常用的自组织网络 自组织特征映射SelfOrganizing Feature
Map网络 对偶传播Counter propagation网络
返回
7
§4 2 竞争学习的概念与原理
竞争层 输入层
自组织神经网络的典型结构
8
§4 2 竞争学习的概念与原理
竞争学习的概念 分类——分类是在类别知识等导师信号的指 导下;将待识别的输入模式分配到各自的模 式类中去 聚类——无导师指导的分类称为聚类;聚类 的目的是将相似的模式样本划归一类;而将 不相似的分离开
cos XT Xi
X Xi
类1
•• ••
类2
•
••
T
••
•
(b)基于余弦法的相似性测量
11
§4 2 竞争学习的概念与原理 竞争学习原理
竞争学习规则——WinnerTakeAll
网络的输出神经元之间相互竞争以求被激活; 结果在每一时刻只有一个输出神经元被激活 这个被激活的神经元称为竞争获胜神经元;而
11 -180
24 -180
24 -130
34 -130
34 -100
44 -100
40.5 -100
40.5 -90
43 -90
43 -81
47.5 -81
42
-81
42 -80.5
43.5 -80.5
43.5 -75
48.5 -75
23
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
27
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
w1
6 7
24 -180 24 -130
8
34 -130
w2
9
34 -100
19
43.5 -75
20
48.5 -75
24
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 -130 34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
25
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
16
竞争学习规则——WinnerTakeAll
X ˆ W ˆj* j m 1 ,2 ,.m . .i X , ˆn W ˆj
X ˆW ˆj* (X ˆW ˆj*)T(X ˆW ˆj*)
X ˆTX ˆ2W ˆT j*X ˆW ˆT j*W ˆT j* 2(1WT j*X ˆ )
从上式可以看出;欲使两单位向量的欧式距离最小;须使两向量 的点积最大 即：
18.43 -180
x3 w1
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
w2
x2
21
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
w1
9 10
34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
W ˆj*TX ˆj { m 1,2,..m a.},(W x ˆjTX ˆ)
17
竞争学习规则——WinnerTakeAll 3 网络输出与权值调整
1 j j* oj(t1)0 j j*
W j* ( t 1 ) W ˆj* ( t) W j* W ˆj* ( t) ( t) ( X ˆ W ˆj* )
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 -130 34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
x1
4
-32 -180
5
11 -180
w1
6 7
24 -180 24 -130
8
34 -130
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
w2
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5
最大欧式距离T就成为一种聚类
判据;同类模式向量的距离小于T;
两类模式向量的距离大于T
10
• 相似性测量＿余弦法
两个模式向量越接近;其夹角越 小;余弦越大 当两个模式向量完 全相同时;其类 余1弦夹角为类 1 2如果 对同一类内各•个模式向•量间的夹 角作出规定• ;•不允许超过• 某•一最 大夹角a;则最大夹T角就成为一种 聚类判据(a)基 同于类欧式 模距式离的 向相 量似性 的测 夹量角 小于a;两类模式向量的夹角大于 a 余弦法适合模式向量长度相同 和模式特征只与向量方向相关的 相似性测量
其它神经元的状态被抑制;故称为Winner Take All
12
1 向量归一化 首先将当前输入模式向量X
和竞争层中各神经元对应的内星向量Wj 全 部进行归一化处理； j=1;2;…;m
Xˆ
X X
x1
n
x2j
j1
...
T
xn n x2j
j1
13
向量归一化之前
*
*
* *
14
向量归一化之后
W j(t1)W ˆ j(t)
jj*
步骤3完成后回到步骤1继续训练;直到学习率衰减到0
18
竞争学习的几何意义
*
*☻
*
*
19
竞争学习的几何意义
* Wˆ1
┆
* Wˆ j*
W (t) (t)[ Xˆ p (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
Wˆ j
Wˆ m
*
…
*
20
例4.1 用竞争学习算法将下列各模式分为2类：
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100Biblioteka 1240.5 -90
w1
13 14
43 -90 43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
7
24 -130
8
34 -130
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
w2
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
31
x5
训练 次数
1
W1
W2
-75
20
48.5
-75
29
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1 w1
4 5
-32 -180 11 -180
6
24 -180
7
24 -130
8
34 -130
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
w2
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
30
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1 w1
4 5
-32 -180 11 -180