6-自组织神经网络(SOM)

W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 23 -75 -75
x
3
x1 w1
w2
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 20 -75 -75
5
相似性测量
22:39
(b)基于余弦法的相似性测量
余弦法适合模式向量相同或模式特征 只与向量方向相关的相似性测量
1.2 竞争学习原理
竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被
激活或点火，结果在每一时刻只有一个输
出神经元被激活或点火。这个被激活的神
经元称为竞争获胜神经元，而其它神经元 的状态被抑制，故称为Winner Take All。
22:39 15
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 16 -75 -75
x
3
x1 w2 w1 x2 x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
22:39
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
x
3
x 1 w1
w2
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
x
3
x1 w2 w1
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 24 -75 -75
解：为作图方便，将上述模式转换成极坐标形式 ：
X1 136.89 X2 1 80 X 3 144.5 X4 1 70 X5 153.13
竞争层设两个权向量，随机初始化为单位向量：
上式中，X1=（x,y）T
1 1 W1 (0) 0 1180 0 10 W2 (0)
2 自组织特征映射网
（Self-Organizing feature Map）
1981年芬兰Helsink大学的T.Kohonen教授提出一 种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen认为：一个神经网络接受外界输入模式时，
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 21 -75 -75
x
3
x1 w2 w1
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
竞争学习的几何意义
*
*
*
22:39
*
13
竞争学习的几何意义
ˆ *W 1
ˆ * W j
*
ˆ * (t 1) W j
ˆ p (t ) W ˆ * (t )] W (t ) (t )[ X j
*
┆
ˆ p (t) X
ˆ W j
ˆ W m
*
22:39
…
*
14
例4.1
1
用竞争学习算法将下列各模式分为2类：
T
7
原始向量
*
*
* *
22:39 8
归一化后的向量
* *
*
*
*
22:39
9
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。
22:39
j j* * j j
ˆ * (t ) W * W ˆ * (t ) (X ˆ W ˆ *) Wj* (t 1) W j j j j ˆ (t ) j=j*之外的 j jj* Wj (t 1) W j
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
22:39 12
ˆ 2(1 WT * X) j
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
T ˆ T ˆ ˆ ˆ Wj* X max ( Wj X) j{1, 2,...,m}
11
22:39
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 o j (t 1) 0
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 17 -75 -75
x
3
x1 w1 w2
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 18 -75 -75
x
3
x1 w1 w2
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 25 -75 -75
x
3 w1
x1
22:39
x2 w2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0.8 2 0.1736 3 0.707 4 0.342 5 0.6 X 0.6 X 0.9848 X 0.9397 X 0.8 0.707 X

(b)基于余弦
同一类内各个模式向量间的欧式距离不 允许超过某一最大值Ｔ
22:39
4
1.1 基本概念
• 相似性测量＿余弦法 T X Xi cos X Xi
类2 T 类1 类2
同一类内 各个模式 向量间的 夹角不允 许超过某 一最大夹 角ψ T
10
竞争学习规则——Winner-Take-All
ˆ W ˆ * X j
ˆ W ˆ * X j
j 1, 2,...,m
min
ˆ W ˆ X
j
ˆ W ˆ * )T ( X ˆ W ˆ *) (X j j

ˆ TX ˆ 2W ˆ T* X ˆ W ˆ T* W ˆ T* X j j j
x
3
x1 w2 w1
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 19 -75 -75
x
3
x1 w2 w1
22:39
x2
x4
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
自组织神经网络的典型结构
22:39 1
自组织学习(self-organized learning) ：
通过自动寻找样本中的内在ห้องสมุดไป่ตู้律和本
质属性，自组织、自适应地改变网络参数
与结构。
自组织网络的自组织功能是通过竞争
学习（competitive learning）实现的。
22:39 2
» 1.1 基本概念
x
5
训练 次数
W1
18.43 -30.8 7 -32 11 24 24 34 34 44 40.5 40.5 43 43 47.5 42 42 43.5 43.5 48.5
W2
-180 -180 -180 -180 -180 -180 -130 -130 -100 -100 -100 -90 -90 -81 -81 -81 -80.5 -80.5 22 -75 -75
» 分类——分类是在类别知识等导师信号的 指导下，将待识别的输入模式分配到各自 的模式类中去。 » 聚类——无导师指导的分类称为聚类，聚 类的目的是将相似的模式样本划归一类， 而将不相似的分离开。
22:39
3
1.1 基本概念
X X i ( X X i )T ( X X i )
类1 T (a)基于欧式距离的相似性测量 类2
22:39 6
竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量 X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)
X ˆ X X
22:39
x1
x
j 1
n
...
2 j
xn n 2 xj j 1