第四章自组织神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
X Xi
类1
••
••
类2
•
••
T
••
•
(b)基于余弦法的相似性测量
第四章自组织神经网络
4.1.2 竞争学习原理
竞争学习规则——Winner-Take-All 网络的输出神经元之间相互竞争以求被
激活，结果在每一时刻只有一个输出神经元 被激活。这个被激活的神经元称为竞争获胜 神经元，而其它神经元的状态被抑制，故称
向量归一化之前
*
*
* *
第四章自组织神经网络
向量归一化之后
* *
*
* *
第四章自组织神经网络
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。 欲使两单位向量最相似，须使其点积最大。即：
为Winner Take All。
第四章自组织神经网络
竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量X 和竞争层中各神经元对应的内星向量Wj 全 部进行归一化处理； (j=1,2,…,m)
Xˆ
X X
x1
n
x2j
j1
...
T
xn n x2j
j1
第四章自组织神经网络
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
第四章自组织神经网络
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
w1
7 8
24 -130 34 -130
w2
9
34 -100
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
W ˆj*TX ˆj { m 1,2,..m a .},(W x ˆjTX ˆ)
第四章自组织神经网络
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 j j*
oj
(t
1) 0
j j*
W j* ( t 1 ) W ˆj* ( t) W j* W ˆj* ( t)( t)(X ˆ W ˆj* )
W j(t1)W ˆj(t)
jj*
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
第四章自组织神经网络
竞争学习的几何意义
☻*
*
*
*
第四章自组织神经网络
竞争学习的几何意义
* Wˆ1
┆
** Wˆ j*
W (t) h(t)[ Xˆ p (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
将不相似的分离开。
第四章自组织神经网络
4.1.1 基本概念
• 相似性测量＿欧式距离法
X X i (X X i)T(X X i)
类1
类2
• •
•
• •
• T
(a)基于欧式距离的相似性测量
第四章自组织神经网络
• •
(b)基于
类2 • •
•
的相似性测量
4.1.1 基本概念
• 相似性测量＿余弦法
cos XT Xi
W ˆj*TX ˆj { m 1,2,..m a.},(W x ˆjTX ˆ)
第四章自组织神经网络
竞争学习规则——Winner-Take-All
X ˆ W ˆj* j m 1 ,2 ,.m . .iX ,ˆn W ˆj
X ˆW ˆj* (X ˆW ˆj*)T(X ˆW ˆj*)
X ˆTX ˆ2W ˆT j*X ˆW ˆT j*W ˆT j* 2(1WTj*X ˆ )
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5Βιβλιοθήκη Baidu
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
w1
9 10
34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
Wˆ j
Wˆ m
*
…
*
第四章自组织神经网络
竞争学习游戏
将一维样本空间的12个样本分为3类
第四章自组织神经网络
竞争学习游戏
o1
o1
o1
w1
w2
w3
x
训练样本集
第四章自组织神经网络
例4.1 用竞争学习算法将下列各模式分为2类：
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
00..3943297
X5
0.6 0.8
解：为作图方便，将上述模式转换成极坐标形式 ：
X1136.89o X2180oX314.45X4170oX5153.13o
竞争层设两个权向量，随机初始化为单位向量： W1(0)1010o W2(0)01118o0
第四章自组织神经网络
x5
训练 次数
1
W1
W2
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
第四章自组织神经网络
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
19
43.5 -75
20
48.5 -75
第四章自组织神经网络
x5
训练 次数
1
W1
W2
18.43 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 -90 43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
质属性，自组织、自适应地改变网络参数 与结构。
自组织网络的自组织功能是通过竞争 学习（competitive learning）实现的。
第四章自组织神经网络
4.1竞争学习的概念与原理
4.1.1 基本概念
分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的 模式类中去。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而
第四章 自组织神经网络
4.1竞争学习的概念与原理 4.2自组织特征映射神经网络
第四章自组织神经网络
第四章 自组织神经网络
竞争层 输入层
自组织神经网络的典型结构
第四章自组织神经网络
第四章 自组织神经网络
自组织学习(self-organized learning) ： 通过自动寻找样本中的内在规律和本
类1
••
••
类2
•
••
T
••
•
(b)基于余弦法的相似性测量
第四章自组织神经网络
4.1.2 竞争学习原理
竞争学习规则——Winner-Take-All 网络的输出神经元之间相互竞争以求被
激活，结果在每一时刻只有一个输出神经元 被激活。这个被激活的神经元称为竞争获胜 神经元，而其它神经元的状态被抑制，故称
向量归一化之前
*
*
* *
第四章自组织神经网络
向量归一化之后
* *
*
* *
第四章自组织神经网络
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。 欲使两单位向量最相似，须使其点积最大。即：
为Winner Take All。
第四章自组织神经网络
竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量X 和竞争层中各神经元对应的内星向量Wj 全 部进行归一化处理； (j=1,2,…,m)
Xˆ
X X
x1
n
x2j
j1
...
T
xn n x2j
j1
第四章自组织神经网络
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
第四章自组织神经网络
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
w1
7 8
24 -130 34 -130
w2
9
34 -100
从上式可以看出，欲使两单位向量的欧式距离 最小，须使两向量的点积最大。即：
W ˆj*TX ˆj { m 1,2,..m a .},(W x ˆjTX ˆ)
第四章自组织神经网络
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 j j*
oj
(t
1) 0
j j*
W j* ( t 1 ) W ˆj* ( t) W j* W ˆj* ( t)( t)(X ˆ W ˆj* )
W j(t1)W ˆj(t)
jj*
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
第四章自组织神经网络
竞争学习的几何意义
☻*
*
*
*
第四章自组织神经网络
竞争学习的几何意义
* Wˆ1
┆
** Wˆ j*
W (t) h(t)[ Xˆ p (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
将不相似的分离开。
第四章自组织神经网络
4.1.1 基本概念
• 相似性测量＿欧式距离法
X X i (X X i)T(X X i)
类1
类2
• •
•
• •
• T
(a)基于欧式距离的相似性测量
第四章自组织神经网络
• •
(b)基于
类2 • •
•
的相似性测量
4.1.1 基本概念
• 相似性测量＿余弦法
cos XT Xi
W ˆj*TX ˆj { m 1,2,..m a.},(W x ˆjTX ˆ)
第四章自组织神经网络
竞争学习规则——Winner-Take-All
X ˆ W ˆj* j m 1 ,2 ,.m . .iX ,ˆn W ˆj
X ˆW ˆj* (X ˆW ˆj*)T(X ˆW ˆj*)
X ˆTX ˆ2W ˆT j*X ˆW ˆT j*W ˆT j* 2(1WTj*X ˆ )
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5Βιβλιοθήκη Baidu
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
w1
9 10
34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
Wˆ j
Wˆ m
*
…
*
第四章自组织神经网络
竞争学习游戏
将一维样本空间的12个样本分为3类
第四章自组织神经网络
竞争学习游戏
o1
o1
o1
w1
w2
w3
x
训练样本集
第四章自组织神经网络
例4.1 用竞争学习算法将下列各模式分为2类：
X1
0.8 0.6
X2
00.1.9783468
X3
00..770077
X4
00..3943297
X5
0.6 0.8
解：为作图方便，将上述模式转换成极坐标形式 ：
X1136.89o X2180oX314.45X4170oX5153.13o
竞争层设两个权向量，随机初始化为单位向量： W1(0)1010o W2(0)01118o0
第四章自组织神经网络
x5
训练 次数
1
W1
W2
10
44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5 -75
20
48.5 -75
第四章自组织神经网络
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
19
43.5 -75
20
48.5 -75
第四章自组织神经网络
x5
训练 次数
1
W1
W2
18.43 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 -90 43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
质属性，自组织、自适应地改变网络参数 与结构。
自组织网络的自组织功能是通过竞争 学习（competitive learning）实现的。
第四章自组织神经网络
4.1竞争学习的概念与原理
4.1.1 基本概念
分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的 模式类中去。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而
第四章 自组织神经网络
4.1竞争学习的概念与原理 4.2自组织特征映射神经网络
第四章自组织神经网络
第四章 自组织神经网络
竞争层 输入层
自组织神经网络的典型结构
第四章自组织神经网络
第四章 自组织神经网络
自组织学习(self-organized learning) ： 通过自动寻找样本中的内在规律和本