自适应神经网络.ppt

w2
9
34 -100
10
44 -100
11
40.5 -100
12
40.5 -90
w1
13 14
43 -90 43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5
-75
20
48.5
-75
竞争学习原理（规则）
x5
训练 次数
1
W1
W2
18.43 -180
若同类内各模式向量间的夹角规定不大于ΨT，则Ψ成 为一种聚类判据。余弦法适合模式向量长度相同或模式 特征只与向量方向相关的相似性测量。
竞争学习原理（规则）
实验表明，人眼的视网膜、脊髓和海马中存一种侧 抑制现象，即，当一个神经细胞兴奋后，会对其周围的 神经细胞产生抑制作用。
最强的抑制关系是竞争获胜者“惟我独兴”，不允 许其它神经元兴奋，这种抑制方式也称为胜者为王。
竞争层负责对该模式进行 分析比较”，找出规律以正确 分类。
这种功能是通过下面要介 绍的竞争机制实现的。
输出模式
竞争层
输入模式
竞争学习的概念
竞争学习是自组织网络中最常用的一种学习策略，首 先说明与之相关的几个基本概念。
模式：一般当网络涉及识别、分类问题时，常用输入 模式（而不称输入样本）；
分类：将待识别的输入模式划分为各自的模式类中去； 聚类：无导师指导的分类称为聚类，聚类的目的是将 相似的模式样本划归一类； 相似性：输入模式的聚类依据。
因此，求最小欧式距离的问题就转化为按此式求最大点积 的问题，而且权向量与输入向量的点积正是竞争层神经元 的净输入。
竞争学习原理（规则）
3.网络输出与权值调整
胜者为王竞争学习算法规定，获胜神经元输出为1，其余
输出为零。即
1 j j* oj(t 1) 0 j j*
只有获胜神经元才有权调整其权向量，调整后权向量为
竞争学习采用的规则是胜者为王，该算法可分为3个 步骤。
竞争学习原理（规则）
(1)向量归一化 将自组织网络中的当前输入模式向量X和竞争层中各神经元
对应的内星权向量Wj(j=1,2,…m)全部进行归一化处理。 得到 ：
Xˆ
W ˆj(j1,2,m)
竞争学习原理（规则）
*
*
向量归一化之前
*
*
向量归一化之后
•自组织神经网络 （SONN）
石伟
SONN
目录
1.SONN概述 2.竞争学习的概念 3.竞争学习的原理 4.自组织特征映射（SOM）神经网络
SONN概述
在人类的认识过程中，除了从教师那里得到知识外， 还有一种不需要通过教师，自动向环境学习的能力，这种 仅依靠环境刺激的“无师自通”的功能称为自组织学习方 法。
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
w2
w9 1 10
34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
竞争学习的概念
相似性测量 神经网络的输入模式用向量表示，比较不同模式的相
似性可转化为比较两个向量的距离，因而可用模式向量间 的距离作为聚类判据。
模式识别中常用到的两种聚类判据是欧式最小距离法 和余弦法。
竞争学习的概念
（1）欧式距离法 X和Xi 两向量欧式距离 : XX i (XX i)T(XX i) 两个模式向量的欧式距离越小，两个模式越相似，当
**
*
* *
竞争学习原理（规则）
（2）寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相似性 比较，并将最相似的内星权向量判为竞争获胜神经元。
欲使两单位向量最相似，须两单位向量的欧式距离 最小，即其点积最大。即：
W ˆj*TX ˆj { m 1,2,..m a.},(W x ˆjTX ˆ)
通过自动寻找样本中的内在规律和本质属性，自组织 、自适应地改变网络参数与结构。
自组织网络的自组织功能是通过竞争学习（ competitive learning）实现的。
SONN概述
自组织神经网络的典型结 构具有一个输入层和一个竞争 层
输入层负责接受外界信息 并将输入模式向竞争层传递， 起观察作用。
W j*(t 1 ) W ˆj*(W t)j (t W 1 )j* W ˆ W ˆ j(j* t) (t)(X ˆ W ˆJ*)
j j* j j*
应注意，归一化后的权向量经过调整后得到的新向量不
再是单位向量，需要重新归一化。步骤（3）完成后回到
步骤（1）继续训练，直到学习率 衰减到零。
两个模式完全相同时，其欧式距离为零。如果对同一类 内各个模式向量间的欧式距离作出规定，不允许超过某 一最大值 T，则最大欧式距离 T 就成为一种聚类判据。
竞争学习的概念
（2）余弦法 计算两个模式向量夹角的余弦： cos X T Xi
Xi
两个模式向量越接近，其类角越小，余弦越大。当两 个模式向量完全相同时，其夹角余弦为1。
18
43.5 -80.5
19
43.5
-75
20
48.5
-75
竞争学习原理（规则）
竞争学习原理（规则）
竞争学习原理（规则）
例4.1 用竞争学习算法将下列各模式分为2类：
解：为作图方便，将上述模式转换成极坐标形式 ：
归一化的初始权值为
1 w 1(0) 0
1 w 2(0) 0
设为0.5,输入x1后,权值变化为:
0.948
w1(1)0.316
1 2(1 w )0
竞争学习原理（规则）
x5
训练 次数
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5
-75
20
48.5
-75
竞争学习原理（规则）
竞争学习原理（规则）
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
8
34 -130
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 -130 34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5