自组织竞争神经网络与SOM网络kohonen网络共66页
合集下载
自组织竞争神经网络SOM65页PPT
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42
-81
x2
x4
17
42 -80.5
18
43.5 -80.5
19
43.5
-75
20
48.5
-75
28
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
X3
00..770077
X4
00..3943297 X5
0.6 0.8
解：为作图方便，将上述模式转换成极坐标形式 ：
X1136.89o X2180oX314.45X4170oX5153.13o
竞争层设两个权向量，随机初始化为单位向量：
cos XT Xi
X Xi
类1
类2
T
(b)基于余弦法的相似性测量
的夹角小于a，两类模式向量的
夹角大于a。余弦法适合模式向
量长度相同和模式特征只与向量
方向相关的相似性测量。
11
§4.2 竞争学习的概念与原理 竞争学习原理
竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被激活， 结果在每一时刻只有一个输出神经元被激活。 这个被激活的神经元称为竞争获胜神经元，而
其它神经元的状态被抑制，故称为Winner Take All。
12
1.向量归一化 首先将当前输入模式向量
X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)
自组织竞争神经网络
第23页
3.搜索阶段：
由Reset信号置获胜阶段无效开始，网络进入搜索 阶段。此时R为全0，G1=1 ，在C层输出端又得到了此 次输入模式X。所以，网络又进入识别及比较阶段，得 到新获胜节点（以前获胜节点不参加竞争）。这么重 复直至搜索到某一个获胜节点K，它与输入向量X充分 匹配到达满足要求为止。模式X编制到R层K节点所连 模式类别中，即按一定方法修改K节点自下而上和自上 而下权向量，使网络以后再碰到X或与X相近模式时， R层K节点能很快取得竞争胜利。若搜索了全部R层输 出节点而没有发觉有与X充分靠近模式，则增设一个R 层节点以表示X或与X相近模式。
⑥ 警戒线检测。设向量X中不为0个数用||X||表示，可
有 n || X || xi
n
||C'|| w' j *iXi i1
(5.3.1)
i 1
n
||C'|| w' j *iXi
(5.3.2)
i1
若||C||/||X||>成立，则接收j*为获胜节点，转⑦。
不然发Reset信号，置j*为0（不允许其再参加竞争），
信号1：输入X第i个分量Xi。 信号2：R层第j个单元自上而下返回信号Rj。 信号3：G1控制信号。 设C层第i个单元输出为Ci。 Ci依据“2/3规则”产 生，即Ci含有三个信号中多数相同值。 网络开始运行时， G1 =1，R层反馈信号为0。
自组织竞争神经网络
第18页
2.R 层结构：
R层功效结构相当于一个前向竞争网络，假设输出 层有m个节点，m类输入模式。输出层节点能动态增加， 以满足设置新模式类需要。设由C层自下而上连接到R 层第j个节点权向量用Wj={w1j,w2j,..,wnj} 表示。C层输出向量C沿Wj向前馈送，经过竞争在R层 输出端产生获胜节点，指示此次输入向量类别。
自组织神经网络
自组织网络学习算法的MATLAB MATLAB实现 2.6.3 自组织网络学习算法的MATLAB实现
例2-5 人口分类是人口统计中的一个重要指 现有1999 10个地区的人口出生比例情况 1999共 标，现有1999共10个地区的人口出生比例情况 如下： 如下： 出生男性百分比分别为：0.5512 0.5123 0.5087 0.5001 0.6012 0.5298 0.5000 0.4965 0.5103 0.5003; 出生女性百分比分别为：0.4488 0.4877 0.4913 0.4999 0.3988 0.4702 0.5000 0.5035 0.4897 0.4997
自组织特征映射学习算法原理 Kohonen自组织特征映射算法，能够自动 找出输入数据之间的类似度，将相似的输 入在网络上就近配置。因此是一种可以构 成对输入数据有选择地给予响应的网络。 类似度准则 n 2 欧氏距离 d j = (xi − wij )
∑
i=1
2.6.2自组织特征映射网络的学习算法 2.6.2自组织特征映射网络的学习算法
2.6.1 自组织特征映射神经网络结构
竞争层
输入层
SOM神经网络结构 SOM神经网络结构
2.6.1 自组织特征映射神经网络结构
输入层
竞争层
SOM神经网络平面示意图 SOM神经网络平面示意图
2.6.1 自组织特征映射神经网络结构
竞争层 输入层
SOM神经网络立体示意图 SOM神经网络立体示意图
2.6.2自组织特征映射网络的学习算法 2.6.2自组织特征映射网络的学习算法
自组织网络学习算法的MATLAB MATLAB实现 2.6.3 自组织网络学习算法的MATLAB实现 例2-5源程序
神经网络及应用第五章自组织竞争神经网络
5.2 自组织特征映射神经网络
1981年，自组织特征映射网(Self-Organizing Feature Map, SOFM)由芬兰Helsink大学的T. Kohonen教授提 出，又称Kohonen网。 Kohonen认为，一个神经网络接受外界输入模式时， 将会分为不同的对应区域，各区域对输入模式具有不 同的相应特征，而这个过程是自动完成的。 自适应特征映射正式根据这一看法提出的，其特点与 人脑的自组织特性相类似。
5.1 竞争学习的概念与原理
前20次训练中两个权向量的变化情况：
解：将上述模式转换为极坐标形式 X 1 = 1∠36.89o X 2 = 1∠ − 80o X 3 = 1∠45o X 4 = 1∠ − 70o X 5 = 1∠53.13o 竞争层设两个权向量，随机初始化单位向量 1 −1 W1 (0) = 1∠0o W2 (0) = 1∠180o 0 0 取学习率η=0.5，按1~5的顺序依次输入模式向量，调整权值， 每次修改后重新进行归一化。
5.1.2 竞争学习原理 竞争学习规则 胜者为王（Winner-Take-All）
1)向量归一化 首先将自组织网络中的当前输入模式向量X和竞争层中各神 经元对应的内星权向量 Wj (j=1,2,…,m)全部进行归一化处理， ) ) 得到 X 和 W j (j=1,2,…,m)
内星节点：总是接受来自其他神经元的输入加权信号，是信号 的汇聚点，对应的权值向量称为内星权向量。 外星节点：总是向其他神经元发出输出加权信号，是信号的发 散点，对应的权值向量称为外星权向量。
5.2 自组织特征映射神经网络
SOFM网的输出阵列
5.2 自组织特征映射神经网络
5.2.3 权值调整域
SOFM采用Kohonen算法，该算法在胜者为王算法基础上加以改 进而成的，其主要区别在于调整权向量与侧抑制的方式不同： – 胜者为王算法中，只有竞争获胜神经元才能调整权向量，其 他任何神经元都无权调整。 – SOFM网的获胜神经元对其临近神经元的影响是由近及远， 由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元 本身要调整权向量，它周围的神经元在其影响下也要程度不 同地调整权向量。
自组织竞争神经网络
dj =
n
∑ (x
i =1
i
− wi j ) 2
∆wi j = η h( j , j*)( xi − wi j )
j − j*2 h ( j , j *) = exp − σ2
自组织竞争神经网络算法能够进行有效的自适应分类，但它仍存在一些问题： 学习速度的选择使其不得不在学习速度和最终权值向量的稳定性之间进行折中。 有时有一个神经元的初始权值向量离输入向量太远以至于它从未在竞争中获胜， 因 此也从未得到学习，这将形成毫无用处的“死”神经元。
网络结构
%1.ÎÊÌâÌá³ö X=[0 1;0 1]; clusters=8; points=10; std_dev=0.05; P=nngenc(X,clusters,points,std_dev); plot(P(1,:),P(2,:),'+r'); title('ÊäÈëÏòÁ¿'); xlabel('P(1)'); ylabel('P(2)'); %2.ÍøÂçÉè¼Æ net=newc([0 1;0 1],8,.1) w=net.IW{1}; plot(P(1,:),P(2,:),'+r'); hold on; circle=plot(w(:,1),w(:,2),'ob') %3.ÍøÂçѵÁ· net.trainParam.epochs=7; net=train(net,P) w=net.IW{1}; delete(circle); plot(w(:,1),w(:,2),'ob'); %4.ÍøÂç²âÊÔ p=[0.5;0.2]; a=sim(net,p)
自组织特征映射神经网络(SOM)
二、学习算法
1 算法 I: (i) 初始化：
- 各权矢量
W j 的确定
wji (0) ← Small random numbers（也可根据先验知识）； , k ← 0; (ii) 输入 X(k) , 对 W 做下述操作： j c 求出 与 X(k) 最接近的权矢量 W ， q 2 1/ 2 min{ W j − X (k ) = Wq − X (k ) = d q , ( X − Y = ( ∑ i ( xi − yi ) ) ) j d 定义单元 q 所在的邻域为 Nq (tk ), 将 Nq (tk ) 中各单元的权进行修改, 其它权值不变:
的改进使其与当前单元对应的权值修改次数有关随修改次数增加使关于算法的收敛性简述设可将输入样本集合划分为每个中有一个中心矢量聚类中心在物理上竞争学习算法competitivelearningcl典型的无教师学习unsupervisedlearning算法
CH.6
自组织特征映射神经网络
Neural Network
⎡P ⎢ 1,1 ⎢ P2,1 ⎢ P ⎢ ⎣ 3,1
共7396个训练矢量。 码本规模：N=512 用 SOM 网络进行矢量量化，实现图像数据压缩
(3) 学习算法
(取定 L、N) (i) 初始化： Wj (0) ← [0,255] 之间的随机数; (ii) 构造图像矢量样本集 { X(k) }, (iii) 输入 X(k), 由各 U j计算出 (iv) 由输出单元 U 在所有 out (v) (vi)
d1 U1
…
dj
Uj
Wj
… U N
dN
SOM
xn
dj
中，找出最小距离
(3) 于是令：
⎧1 , if j = q yj = ⎨ ⎩0 , if j ≠ q
自组织神经网络
❖
PR
- Rx2 矩阵确定输入范围
❖
Di
- 第i层神经元个数,缺省为5× 8
❖ TFCN
- 拓扑函数,缺省为 'hextop'.
❖ DFCN
- 距离函数,缺省为 'linkdist'.
❖
OLR
- 排序阶段学习率,缺省为0.9.
❖ OSTEPS - 排序阶段最大学习步骤,缺省为1000.
❖
TLR
- 调整阶段学习率,缺省为0.02;
例：LVQ网络的设计
❖ 设定输入样本和期望输出 ❖ 构建并设置网络参数 ❖ 根据训练样本对网络进行训练 ❖ 用训练样本测试网络 ❖ 用新样本测试网络 ❖ 讨论比例的影响
小结
❖ 何谓自组织：没有答案的学习
❖ 自组织竞争神经网络的基本概念
神经元：输入与权值的负距离加上阈值 网络结构：竞争网络 学习方法：Kohonen和阈值学习规则 用途：聚类
❖
TND
- 调整阶段最大学习步骤,缺省为1
例八：SOFM网络的构建和训练
❖ 构建网络 ❖ 设置训练样本 待聚类样本 ❖ 观察训练前网络的状态 ❖ 根据样本进行训练
排序阶段 粗调 调整阶段 细调
❖ 观察训练后网络的状态
例九：一维SOFM网络设计
❖ 输入为二维向量,神经元分布为一维 ❖ 将二维空间的特征映射到一维拓扑结构 ❖ 步骤
* IW 1 ,1 ( q 1 )
若分类不正确：
修正第 i个神经元的权值更远离
该样本
i i － ( p ( q ) i ) * IW 1,1 ( q )
* IW 1 ,1 ( q 1 )
* IW 1 ,1 ( q 1 )
竞争型神经网络与自组织神经网络
竞争型神经网络是基于无监督学习的神经网络的一种重要类型，作为基本的网络形式，构成了其他一些具有组织能力的网络，如学习向量量化网络、自组织映射网络、自适应共振理论网络等。
与其它类型的神经网络和学习规则相比，竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。
竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。
一个竞争神经网络可以解释为：在这个神经网络中，当一个神经元兴奋后，会通过它的分支对其他神经元产生抑制，从而使神经元之间出现竞争。
当多个神经元受到抑制，兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，这时兴奋最强的神经元的净输入被设定为 1，所有其他的神经元的净输入被设定为 0，也就是所谓的“成者为王，败者为寇”。
一般说来，竞争神经网络包含两类状态变量：短期记忆变元（STM）和长期记忆变元（LTM）。
STM 描述了快速变化的神经元动力学行为，而 LTM 描述了无监督的神经细胞突触的缓慢行为。
因为人类的记忆有长期记忆（LTM）和短期记忆（STM）之分，因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。
竞争性神经网络模型图自组织特征映射神经网络（简称SOM），是由输入层和输出层组成的单层神经网络，主要用于对输入向量进行区域分类。
SOM是一种无导师聚类，能将一维输入模式在输出层映射成二维离散图形，此图形分布在网格中，网格大小由m*n 表示，并保持其拓扑结构不变，从而使有相似特征的神经元彼此靠近，不同特征的神经元彼此远离，最终实现区分识别样品的目的。
SOM 通过学习输入向量的分布情况和拓扑结构，靠多个神经元的协同作用来完成模式分类。
当神经网络接受外界输入模式时，神经网络就会将其分布在不同的对应区域，并且记忆各区域对输入模式的不同响应特征，使各神经元形成有序的空间分布。
当输入不同的样品光谱时，网络中的神经元便随机兴奋，经过SOM 训练后神经元在输出层有序排列，作用相近的神经元相互靠近，作用不同的神经元相互远离。
《自组织神经网络》PPT课件
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 34 44
-130 -100 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
15
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
Wˆ j*T Xˆ
max (
j{1, 2 ,...,m}
Wˆ j
T
Xˆ )
竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整
1 j j* o j (t 1) 0 j j*
Wj* (t 1) Wˆ j* (t) Wj* Wˆ j* (t) (t)(Xˆ Wˆ j* )
47.5 -81
16
42 -81
x2
x4
17
42 -80.5
18 43.5 -80.5
19 43.5 -75
20 48.5 -75
x5
训练 次数
W1
W2
1 18.43 -180
x3
2 -30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
w1
6 7
24 -180 24 -130
8
x5
训练 次数
W1
W2
1 18.43 -180
第5章自组织竞争网络
训练前先对竞争层权向量随机初始化。初始状态，单位圆上 的“*”是随机分布的。前已证明，两个向量的点积越大，两者 越近似，因此以点积最大获胜的神经元对应的权向量应最接近 当前输入模式。从图，如果当前输入模式用“o”表示，单位圆 上各“*”点代表的权向量依次同“o”点代表的输入向量比较
距离，结果是离得最近的那个*获胜。
人工神经网络及应用
第五章 自组织竞争神经网络
主讲 何东健
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中 生物神经网络的学习，其最重要的特点是通过自动 寻找样本中的内在规律和本质属性，自组织、自适 应地改变网络参数与结构。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向 量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可 以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
获胜神经元有最大权值调整 量，邻近神经元有稍小调整 量，距离越大，权的调整量 越小，到某一距离R时，调 整量为0。距离再远，调整 量略负，更远时又回到0
由a中2个曲线合成 墨西哥帽函数 与生物系统相似 但计算复杂
大礼帽函数
厨师帽函数
4.2.3 SOFM网的运行原理与学习算法
1．运行原理: 训练和工作两个阶段。 训练阶段:随机输入样本。对某个输入模式，输出层 会有某个神经元获胜。获胜神经元周围的神经元因侧 向相互作用也产生较大响应，于是获胜神经元及其优 胜邻域内神经元所连接的权向量均向输入向量的方向 根据距离作程度不同的调整。大量样本调整网络的权 值，最后使输出层各神经元成为对特定模式类敏感的 神经细胞，对应的内星权向量成为各输入模式类的中 心向量。当两个模式类的特征接近时，代表这两类的 神经元在位置上也接近。从而在输出层形成样本模式 类分布情况的有序特征图。
距离，结果是离得最近的那个*获胜。
人工神经网络及应用
第五章 自组织竞争神经网络
主讲 何东健
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中 生物神经网络的学习，其最重要的特点是通过自动 寻找样本中的内在规律和本质属性，自组织、自适 应地改变网络参数与结构。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向 量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可 以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
获胜神经元有最大权值调整 量，邻近神经元有稍小调整 量，距离越大，权的调整量 越小，到某一距离R时，调 整量为0。距离再远，调整 量略负，更远时又回到0
由a中2个曲线合成 墨西哥帽函数 与生物系统相似 但计算复杂
大礼帽函数
厨师帽函数
4.2.3 SOFM网的运行原理与学习算法
1．运行原理: 训练和工作两个阶段。 训练阶段:随机输入样本。对某个输入模式，输出层 会有某个神经元获胜。获胜神经元周围的神经元因侧 向相互作用也产生较大响应，于是获胜神经元及其优 胜邻域内神经元所连接的权向量均向输入向量的方向 根据距离作程度不同的调整。大量样本调整网络的权 值，最后使输出层各神经元成为对特定模式类敏感的 神经细胞，对应的内星权向量成为各输入模式类的中 心向量。当两个模式类的特征接近时，代表这两类的 神经元在位置上也接近。从而在输出层形成样本模式 类分布情况的有序特征图。
自组织神经网络SOM方法及其应用
20 48.5 -75
w2
x2
x4
4.2自组织特征映射神经网络 （Self-Organizing feature Map）
1981年芬兰Helsink大学的T.Kohonen教授 提出一种自组织特征映射网，简称SOM网，又称 Kohonen网。
Kohonen认为：一个神经网络接受外界输 入模式时，将会分为不同的对应区域，各区域 对输入模式具有不同的响应特征，而且这个过 程是自动完成的。自组织特征映射正是根据这 一看法提出来的，其特点与人脑的自组织特性 相类似。
5 11 -180
6 24 -180
7 24 -130
8 34 -130
9 34 -100
10 44 -100
11 40.5 -100
12 40.5 -90
13 43 -90
14 43 -81
15 47.5 -81
16 42 -81
17 42 -80.5
18 43.5 -80.5
19 43.5 -75
4.1竞争学习的概念与原理
4.1.1 基本概念
分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的 模式类中去。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而
将不相似的分离开。
4.1.1 基本概念
• 相似性测量＿欧式距离法
X X i (X X i)T (X X i)
5 11 -180
6 24 -180
7 24 -130
8 34 -130
9 34 -100
10 44 -100
11 40.5 -100
12 40.5 -90
13 43 -90
人工神经网络自组织竞争人工神经网络
单内星中对权值修正旳格劳斯贝格内星学习规则为：
(8．1)
由(8．1)式可见，内星神经元联接强度旳变化Δw1j是与 输出成正比旳。假如内星输出a被某一外部方式维护高 值时，那么经过不断反复地学习，权值将能够逐渐趋近 于输入矢量pj旳值，并趋使Δw1j逐渐降低，直至最终到 达w1j＝pj，从而使内星权矢量学习了输入矢量P，到达 了用内星来辨认一种矢量旳目旳。另一方面，假如内星 输出保持为低值时，网络权矢量被学习旳可能性较小，
人工神经网络自组织 竞争人工神经网络
在实际旳神经网络中，例如人旳视网膜中，存在 着一种“侧克制”现象，即一种神经细胞兴奋后， 经过它旳分支会对周围其他神经细胞产生克制。
自组织竞争人工神经网络正是基于上述生物构造 和现象形成旳。它能够对输入模式进行自组织 训练和判断，并将其最终分为不同旳类型。
与BP网络相比，这种自组织自适应旳学习能力进 一步拓宽了人工神经网络在模式辨认、分类方 面旳应用，另一方面，竞争学习网络旳关键— —竞争层，又是许多种其他神经网络模型旳主 要构成部分。
思索：下面有两元素旳输入矢量以及与它们有关 旳四元素目旳矢量，试设计一种外星网络实既 有效旳矢量旳取得，外星没有偏差。
P＝[1 0]； T＝[0.1826 0.6325；
0.3651 0.3162； 0.5477 0.3162； 0.7303 0.6325]；
8．1．3科荷伦(Kohonen)学习规则 科荷伦学习规则是由内星规则发展而来旳。 科荷伦规则为：
一层具有s个神经元旳内星，能够用相同旳方式进行训 练，权值修正公式为：
MATLAB神经网络工具箱中内星学习规则旳执行是用函 数learnis.m来完毕上述权矢量旳修正过程： dW＝1earnis(W，P，A，lr)；
(8．1)
由(8．1)式可见，内星神经元联接强度旳变化Δw1j是与 输出成正比旳。假如内星输出a被某一外部方式维护高 值时，那么经过不断反复地学习，权值将能够逐渐趋近 于输入矢量pj旳值，并趋使Δw1j逐渐降低，直至最终到 达w1j＝pj，从而使内星权矢量学习了输入矢量P，到达 了用内星来辨认一种矢量旳目旳。另一方面，假如内星 输出保持为低值时，网络权矢量被学习旳可能性较小，
人工神经网络自组织 竞争人工神经网络
在实际旳神经网络中，例如人旳视网膜中，存在 着一种“侧克制”现象，即一种神经细胞兴奋后， 经过它旳分支会对周围其他神经细胞产生克制。
自组织竞争人工神经网络正是基于上述生物构造 和现象形成旳。它能够对输入模式进行自组织 训练和判断，并将其最终分为不同旳类型。
与BP网络相比，这种自组织自适应旳学习能力进 一步拓宽了人工神经网络在模式辨认、分类方 面旳应用，另一方面，竞争学习网络旳关键— —竞争层，又是许多种其他神经网络模型旳主 要构成部分。
思索：下面有两元素旳输入矢量以及与它们有关 旳四元素目旳矢量，试设计一种外星网络实既 有效旳矢量旳取得，外星没有偏差。
P＝[1 0]； T＝[0.1826 0.6325；
0.3651 0.3162； 0.5477 0.3162； 0.7303 0.6325]；
8．1．3科荷伦(Kohonen)学习规则 科荷伦学习规则是由内星规则发展而来旳。 科荷伦规则为：
一层具有s个神经元旳内星，能够用相同旳方式进行训 练，权值修正公式为：
MATLAB神经网络工具箱中内星学习规则旳执行是用函 数learnis.m来完毕上述权矢量旳修正过程： dW＝1earnis(W，P，A，lr)；
7.第8章--自组织竞争神经网络PPT
4
2.竞争神经网络的学习算法
Kohonen学习规则
竞争神经网络采用的Kohonen学习规则是从内星学习规则发展而来的。 阈值学习规则 在竞争型神经网络中，有可能某些神经元始终无法赢得竞争，其
初始值偏离所有样本向量，因此无论训练多久都无法成为获胜神经 元。这种神经元称为“死神经元”。
可以给很少获胜的神经元以较大的阈值，使其在输入向量与权值相 似性不太高的情况下也有可能获胜；而对那些经常获胜的神经元则 给以较小的阈值 。有效解决了“死神经元”问题。
（1）欧氏距离 d x 1 y 1 2 x 2 y 2 2 L x n y n 2
Z = dist(W,P) （2）boxdist函数用于求得的距离是向量个分量绝对差的最大值
d m a x x 1 y 1 ,x 2 y 2 ,L ,x n y n
（3）linkdist是newsom的默认距离函数
第8章 自组织竞争神经网络
编者
Outline
1.竞争神经网络 2.竞争神经网络的学习算法 3.自组织特征映射网络 4. SOM的学习算法 5.学习矢量量化网络 6.自组织竞争网络相关函数详解 7.自组织竞争神经网络应用实例
2
1.竞争神经网络
采用竞争学习的规则即可构成最简单的竞争神经网络，在此基础 上，还发展了形形色色的自组织网络。
7
4. SOM的学习算法
竞争网络与SOM网络的主要区别在于： ➢在竞争神经网络中不存在核心层之间的相互连接，在更新权值时 采用了胜者全得的方式，每次只更新获胜神经元对应的连接权值；
➢而在自组织映射网络中，每个神经元附近一定邻域内的神经元也 会得到更新，较远的神经元则不更新，从而使几何上相近的神经元 变得更相似。
>> pos = tritop(8,5);
2.竞争神经网络的学习算法
Kohonen学习规则
竞争神经网络采用的Kohonen学习规则是从内星学习规则发展而来的。 阈值学习规则 在竞争型神经网络中，有可能某些神经元始终无法赢得竞争，其
初始值偏离所有样本向量，因此无论训练多久都无法成为获胜神经 元。这种神经元称为“死神经元”。
可以给很少获胜的神经元以较大的阈值，使其在输入向量与权值相 似性不太高的情况下也有可能获胜；而对那些经常获胜的神经元则 给以较小的阈值 。有效解决了“死神经元”问题。
（1）欧氏距离 d x 1 y 1 2 x 2 y 2 2 L x n y n 2
Z = dist(W,P) （2）boxdist函数用于求得的距离是向量个分量绝对差的最大值
d m a x x 1 y 1 ,x 2 y 2 ,L ,x n y n
（3）linkdist是newsom的默认距离函数
第8章 自组织竞争神经网络
编者
Outline
1.竞争神经网络 2.竞争神经网络的学习算法 3.自组织特征映射网络 4. SOM的学习算法 5.学习矢量量化网络 6.自组织竞争网络相关函数详解 7.自组织竞争神经网络应用实例
2
1.竞争神经网络
采用竞争学习的规则即可构成最简单的竞争神经网络，在此基础 上，还发展了形形色色的自组织网络。
7
4. SOM的学习算法
竞争网络与SOM网络的主要区别在于： ➢在竞争神经网络中不存在核心层之间的相互连接，在更新权值时 采用了胜者全得的方式，每次只更新获胜神经元对应的连接权值；
➢而在自组织映射网络中，每个神经元附近一定邻域内的神经元也 会得到更新，较远的神经元则不更新，从而使几何上相近的神经元 变得更相似。
>> pos = tritop(8,5);
自组织竞争网络
权向量经调整后不再是单位向量，因此需要对调整后 的向量重新归一化。步骤(3)完成后回到步骤(1)继续训 练，直到学习率α衰减到0或规定的值。
2．竞争学习原理
设输入模式为二维向量，归一化后 其矢端可以看成分布在单位圆上的点， 用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类 指导信息，网络如何自动发现样本空 间的类别划分?
如果对r层所有的模式类若相似度都不能满足要求说明当前输入模式无类可归需在输出层增加一个神经元来代表并存储该模式类为此将其内星权向量bj设计成当前输入模式向量外星权向量tj各分量全设为4学习阶段对发生共振的获胜神经元对应的模式类加强学习使以后出现与该模式相似的输入样本时能获得更大的共振
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
思路：将高维输入数据分成若干区域，对每个区域 确定一个向量中心做为聚类中心，该区域的输入向 量可以用该中心向量代表，从而形成以各中心向量 为聚类中心的点集。
式中C1为与输出层神经元数m有关的正常数，B1为 大于1的常数，tm为预先选定的最大训练次数。
4．学习率η(t)的设计
η(t) 在训练开始时可以取值较大，之后以较快的速 度下降，这样有利于很快捕捉到输入向量的大致结 构。然后又在较小的值上缓降至趋于0值，这样可以 精细地调整权值使之符合输入空间的样本分布结构， 按此规律变化的 η(t) 表达式如下
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
2．竞争学习原理
设输入模式为二维向量，归一化后 其矢端可以看成分布在单位圆上的点， 用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类 指导信息，网络如何自动发现样本空 间的类别划分?
如果对r层所有的模式类若相似度都不能满足要求说明当前输入模式无类可归需在输出层增加一个神经元来代表并存储该模式类为此将其内星权向量bj设计成当前输入模式向量外星权向量tj各分量全设为4学习阶段对发生共振的获胜神经元对应的模式类加强学习使以后出现与该模式相似的输入样本时能获得更大的共振
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
思路：将高维输入数据分成若干区域，对每个区域 确定一个向量中心做为聚类中心，该区域的输入向 量可以用该中心向量代表，从而形成以各中心向量 为聚类中心的点集。
式中C1为与输出层神经元数m有关的正常数，B1为 大于1的常数，tm为预先选定的最大训练次数。
4．学习率η(t)的设计
η(t) 在训练开始时可以取值较大，之后以较快的速 度下降，这样有利于很快捕捉到输入向量的大致结 构。然后又在较小的值上缓降至趋于0值，这样可以 精细地调整权值使之符合输入空间的样本分布结构， 按此规律变化的 η(t) 表达式如下
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
Kohonen算法实现自组织特征映射神经网络
Kohonen算法实现自组织特征映射神经网络Kohonen算法实现自组织特征映射神经网络2010-12-23 14:28设有现有一个样本数据集，含有4个模式类，，，，各个类别含有5个数据，每个数据是一个二维向量[x,y]。
则需要设定4个输出层神经元来构建SOM网络，由于输入数据是二维的向量，所以输入层神经元有2个。
为了使SOM网络的设计和实行过程在作图中清晰可见，对输入的样本数据集均进行归一化处理。
：A =0.8776 0.47940.8525 0.52270.8253 0.56460.7961 0.60520.7648 0.6442：B=-0.6663 0.7457-0.7027 0.7115-0.7374 0.6755-0.7702 0.6378-0.8011 0.5985：C=-0.5748 -0.8183-0.5332 -0.8460-0.4903 -0.8716-0.4461 -0.8950-0.4008 -0.9162：D=0.9602 -0.27940.9729 -0.23110.9833 -0.18220.9911 -0.13280.9965 -0.0831 第一步：设定初始初始权值w，暂时设定为位于极坐标0°，90°，180°，270°角处的四个单位向量；设定初始学习率rate1max和学习率最小值rate1min；设定初始领域半径r1max和领域半径截止值r1min；设定输出层神经元个数为4。
第二步：输入新的模式向量X，即输入以上四类数据样本集A,B,C,D为X。
接着开始Kohonen算法的迭代运算过程，求解最佳权值w即聚类中心第三步：每次计算输入模式到输出神经元之间的距离之前，对学习率和领域半径均进行自适应修改。
随机抽取一个输入模式x，计算x与神经元之间的欧氏距离。
第四步：选取距离最小的神经元节点为最优神经元。
第五步：在规定的领域范围类对神经元的权值w按照公式进行修改。
第六讲自组织竞争网络
18
第六讲自组织竞争网络
2.3 网络训练
竞争网络修正权值的公式为
– 式中lr为学习速率，且0＜lr＜1，一般的取值范围为0.01-0.3； pj为经过归一化处理后的输入
层中每个最接近输入矢量的神经元，通过每次权值调 整而使权值矢量逐渐趋于这些输入矢量。从而竞争网 络通过学习而识别了在网络输入端所出现的矢量，并 将其分为某一类
– 自适应共振理论（ART）
• 分类的类型数目可自适应增加
第六讲自组织竞争网络
1.3 网络学习规则
格劳斯贝格(S．Grossberg)提出了两种类型的 神经元模型：内星与外星，用以来解释人类及 动物的学习现象
– 内星可以被训练来识别矢量 – 外星可以被训练来产生矢量
基本学习规则
– 内星学习规则 – 外星学习规则 – 科荷伦学习规则
第六讲自组织竞争网络
1.3.3 外星学习规则
外星网络的激活函数是线性函数。它被用来学习回忆 一个矢量，其网络输入P也可以是另一个神经元模型的 输出
外星被训练来在一层s个线性神经元的输出端产生一个 特别的矢量A
对于一个外星，其学习规则为
与内星不同，外星联接强度的变化Δw是与输入矢量P成正比的
人工神经网络及其应用
第6讲 自组织网络
张浩然 浙江师范大学信息学院
1
2005年3月
第六讲自组织竞争网络
内容安排
一、自组织神经网络 二、自组织竞争网络 三、科荷伦网络 四、自适应共振网络 五、内容小结 六、考试事宜
2
第六讲自组织竞争网络
一、自组织神经网络
1.1 自组织网络特点 1.2 网络类型 1.3 网络学习规则
3
第六讲自组织竞争网络
1.1 自组织网络特点
第六讲自组织竞争网络
2.3 网络训练
竞争网络修正权值的公式为
– 式中lr为学习速率，且0＜lr＜1，一般的取值范围为0.01-0.3； pj为经过归一化处理后的输入
层中每个最接近输入矢量的神经元，通过每次权值调 整而使权值矢量逐渐趋于这些输入矢量。从而竞争网 络通过学习而识别了在网络输入端所出现的矢量，并 将其分为某一类
– 自适应共振理论（ART）
• 分类的类型数目可自适应增加
第六讲自组织竞争网络
1.3 网络学习规则
格劳斯贝格(S．Grossberg)提出了两种类型的 神经元模型：内星与外星，用以来解释人类及 动物的学习现象
– 内星可以被训练来识别矢量 – 外星可以被训练来产生矢量
基本学习规则
– 内星学习规则 – 外星学习规则 – 科荷伦学习规则
第六讲自组织竞争网络
1.3.3 外星学习规则
外星网络的激活函数是线性函数。它被用来学习回忆 一个矢量，其网络输入P也可以是另一个神经元模型的 输出
外星被训练来在一层s个线性神经元的输出端产生一个 特别的矢量A
对于一个外星，其学习规则为
与内星不同，外星联接强度的变化Δw是与输入矢量P成正比的
人工神经网络及其应用
第6讲 自组织网络
张浩然 浙江师范大学信息学院
1
2005年3月
第六讲自组织竞争网络
内容安排
一、自组织神经网络 二、自组织竞争网络 三、科荷伦网络 四、自适应共振网络 五、内容小结 六、考试事宜
2
第六讲自组织竞争网络
一、自组织神经网络
1.1 自组织网络特点 1.2 网络类型 1.3 网络学习规则
3
第六讲自组织竞争网络
1.1 自组织网络特点
kohonen神经网络
cos
T
XT Xi X Xi
类2
类1
(b)基于余弦法的相似性测量
9
kohonen神经网络
1981年芬兰Helsink大学的T.Kohonen教授提出 一种自组织特征映射网，简称SOM网，又称 Kohonen网。 Kohonen认为：一个神经网络接受外界输入模 式时，将会分为不同的对应区域，各区域对输 入模式具有不同的响应特征，而且这个过程是 自动完成的。自组织特征映射正是根据这一看 法提出来的，其特点与人脑的自组织特性相类 似。
10
Kohonen 学习算法（胜者全取）
(1)初始化 对输出层各权向量赋小随机数并进行归一化处 ˆ ，j=1,2,…m；建立初始优胜邻域N (0)；学习 理，得到W j j* 率 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行 归一化处理，得到 X ˆ p，p{1,2,…,P}。
在学习算法上它模拟生物神经元之间的兴奋协调与抑制竞争作用的信息处理的动力学原理来指导网络的学习与工作而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则
Kohonen神经网络
组长：陈永兴 组员：李文采
刘娇
陈爽
kohonen神经网 络
竞争学习
kohonen神经网 络背景
kohonen神经网 络概念与原理
4
在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准 则。 竞争型神经网络构成的基本思想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有 一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。
T
XT Xi X Xi
类2
类1
(b)基于余弦法的相似性测量
9
kohonen神经网络
1981年芬兰Helsink大学的T.Kohonen教授提出 一种自组织特征映射网，简称SOM网，又称 Kohonen网。 Kohonen认为：一个神经网络接受外界输入模 式时，将会分为不同的对应区域，各区域对输 入模式具有不同的响应特征，而且这个过程是 自动完成的。自组织特征映射正是根据这一看 法提出来的，其特点与人脑的自组织特性相类 似。
10
Kohonen 学习算法（胜者全取）
(1)初始化 对输出层各权向量赋小随机数并进行归一化处 ˆ ，j=1,2,…m；建立初始优胜邻域N (0)；学习 理，得到W j j* 率 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行 归一化处理，得到 X ˆ p，p{1,2,…,P}。
在学习算法上它模拟生物神经元之间的兴奋协调与抑制竞争作用的信息处理的动力学原理来指导网络的学习与工作而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则
Kohonen神经网络
组长：陈永兴 组员：李文采
刘娇
陈爽
kohonen神经网 络
竞争学习
kohonen神经网 络背景
kohonen神经网 络概念与原理
4
在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准 则。 竞争型神经网络构成的基本思想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有 一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。