第5章自组织竞争网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
训练前先对竞争层权向量随机初始化。初始状态，单位圆上 的“*”是随机分布的。前已证明，两个向量的点积越大，两者 越近似，因此以点积最大获胜的神经元对应的权向量应最接近 当前输入模式。从图，如果当前输入模式用“o”表示，单位圆 上各“*”点代表的权向量依次同“o”点代表的输入向量比较
距离，结果是离得最近的那个*获胜。
人工神经网络及应用
第五章 自组织竞争神经网络
主讲 何东健
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中 生物神经网络的学习，其最重要的特点是通过自动 寻找样本中的内在规律和本质属性，自组织、自适 应地改变网络参数与结构。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向 量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可 以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
获胜神经元有最大权值调整 量，邻近神经元有稍小调整 量，距离越大，权的调整量 越小，到某一距离R时，调 整量为0。距离再远，调整 量略负，更远时又回到0
由a中2个曲线合成 墨西哥帽函数 与生物系统相似 但计算复杂
大礼帽函数
厨师帽函数
4.2.3 SOFM网的运行原理与学习算法
1．运行原理: 训练和工作两个阶段。 训练阶段:随机输入样本。对某个输入模式，输出层 会有某个神经元获胜。获胜神经元周围的神经元因侧 向相互作用也产生较大响应，于是获胜神经元及其优 胜邻域内神经元所连接的权向量均向输入向量的方向 根据距离作程度不同的调整。大量样本调整网络的权 值，最后使输出层各神经元成为对特定模式类敏感的 神经细胞，对应的内星权向量成为各输入模式类的中 心向量。当两个模式类的特征接近时，代表这两类的 神经元在位置上也接近。从而在输出层形成样本模式 类分布情况的有序特征图。
1．拓扑结构
SOFM网共有两层，输入层各神经元通过权向量将外界信息 汇集到输出层的各神经元。输入层形式与BP相同，神经元数 与样本维数相等。输出层也是竞争层，神经元的排列有多种形 式，如一维线阵、二维平面阵和三维栅格阵，常见的是前两种 类型。
2．权值调整域
用Kohonen算法，是胜者为王算法改进而成的，区 别:调整权向量与侧抑制方式不同。
3．侧抑制与竞争
在人的视网膜中，存在着一种“侧抑制” 现象，即一个神经细胞兴奋后，通过它的分 支会对周围其他神经细胞产生抑制。这种侧 抑制使神经细胞之间出现竞争，虽然开始阶 段各个神经细胞都处于程度不同的兴奋状态， 由于侧抑制的作用，各细胞之间相互竞争的 最终结果是：兴奋作用最强的神经细胞所产 生的抑制作用战胜了它周围所有其他细胞的 抑制作用而“赢”了，其周围的其他神经细 胞则全“输”了。（胜者为王）
对于一般的分类问题，一个输出神经元就能代表一个模式 类，用一维线阵意义明确且结构简单；
而对于机器人手臂控制问题，按三维栅格排列的输出神经 元更能反映出手臂运动轨迹的空间特征。
2．权值初始化问题
权值一般初始化为较小的随机数。但在某些应用中，样本 整体上相对集中于高维空间的某个局部区域，权向量的初始 位置却随机地分散于样本空间的广阔区域，训练时必然是离 整个样本群最近的权向量被不断调整，并逐渐进入全体样本 的中心位置，而其他权向量因初始位置远离样本群而永远得 不到调整。如此训练的结果可能使全部样本聚为一类。
=0.65
W32=0.1+0.5(0.2-0.1)
=0.15
4.2 自组织特征映射神经网络(SOFM)
1981年Kohonen提出，又称Kohonen网。他认为， 一个神经网络接受外界输入模式时，将会分为不同的 对应区域，各区域对输入模式具有不同的响应特征， 且该过程自动完成。特点与人脑的自组织特性相类似。
述，模式类是具有某些共同特征的模式的集合。
分类（有导师指导） ：是在类别知识等导师信号的
指导下，将待识别的输入模式分配到各自的模式类 中去。
聚类（无导师指导）：将相似的模式样本划归一类，
而将不相似的分离开，其结果实现了模式样本的类 内相似性和类间分离性。对一组输入模式，只能根 据它们之间的相似程度分为若干类，因此相似性是 输入模式的聚类依据。
自组织网络结构上属于层次型网络，有多种类型， 其共同特点是都具有竞争层。输入层负责接受外界 信息并将输入模式向竞争层传递，起“观察”作用， 竞争层负责对该模式进行“分析比较”，找出规律 以正确归类。
5.1 竞争学习的概念与原理
5.1.1 基本概念
1．模式、分类、聚类与相似性
模式：是对某些感兴趣的客体的定量描述或结构描
学习算法流程如图，源 程序见附录A和B。
实例1 动物属性特征映射
实例2 SOFM用于字符排 序
4.2.4 SOFM网的设计基础
输出层及网络参数的设计比BP复杂，是网络设计的重点。 1．输出层设计 两个问题：神经元数、神经元排列的设计。
神经元数与训练集样本有多少模式类有关。
神经元数少于模式类数，则不足以区分全部模式类，训练 的结果势必将相近的模式类合并为一类，相当于对输入样本 进行“粗分”。
4.2.1 SOFM生物学基础
生物视网膜中有许多特定的细胞对特定的图形比较 敏感，当视网膜中有若干个接收单元同时受特定模式 刺激时，就使大脑皮层中的特定神经元开始兴奋，输 入模式接近，对应的兴奋神经元也相近。大脑皮层中 神经元的这种响应特点是通过后天的学习自组织形成 的。
4.2.2 SOFM网的拓扑结构与权值调整域
C2为0～1之间的常数，B2为大于1的常数。
4.4.3 学习向量量化神经网络
学习向量量化(Learning Vector Quantization， LVQ) 将竞争学习思想和有监督学习算法相结合，克 服了自组织网络采用无监督学习算法带来的缺乏分 类信息的弱点。
4.3.1 向量量化
向量量化是对标量量化的扩展，适用于高维数据。
解决思路：尽量使权值的初始位置与输入样本的大 致分布区域充分重合。
图中两种初始权值的分布情况，显然，当初始权向 量与输入模式向量整体上呈混杂状态时，不仅不会 出现所有样本聚为一类的情况，而且会大大提高训 练速度。
方法一：从训练集中随机抽出m个输入样本作为初 始权值，即
办法二：先计算出全体样本的中心向量
4．向量归一化 向量归一化的目的是将向量变成方向不变长度为1 的单位向量。比较时，只需比较向量的夹角。归一 化后的向量用 ^标记。
4.1.2 竞争学习原理 1.竞争学习规则 典型竞争学习规则称为胜者为王。算法分3个步骤。
(1)向量归一化 对输入模式向量X和竞争层中各神经元对应的内 星权向量wj进行归一化处理。 (2)寻找获胜神经元 X输入给网络时，竞争层的所有神经元对应的内 星权向量Wj均与X进行相似性比较, 将与X最相似的 内星权向量判为竞争获胜神经元，其权向量记为Wj*。 测量相似性的方法是对Wj和X计算欧式距离(或夹角 余弦)
式中C1为与输出层神经元数m有关的正常数，B1为 大于1的常数，tm为预先选定的最大训练次数。
4．学习率η(t)的设计
η(t) 在训练开始时可以取值较大，之后以较快的速 度下降，这样有利于很快捕捉到输入向量的大致结 构。然后又在较小的值上缓降至趋于0值，这样可以 精细地调整权值使之符合输入空间的样本分布结构， 按此规律变化的 η(t) 表达式如下
调整后，获胜*点的位置进一步移向o点及其所在 的簇。显然，当下次出现与o点相像的同簇内的输 入模式时，上次获胜的*点更容易获胜。
依此方式经过充分训练后，单位圆上的4个*点会 逐渐移入各输入模式的簇中心，从而使竞争层每个 神经元的权向量成为一类输入模式的聚类中心。当 向网络输入一个模式时，竞争层中哪个神经元获胜 使输出为1，当前输入模式就归为哪类。
在该中心向量基础上叠加小随机数作为权向量初始 值，也可将权向量的初始位置确定在样本群中。
3．优胜邻域Nj*(t)的设计
Nj*(t)的设计原则：使邻域不断缩小，邻域的形状 可以是正方形、六边形或圆形。
优胜邻域的大小用邻域半径r(t)表示，r(t)的设计 无数学方法，凭经验选择。两种计算式：
线性变化
指数变化
工作：训练结束后SOFM可作模式分类器。当输入
一个模式时，网络输出层代表该模式类的特定神经元 将产生最大响应，从而将该输入自动归类。输入不属 于网络训练时见过的任何模式类时，SOFM网将它归 入最接近的模式类。
2．学习算法
(1)初始化
对输出层各权向量赋小随机数并进行归一化处理； 建立初始优胜邻域Nj*(0)；学习率η赋初始值。 (2)接收输入
神经元数多于模式类数，可能将类别分得过细，另一种可 能是出现“死神经元”（权向量从未得到调整)。
类别数不确定时，可先设置较多的输出神经元，以较好映 射样本拓扑结构，如果分类过细再酌情减少输出神经元。
输出层的神经元排列成哪种形式取决于实际应用的需要， 排列形式应尽量直观反映出实际问题的物理意义相似性测量
欧式距离法和余弦法。 (1)欧式距离法
欧式距离，即两个模式向量的欧式距离越小，两个向量越接 近，因此认为这两个模式越相似，当两个模式完全相同时其 欧式距离为零。对各个模式向量间的欧式距离作出规定，则 最大欧式距离T就成为一种聚类判据。同类模式向量的距离 小于T，异类模式向量的距离大于T。
从训练集中随机选取一个输入模式并进行归一化处 理，得到，Xp ，p∈{1，2，…，P}。
(3)寻找获胜神经元
计算Xp与Wj的点积，从中选出点积最大的获胜神经元j*； 如若输入模式未经归一化，应计算欧式距离，找出距离最小的 获胜神经元。
(4)定义优胜邻域Nj*(t)
以j*为中心确定t时刻的权值调整域，一般初始邻域Nj*(0)较 大，训练过程中Nj*(t)随训练时间逐渐收缩。
竞争学习算法示例
0
0
1
0
1
2
j
4
0.3 0.6
0.2
0.7
0.7 0.1
0.3
0.6
0.6
0.2
j
WX
1 0.36+0.06=0.42
2 0.12+0.14=0.26
3 0.42+0.02=0.44
4 0.18+0.12=0.30
第3个神经元获胜
设a=0.5
w31=0.7+0.5(0.6-0.7)
胜者为王:只有竞争获胜神经元才能调整权向量
SOFM网:获胜神经元及周围神经元也要程度不同地调 整权向量。（函数如图）
以获胜神经元为中心设定一个邻域半径，该半径圈 定的范围称为优胜邻域。优胜邻域内的所有神经元均 按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增 加不断收缩，最终收缩到半径为0。
权向量经调整后不再是单位向量，因此需要对调整后 的向量重新归一化。步骤(3)完成后回到步骤(1)继续训 练，直到学习率α衰减到0或规定的值。
2．竞争学习原理
设输入模式为二维向量，归一化后 其矢端可以看成分布在单位圆上的点， 用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类 指导信息，网络如何自动发现样本空 间的类别划分?
(5)调整权值
对优胜邻域Nj*(t)内的所有神经元调整权值
η(t)可采用t的单调下降函数，下图给出几种可用的类型。这种 随时间单调下降的函数也称为退火函数。
(6)结束检查
SOFM训练不存在类似 BP网中的输出误差概念， 训练何时结束是以学习率 η(t) 是否衰减到零或某个 预定的正小数为条件，不 满足结束条件则回到步骤 (2)。
(2)余弦法 计算两个模式向量夹角的余弦，两个模式向量越接近，其夹 角越小，余弦越大。对模式向量间的夹角作出规定，就为一 种聚类判据。适合模式特征只与向量方向相关的相似性测量。
n维空间欧式距离公式
d=sqrt( ∑(xi1-xi2)2 )
i=1,2...n
xi1表示第一个点的第i维坐标,
xi2表示第二个点的第i维坐标。
距离，结果是离得最近的那个*获胜。
人工神经网络及应用
第五章 自组织竞争神经网络
主讲 何东健
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中 生物神经网络的学习，其最重要的特点是通过自动 寻找样本中的内在规律和本质属性，自组织、自适 应地改变网络参数与结构。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向 量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可 以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
获胜神经元有最大权值调整 量，邻近神经元有稍小调整 量，距离越大，权的调整量 越小，到某一距离R时，调 整量为0。距离再远，调整 量略负，更远时又回到0
由a中2个曲线合成 墨西哥帽函数 与生物系统相似 但计算复杂
大礼帽函数
厨师帽函数
4.2.3 SOFM网的运行原理与学习算法
1．运行原理: 训练和工作两个阶段。 训练阶段:随机输入样本。对某个输入模式，输出层 会有某个神经元获胜。获胜神经元周围的神经元因侧 向相互作用也产生较大响应，于是获胜神经元及其优 胜邻域内神经元所连接的权向量均向输入向量的方向 根据距离作程度不同的调整。大量样本调整网络的权 值，最后使输出层各神经元成为对特定模式类敏感的 神经细胞，对应的内星权向量成为各输入模式类的中 心向量。当两个模式类的特征接近时，代表这两类的 神经元在位置上也接近。从而在输出层形成样本模式 类分布情况的有序特征图。
1．拓扑结构
SOFM网共有两层，输入层各神经元通过权向量将外界信息 汇集到输出层的各神经元。输入层形式与BP相同，神经元数 与样本维数相等。输出层也是竞争层，神经元的排列有多种形 式，如一维线阵、二维平面阵和三维栅格阵，常见的是前两种 类型。
2．权值调整域
用Kohonen算法，是胜者为王算法改进而成的，区 别:调整权向量与侧抑制方式不同。
3．侧抑制与竞争
在人的视网膜中，存在着一种“侧抑制” 现象，即一个神经细胞兴奋后，通过它的分 支会对周围其他神经细胞产生抑制。这种侧 抑制使神经细胞之间出现竞争，虽然开始阶 段各个神经细胞都处于程度不同的兴奋状态， 由于侧抑制的作用，各细胞之间相互竞争的 最终结果是：兴奋作用最强的神经细胞所产 生的抑制作用战胜了它周围所有其他细胞的 抑制作用而“赢”了，其周围的其他神经细 胞则全“输”了。（胜者为王）
对于一般的分类问题，一个输出神经元就能代表一个模式 类，用一维线阵意义明确且结构简单；
而对于机器人手臂控制问题，按三维栅格排列的输出神经 元更能反映出手臂运动轨迹的空间特征。
2．权值初始化问题
权值一般初始化为较小的随机数。但在某些应用中，样本 整体上相对集中于高维空间的某个局部区域，权向量的初始 位置却随机地分散于样本空间的广阔区域，训练时必然是离 整个样本群最近的权向量被不断调整，并逐渐进入全体样本 的中心位置，而其他权向量因初始位置远离样本群而永远得 不到调整。如此训练的结果可能使全部样本聚为一类。
=0.65
W32=0.1+0.5(0.2-0.1)
=0.15
4.2 自组织特征映射神经网络(SOFM)
1981年Kohonen提出，又称Kohonen网。他认为， 一个神经网络接受外界输入模式时，将会分为不同的 对应区域，各区域对输入模式具有不同的响应特征， 且该过程自动完成。特点与人脑的自组织特性相类似。
述，模式类是具有某些共同特征的模式的集合。
分类（有导师指导） ：是在类别知识等导师信号的
指导下，将待识别的输入模式分配到各自的模式类 中去。
聚类（无导师指导）：将相似的模式样本划归一类，
而将不相似的分离开，其结果实现了模式样本的类 内相似性和类间分离性。对一组输入模式，只能根 据它们之间的相似程度分为若干类，因此相似性是 输入模式的聚类依据。
自组织网络结构上属于层次型网络，有多种类型， 其共同特点是都具有竞争层。输入层负责接受外界 信息并将输入模式向竞争层传递，起“观察”作用， 竞争层负责对该模式进行“分析比较”，找出规律 以正确归类。
5.1 竞争学习的概念与原理
5.1.1 基本概念
1．模式、分类、聚类与相似性
模式：是对某些感兴趣的客体的定量描述或结构描
学习算法流程如图，源 程序见附录A和B。
实例1 动物属性特征映射
实例2 SOFM用于字符排 序
4.2.4 SOFM网的设计基础
输出层及网络参数的设计比BP复杂，是网络设计的重点。 1．输出层设计 两个问题：神经元数、神经元排列的设计。
神经元数与训练集样本有多少模式类有关。
神经元数少于模式类数，则不足以区分全部模式类，训练 的结果势必将相近的模式类合并为一类，相当于对输入样本 进行“粗分”。
4.2.1 SOFM生物学基础
生物视网膜中有许多特定的细胞对特定的图形比较 敏感，当视网膜中有若干个接收单元同时受特定模式 刺激时，就使大脑皮层中的特定神经元开始兴奋，输 入模式接近，对应的兴奋神经元也相近。大脑皮层中 神经元的这种响应特点是通过后天的学习自组织形成 的。
4.2.2 SOFM网的拓扑结构与权值调整域
C2为0～1之间的常数，B2为大于1的常数。
4.4.3 学习向量量化神经网络
学习向量量化(Learning Vector Quantization， LVQ) 将竞争学习思想和有监督学习算法相结合，克 服了自组织网络采用无监督学习算法带来的缺乏分 类信息的弱点。
4.3.1 向量量化
向量量化是对标量量化的扩展，适用于高维数据。
解决思路：尽量使权值的初始位置与输入样本的大 致分布区域充分重合。
图中两种初始权值的分布情况，显然，当初始权向 量与输入模式向量整体上呈混杂状态时，不仅不会 出现所有样本聚为一类的情况，而且会大大提高训 练速度。
方法一：从训练集中随机抽出m个输入样本作为初 始权值，即
办法二：先计算出全体样本的中心向量
4．向量归一化 向量归一化的目的是将向量变成方向不变长度为1 的单位向量。比较时，只需比较向量的夹角。归一 化后的向量用 ^标记。
4.1.2 竞争学习原理 1.竞争学习规则 典型竞争学习规则称为胜者为王。算法分3个步骤。
(1)向量归一化 对输入模式向量X和竞争层中各神经元对应的内 星权向量wj进行归一化处理。 (2)寻找获胜神经元 X输入给网络时，竞争层的所有神经元对应的内 星权向量Wj均与X进行相似性比较, 将与X最相似的 内星权向量判为竞争获胜神经元，其权向量记为Wj*。 测量相似性的方法是对Wj和X计算欧式距离(或夹角 余弦)
式中C1为与输出层神经元数m有关的正常数，B1为 大于1的常数，tm为预先选定的最大训练次数。
4．学习率η(t)的设计
η(t) 在训练开始时可以取值较大，之后以较快的速 度下降，这样有利于很快捕捉到输入向量的大致结 构。然后又在较小的值上缓降至趋于0值，这样可以 精细地调整权值使之符合输入空间的样本分布结构， 按此规律变化的 η(t) 表达式如下
调整后，获胜*点的位置进一步移向o点及其所在 的簇。显然，当下次出现与o点相像的同簇内的输 入模式时，上次获胜的*点更容易获胜。
依此方式经过充分训练后，单位圆上的4个*点会 逐渐移入各输入模式的簇中心，从而使竞争层每个 神经元的权向量成为一类输入模式的聚类中心。当 向网络输入一个模式时，竞争层中哪个神经元获胜 使输出为1，当前输入模式就归为哪类。
在该中心向量基础上叠加小随机数作为权向量初始 值，也可将权向量的初始位置确定在样本群中。
3．优胜邻域Nj*(t)的设计
Nj*(t)的设计原则：使邻域不断缩小，邻域的形状 可以是正方形、六边形或圆形。
优胜邻域的大小用邻域半径r(t)表示，r(t)的设计 无数学方法，凭经验选择。两种计算式：
线性变化
指数变化
工作：训练结束后SOFM可作模式分类器。当输入
一个模式时，网络输出层代表该模式类的特定神经元 将产生最大响应，从而将该输入自动归类。输入不属 于网络训练时见过的任何模式类时，SOFM网将它归 入最接近的模式类。
2．学习算法
(1)初始化
对输出层各权向量赋小随机数并进行归一化处理； 建立初始优胜邻域Nj*(0)；学习率η赋初始值。 (2)接收输入
神经元数多于模式类数，可能将类别分得过细，另一种可 能是出现“死神经元”（权向量从未得到调整)。
类别数不确定时，可先设置较多的输出神经元，以较好映 射样本拓扑结构，如果分类过细再酌情减少输出神经元。
输出层的神经元排列成哪种形式取决于实际应用的需要， 排列形式应尽量直观反映出实际问题的物理意义相似性测量
欧式距离法和余弦法。 (1)欧式距离法
欧式距离，即两个模式向量的欧式距离越小，两个向量越接 近，因此认为这两个模式越相似，当两个模式完全相同时其 欧式距离为零。对各个模式向量间的欧式距离作出规定，则 最大欧式距离T就成为一种聚类判据。同类模式向量的距离 小于T，异类模式向量的距离大于T。
从训练集中随机选取一个输入模式并进行归一化处 理，得到，Xp ，p∈{1，2，…，P}。
(3)寻找获胜神经元
计算Xp与Wj的点积，从中选出点积最大的获胜神经元j*； 如若输入模式未经归一化，应计算欧式距离，找出距离最小的 获胜神经元。
(4)定义优胜邻域Nj*(t)
以j*为中心确定t时刻的权值调整域，一般初始邻域Nj*(0)较 大，训练过程中Nj*(t)随训练时间逐渐收缩。
竞争学习算法示例
0
0
1
0
1
2
j
4
0.3 0.6
0.2
0.7
0.7 0.1
0.3
0.6
0.6
0.2
j
WX
1 0.36+0.06=0.42
2 0.12+0.14=0.26
3 0.42+0.02=0.44
4 0.18+0.12=0.30
第3个神经元获胜
设a=0.5
w31=0.7+0.5(0.6-0.7)
胜者为王:只有竞争获胜神经元才能调整权向量
SOFM网:获胜神经元及周围神经元也要程度不同地调 整权向量。（函数如图）
以获胜神经元为中心设定一个邻域半径，该半径圈 定的范围称为优胜邻域。优胜邻域内的所有神经元均 按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增 加不断收缩，最终收缩到半径为0。
权向量经调整后不再是单位向量，因此需要对调整后 的向量重新归一化。步骤(3)完成后回到步骤(1)继续训 练，直到学习率α衰减到0或规定的值。
2．竞争学习原理
设输入模式为二维向量，归一化后 其矢端可以看成分布在单位圆上的点， 用“o”表示。竞争层4个神经元对应的 4个内星权向量归一化后在单位圆上用 *表示。输入模式点分布大体上聚集为 4簇，可分4类。而训练样本中无分类 指导信息，网络如何自动发现样本空 间的类别划分?
(5)调整权值
对优胜邻域Nj*(t)内的所有神经元调整权值
η(t)可采用t的单调下降函数，下图给出几种可用的类型。这种 随时间单调下降的函数也称为退火函数。
(6)结束检查
SOFM训练不存在类似 BP网中的输出误差概念， 训练何时结束是以学习率 η(t) 是否衰减到零或某个 预定的正小数为条件，不 满足结束条件则回到步骤 (2)。
(2)余弦法 计算两个模式向量夹角的余弦，两个模式向量越接近，其夹 角越小，余弦越大。对模式向量间的夹角作出规定，就为一 种聚类判据。适合模式特征只与向量方向相关的相似性测量。
n维空间欧式距离公式
d=sqrt( ∑(xi1-xi2)2 )
i=1,2...n
xi1表示第一个点的第i维坐标,
xi2表示第二个点的第i维坐标。