自组织特征映射网络(SOM)课件

人工神经网络自组织特征映射网络简介二〇一二年十二月
目录：
1. 由自组织竞争神经网络谈起
2. 自组织特征映射网基本概念
3. 自组织特征映射网拓扑结构
4. 自组织特征映射网学习算法
5. 自组织特征映射网的应用
从自组织竞争神经网络谈起：此类网络是模拟生物神经系统“侧抑制”现象的一类人工神经网络。

自组织特征映射网是此类网络的主要类型之一。

在生物神经系统中，存在着一种“侧抑制”现象，即当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。

这种“侧抑制”使神经细胞之
间呈现出竞争。

开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经
细胞会逐渐抑制周围神经细胞，其结果使其周围神经细胞兴奋度减弱，从而
兴奋度最高的细胞是这次竞争的“胜者”，而其他神经细胞在竞争中失败。

自组织竞争神经网络就是模拟
上述生物神经系统功能的人工神经
网络。

如右图所示，输出层各神经
元之间都有双向连接线，各连接线
被赋予相应的权值。

从而实现对生
物网络神经元相互竞争和抑制现象
的模拟。

x1x
2
x i ············
自组织竞争神经网络通过对“侧抑制”现象的模拟，具备自组织功能，能无导师学习。

自组织功能无导师学习 自组织竞争神经网络的一大特点是：具有自组织功能，能够自适应地改变网络参数和结构，从而实现无导师学习。

自组织竞争网络无导师学习方式更类似于人类大脑神经网络的学习，大大拓宽了神经网络在模式识别和和分类上的应用。

无导师指导的分类称为聚类，由于无导师学习的训练样本中不含有期望输出，因此没有任何先验的知识。

特殊网络结构 自组织竞争网的无导师指导学习是通过其特殊的网络结构实现的。

自组织竞争网在结构上属于层次型网络，共同特点是都具有竞争层。

自组织竞争网络的竞争层，各神经元之间存在横向连接，各连接被赋予权值。

通过竞争学习规则，达到自组织，实现对输入样本的自动分类。

特殊学习规则 竞争学习规则：竞争层神经元之间相互竞争以求被激活，结果在每一轮竞争中只有一个神经元被激活。

这个被激活的神经元称为“获胜神经元”，而其它神经元的状态被抑制。

然后获胜神经元及其附近神经元的对应权值将被调整以反映竞争结果。

主要的竞争学习规则有“胜者为王”和Kohonen规则等。

“胜者为王”只修改获胜神经元权值，Kohonen规则修改获胜神经元邻域内各神经元权值。

自组织竞争神经网络的主要类型包括：自组织特征映射网络、对偶传播神经网络、自适应共振理论网等。

自组织竞争神经网络
自组织特征映射网络自适应共
振理论对偶传播神经网络自组织特征映射网络
•1981年，科霍恩(Kohonen)教授首先
提出自组织特征映射网（SOM ）。

SOM 的运行基于Kohonen 规则。

自适应共振理论
•ART 是一种能自组织地
产生对环境认识编码的
神经网络理论模型。

•ART 来源于无意识推理
学说的“协作-竞争网
络交互模型”。

•ART 理论已提出了三种
模型结构，即ART1，
ART2，ART3。

•ART 理论可以用于语音、
视觉、嗅觉和字符识别
等领域。

对偶传播神经网络•对传网是三层结构的前向网（输入层、隐含层、输出层），形式上与BP 网类似，但工作机理不同。

隐含层采用无导师的竞争学习算法，输出层用采用有导师的学习算法。

•最突出的优点是将有监督和无监督的训练算法有机结合起来，从而提高训练效率。

目录：
1. 由自组织竞争神经网络谈起
2. 自组织特征映射网基本概念
3. 自组织特征映射网拓扑结构
4. 自组织特征映射网学习算法
5. 自组织特征映射网的应用
自组织特征映射网的前世今生：1981年由芬兰学者科霍恩首先提出，自提出以来取得快速发展，目前广泛应用多个领域。

概念提出 1981年，科霍恩(Kohonen)教授提出一种自组织特征映射网(Self-Organizing feature Map,简称SOM，又称Kohonen网）。

科霍恩认为，一个生物神经网络在接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。

以此为基础，科霍恩创建了SOM。

生物学基础 侧抑制现象：这种侧抑制使神经细胞之间呈现出竞争，一个兴奋程度最强的神经细胞对周围神经细胞有明显的抑制作用，其结果使其周围神经细胞兴奋度减弱，从而该神经网络是这次竞争的“胜者”，而其他神经细胞在竞争中失败。

生物神经网络接受外界的特定时空信息时，神经网络的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。

SOM经训练后，其竞争层神经元，功能类似的相互靠近，功能不同的相互较远，这与生物神经网络的组织构造非常类似。

发展应用 自提出以来，自组织特征映射网得到快速发展和改进，目前广泛应用于样本分类、排序和样本检测等方面，和工程、金融、医疗、军事等领域，并成为其他人工神经网络的基础。

自组织特征映射网的运行原理：SOM 网的运行分为训练和工作两个阶段进行。

在训练开始阶段，竞争层哪个位置的神经
元将对哪类输入模式产生最大响应是不确定的。

当输入模式的类别改变时，二维平面的获胜神经元也会改变。

在获胜神经元周围的邻域内的所有神经元的权向量均向输入向量的方向作不同程度调整，调整力度依邻域内节点与获胜节点的远近而逐渐衰减。

网络通过自组织方式，用大量训练样本调
整网络的权值，最后使输出层各神经元成为对特定模式类敏感的神经网络。

从而竞争层各神经元的连接权向量的空间分布能够正确反映输入模式的空间概率分布。

SOM网训练结束后，输出层各节点与输入模式类的特定关系就固定下来，因此可用作模式分类器。

当输入一个模式时，网络输出层代表该模式类的特定神经元将产生最大响应，将该输入自动归类。

当输入模式不属于网络训练时见过的任何模式时，SOM网将它归入最接近的模式类。

训练阶段工作阶段
目录：
1. 由自组织竞争神经网络谈起
2. 自组织特征映射网基本概念
3. 自组织特征映射网拓扑结构
4. 自组织特征映射网学习算法
5. 自组织特征映射网的应用
自组织特征映射网络的拓扑结构分为两层：输入层和输出层（竞争层）。

… …
… …
(a)一维竞争层 (b)二维竞争层
自组织特征映射网络的拓扑结构分为两层：输入层和输出层（竞争层）。

SOM 拓扑结构不包括隐含层。

输入层为一维。

竞争层可以是一维、二维或多维。

其中二维竞争层由矩阵方式构成，二维竞争层的应用最为广泛。

SOM 中有两种连接权值，一种是神经元对外部输入反应的连接权值，另外一种是神经元之间的特征权值，它的大小控制着神经元之间交互作用的强弱。

SOM
拓扑结构
自组织特征映射网以若干神经元同时反映分类结果，使得其具有很强的抗干扰特性。

SOM结构特点与其他网络的区别：它不是一个神经元或者一个神经元向量来反映分类结果，而是以若干神经元同时反映分类结果。

神经网络对学习模
式的记忆不是一次性
完成的，而是通过反
复学习，将输入模式
的统计特征“溶解”
到各个连接权上的。

对SOM而言，一
旦由于某种原因，某
个神经元受到损害
（在实际应用中，表
现为连接权溢出、计
算误差超限、硬件故
障等）或者完全失效，
剩下的神经元仍可以
保证所对应的记忆信
息不会消失。

自组织特征映
射网具有很强
的抗干扰特性SOM拓扑结构的优势
目录：
1. 由自组织竞争神经网络谈起
2. 自组织特征映射网基本概念
3. 自组织特征映射网拓扑结构
4. 自组织特征映射网学习算法
5. 自组织特征映射网的应用
自组织特征映射网络采用的学习算法称为科霍恩算法，与自组织竞争网采用的胜者为王算法相比，其主要区别在于调整权向量与侧抑制的方式不同。

下面三种函数沿中心轴旋转后可形成类似帽子的空间曲面，按顺序分别称为墨西哥帽函数、大礼帽函数、厨师帽函数。

墨西哥帽函数与生物特点类似，但计算复杂影响训练的收敛性，实际中常用简化后的大礼帽函数和进一步简化的厨师帽函数。

以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为“优胜邻域”。

优胜邻域内神经元按其离开获胜神经元的距离远近不同程度的调整权值。

优胜邻域开始定的较大，但其随着训练次数的增加不断收缩，最终收缩到半径为零。

学习算法•自组织特征映射网络采用的学习算法称为科霍恩算法，与胜者为王算法相比，其主要区别在于调整权向量与侧抑制的方式不同。

胜者为王算法的调整是封杀似的。

SOM网的获胜神经元对其临近的神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同的调整权向量。

科霍恩学习算法具体步骤：
目录：
1. 由自组织竞争神经网络谈起
2. 自组织特征映射网基本概念
3. 自组织特征映射网拓扑结构
4. 自组织特征映射网学习算法
5. 自组织特征映射网的应用
自组织特征映射网络在Matlab中的主要函数：
实例一：
在Matlab中使用自组织特征映射网络。

二维自组织特征映射网Matlab程序
输入向量图
实例一（续）：
Matlab神经网络工具箱网络训练后权值效果图
实例二：
长江三角洲地区城市体系的职能分类。

在聚类分析中，聚类指标的选择直接影响到分类结果的准确性和可靠性。

指标的选取需要遵循以下几个原则：完备性、代表性、指标互补性。

长江三角洲城市职能分类指标的数据主要来源于《上海统计年鉴（2001）》、《浙江统计年鉴（2001）》、《江苏统计年鉴》。

第一步：建立城市职能分类的指标体系
长江三角洲地区在我国是一个城市数目相对较多，城市化水平相对较高的地区。

在这一地区有全国的经济中心城市、地方经济中心城市和各类专门化城市。

这一地区城市体系职能结构的合理与否，直接影响着城市体系整体效益的发挥。

传统的城市职能分类方法往往需要监督学习，需要人工确定每一指标的权值，容易产生人为的主观性。

利用SOM 在模式识别和分类方面的优势可望提高分类判断的客观性。

工作意义
城市职能分类指标体系（共28个指标）
实例二（续）：
第二步：建立城市职能分类的SOM模型
指标的数据处理：由于28项数据具有不同的单位和量纲，因而其数值的差异很大。

因此在指标确定之后，对指标数据进行标准化处理。

通常的标准化处理方法有：总和标准化、标准差标准
化、极大值标准化、极差标准化。

在本模型中采用标准差标准化。

运用Matlab神经网络工具箱建立SOM模型，将长江三角洲各城市的28项指标导入SOM模型，作为网络的输入模式，即输入层的神经元数量为28个。

在竞争层神经元数量取决于需要分为几类，
在不清楚分类数目的情况下，竞争层神经元个数从S=3开始，然后依次加1，直到6，分别进行学习。

在SOM模型中，选择网络训练的迭代次数最大为1000次，初始的学习率为0.5。

实例二（续）：Self-Organizing Feature Mapping |21参考资料：《现代地理学中的数学方法》第三步：分析SOM 模型分类结果
竞争层神经元为3时，上海单独一类，南京、无
锡、杭州、苏州、宁波为一类，常州、南通、扬
州、镇江、泰州、嘉兴、湖州、绍兴、舟山为一
类。

竞争层神经元为4时，上海单独为一类，南京、
苏州、杭州、宁波为一类，无锡、南通为一类，
常州、扬州、镇江、泰州、嘉兴、湖州、绍兴、
舟山为一类。

竞争层神经元为5时，上海为一类，苏州、杭州
为一类，南京、无锡、宁波为一类，常州、镇江、
嘉兴、湖州、绍兴、舟山为一类，泰州、扬州、
南通为一类。

竞争层神经元为6时，上海为一类，南京、苏州、
杭州、宁波为一类，无锡、绍兴为一类，常州、
镇江、嘉兴、湖州、舟山为一类，泰州为一类，
扬州、南通为一类。

竞争层神经元为5时，分类结果较为合适。

参考文献：
韩立群.人工神经网络教程.北京：北京邮电大学出版社，2006
张良均，曹晶，蒋世忠.神经网络实用教程.北京：机械工业出版社，2008
徐建华.现代地理学中的数学方法.北京：高等教育出版社，2002
张德峰.MATLAB神经网络应用设计.北京：机械工业出版社，2012
张德峰.MATLAB神经网络编程.北京：化学工业出版社，2012
MATLAB中文论坛.MATLAB神经网络30个案例分析.北京：北京航空航天大学出版社，2010
Self-Organizing Feature Mapping |22
谢谢！。