kohonen神经网络课件

kohonen神经网络就是模拟上述生物神经系统功 能的人工神经网络。
2
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
kohonen神经网络是一种无监督学习，具有自组 织功能的神经网络。网络通过自身的训练，能自 动对输入模式进行分类。自组织竞争型神经网络 的结构及其学习规则与其他神经网络相比有自己 的特点。
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。 1
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
背景
在生物神经系统中，存在着一种侧抑制现象，即 一个神经细胞兴奋以后，会对周围其他神经细胞 产生抑制作用。这种抑制作用会使神经细胞之间 出现竞争，其结果是某些获胜，而另一些则失败。 表现形式是获胜神经细胞兴奋，失败神经细胞抑 制。
竞争型神经网络构成的基本思想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有 一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。
4
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
kohonen概念与原理
竞争层 输入层
kohonen神经网络的典型结构
归一化处理，得到 Xˆ p，p{1,2,…,P}。
(3)寻找获胜节点 计算 Xˆ p与 Wˆ j的点积， j=1,2,…m，从中选出点积最大的获胜 节点j*。
10
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
(4)定义优胜邻域Nj*(t) 以j*为中心确定t 时刻的权值调整域， 一般初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐 渐收缩。
9
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
Kohonen 学习算法（胜者全取）
(1)初始化 对输出层各权向量赋小随机数并进行归一化处 理，得到Wˆ j，j=1,2,…m；建立初始优胜邻域Nj*(0)；学习
率 赋初始值。
(2)接受输入 从训练集中随机选取一个输入模式并进行
5
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
竞争学习的概念
分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的模 式类中去。 聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而将
不相似的分离开。
6
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
夹角大于(aa)。基于 余欧弦式法距适离的 合相模似式性向测量 量长
度相同和模式特征只与向量方向相关
的相似性测量。
cos XT Xi
X Xi
类1
•• ••
类2
•
••
T
••
•
(b)基于余弦法的相似性测量
8
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
kohonen神经网络
Kohonen
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
初始化、归一化权向量 W： Wˆ j ，j=1,2,…m；
建立初始优胜邻域 Nj*(0)
学习率 (t)赋初始值
输入归一化样本 Xˆ p ，p {1,2,…,P}
计算点积
Wˆ
T j
Xˆ
p
，j=1,2,…m
选出点积最大的获胜节点 j*
定义优胜邻域 Nj*(t)
对优胜邻域 Nj*(t)内节点调整权值： wij (t 1) wij (t) (t , N )[xi p wij (t)]
11
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值：
wij (t 1) wij (t) (t, N )[xi p wij (t)]
i=1,2,…n jNj*(t)
式中，(t, N )是训练时间t 和邻域内第j 个神经元与获胜经 元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律：
t , N
(6)输出结果 获胜节点为1，其他节点为0；
12
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
(t, N ) (t )e N
(t)
(t)
(t)
(0)
(0)
(0)
0
t0
t
0
t
(7)结束检查 学习率是否衰减到零或某个预定的正小数
13
文档仅供参考Hale Waihona Puke Baidu不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
相似性度量＿欧式距离法
两个模式向量的欧式距离越小，两个 向量越接近，因此认为这两个模式越 相似，当两个模式完全相同时其欧式 距离为零。如果对同一类内各个模式 向量间的欧式距离作出规定，不允许
超过某一最大值T，则最大欧式距离T
就成为一种聚类判据，同类模式向量
的距离小于T，两类模式向量的距离大 于T。
X Xi (X Xi )T (X Xi )
在网络结构上，它一般是由输入层和竞争层构成 的两层网络。两层之间各神经元实现双向连接， 而且网络没有隐含层。有时竞争层各神经元之间 还存在横向连接。
3
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准 则。
1981年芬兰Helsink大学的T.Kohonen教授提出 一种自组织特征映射网，简称SOM网，又称 Kohonen网。
Kohonen认为：一个神经网络接受外界输入模 式时，将会分为不同的对应区域，各区域对输 入模式具有不同的响应特征，而且这个过程是 自动完成的。自组织特征映射正是根据这一看 法提出来的，其特点与人脑的自组织特性相类 似。
类1
类2
• •
•
• •
• T
(a)基于欧式距离的相似性测量
7
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
• 相似性测量＿余弦法
两个模式向量越接近，其夹角越小，
余弦越大。当两个模式向量完全相同
时，其余弦夹类角1为1。如果对类同2 一类 内各个模式向量间的夹角作出规定， 不允许超过•某一•最大夹角•a•，则最大 夹角就成为一种• 聚类判据。同• 类模式 向量的夹角小于a，两T 类模式向量的