kohonen神经网络
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ 的点积， (3)寻找获胜节点 计算 X ˆ p与 W j j=1,2,…m，从中选出点积最大的获胜 节点j*。
11
(4)定义优胜邻域Nj*(t) 以j*为中心确定t 时刻的权值调整域， 一般初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐 渐收缩。
12
(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值：
Kohonen神经网络
组长：陈永兴 组员：李文采
刘娇
陈爽
kohonen背景
kohonen神经网 络概念与原理
kohonen神经网 络应用
2
背景
在生物神经系统中，存在着一种侧抑制现象，即 一个神经细胞兴奋以后，会对周围其他神经细胞 产生抑制作用。这种抑制作用会使神经细胞之间 出现竞争，其结果是某些获胜，而另一些则失败。 表现形式是获胜神经细胞兴奋，失败神经细胞抑 制。 kohonen神经网络就是模拟上述生物神经系统功 能的人工神经网络。
ˆTX ˆ p ，j=1,2,…m 计算点积 W j
Kohonen 学 习 算 法 程 序 流 程
16
选出点积最大的获胜节点 j* 定义优胜邻域 N j*(t) 对优胜邻域 N j*(t)内节点调整权值：
wij (t 1) wij (t ) (t , N )[ xi p wij (t )]
i=1,2, …n N jNj*( t)
(t ) <
min
Y 结束
kohonen神经网络应用
4
在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准 则。 竞争型神经网络构成的基本思想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有 一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。
wij (t 1) wij (t ) (t , N )[xi wij (t )]
p
i=1,2,…n jNj*(t) (t , N )是训练时间t 和邻域内第j 个神经元与获胜经 式中， 元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律：
t , N
10
Kohonen 学习算法（胜者全取）
(1)初始化 对输出层各权向量赋小随机数并进行归一化处 ˆ ，j=1,2,…m；建立初始优胜邻域N (0)；学习 理，得到W j j* 率 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行 归一化处理，得到 X ˆ p，p{1,2,…,P}。
两个模式向量的欧式距离越小，两个 向量越接近，因此认为这两个模式越 相似，当两个模式完全相同时其欧式 距离为零。如果对同一类内各个模式 向量间的欧式距离作出规定，不允许 超过某一最大值T，则最大欧式距离T 就成为一种聚类判据，同类模式向量 的距离小于T，两类模式向量的距离大 于T。
X X i ( X X i )T ( X X i )
cos
T
XT Xi X Xi
类2
类1
(b)基于余弦法的相似性测量
9
kohonen神经网络
1981年芬兰Helsink大学的T.Kohonen教授提出 一种自组织特征映射网，简称SOM网，又称 Kohonen网。 Kohonen认为：一个神经网络接受外界输入模 式时，将会分为不同的对应区域，各区域对输 入模式具有不同的响应特征，而且这个过程是 自动完成的。自组织特征映射正是根据这一看 法提出来的，其特点与人脑的自组织特性相类 似。
3
kohonen神经网络是一种无监督学习，具有自组 织功能的神经网络。网络通过自身的训练，能自 动对输入模式进行分类。自组织竞争型神经网络 的结构及其学习规则与其他神经网络相比有自己 的特点。 在网络结构上，它一般是由输入层和竞争层构成 的两层网络。两层之间各神经元实现双向连接， 而且网络没有隐含层。有时竞争层各神经元之间 还存在横向连接。
(6)输出结果 获胜节点为1，其他节点为0；
13
(t , N ) (t )e N
(t) (0) (t) (0) ( t ) (0)
0
t
0
t
0
t
(7)结束检查 学习率是否衰减到零或某个预定的正小数
14
初始化、归一化权向量 W ： ˆ ，j=1,2, …m； W j 建立初始优胜邻域 Nj*(0) 学习率 (t)赋初始值 输入归一化样本 ˆ p ，p{1,2,…,P} X
5
kohonen概念与原理
竞争层
输入层
kohonen神经网络的典型结构
6
竞争学习的概念 分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的模
式类中去。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而将 不相似的分离开。
7
相似性度量＿欧式距离法
类1 T (a)基于欧式距离的相似性测量 类2
8
• 相似性测量＿余弦法 两个模式向量越接近，其夹角越小， 余弦越大。当两个模式向量完全相同 时，其余弦夹角为 1。如果对同一类 类1 类2 内各个模式向量间的夹角作出规定， 不允许超过某一最大夹角 a ，则最大 夹角就成为一种聚类判据。同类模式 T 向量的夹角小于a，两类模式向量的 (a) 基于欧式距离的相似性测量 夹角大于 a。余弦法适合模式向量长 度相同和模式特征只与向量方向相关 的相似性测量。
11
(4)定义优胜邻域Nj*(t) 以j*为中心确定t 时刻的权值调整域， 一般初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐 渐收缩。
12
(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值：
Kohonen神经网络
组长：陈永兴 组员：李文采
刘娇
陈爽
kohonen背景
kohonen神经网 络概念与原理
kohonen神经网 络应用
2
背景
在生物神经系统中，存在着一种侧抑制现象，即 一个神经细胞兴奋以后，会对周围其他神经细胞 产生抑制作用。这种抑制作用会使神经细胞之间 出现竞争，其结果是某些获胜，而另一些则失败。 表现形式是获胜神经细胞兴奋，失败神经细胞抑 制。 kohonen神经网络就是模拟上述生物神经系统功 能的人工神经网络。
ˆTX ˆ p ，j=1,2,…m 计算点积 W j
Kohonen 学 习 算 法 程 序 流 程
16
选出点积最大的获胜节点 j* 定义优胜邻域 N j*(t) 对优胜邻域 N j*(t)内节点调整权值：
wij (t 1) wij (t ) (t , N )[ xi p wij (t )]
i=1,2, …n N jNj*( t)
(t ) <
min
Y 结束
kohonen神经网络应用
4
在学习算法上，它模拟生物神经元之间的兴奋、 协调与抑制、竞争作用的信息处理的动力学原理 来指导网络的学习与工作，而不像大多数神经网 络那样是以网络的误差或能量函数作为算法的准 则。 竞争型神经网络构成的基本思想是网络的竞争层 各神经元竞争对输入模式响应的机会，最后仅有 一个神经元成为竞争的胜者。这一获胜神经元则 表示对输入模式的分类。
wij (t 1) wij (t ) (t , N )[xi wij (t )]
p
i=1,2,…n jNj*(t) (t , N )是训练时间t 和邻域内第j 个神经元与获胜经 式中， 元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律：
t , N
10
Kohonen 学习算法（胜者全取）
(1)初始化 对输出层各权向量赋小随机数并进行归一化处 ˆ ，j=1,2,…m；建立初始优胜邻域N (0)；学习 理，得到W j j* 率 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行 归一化处理，得到 X ˆ p，p{1,2,…,P}。
两个模式向量的欧式距离越小，两个 向量越接近，因此认为这两个模式越 相似，当两个模式完全相同时其欧式 距离为零。如果对同一类内各个模式 向量间的欧式距离作出规定，不允许 超过某一最大值T，则最大欧式距离T 就成为一种聚类判据，同类模式向量 的距离小于T，两类模式向量的距离大 于T。
X X i ( X X i )T ( X X i )
cos
T
XT Xi X Xi
类2
类1
(b)基于余弦法的相似性测量
9
kohonen神经网络
1981年芬兰Helsink大学的T.Kohonen教授提出 一种自组织特征映射网，简称SOM网，又称 Kohonen网。 Kohonen认为：一个神经网络接受外界输入模 式时，将会分为不同的对应区域，各区域对输 入模式具有不同的响应特征，而且这个过程是 自动完成的。自组织特征映射正是根据这一看 法提出来的，其特点与人脑的自组织特性相类 似。
3
kohonen神经网络是一种无监督学习，具有自组 织功能的神经网络。网络通过自身的训练，能自 动对输入模式进行分类。自组织竞争型神经网络 的结构及其学习规则与其他神经网络相比有自己 的特点。 在网络结构上，它一般是由输入层和竞争层构成 的两层网络。两层之间各神经元实现双向连接， 而且网络没有隐含层。有时竞争层各神经元之间 还存在横向连接。
(6)输出结果 获胜节点为1，其他节点为0；
13
(t , N ) (t )e N
(t) (0) (t) (0) ( t ) (0)
0
t
0
t
0
t
(7)结束检查 学习率是否衰减到零或某个预定的正小数
14
初始化、归一化权向量 W ： ˆ ，j=1,2, …m； W j 建立初始优胜邻域 Nj*(0) 学习率 (t)赋初始值 输入归一化样本 ˆ p ，p{1,2,…,P} X
5
kohonen概念与原理
竞争层
输入层
kohonen神经网络的典型结构
6
竞争学习的概念 分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的模
式类中去。
聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而将 不相似的分离开。
7
相似性度量＿欧式距离法
类1 T (a)基于欧式距离的相似性测量 类2
8
• 相似性测量＿余弦法 两个模式向量越接近，其夹角越小， 余弦越大。当两个模式向量完全相同 时，其余弦夹角为 1。如果对同一类 类1 类2 内各个模式向量间的夹角作出规定， 不允许超过某一最大夹角 a ，则最大 夹角就成为一种聚类判据。同类模式 T 向量的夹角小于a，两类模式向量的 (a) 基于欧式距离的相似性测量 夹角大于 a。余弦法适合模式向量长 度相同和模式特征只与向量方向相关 的相似性测量。