第四章 自组织竞争学习神经网络模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
式中 i Si (t ),1 j n, (t )为学习系数，且 0 (t ) 1 随时间 逐渐变为零；
6.重复3－5的学习过程。
在这个算法中，是根据最小欧几里德距离
来选择神经元 i* 的。实际应用中也可以改 成以最大响应输出作为选择的依据，例如 选用(4.2)式。
Ok max{Oi }
Si (t ) Si (0)(1 t / T )
具有这种性质的网络有： 自组织特征映射 SOM 对传神经网络 CPN 自适应共振模型 ART 认知机模型等。
第一节 自组织特征映射
自组织特征映射SOM是由芬兰的Kohonen教授于 1981年提出的一种神经网络模型，它的原理是基于 生物神经细胞的如下二种功能:
1.实际的神经细胞中有一种特征敏感细胞，在外界 信号的刺激下，通过自学习形成对某一种特征特 别敏感的神经元。 2.生物神经细胞在外界的刺激下，会自动聚集而形 成一种功能柱，一个功能柱的细胞完成同一种功 能。
（4.3）
式中 X 为输出神经元的输入向量，Xb 为输出神经元 为学 的阈值向量，O 为输出神经元的输出向量， 习系数。
由此可得 SOM 模型的权值修正规则为 Wij (t 1) Wij (t ) ( xi xb )Oi (t ) （4.4）
正则化后有
Wij (t 1) Wij (t ) ( xi xb )Oi (t )
（4.1）
但是只有满足最大输出条件的神经元才产生输出， 即
Ok max{Oi }
（4.2）
对于输出神经元 k 以及其周围的8个相邻的神经元 仍可按 Hebb 法则进行自适应权调整， 即有
Wi (t ) X (t ) Wi (t 1) | Wi (t ) X (t ) |
式中
（4.3）
为学习系数，分母是分子的欧几里德距离，此时的权值被正则化。
自组织的过程就是通过学习，逐步把权向量旋转到 一个合适的方向上，即权值的调整方向总是与 X 的 Wi (t 1) 正比 方向一致(无须决策和导师)，使 X (t ) 。其数学表示为 于
dW / dt ( X X b )O
具体步骤（共6步）为： 1.随机选取一组输入层神经元到输出层神经元之 间的权值；
2.选取输出神经元 i 的邻接神经元集合 Si ，
如图4.3所示。Si(0) 是初始时刻为 0 时的神经元 集合形状，Si(t) 为 t 时刻的神经元集合形状；
3.输入一个新样本；
图4.3
不同时刻 t 时的 Si(t) 的形状变化
而对改变节点竞争结果起决定作用的还是输入层 的加权和，所以在判断竞争网络节点胜负的结果
时，可忽略竞争层节点之间的权值连接。
在兴奋中心神经元C 周围 Nc 区域内的神经元都有 不同程度的兴奋，而在 Nc以外的神经元都被迫处 于抑制状态。这个 Nc区域可以具有正方形、六角 形等形状，如图4.2所示。
4.计算输入样本与每个输出神经元 i 之间的欧几 里德距离，并选取一个有最小距离的输出神经 元 i* ；
di [ x j (t ) wij (t )]2
j 1 n
（4.9）
5.按照下式修改输出神经元 i* 及其相邻神经元 的连接权值，即 Wij (t 1) Wij (t ) (t )[ xi (t ) wij (t )] （4.10）
（4.2）
在学习过程中，学习系数 (t )及邻接集合 Si(t) 的大 (t )的初值 (0) 可以较大，随着学 小是逐渐变小的。 习时间的增长而减小，常用的计算式为
(t ) (0)(1 t / T )
（4.11）
t 表示当前迭代次数，T 为整个迭代的设定次数。
邻接集合的大小也随学习过程的迭代而减小，设 开始的领域宽度为 Si(0) ，随迭代次数减小的计 算方法为
在生物神经网络中，存在着一种侧抑制现象，即当一个
神经细胞兴奋后，会对其周围的其它神经细胞产生抑制 作用。这种抑制使神经细胞之间出现竞争，“强者”越 “强”，“弱者”越“弱”，最终形成一个强兴奋的中 心细胞，而在其周围的神经细胞都处于抑制状态。
利用这种竞争性的无导师学习策略，学习时只需输入训
练模式，网络就会对输入模式进行自组织，达到识别和 分类的目的。
[Wij (t ) ( xi xb )Oi (t )]
j
（4.5）
或者
Wij (t 1)
பைடு நூலகம்
Wij (t ) ( xi xb )Oi (t ) { [Wij (t ) ( xi xb )Oi (t )] }
j 2 1/ 2
（4.6）
上述介绍中的学习规则都是使用了最大
图4.2 Nc(t)随时间变化及形状
设输入信号模式为 X [ x1, x2 ,…,xn ]T ,输出神经元 i T W [ w , w , … , w ] 与输入神经元连接的权值为 ij i1 i2 in 则输出神经元 i 的输出为
Oi wij x j WiT X
j 1 n
输出的学习规则。
但是事实上有两种学习规则。
最大输出规则：
dW / dt ( X X b )O
最小欧氏距离规则：
（4.7）
dW / dt ( X W )
（4.8）
4.1.2 SOM 的算法
SOM 算法有三个关键点： 对于给定的输入模式，确定竞争层上的获 胜单元。 按照学习规则修正获胜单元及其临域单元 的连接权值。 逐步减小临域及学习过程中权值的变化量。
4.1.1 自组织特征映射的结构和 工作原理
自组织特征映射的基本结构分成输入和输出 （竞争）两层，如图4.1所示。 输入层神经元与输出层神经元为全互连方式， 且输出层中的神经元按二维形式排列，它们中
的每个神经元代表了一种输入样本。
图 4.1 SOM的基本构造
所有输入节点到所有输出节点之间都有权值连接， 而且在二维平面上的输出节点相互间也可能是局 部连接的。
6.重复3－5的学习过程。
在这个算法中，是根据最小欧几里德距离
来选择神经元 i* 的。实际应用中也可以改 成以最大响应输出作为选择的依据，例如 选用(4.2)式。
Ok max{Oi }
Si (t ) Si (0)(1 t / T )
具有这种性质的网络有： 自组织特征映射 SOM 对传神经网络 CPN 自适应共振模型 ART 认知机模型等。
第一节 自组织特征映射
自组织特征映射SOM是由芬兰的Kohonen教授于 1981年提出的一种神经网络模型，它的原理是基于 生物神经细胞的如下二种功能:
1.实际的神经细胞中有一种特征敏感细胞，在外界 信号的刺激下，通过自学习形成对某一种特征特 别敏感的神经元。 2.生物神经细胞在外界的刺激下，会自动聚集而形 成一种功能柱，一个功能柱的细胞完成同一种功 能。
（4.3）
式中 X 为输出神经元的输入向量，Xb 为输出神经元 为学 的阈值向量，O 为输出神经元的输出向量， 习系数。
由此可得 SOM 模型的权值修正规则为 Wij (t 1) Wij (t ) ( xi xb )Oi (t ) （4.4）
正则化后有
Wij (t 1) Wij (t ) ( xi xb )Oi (t )
（4.1）
但是只有满足最大输出条件的神经元才产生输出， 即
Ok max{Oi }
（4.2）
对于输出神经元 k 以及其周围的8个相邻的神经元 仍可按 Hebb 法则进行自适应权调整， 即有
Wi (t ) X (t ) Wi (t 1) | Wi (t ) X (t ) |
式中
（4.3）
为学习系数，分母是分子的欧几里德距离，此时的权值被正则化。
自组织的过程就是通过学习，逐步把权向量旋转到 一个合适的方向上，即权值的调整方向总是与 X 的 Wi (t 1) 正比 方向一致(无须决策和导师)，使 X (t ) 。其数学表示为 于
dW / dt ( X X b )O
具体步骤（共6步）为： 1.随机选取一组输入层神经元到输出层神经元之 间的权值；
2.选取输出神经元 i 的邻接神经元集合 Si ，
如图4.3所示。Si(0) 是初始时刻为 0 时的神经元 集合形状，Si(t) 为 t 时刻的神经元集合形状；
3.输入一个新样本；
图4.3
不同时刻 t 时的 Si(t) 的形状变化
而对改变节点竞争结果起决定作用的还是输入层 的加权和，所以在判断竞争网络节点胜负的结果
时，可忽略竞争层节点之间的权值连接。
在兴奋中心神经元C 周围 Nc 区域内的神经元都有 不同程度的兴奋，而在 Nc以外的神经元都被迫处 于抑制状态。这个 Nc区域可以具有正方形、六角 形等形状，如图4.2所示。
4.计算输入样本与每个输出神经元 i 之间的欧几 里德距离，并选取一个有最小距离的输出神经 元 i* ；
di [ x j (t ) wij (t )]2
j 1 n
（4.9）
5.按照下式修改输出神经元 i* 及其相邻神经元 的连接权值，即 Wij (t 1) Wij (t ) (t )[ xi (t ) wij (t )] （4.10）
（4.2）
在学习过程中，学习系数 (t )及邻接集合 Si(t) 的大 (t )的初值 (0) 可以较大，随着学 小是逐渐变小的。 习时间的增长而减小，常用的计算式为
(t ) (0)(1 t / T )
（4.11）
t 表示当前迭代次数，T 为整个迭代的设定次数。
邻接集合的大小也随学习过程的迭代而减小，设 开始的领域宽度为 Si(0) ，随迭代次数减小的计 算方法为
在生物神经网络中，存在着一种侧抑制现象，即当一个
神经细胞兴奋后，会对其周围的其它神经细胞产生抑制 作用。这种抑制使神经细胞之间出现竞争，“强者”越 “强”，“弱者”越“弱”，最终形成一个强兴奋的中 心细胞，而在其周围的神经细胞都处于抑制状态。
利用这种竞争性的无导师学习策略，学习时只需输入训
练模式，网络就会对输入模式进行自组织，达到识别和 分类的目的。
[Wij (t ) ( xi xb )Oi (t )]
j
（4.5）
或者
Wij (t 1)
பைடு நூலகம்
Wij (t ) ( xi xb )Oi (t ) { [Wij (t ) ( xi xb )Oi (t )] }
j 2 1/ 2
（4.6）
上述介绍中的学习规则都是使用了最大
图4.2 Nc(t)随时间变化及形状
设输入信号模式为 X [ x1, x2 ,…,xn ]T ,输出神经元 i T W [ w , w , … , w ] 与输入神经元连接的权值为 ij i1 i2 in 则输出神经元 i 的输出为
Oi wij x j WiT X
j 1 n
输出的学习规则。
但是事实上有两种学习规则。
最大输出规则：
dW / dt ( X X b )O
最小欧氏距离规则：
（4.7）
dW / dt ( X W )
（4.8）
4.1.2 SOM 的算法
SOM 算法有三个关键点： 对于给定的输入模式，确定竞争层上的获 胜单元。 按照学习规则修正获胜单元及其临域单元 的连接权值。 逐步减小临域及学习过程中权值的变化量。
4.1.1 自组织特征映射的结构和 工作原理
自组织特征映射的基本结构分成输入和输出 （竞争）两层，如图4.1所示。 输入层神经元与输出层神经元为全互连方式， 且输出层中的神经元按二维形式排列，它们中
的每个神经元代表了一种输入样本。
图 4.1 SOM的基本构造
所有输入节点到所有输出节点之间都有权值连接， 而且在二维平面上的输出节点相互间也可能是局 部连接的。