第8 讲：自组织神经网络(2)

X1
X2 ‧ ‧ Xn
‧ ‧ ‧ ‧ ‧ ‧
Y1
Ym
CPN 思想
网络分为两部分 第一部份：Kohonen网络 非监督式学习
• 对输入的数据进行分类 • 依赢者通吃（Winner-Take-All）学习法调整连接权重向 量，单纯的处理输入向量 X 映射到隐层的聚类关系.
第二部份： Grossberg网络
自组织特征映射神经网络结构
竞争层 输入层
SOM神经网络立体示意图
自组织特征映射网络的学习算法
自组织特征映射学习算法原理
– Kohonen自组织特征映射算法，能够自动找出输入数据 之间的类似度，将相似的输入在网络上就近配置. 因此 是一种可以构成对输入数据有选择地给予响应的网络.
类似度准则
– 欧氏距离:
自组织特征映射网络的学习算法
o1 W1○
„
ok
„
ol
o1 W1○
„
ok
„
ol
Wk○
Wl
○
yj*
„
Wk○
Wl
○
„
y1○ V1
y2○
„
○ym
Vm
y1○ V1
y2○
„
y j*
○ym
Vm
○
x1
„
○
xi
„
○
xn
○
x1
„
○
xi
„
○
xn
(a)竞争产生获胜节点
(b)获胜节点外星向量决定输出
SOM学习过程的图形表示
由此可见，对于一个已训练过的内星网络，当输入端再次 出现该学习过的输入矢量时，内星产生1的加权输入和； 而与学习过的矢量不相同的输入出现时，所产生的加权输 入和总是小于1. 当多个相似输入矢量输入内星，最终的训练结果是使网 络的权矢量趋向于相似输入矢量的平均值.
外星学习规则 外星网络的激活函数是线性函数，它被用来学习回忆一 个矢量，其网络输入P也可以是另一个神经元模型的输出. 外星被训练来在一层s个线性神经元的输出端产生一个特 别的矢量A. 对于一个外星，其学习规则为：
与BP网络相比，这种自组织自适应的学习能力进一步拓 宽了人工神经网络在模式识别、分类方面的应用，另一 方面，竞争学习网络的核心——竞争层，又是许多种其他 神经网络模型的重要组成部分.
CPN算法基础
格劳斯贝格 (S ． Grossberg) 提出了两种类型的神经元模型： 内星与外星，用以来解释人类及动物的学习现象.
-Artificial Neural Network-
Counter Propagation Network
齐鲁工业大学 理学院 李彬
CPN算法基础
在实际的神经网络中，比如人的视网膜中，存在着一种 “侧抑制”现象，即一个神经细胞兴奋后，通过它的分支 会对周围其他神经细胞产生抑制. 自组织竞争人工神经网络正是基于上述生物结构和现象形 成的. 它能够对输入模式进行自组织训练和判断，并将其 最终分为不同的类型.
Hh
Ym
Kohonen Learning
Grossberg Learning
CPN算法综述
CPN算法可分为两个阶段，第一阶段是对输入层至隐层
的权向量进行训练，其目的是使权向量不断靠近当前输 入模式类.
第二阶段是对隐层至输出层的权向量进行训练 .其目的是 使权向量不断靠近并等于期望输出.
Kohonen 层的学习过程
与内星不同，外星联接强度的变化Δw是与输入矢量P成正 比的.这意味着当输入矢量被保持高值，比如接近1时，每 个权值wij将趋于输出ai值，若pj＝1，则外星使权值产生输 出矢量. 当输入矢量pj为0时，网络权值得不到任何学习与修正.
科荷伦学习规则 科荷伦学习规则是由内星规则发展而来的. 科荷伦规则为：
Introduction
Input layer : X=[X1, X2, …….Xn] Hidden layer: also called Cluster layer, H=[H1, H2, …….Hn] Output layer: Y=[Y1, Y2, ……Ym] Weights : From InputHidden: Wih , From HiddenOutput : Whj Transfer function: uses linear type
监督式学习
• 依分类的结果建立输入-输出映射表（look-up table） • 依Grossberg 学习法调整隐层优胜神经元的连接向量， 使之能正确的投射到配对（input-output pair）的输出向 量 Y 上.
CPN 思想
由于输出层网络连结权重向量的调整，系根据已知的 （目标的）输出向量数值，[反向的]修正各连结权重向量 值，故我们将它称作反传(counter propagation).
现在来考虑当不同的输入矢量p1和p2分别出现在同一内星 时的情况. 首先，为了训练的需要，必须将每一输入矢量都进行单 位归一化处理.
当第一个矢量p1输入给内星后，网络经过训练，最终达到 W ＝ (p1)T. 此后，给内星输入另一个输入矢量 p2 ，此时内 星的加权输入和为新矢量p2与已学习过矢量p1的点积，即：
2

2
)
– 由邻域函数可以看到，以获胜神经元为中心设定了一 个邻域半径，称为胜出邻域 . 学习初期，胜出神经元 和其附近的神经元全部接近当时的输入向量，形成粗 略的映射. 2 随着学习的进行而减小，胜出邻域变窄， 胜出神经元附近的神经元数变少.因此，学习方法是一 种从粗调整向微调整变化，最终达到预定目标的过程.
(3)Adjust the weights that connected to the winner node in hidden layer with △Wih* ＝ η1(Xi - Wih* ) Phase II: (Grossberg supervised learning） • Some as (1)& (2)of phase I • Let the link connected to the winner node to output node is set as 1 and the other are set to 0. • Adjust the weights using △Wij ＝ η2‧δ‧Hh
自组织特征映射网络的学习算法
设输入层、Kohonen 层及 Grossberg 层分别为 2、2 及 1 个节点的 CPN 网络架构，如下图所示，其中，W、C 代表 2 个输入（体重、 血糖浓度），O 代表输出（胰岛素补充量）；假设当体重为 45 且血 糖浓度为 180，则补充量为 3，另外当体重为 90 且血糖浓度为 240， 则补充量为 6.
内星可以被训练来识别矢量； 外星可以被训练来产生矢量.
CPN算法基础
图1 格劳斯贝格内星模型图
内星是通过联接权矢量W接受一组输入信号P
CPN算法基础
图2 格劳斯贝格外星模型图
外星则是通过联接权矢量向外输出一组信号A. 它们之所以被称为内星和外星，主要是因为其网络的 结构像星形，且内星的信号流向星的内部；而外星的 信号流向星的外部.
X1
-0.5 -0.5 0.5 -0.5 0.5 0.5 0.5
H2 H3
Y1
X2
Ym 0.5 -0.5 -0.5
H4
Randomly set up the weights of Wih & Whj
0.5
The example of CPN
Sol: Phase I (1) 代入X=[-1,-1] T=[0,1] net1 =[-1-(-0.5)]2 + [-1-(-0.5)]2 = (-0.52) + (-0.52) = 0.5 net2 =[-1-(-0.5)]2 + [ -1-(0.5)]2 = (-0.52) + ( -1.52) = 2.5 net3 = 2.5 net4 = 4.5 ∴ net 1 has minimum distance and the winner is h* = 1 (2) Update weights of Wih* △W11 = (0.5) [-1-(-0.5)] = -0.25 △W21 = (0.5) [-1-(-0.5)] = -0.25 ∴ W11 = △W11 + W11 = -0.75, W21 = △W21 + W21 = -0.75
科荷伦学习规则实际上是内星学习规则的一个特例，但 它比采用内星规则进行网络设计要节省更多的学习，因 而常常用来替代内星学习规则.
CPN 思想
Counter Propagation Network(CPN)
－ Robert Hecht-Nielson 在1987年提出了对传网. CPN为异构网： – Kohonen, 1981年提出的Self-organization map • SOM——Kohonen层 – Grossberg, 1969年提出的Outstar——Grossberg层 让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路.
n
dj
(x w )
i 1 i ij
2
自组织特征映射网络的学习算法
自组织特征映射学习算法步骤
– (1) 网络初始化
用随机数设定输入层和映射层之间权值的初始值.
– (2) 输入向量
把输入向量输入给输入层.
– (3) 计算映射层的权值向量和输入向量的距离
映射层的神经元和输入向量的距离，按下式给出:
wij h( j , j )( xi wij )
wij ( t 1) wij ( t ) wij
– (6)是否达到预先设定的要求如达到要求则算法结束，否则返回 (2)，进入下一轮学习.
自组织特征映射网络的学习算法
• 邻域函数
h( j , j) exp( j j
由芬兰学者Teuvo Kohonen于1981年提出
I’m Teuvo Kohonen
基本上为输入层和映射层的双层结构 , 映射层的神 经元互相连接，每个输出神经元连接至所有输入神 经元 .
自组织特征映射神经网络结构 竞争层
输入层
SOM神经网络结构
自组织特征映射神经网络结构
输入层
竞争层
SOM神经网络平面示意图
内星学习规则 实现内星输入／输出转换的激活函数是硬限制函数. 可以通过内星及其学习规则来训练某一神经元节点只 响应特定的输入矢量P，它是借助于调节网络权矢量W 近似于输入矢量P来实现的.
单内星中对权值修正的格劳斯贝格内星学习规则为： (1) 由(1)式可见，内星神经元联接强度的变化Δw1j是与输出 成正比的。如果内星输出 a 被某一外部方式而维护高值 时，那么通过不断反复地学习，权值将能够逐渐趋近于 输入矢量pj的值，并趋使Δw1j 逐渐减少，直至最终达到 w1j ＝ pj ，从而使内星权矢量学习了输入矢量 P，达到了 用内星来识别一个矢量的目的 . 另一方面，如果内星输 出保持为低值时，网络权矢量被学习的可能性较小，甚 至不能被学习.
因为输入矢量的模已被单位化为1，所以内星的加权输入 和等于输入矢量p1和p2之间夹角的余弦.
根据不同的情况，内星的加权输入和可分为如下几种情况： 1) p2等于p1，即有θ12＝0，此时，内星加权输入和为1； 2) p2不等于p1，内星加权输入和为0； 3) 当p2＝-p1，即θ12＝180°时，内星加权输入和达到最 小值-1。
dj
(x w )
i 1 i ij
n
2
自组织特征映射网络的学习算法
– (4) 选择与权值向量的距离最小的神经元 计算并选择使输入向量和权值向量的距离最小的神经元，把 其称为胜出神经元并记为 j ，并给出其邻接神经元集合. – (5)调整权值 胜出神经元和位于其邻接神经元的权值，按下式更新：
(1) W = 45, C = 180，则选择 R1 (输出为1)，输出值 O = 3 (2) W = 90, C = 240，则选择 R2 (输出为1) ，输出值 O = 6.
The example of CPN
• Ex：Use CPN to solve XOR problem
H1
-0.5wenku.baidu.com
X1 X2 T1 T2 -1 -1 1 1 -1 1 -1 1 0 1 1 0 1 0 0 1
Back propagation 是将误差值回馈到网络，以修正各层的 连结权重. Counter propagation 则是直接利用目标输出值反向投射 到隐藏层的神经元，以修正其连结权重向量.
CPN 思想
网络结构：
X1 X2 ‧ ‧ ‧ ‧ Xn wih
H1
H2
‧ ‧ ‧ ‧ ‧ ‧
whj Y1
f(netj)＝netj
The learning Process
The learning Process： Phase I: (Kohonen unsupervised learning) (1)Computes the Euclidean distance between input vector & the weights of each hidden node. (2)Find the winner node with the shortest distance.