自组织竞争神经网络

第23页
3.搜索阶段：
由Reset信号置获胜阶段无效开始，网络进入搜索 阶段。此时R为全0，G1=1 ，在C层输出端又得到了此 次输入模式X。所以，网络又进入识别及比较阶段，得 到新获胜节点（以前获胜节点不参加竞争）。这么重 复直至搜索到某一个获胜节点K，它与输入向量X充分 匹配到达满足要求为止。模式X编制到R层K节点所连 模式类别中，即按一定方法修改K节点自下而上和自上 而下权向量，使网络以后再碰到X或与X相近模式时， R层K节点能很快取得竞争胜利。若搜索了全部R层输 出节点而没有发觉有与X充分靠近模式，则增设一个R 层节点以表示X或与X相近模式。
⑥ 警戒线检测。设向量X中不为0个数用||X||表示，可
有 n || X || xi
n
||C'|| w' j *iXi i1
(5.3.1)
i 1
n
||C'|| w' j *iXi
(5.3.2)
i1
若||C||/||X||>成立，则接收j*为获胜节点，转⑦。
不然发Reset信号，置j*为0（不允许其再参加竞争），
信号1：输入X第i个分量Xi。 信号2：R层第j个单元自上而下返回信号Rj。 信号3：G1控制信号。 设C层第i个单元输出为Ci。 Ci依据“2/3规则”产 生，即Ci含有三个信号中多数相同值。 网络开始运行时， G1 =1，R层反馈信号为0。
自组织竞争神经网络
第18页
2.R 层结构：
R层功效结构相当于一个前向竞争网络，假设输出 层有m个节点，m类输入模式。输出层节点能动态增加， 以满足设置新模式类需要。设由C层自下而上连接到R 层第j个节点权向量用Wj={w1j,w2j,..,wnj} 表示。C层输出向量C沿Wj向前馈送，经过竞争在R层 输出端产生获胜节点，指示此次输入向量类别。
第四层j：0竞争网络层。输入为T，输出为m维向量 Y，经过该层竞争，产生出胜者，只有获胜者输出为1， 其它为0：
XK=(X1,X2,…,Xn) ③计算与全部输出节点间权值向量距离
n
dj(t) (Xi Wij(t)2) j{1,2,…,m} (5.2.2) i1
④选择有最小距离节点为竞争获胜节点
d*j mind(j )
j{1,2,…,m}
自组织竞争神经网络
第9页
⑤调整权值
W ij(t)(N j,N * j)(X iW i(jt)) j N * jt
§自组织竞争神经网络
自组织竞争神经网络
第1页
第五章 自组织竞争神经网络
§5.1 概述 §5.2 自组织特征映射网络 §5.3 自适应共振理论模型 §5.4 神经认知机
自组织竞争神经网络
第2页
§5.1 概述
在实际神经网络中，存在一个侧抑制现象，即一 个神经细胞兴奋后，经过它分支会对周围其它神经细 胞产生抑制这种侧抑制在脊髓和海马中存在，在人眼 视网膜中也存在。
自组织竞争神经网络
第5页
+
-
+
+ -
输出层
图5.1 神经元作用分布曲线
x1 x2 … xn
输入层
图 5.2 网络结构
自组织竞争神经网络
第6页
§5.2.1 网络拓扑结构及工作过程
Nj(t0)
Nj(t1)
Nj(t2)
Nj(t0)
Nj(t1)
Nj(t2)
图5.3 Nj(t)形状改变情况
自组织竞争神经网络
或者完成指定学习次数后算法结束，不然转②。
自组织竞争神经网络
第10页
(t)和Nj*有普通化数学方法，凭经验选取。初始时， Nj*选取较大，后逐步变小， (t)开始时较大，后逐步
变为0。
从自组织映射网络算法来看，该网络有以下特点：
(1)网络中权值是输入样本记忆。假如输出节点j与输 入层n个节点连接权值向量用Wj表示，对应某一类样本 XK输入，使j节点到达匹配最大，那么Wj经过学习以后 十分靠近XK，所以以后当XK再次输入时，j节点必定兴 奋， j节点是样本XK代表。
(4)可实现在线学习，已修改权值将保留。
自组织竞争神经网络
第12页
§5.3 自适应共振理论模型
§ 5.3.1 自适应共振理论(ART) § 5.3.2 ART1神经网络 § 5.3.3 ART1网络学习算法改进 § 5.3.4 ART2神经网络 § 5.3.5 ART神经网络在人像识别中应用
自组织竞争神经网络
自组织竞争神经网络
第19页
3.控制信号
（元1素）逻G辑1：“设或输非入”模为式RX0，各则元G素1=逻X0辑R0“，或即”只为有X在0，R层R各输 出下G向1量=0R。为全0，而输入X不为全0时，G1=1，其它情况 （G22是）0G。2是其输它入情况模下式GX2各是元1。素逻辑“或”，即X为全0时，
自组织竞争神经网络
第27页
§5.3.5 ART神经网络在人像识别中应用
它包含五层和六个控制节点，其功效以下：
第一层：输入层，输入信号X={x1,x2,…,xn}为n维向 量，其输出信号O1=X。 O2为由“2/3规则”产生信号， 记为n维向量S* ， S*为记忆模式与输入模式综合模式： S* =Z*X (Z在后面介绍)
（3）Reset：设预先设定相同性度量为。如按某种事 先设定测量标准，C与X并非充分靠近且到达，则发
出Reset信号，以使R层竞争获胜节点无效。这表示此次 选择模式代表类不能满足要求。
自组织竞争神经网络
第20页
二、ART1 网络运行原理
1.识别阶段：
在网络没有输入模式之前，网络处于等候状态。 此时，输入端X=0，并置控制信号G2=0。所以，R层单 元输出全为0，在竞争中有同等获胜机会。当网络输入 不全为0时，置G2=1。信息自下而上流动。由“2/3规 则”可知，此时C层输出C=X，且C向上馈送，与向上 权向量W进行作用，产生向量T。T向上送入R层，使R 层内部开始竞争。假设获胜节点为j*，则R层输Rj*=1而 其它节点输出为0。
6、此系统能够完全防止陷入局部极小点问题。
自组织竞争神经网络
第16页
§5.3.2 ART1神经网络
一、ART1神经网络基础结构
G
R
自组织竞争神经网络
G
C
Reset
门限
输入 x
图5.9 ART1 网络基础结构
第17页
网络基础结构由两层神经网节点组成两个子系统， 分别称比较层(Compare，简称C层)和识别(Recognition， 简称R层)。另外还有三种控制信号，即复位信号(简称 Reset)及两种逻辑控制信号G1和G2。 1.C 层结构：含有n个节点，每个节点接收来自三个方 面信号。
自组织竞争神经网络
第11页
(2)网络学习时对权值调整，不只是对兴奋节点所对 应权值进行调整，而对其周围区域Nj内节点同时进行 调整，所以对于在Nj内节点能够代表不只是一个样本 XK，而是与XK比较相近样本都能够在Nj内得到反应， 所以这种网络对于样本畸变和噪声容限大。
(3)网络学习结果使比较相近输入样本在输出二维平 面上位置也比较靠近。
uj=CWj , j{1,2,..,m}。 ④R层竞争开始运行，若有uj*=max{uj , j{1,2,..,m}}，
则R层j*节点取得竞争胜利。
自组织竞争神经网络
第25页
⑤ 信息反送，由R层获胜节点j*送回自上而下权向量
W'j* 。此时G1=0，由“2/3规则”可得到C层新输出向 量C'各个元素满足： C'j=W'j*i Xi 。
如图5.8所表示，它由两个相继连接存放单元STMF1和STM-F2组成，分成注意子系统和取向子系统。 F1 和F2之间连接通路为自适应长久记忆(LTM)。
自组织竞争神经网络
第14页
自组织竞争神经网络
增益控制
+
+
注意子系统
STM-F 2 ++
-
LTM
+
+
增益控制
STM-F 1
++ 输入模式
取向子系统
STM 重置波
+
-
图5.8 ART原理图
第15页
ART主要优点： 1、可完成实时学习，且可适应非平稳环境； 2、对已学习过对象含有稳定快速识别能力，同时又能 快速适应学习新对象；
3、含有自归一能力，依据一些特征在全体中所占百分 比，有时作为关键特征，有时又被看成噪声处理；
4、不需要事先已知样本结果，可非监督学习； 5、容量不受输入通道数限制，存放对象也不要求是正 交；
自组织竞争神经网络
第21页
2.比较阶段：
R层输出信息自上而下返回C层。 Rj*=1使R层j*节 点所连接自上而下W'j*被激活，并向下返回C层。
下输新入一状此模次态时式输C'，就X出。R反C即层'取应：输决了C出于输'i不由入=为WR向'层全j*量i 自0X，上与X而i而其。且下所其G权激中1=向活0表。量节示所W点逻’以jj**经及辑，典网与C向层。络
另外，在认知过程中除了从老师那儿得到知识外， 还有一个不需要老师指导学习，这种直接依靠外界刺 激，“无师自通”到达功效有时也称为自学习、自组 织学习方法。
自组织竞争人工神经网络就是基于上述两种生物 结构和现象基础上生成，它权是经过Hebb规则或类似 Hebb规则学习后得到。
自组织竞争神经网络
第3页
§5.2 自组织特征映射网络
开始搜索阶段，转③。
自组织权向量，使其以后
对与X相同输入更轻易获胜，且含有更高相同性。
w 'j*it1w 'j*itXi
(5.3.3)
wij*t1 lw'j*i t1 (5.3.4)
l1 w'j*i tXi
i
其中l为大于1常数。
⑧ 恢复由Reset信号抑制R层节点，转到②以迎接下一 次输入。
第13页
§5.3.1 自适应共振理论(ART)
自适应共振理论(Adaptive Resonance Theory，简称) 是由美国Boston大学S.Grossberg和A.Carpenter提出。这 一理论包含ART1和ART2两种模型，能够对任意多和任 意复杂二维模式进行自组织、自稳定和大规模并行处 理。前者用于二进制输入，后者用于连续信号输入。
量之间相同度。
自组织竞争神经网络
第22页
用事先指定门限对相同度进行测试，若C'给出了 足够相同信息，则表示竞争结果正确。反之，则表示 竞争结果不符合要求，就发Reset信号以置上次获胜节 点无效，并使其在此次模式匹配过程中不能再获胜。 然后进入搜索阶段。
在比较阶段，网络信息流向是自上而下。
自组织竞争神经网络
第7页
对于任意一个输入节点i和输出节点j有：
n
i{1,2,..,n} , j{1,2,..,n} 且：Yj Wij Xi i1
自组织竞争神经网络
第8页
§5.2.2 自组织映射学习算法
①连接权值初始化。
t=0:0<Wij<1,i{1,2,…,n},j{1,2,…,m}
②对网络输入一个样本模式。
第二层：归一化层，输入为第一层输出O1 ，输出 为n维向量S。该层作用是使输入矢量规格化；
sj
xj
1
xj
1
n1 xi2 2
n1 2 xi
i0
i0
自组织竞争神经网络
第28页
第二层和第三层之间为自下而上全互连前向网络， 其连接权矩阵为W，第三层输入为S，输出为m维向量T：
n1
ti wijsj i= 0,1,...,m 1 -
自组织竞争神经网络
第24页
三、ART1 网络学习算法
ART1训练算法(ART1)：
① 初始化。自下而上权向量W赋予较小且相同初值，
自上而下权向量W‘赋予初值1。相同度门限0<<1。
② 给网络输入模式X={x1,x2,…,xn}, xi{0,1}
③ 若X不为全0，由“2/3规则”可知C层输出C=X。信 息向上送，由自下而上权向量W进行加权，得输出为：
W 其ij 中0，0<(t)<1，衰减函数，伴j 随N 时* j(t间)(t而5.2递.3)减； (Nj,Nj*)限界函数，伴随Nj*距离递减。
⑥若还有输入样本则转②，当全部样本输入完，且满 足：
ma W ix j(t (i1){ 1,W 2,i..,j(nt}),)j{1,2,…,m}
(5.2.4)
§ 5.2.1 网络拓扑结构及工作过程 § 5.2.2 自组织映射学习算法 § 5.2.3 自组织映射网络工作原理 § 5.2.4 网络应用实例
自组织竞争神经网络
第4页
芬兰学者Kohonen认为一个神经网络接收外界输入 模式时，将会分成不一样区域，各区域对输入模式将 会有不一样响应特征，最临近神经元相互激励，而较 远神经元之间相互抑制，而更远神经元之间又有较弱 激励作用。在受到外界刺激时，刺激最强地方形成一 个Bubble（墨西哥帽），在此Bubble区中，神经元权向 量会自动调整，直到与输入向量某一最大分量方向相 重合为止。