4续-1ART网络

ART 运行过程
将网络的训练与工作与工作过程有机技结合在一起 自C层流向R层的识别阶段：输入新的矢量P，通过竞 争得出输出A 自R层流向C层的比较阶段
按照一定地规则来确定这个新输入是否属于网络衷已经记忆地模 式类别，判别标准为新输入模式与所有已记忆模式之间相似程度 R＝F（WP＋B） 如果R>0,按照科荷伦学习规则修改竞争层权值以使该类权值更加 接近于新输入模式 如果R=0,在网络中设立一个新模式，用以代表和记忆新模式，并 将其归结为已有的代表类别，成为R层的一个新的输出节点，作 为以后可能输入的代表模式
自 适 应 共 振 理 论
共振现象
鱼洗
自 适 应 共 振 理 论
当双手策动力的频率跟物体 的固有频率相等时，振幅最 大，这种现象叫共振。水中 发出的嗡鸣声是铜盆腔内的 振动和摩擦频率振动发生共 振引起的。
寺院无人敲而响的磬 军队过桥 雪崩 人类认知（图像）
ART网络学习算法的基本流程
(4) 重选匹配模式类；若 J*为空集，需在R 层增加一个节点。设新增节
B nc X , tin c 1 点的序号为nc，应使
,i=1,2,…,n,此时有效输出节点
集合为J*={1,2,…,m,m+1,…,m+nc},转向步骤(2)输入新模式。
(8)调整网络权值 修改R层节点j* 对应的权向量，网络的学习采用
R
网 络 系 统 结 构
层
… t1j
c1 ci
… tnj
cn
tij
…
G1 x1 xI
…
xn
4.6.1.1网络系统结构
（2）R层结构
R 层有m 个节点，用以表示m 个 输入模式类。m可动态增长，以设立 新模式类。 由C 层向上连接到R 第j 个节点 的内星权向量用Bj=（b1j，b2j， …,bnj）表示。 C 层的输出向量C 沿m个内星权向 量Bj(j=1,2,…,m)向前传送，到达R 层各个神经元节点后经过竞争在产 生获胜节点j*，指示本次输入模式的 所属类别。 获胜节点输出=1，其余节点输出 为0。R 层各模式类节点的典型向量 。
变动。
②相似度不超过门限值 需在网络输出端设立一个代表新模式类的节点，用 以代表及存储该模式，以便于参加以后的匹配过程。
4.6.1.3 网络的学习算法
ARTⅠ网络可以用学习算法实现，学习算法从软件角度体 现了网络的运行机制，与系统结构图并不一一对应。
训练可按以下步骤进行：
(1)网络初始化 从C 层向R 层的内星权向量Bj 赋予相同
神经网络的 连接权值 环 境 输 入 模 式 与储存 的典型 向量模 式进行 比较
选择最相似的作为该模式的代表 类，并调整与该类别相关的权值， 以使以后与该模式相似的输入再 与该模式匹配时能得到更大的相 似度。
需要在网络中设立一个新的模 式类，同时建立与该模式类相 连的权值，用以代表和存储该 模式以及后来输入的所有同类 相似度的参考门限 模式。
的较小数值，如
bij (0)
(4.25)
1 1 n
i 1,2,...,n j 1,2,...,m
从R 层到C 层的外星权向量Tj 各分量均赋1 i 1,2,...,n t 1
ij
j 1,2,...,m
注:用C#实现时,下标从0开始, (4.26) -1 i=0,1,2,…,n j=0,1,2,…,m-1
4.6 自适应共振理论
引言
传统神经网络遇到的问题 在样本数据训练的过程中，无论是监督式还是无监 督式的训练，均会出现对新模式的学习，时刻面临 着新知识的学习记忆荷对旧知识的退化忘却的问题
在监督式的训练情况下，使网络逐渐达到稳定的记忆需要通过反 复训练，从而对已学习过的模式的部分甚至是全部的忘却 在无监督情况下，对新的数据的学习同样会产生对某种已经记忆 的典型矢量的修改，造成对已学习数据的部分忘却
4.6.1.3 网络的学习算法
(2)网络接受输入 给定一个输入模式，X＝(x1,x2,…，xn)，
xi(0,1)n。
(3)匹配度计算 对R层所有内星向量Bj计算与输入模式X的匹配度：
B X bij xi，
T j i 1 n
j=1,2,…，m。
(4)选择最佳匹配节点 在R层有效输出节点集合J*内选择竞争
ART网络结构
从输入矢量到输出矢量的作用部分被称为识别 层或R层（R－Recognition） 从输出A作为输入返回到输入的层称为比较层 或C层（C－Comparison） 从结构上讲 R层为一个竞争网络，具有s个节点，它代表 了对输入模式的分类。该节点数能够动态地 增长，以满足设立新模式地需要。 C层为一个Grossberg网络
了 两种规则，外星向量的调整按以规则:
tij* (t 1) tij* (t ) xi
内星向量的调整按以下规则:
bij* (t 1) tij* (t ) xi 0.5 tij* (t ) xi
i 1 n
i=1,2,…,n； j*J*
tij* (t 1) 0.5 tij* (t 1)
权值修正阶段
当外界输入P与所激活的外星权矢量充分相似时，网络发生共振， 本次学习与训练结束 否则，进行特别的处理，直到共振现象发生时对本次输入的训练 过程才最终结束
自适应共振理论（ART）
历史 1976年，美国Boston大学学者 G.A.Carpenter提出自适应共振理论 (Adaptive Resonance Theory，缩写为ART)， 他多年来一直试图为人类的心理和认知活动 建立统一的数学理论，ART就是这一理论的 核心部分。随后G.A.Carpenter又与 S.Grossberg提出了ATR网络。 共振现象的一些例子
例 一 模 式 分 类
分类
分类
例 一 模 式 分 类
例 一 模 式 分 类
注意！
ρ 值的选择对分类过程的影响很大。 ρ 值过大，导致分类剧增。 ρ 值太小，则不同的模式均划为同一类 别。
例二 带噪声模式分类
例二 带噪声模式分类
样本 序号 1 2 3 4 5 6 7 8 9 10 11 12 期望分类 结果 1 2 3 4 1 1 2 2 3 3 4 4 ρ = 0.95 1 2 3 4 5 6 7 8 7 3 9 8 实际分类结果 ρ = 0.90 1 2 3 4 5 6 7 7 7 3 8 7 ρ = 0.85 1 2 3 4 1 5 2 6 3 3 4 4
n
N1 xi
i 1
n
(6)警戒门限检验 如果N0/N1<ρ ，表明X与的相似程度不满足要
求，本次竞争获胜节点无效，因此从R层有效输出节点集合J*中取消
该节点并使，训练转入步骤(7)；如果N0/N1>ρ ，表明X应归为代表的
模式类，转向步骤(8)调整权值。
4.6.1.3 网络的学习算法
(7) 搜索匹配模式类 若有效输出节点集合 J* 不为空，转向步骤
4.6.1 ARTⅠ型网络
4.5.1.1网络系统结构
C —— 比较层 R —— 识别层 Reset ——复位信号
G2 R
G1和G2 ——逻辑控制信号
门限
G1
C 输入 X
Reset
4.6.1.1网络系统结构
(1)C 层结构
该层有n个节点，每个节点接受来自 3个方面的信号： 来自外界的输入信号xi； 来自R 层获胜神经元的外星向量的返 回信号Tj； 来自G1的控制信号。 C 层节点的输出ci是根据2/3的“多 数表决”原则产生的，即输出值ci与xi 、tij 、G1 3个信号中的多数信号值相同 。 G1=1，反馈回送信号为0，C层输出 应由输入信号决定，有C=X。 反馈回送信号不为0，G1=0，C层输 出应取决于输入信号与反馈信号的比较 情况，如果xi=tij，则ci=xi。否则ci=0 。
获胜 的最佳匹配节点j*，使得
1 rj 0
j j* j j*
4.6.1.3 网络的学习算法
(5)相似度计算 R 层获胜节点j*通过外星送回获胜模式类的典
型向量，C层输出信号给出对向量和X的比较结果，i=1,2,…,n，由
此结果可计算出两向量的相似度为
N 0 ci
i 1
r1
rj
rm
网 络 系 统 结 构
…
b11 … b1j …b1m
…
bn1 … bnj … bnm
…
C
bi1…bij…bim 层
…
4.6.1.2 网络运行原理
相似程度可能出现的两种情况：
①相似度超过参考门限
网 络 运 行 原 理
选该模式类作为当前输入模式的代表类。权值调整 规则是，相似度超过参考门限的模式类调整其相应的内 外星权向量，以使其以后遇到与当前输入模式接近的样 本时能得到更大的相似度；对其它权值向量则不做任何
i 1 n
(4.27)

i=1,2,…,n
(4.28)
4.6.1.3 网络的学习算法
ART网络的特点：
• 非离线学习
即不是对输入集样本反复训练后才开始
每个输出节点可看成
运行，而是边学习边运行实时方式。 • 每次最多只有一个输出节点为l
一类相近样本的代表，当输入样本距某一个内星权向量 较近时，代表它的输出节点才响应。
X (1,0,0,0,1,0,1,0,1,0,1,1,1,1,1,0,1,0,1,0,1,0,0,0,1)
C
T
X D (1,0,0,0,1,1,1,0,1,1,1,1,1,1,1,1,1,0,1,1,1,0,0,0,1)T
设=0.7，取初始权值 bij=1/(1+n)=1/26,tij=1.
理想情况 能够学会新的知识，同时对已学过的知识没有不利 影响 在输入矢量特别大的情况下，很难实现。通常只能 在新旧知识的取舍上进行某种折衷，最大可能地接 受新的知识并较少地影响原有知识