人工神经网络_第四章

《神经网络导论》－－自组织神经网络
4-4
4-1
《神经网络导论》讲义
§4.2 横向抑制网络MAXNET
XI’AN JIAOTONG UNIVERSITY
一、汉明距离
两个二值向量（向量的各分量只取两种值0或1，或者－1和1）之间的汉明距
离定义为两个向量的对应分量不相同的数目。设 X, U j ∈{−1, 1}N ，则它们之间
的汉明距离可以表示如下：
N
( ) ( ) ∑ Hamming distance X, U j = N − fh xiu ji i =1
其中 N 为向量的维数，xi , u ji分别表示向量 X, U j 的第 i 个分量（元素）。
二、MAXNET
对于一个各分量为二值的模式，MAXNET分类器将按照输入模式X 与某个类
j 类。计算
N
∑t ji xi
i =1
如果
N
∑t ji xi
∑i=1
>ρ
xi
则
X 属于第
j
i
类，转第 ⑤步；否则转第
⑥步。其中
ρ
是警戒参量。
2004-8-8
《神经网络导论》－－自组织神经网络
4-12
4-3
《神经网络导论》讲义
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
(5) 有可能陷入局部极小点，从而给出错误的结果；
(6) 误差准则是固定的，不能随环境的变化而进行相应的调整或改变。
相比之下，人脑的优越性就极其明显了。人脑神经系统既能够牢固地记住所 学得的各种知识又能适应各种复杂多变的环境，能够通过“自学”来认识未学习 过的新事物并解决不熟悉的新问题。人脑神经系统有如下主要特点：
εi
≤
i N3
(2) ft (α )的函数形式，如果 α > 0 时采用线性函数且C = 1 ，那么会发生收
敛较慢并且很难达到一个饱和值。 建议采用：
2004-8-8
⎧A α ≥ A C
ft (α ) = ⎪⎨Cα 0 < α < A C
⎪⎩0
α ≤0
《神经网络导论》－－自组织神经网络
More...
4-8
4-2
《神经网络导论》讲义
§4.2 横向抑制网络MAXNET
XI’AN JIAOTONG UNIVERSITY
( ) (3) 如果采用所建议的 ft α ，那么 A 值应选得足够大，使竞争开始时不会
有任何值达到 A值的水平；对 C 值的选取，一方面要考虑 A值，不能有两个值同
时进入饱和区，在此条件下大一些可使收敛加快。
(4) 网络分类的类别数要事先确定，超出这个类别数，学习不可能给出正 确结果；
2004-8-8
《神经网络导论》－－自组织神经网络
4-2
§4.1 引言
XI’AN JIAOTONG UNIVERSITY
(4) 人对外界的输入信号响应时有两种渠道：“由底向上”（bottom-up）和 “由顶向下”（top-down）。其中“由顶向下”涉及到人的集中注意力和忽略能 力。人脑在一定的环境下会估计到可能出现的情况，预期会遇到、听到或看到的 各种内容。
别的典型样本 U j 之间的汉明距离确定这一模式是否属于 C j类。即确定 X ∈ C j
( ) 的充要条件为：
Hamming distance X, U j < Hamming distance (X, Uk )
k = 1, 2, ", M 且 k ≠ j
2004-8-8
《神经网络导论》－－自组织神经网络
《神经网络导论》讲义
第四章 自组织神经网络
¾ 引言 ¾ 横向抑制网络MAXNET ¾ ART1的工作原理 ¾ 竞争学习机制和自稳学习机制 ¾ ART2神经网络 ¾ 小结
XI’AN JIAOTONG UNIVERSITY
2004-8-8
《神经网络导论》－－自组织神经网络
4-1
§4.1 引言
XI’AN JIAOTONG UNIVERSITY
三、关于ART1网络聚类原理的讨论
(1) 人脑的学习方式是自主的，人可以在一个复杂的、非平稳的、有“干 扰”的环境中学习。人脑在大多数情况下是无监督的、无导师的“自学”，而且 学习和工作分不开，是“半工半读”的；
(2) 人脑的工作方式和信息存储方式具有明显的自组织的特点。人在与环境 交互作用的过程中逐渐建立起大脑的信息处理能力（信息的存储、检索等），这 种建立方式是自组织的，外界不可能对脑神经系统进行干预；
但是，有时我们需要发现模式集合在模式空间中的分布情况，假如这些模式 在空间中以某种明显的集群状分布，确定各集群的位置与分布的方法是有意义 的。
所谓聚类，就是要按照某种度量准则，自动地发现、划分模式类别，并将观 测样本分类。下面要讨论的ART1就可以用于聚类。
2004-8-8
《神经网络导论》－－自组织神经网络
b ji
权，i = 1, 2, ", N 而
j = 1, 2, ", M 。
"
网络算法如下：
x1
x2
xN
图4-2Z ART1神经网络结构示意图
① 输入任一模式
X = {x1, x2, ", xN } xi ∈{−1, 1}, i = 1, 2,", N
2004-8-8
《神经网络导论》－－自组织神经网络
4-5
§4.2 横向抑制网络MAXNET
XI’AN JIAOTONG UNIVERSITY
在横向抑制子网络中，设t jk 是从第 j个节点到第 k个节点的连接权，我们可
以取：
t jk
=
⎧1 ⎨⎩−ε
j=k j≠k
· · · · · · · · · · · · · · · EQ4.1Z
ε < 1 , k, j = 1, 2, ", M
i=1
了两个向量中对应分量相同 的个数。此项值越大，表示
输出
y1
y2
yM
−ε "
两个向量越相似，而越小表 示差异越大，如果去掉硬限
横向抑制 子网络
1
−ε −ε
1 "−ε
−ε
1
幅函数，余下的和式即为两 个向量的内积，也有这样的 性质，两者有等价作用。 MAXNET就利用了这一点。
MAXNET 的 网 络 结 构 如 右图所示。
(1) 只适用于平稳的环境，也即要求观察矢量具有统计平稳性，但现实世 界不是或不完全是这样的；
(2) 学习是有监督的学习，不能 “自学”，学习与工作状态截然分开，不 能边学习边工作（要完成新工作，必须重新学习）；
(3) 学习过程中，所有的权系数都要调整，而且调整的步幅不能太大，否 则会产生振荡，步幅小学习速度又会非常慢；
bji (n + 1) =
t ji (n + 1)
N
∑ 0.5 + t ji (n) xi
i =1
i = 1, 2, ", N j = 1, 2, ", M
2004-8-8
《神经网络导论》－－自组织神经网络
4-13
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
4. 这里的特殊模型只适用于 {1, −1} 二值矢量模式的聚类，而且只是其中的
4-10
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
② 进行“自下而上”（bottom-up processing）的处理，求出
N
∑ y j = bji xi j = 1, 2,", M i =1
③ 运用MAXNET找出最大值节点 y j 。
④ 执行“自上而下”（top-down processing）的处理，验证 X 是否确实属于第
M
∑ ( ) 子网络中各节点的迭代公式如下： 初值 y j 0 = xiu ji
i
∑ y j (t +1) =
( ) ⎛
ft
⎜ ⎜⎜⎝
y
j
t
M
−ε
k =1 k≠ j
⎞
yk
(
t
)
⎟ ⎟⎟⎠
j = 1, 2, ", M
· · · · · EQ4.2Z
其中 2004-8-8
ft
(α
)
=
⎧Cα ⎨⎩0
α >0 C ≥1 α ≤0
计算
∑相似度 u11 xiu ji
i
输入 x1
u1N u12
x2
−ε "
uM 1
uM 2
uMN
"
xN
图4-1Z 横向抑制网络MAXNET的结构
2004-8-8
《神经网络导论》－－自组织神经网络
4-6
§4.2 横向抑制网络MAXNET
XI’AN JIAOTONG UNIVERSITY
这说明，在MAXNET子网中，每个节点都试图保持自己的值而抑制其它节 点，从而通过竞争选出最大值。
(4) 自反馈系数应该大于等于1，这样可以确保收敛较快。可以看出，该网络 具有“中心激励、侧向抑制”的功能，这种现象称为中心分离效应（On center, off surround）。
(5) MAXNET 在 使 用 过 程 中 ， 时 间 十 分 重 要 。 汉 明 网 络 运 算 时 间 快 ， 而 MAXNET需要的处理时间较长，必须在结构上保证，只有MAXNET收敛并已经为 新的输入做好准备后，才能允许汉明网络开始输出。
自适应谐振理论ART(Adaptive Resonance Theory)研究的出发点就是充分借 鉴人脑工作时的特点。
本章我们主要讨论两个ART模型：ART1和ART2。其中ART1是针对二值信号 的，ART2是针对任意模拟信号的。作为ART的预备内容，下一节先讨论一种横向 抑制网络MAXNET。
2004-8-8
(6) 对于模式分类，这种汉明网络明显优于Hopfield网络。当码元误差随机独
立时，汉明网络是一种最佳的最小误差分类器。同时，汉明网络连接权少。当模
式矢量维数为100，类别数为10时，汉明网络需1000个连接权，而Hopfield网络
需要10000个。
2004-8-8
《神经网络导论》－－自组织神经网络
需要讨论的几点问题：
(1) 仿真时，可能会出现两个初始值 yi (0) = y j (0) 且是最大值的情况，这
时就会产生竞争，竞争的结果是所有输出都变为零或者两个最大值同时达到最大
值。解决办法是加一个小的扰动：
∑ y j (t +1) =
ft
⎛ ⎜
y
j
(
t
)
−
ε
yk
(
t
)
+
εi
⎞ ⎟
,
⎝
k≠ j
⎠
《神经网络导论》－－自组织神经网络
More...
4-7
西安交通大学电信学院信通系
第四章 自组织神经网络
§4.2 横向抑制网络MAXNET
XI’AN JIAOTONG UNIVERSITY
其中，U j 是第 j 类的典型样本（样板），也具有二值特征。 N
∑ ( ) { } 实际上， −1, 1 N 的汉明距离定义式中的第二项 fh xiu ji 就表示
一种。对于连续取值的矢量模式聚类，要用ART2型网络。
5. 对未启用的输出端要加标志位，在第一次启用时不用警戒参量 ρ。
2004-8-8
《神经网络导论》－－自组织神经网络
4-15
西安交通大学电信学院信通系
第四章 自组织神经网络
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
(3) 人脑的学习和记忆能力既有很大的刚性，又有很大的弹性和可塑性；
2004-8-8
《神经网络导论》－－自组织神经网络
4-3
西安交通大学电信学院信通系
第四章 自组织神经网络
§4.1 引言
XI’AN JIAOTONG UNIVERSITY
前两章讨论的前向网络和反馈网络是应用最广泛，研究最多的两类典型网 络。但在某些方面也存在着一些共同的问题，这两种网络在构成网络时未能充 分借鉴人脑工作的特点。对前向网络来说，这些缺点和不足主要体现在以下几 个方面：
⑤ 对于第 j 类，更新 bji 和 t ji ，i = 1, 2, ", N 。返回第①步。 ⑥ X不属于第 j 类，所以要抑制该节点，然后返回第②步，执行另一个聚类中心
的处理过程。
ART1中的初值和更新计算公式如下：
t ji (0) = 1
b ji
(0)
=
1
1 +N
t ji (n + 1) = t ji (n) − αt ji (n) sgn ⎡⎣−t ji xi ⎤⎦
wk.baidu.com
4-11
西安交通大学电信学院信通系
第四章 自组织神经网络
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
一、聚类的含义
由于可以将 N 维模式样本看作 N 维特征空间中的点，所以有理由认为：类别 相同或某些特征相似的模式在 N维空间中比较靠近。
前面讨论的分类，主要就是根据这一特点进行的。所谓的学习（训练）就是 通过对已知类别的样本的学习训练出类别之间的分界线，从而形成判决准则。这 是有监督的学习。
4-9
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
二、ART1神经网络
−ε
ART1的网络结构有多种 形式，这里讨论的只是其中 的一种。网络结构如右图所
y1
−ε
1 −ε
y2
−ε
1"
−ε
yM 1
示。输入应该为二值矢量模
−ε
式，bji 是“由底向上”的连接 t ji 权，t ji是“自顶向下”的连接