人工神经网络_第四章

需要讨论的几点问题：
(1) 仿真时，可能会出现两个初始值 yi (0) = y j (0) 且是最大值的情况，这
时就会产生竞争，竞争的结果是所有输出都变为零或者两个最大值同时达到最大
值。解决办法是加一个小的扰动：
∑ y j (t +1) =
ft
⎛ ⎜
y
j
(
t
)
−
ε
yk
(
t
)
+
εi
⎞ ⎟
,
⎝
k≠ j
⎠
(1) 人脑的学习方式是自主的，人可以在一个复杂的、非平稳的、有“干 扰”的环境中学习。人脑在大多数情况下是无监督的、无导师的“自学”，而且 学习和工作分不开，是“半工半读”的；
(2) 人脑的工作方式和信息存储方式具有明显的自组织的特点。人在与环境 交互作用的过程中逐渐建立起大脑的信息处理能力（信息的存储、检索等），这 种建立方式是自组织的，外界不可能对脑神经系统进行干预；
Hale Waihona Puke bji (n + 1) =
t ji (n + 1)
N
∑ 0.5 + t ji (n) xi
i =1
i = 1, 2, ", N j = 1, 2, ", M
2004-8-8
《神经网络导论》－－自组织神经网络
4-13
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
4. 这里的特殊模型只适用于 {1, −1} 二值矢量模式的聚类，而且只是其中的
但是，有时我们需要发现模式集合在模式空间中的分布情况，假如这些模式 在空间中以某种明显的集群状分布，确定各集群的位置与分布的方法是有意义 的。
所谓聚类，就是要按照某种度量准则，自动地发现、划分模式类别，并将观 测样本分类。下面要讨论的ART1就可以用于聚类。
2004-8-8
《神经网络导论》－－自组织神经网络
4-5
§4.2 横向抑制网络MAXNET
XI’AN JIAOTONG UNIVERSITY
在横向抑制子网络中，设t jk 是从第 j个节点到第 k个节点的连接权，我们可
以取：
t jk
=
⎧1 ⎨⎩−ε
j=k j≠k
· · · · · · · · · · · · · · · EQ4.1Z
ε < 1 , k, j = 1, 2, ", M
M
∑ ( ) 子网络中各节点的迭代公式如下： 初值 y j 0 = xiu ji
i
∑ y j (t +1) =
( ) ⎛
ft
⎜ ⎜⎜⎝
y
j
t
M
−ε
k =1 k≠ j
⎞
yk
(
t
)
⎟ ⎟⎟⎠
j = 1, 2, ", M
· · · · · EQ4.2Z
其中 2004-8-8
ft
(α
)
=
⎧Cα ⎨⎩0
α >0 C ≥1 α ≤0
εi
≤
i N3
(2) ft (α )的函数形式，如果 α > 0 时采用线性函数且C = 1 ，那么会发生收
敛较慢并且很难达到一个饱和值。 建议采用：
2004-8-8
⎧A α ≥ A C
ft (α ) = ⎪⎨Cα 0 < α < A C
⎪⎩0
α ≤0
《神经网络导论》－－自组织神经网络
More...
(4) 网络分类的类别数要事先确定，超出这个类别数，学习不可能给出正 确结果；
2004-8-8
《神经网络导论》－－自组织神经网络
4-2
§4.1 引言
XI’AN JIAOTONG UNIVERSITY
(4) 人对外界的输入信号响应时有两种渠道：“由底向上”（bottom-up）和 “由顶向下”（top-down）。其中“由顶向下”涉及到人的集中注意力和忽略能 力。人脑在一定的环境下会估计到可能出现的情况，预期会遇到、听到或看到的 各种内容。
别的典型样本 U j 之间的汉明距离确定这一模式是否属于 C j类。即确定 X ∈ C j
( ) 的充要条件为：
Hamming distance X, U j < Hamming distance (X, Uk )
k = 1, 2, ", M 且 k ≠ j
2004-8-8
《神经网络导论》－－自组织神经网络
(6) 对于模式分类，这种汉明网络明显优于Hopfield网络。当码元误差随机独
立时，汉明网络是一种最佳的最小误差分类器。同时，汉明网络连接权少。当模
式矢量维数为100，类别数为10时，汉明网络需1000个连接权，而Hopfield网络
需要10000个。
2004-8-8
《神经网络导论》－－自组织神经网络
一种。对于连续取值的矢量模式聚类，要用ART2型网络。
5. 对未启用的输出端要加标志位，在第一次启用时不用警戒参量 ρ。
2004-8-8
《神经网络导论》－－自组织神经网络
4-15
西安交通大学电信学院信通系
第四章 自组织神经网络
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
4-9
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
二、ART1神经网络
−ε
ART1的网络结构有多种 形式，这里讨论的只是其中 的一种。网络结构如右图所
y1
−ε
1 −ε
y2
−ε
1"
−ε
yM 1
示。输入应该为二值矢量模
−ε
式，bji 是“由底向上”的连接 t ji 权，t ji是“自顶向下”的连接
《神经网络导论》－－自组织神经网络
More...
4-7
西安交通大学电信学院信通系
第四章 自组织神经网络
§4.2 横向抑制网络MAXNET
XI’AN JIAOTONG UNIVERSITY
其中，U j 是第 j 类的典型样本（样板），也具有二值特征。 N
∑ ( ) { } 实际上， −1, 1 N 的汉明距离定义式中的第二项 fh xiu ji 就表示
j 类。计算
N
∑t ji xi
i =1
如果
N
∑t ji xi
∑i=1
>ρ
xi
则
X 属于第
j
i
类，转第 ⑤步；否则转第
⑥步。其中
ρ
是警戒参量。
2004-8-8
《神经网络导论》－－自组织神经网络
4-12
4-3
《神经网络导论》讲义
§4.3 ART1的工作原理
XI’AN JIAOTONG UNIVERSITY
(4) 自反馈系数应该大于等于1，这样可以确保收敛较快。可以看出，该网络 具有“中心激励、侧向抑制”的功能，这种现象称为中心分离效应（On center, off surround）。
(5) MAXNET 在 使 用 过 程 中 ， 时 间 十 分 重 要 。 汉 明 网 络 运 算 时 间 快 ， 而 MAXNET需要的处理时间较长，必须在结构上保证，只有MAXNET收敛并已经为 新的输入做好准备后，才能允许汉明网络开始输出。
(5) 有可能陷入局部极小点，从而给出错误的结果；
(6) 误差准则是固定的，不能随环境的变化而进行相应的调整或改变。
相比之下，人脑的优越性就极其明显了。人脑神经系统既能够牢固地记住所 学得的各种知识又能适应各种复杂多变的环境，能够通过“自学”来认识未学习 过的新事物并解决不熟悉的新问题。人脑神经系统有如下主要特点：
(3) 人脑的学习和记忆能力既有很大的刚性，又有很大的弹性和可塑性；
2004-8-8
《神经网络导论》－－自组织神经网络
4-3
西安交通大学电信学院信通系
第四章 自组织神经网络
§4.1 引言
XI’AN JIAOTONG UNIVERSITY
前两章讨论的前向网络和反馈网络是应用最广泛，研究最多的两类典型网 络。但在某些方面也存在着一些共同的问题，这两种网络在构成网络时未能充 分借鉴人脑工作的特点。对前向网络来说，这些缺点和不足主要体现在以下几 个方面：
《神经网络导论》讲义
第四章 自组织神经网络
¾ 引言 ¾ 横向抑制网络MAXNET ¾ ART1的工作原理 ¾ 竞争学习机制和自稳学习机制 ¾ ART2神经网络 ¾ 小结
XI’AN JIAOTONG UNIVERSITY
2004-8-8
《神经网络导论》－－自组织神经网络
4-1
§4.1 引言
XI’AN JIAOTONG UNIVERSITY
⑤ 对于第 j 类，更新 bji 和 t ji ，i = 1, 2, ", N 。返回第①步。 ⑥ X不属于第 j 类，所以要抑制该节点，然后返回第②步，执行另一个聚类中心
的处理过程。
ART1中的初值和更新计算公式如下：
t ji (0) = 1
b ji
(0)
=
1
1 +N
t ji (n + 1) = t ji (n) − αt ji (n) sgn ⎡⎣−t ji xi ⎤⎦
计算
∑相似度 u11 xiu ji
i
输入 x1
u1N u12
x2
−ε "
uM 1
uM 2
uMN
"
xN
图4-1Z 横向抑制网络MAXNET的结构
2004-8-8
《神经网络导论》－－自组织神经网络
4-6