2篇基础知识(续)人工神经网络常用学习规则

Wij
Wnj
2.4神经网络学习
表2.1 常用学习规则一览表
学习规则 Hebbian Perceptron Delta
权值调整
向量式
元素式
Wj f (WjT X)X
wij f (WjT X)xi
Wj [d j- sgn(WjT X)]X wij [dj- sgn(WjT X)]xi
Wj (dj-oj) f (netj)X wij (dj-oj) f (netj)xi
只有获胜神经元才有权调整其权向量，调
整量为
W m X W m
式中，，是学习常数，一般其值随着学习的进展 而减小。由于两个向量的点积越大，表明两者越 近似，所以调整获胜神经元权值的结果是使Wm 进一步接近当前输入X。显然，当下次出现与X相 像的输入模式时，上次获胜的神经元更容易获胜。
在反复的竞争学习过程中，竞争层的各神经元所
Wm (xi wim) wkj (dk wkj)
随机、归 一化
无导师
0
有导师
连续 连续
人工神经网络是由人工神经元（简称神经元）互 联组成的网络，它是从微观结构和功能上对人脑 的抽象、简化，是模拟人类智能的一条重要途径， 反映了人脑功能的若干基本特征，如并行信息处 理、学习、联想、模式分类、记忆等。目前，已 发展了几十种神经网络，例如Hopfield模型， Feldmann等的连接型网络模型，Hinton等的玻尔 茨曼机模型，以及Rumelhart等的多层感知机模型 和Kohonen的自组织网络模型等等。
权值 初始化
学习方式
转移函数
0
无导师 任意
任意 有导师 二进制
任意 有导师 连续
Widrow-Hoff Wj (dj-WjT X)X
相关
Wj dj X
wij (dj-WjT X)xi wij djxi
任意 0
有导师 有导师
任意 任意
Winner-takeall
Outstar
Wm (X Wm) Wj (d Wj)
器采用了与阈值转移函数类似的符号转移 函数，其表达为
fW jTXsgW njTX 11 源自文库W ,W jTjT X X 00 因此，权值调整公式应为 W j[ d j sg W j T X n ] X
i j[ d j sW g j T X ] x i n i 0 , 1 , , n
5) Correlation（相关）学习规则
相关学习规则学习信号为
r dj
易得出分别为
Wj dj X
ijd jx i i 0 ,1 , ,n
该规则表明，当dj是xi的期望输出时，相应 的权值增量Δωij与两者的乘积djxi成正比。
如果Hebbian学习规则中的转移函数为二进 制函数，且有oj=dj，则相Δ关学习规则可看 作Hebbian规则的一种特殊情况。应当注意 的是，Hebbian学习规则是无导师学习，而 相关学习规则是有导师学习。这种学习规 则要求将权值初始化为零。
在这众多神经网络模型中，应用最广泛的 是多层感知机神经网络。多层感知机神经 网络的研究始于20世纪50年代，但一直进 展不大。直到1985年，Rumelhart等人提出 了误差反向传递学习算法（即BP算法）， 实现了Minsky的多层网络设想。
神经网络对控制领域和反问题研究有吸引 力的特征表现在：(1)能逼近任意L2上的非 线性函数；(2)信息的并行分布式处理与存 储；(3)可以多输入、多输出；(4)便于用超 大规模集成电路(VLSI)或光学集成电路系统 实现，或用现有的计算机技术实现；(5)能 进行学习，以适应环境的变化。
对应的权向量被逐渐调整为输入样本空间的聚类
中心。在有些应用中，以获胜神经元为中心定义
一个获胜领域，除获胜神经元调整权值外，领域
内的其他神经元也不同程度地调整权值。权值一 般被初始化为任意值并进行归一化处理。
7)Outstar（外星）学习规则 神经网络中有两类常见节点，分别称为内星节点
和外星节点，其特点见图5-8和5-9。图5-8中的内 星节点总是接受来自四面八方的输入加权信号， 因此是信号的汇聚点，对应的权值向量称为内星 权向量；图5-9中的外星节点总是向四面八方发出 输出加权信号，因此是信号的发散点，对应的权 值向量称为外星权向量。内星学习规则定内星节 点的输出响应是输入向量X和内星权向量Wj的点 积。该点积反映了X与Wj的相似程度，其权值按 式(5-23)调整。因此Winner-Take-All学习规则与 内星规则一致。
信号生成器
1)Hebbian学习规则
1949年，心理学家D.O.Hebb最早提出了关于神 经网络学习机理的“突触修正”的假设。该假设 指出，当神经元的突触前膜电位与后膜电位同时 为正时，突触传导增强，当前膜电位与后膜电位 正负相反时，突触传导减弱，也就是说，当神经 元i与神经元j同时处于兴奋状态时，两者之间的连 接强度应增强。根据该假设定义的权值调整方法， 称为Hebbian学习规则。在Hebbian学习规则中， 学习信号简单地等于神经元的输出
W j(t)r [W j(t)X ,(t)d ,j(t)X ] (t)
式中 为学习速率。权值调整的迭代格式为
W j( t 1 ) W j( t ) r ( W j( t )X ( ,t )d j, ( t )X ( ] t )
权值调整的一般情况
w
Oj
X
j
wj X
r(w,x,d) dj
下面介绍外星学习规则。外星学习规则属 于有导师学习，其目的是为了生成一个期 望的维输出向量，设对应的外星权向量用 Wj表示，学习规则如下
Wj (dWj)
式中，η的规定与作用与式(5-23)中的α相同， 给出的外星学习规则使节点j对应的外星权 向量向期望输出向量d靠近。
j
W1j
Wij
Wnj
j
W1j
神经网络结构和功能不同，学习方法也各 不相同。在人工神经网络的结构和转移函 数决定以后，如何设计权使网络达到一定 的要求，就成为决定神经网络信息处理性 能的第三大要素。学习问题归根结底就是 网络连接权的调整问题，其方法有以下几 种：
名称
Perceptron(感 知器)
提出者
Frank Rosenblatt(康 奈尔大学)
年代 1958
Adaline(自适应 线形单元) 和
Madaline( 多个 Adaline的 组合网络)
Avalanche(雪崩 网)
Bernard Widrow(斯 坦福大学)
S.Drossberg(波士顿 大学)
学习规则可推广到多层前馈网络中，权值 可初始化为任意值。
4)Widrow-Hoff学习规则
1962年，Bernard Widrow和Marcian Hoff 提出了Widrow-Hoff学习规则，又称为最小 均方规则(LMS)。Widrow-Hoff学习规则的 学习信号为
r dWjTX
权向量调整量为..
6) Winner-Take-all（胜者为王）学习规则
Winner-Take-all学习规则是一种竞争学习规 则，用于无导师学习。一般将网络的某一 层确定为竞争层，对于一个特定的输入X， 竞争层的所有p个神经元均有输出响应，其 中响应值最大的神经元为在竞争中获胜的 神经元，即
W m TXi m 1 ,2 , ,pa W iT x X
W jd W jTXX
的各分量为
i j d j W j T X x i i 0 ,1 , ,n
实际上，如果在学习规则中假定社会元转
移函数为 fW jTXW jTX ，则有， fWjTX1 此时
式(5-11)与式(5-17)相同。
因此，Widrow-Hoff学习规则可以看成是学 习规则的一个特殊情况。该学习规则与神 经元采用的转移函数无关，因而不需要对 转移函数求导数，不仅学习速度较快，而 且具有较高的精度。权值可初始化为任意 值。
图5-6 MP神经元模型
F(x)
i
f (xi )
1
0
(x)
人类具有学习能力，人类的知识和智慧是 在不断的学习与实践中逐渐形成和发展起
来的。关于人工神经网络的学习机制，涉
及到神经元如何分布、处理和存储信息。 常用的人工神经网络学习规则如下，图5-8 是权值调整的一般情况，其中：Wj为联接 到神经元j的权值向量，X为输入向量，r为 学习信号，d为导师信号。权向量的调整准 则为
上式定义的学习信号称为。式中是转移函 数的导数。显然，规则要求转移函数可导， 因此只适用于有导师学习中定义的连续转 移函数，如Sigmoid函数。
事实上，规则很容易由输出值与期望值的 最小平方误差条件推导出来。定义神经元 输出与期望输出之间的平方误差为
E 1 2d j o j 2 1 2d j fW jT X2
式中，误差E是权向量Wj的函数。欲使误差 E最小，Wj应与误差的负梯度成正比，即
Wj E
式中，比例系数η是一个正常数。由式(512)，误差梯度为
E d j o jfejn Xt
可以看出，上式中η与X之间的部分正是式 (5-11)中定义的学习信号δ。ΔWj中每个分 量的调整由下式计算
i j d j o jf n jx ie i 0 , 1 , t, n
3)δ(Delta)学习规则 1986年，认知心理学家McClelland和
Rumelhart在神经网络训练中引入了δ规则， 该规则亦可称为连续感知器学习规则，与 上述离散感知器学习规则并行。δ规则的学 习信号规定为
r d j fW j T W fW j T W d j o jfn j e
rf W jTX
式中 W为权向量，X为输入向量。权向量的 调整公式为
W j fW jTXX
权向量中，每个分量的调整由下式确定
ij fW j T X x i o j x i
上式表明，权值调整量与输入输出的乘积成正比。 显然，经常出现的输入模式将对权向量有最大的 影响。在这种情况下，Hebbian学习规则需预先 设置权饱和值，以防止输入和输出正负始终一致 时出现权值无约束增长。此外，要求权值初始化， 即在学习开始前 (t=0)，先对Wj(0)赋予零附近的 小随机数。Hebbian学习规则代表一种纯前馈、 无导师学习。该规则至今仍在各种神经网络模型 中起着重要作用。
决定网络整体性能的三大要素包括：(1)神 经元（信息处理单元）的特性；(2)神经元 间相互联接的形式—拓扑结构；(3)为适应 环境而改善性能的学习规则。表5-1为对神 经网络发展有重要影响的神经网络
神经网络通过相继给网络输入一些样本模式，并 按照一定的规则（或学习算法）不断改变网络各 层的连接权值，使网络的输出不断地接近期望的 输出值，这一个过程称为神经网络的学习或训练。 学习的实质是可变权值的动态调整的自适应过程。 改变权值的规则称为学习规则或学习算法（相应 也称训练规则或训练算法）。单个处理单元，无 论采用哪一种学习规则进行调整，其算法都十分 简单。大量处理单元集体进行权值调整时，网络 就呈现出“智能”的特性。
式中，当实际输出与期望值相同时，权值不需要 调整；在有误差存在情况下，由
于 、d j ， sg W n j T X 1 , 1
权值调整公式简化为
Wj 2X
感器学习规则只适用于二进制神经元，初始权值 可取任意值。
感知器学习规则代表一种有导师学习。由于感知 器理论是研究其他神经网络的基础，该规则对于 神经网络的有导师学习具有极为重要的意义。
人工神经网络常用的学习规则
MP模型是于1943年由美国心理学家 McCulloch和数学家Pitts建立的第一个神经 元模型，也可以称为处理单元(Processing Element)，它是一个多输入－多输出的非 线性信息处理单元。如图5-6所示，图5-7为 MP模型的作用函数。MP神经元是人工神 经元模型的基础，也是人工神经网络模型 的基础。
2)Perceptron（感知器）学习规则
1958年，美国学者Frank Rosenblatt首次定 义了一个具有单层计算单元的神经网络结 构，称为感知器(Perceptron)。感知器的学 习规则规定，学习信号等于神经元期望输 出（教师信号）与实际输出之差
r dj oj
式中d j 为期望的输出 oj fWjTW ，。 感知