9-第三篇 第2章 神经网络的学习

第二章人工神经网络的学习

通过相继给人工神经网络输入一些样本数据，并按照一定的规则（或学习算法）不断改变网络各层的连接权值，使网络的输出不断地接近期望的输出值，这一个过程称为神经网络的学习或训练。学习的实质是可变权值的动态调整的自适应过程。改变权值的规则称为学习规则或学习算法（相应也称训练规则或训练算法）。单个处理单元，无论采用哪一种学习规则进行调整，其算法都十分简单。大量处理单元集体进行权值调整时,网络就呈现出“智能”的特性。

神经网络结构和功能不同，学习方法也各不相同，下面简要介绍神经网络学习的基本方法。

2.1学习方法的分类

在网络的结构和转移函数确定后，如何修改权值使网络达到一定的要求就成为决定网络信息处理性能的第三大要素。学习问题归根结底就是网络连接权的调整问题，其方法有以下几种：1．有导师学习（也称监督学习）

这种学习模式采用纠错的规则，要求在给出输入模式X的同时在输出侧还要给出与之相对应的目标模式，又称教师信号或期望输出模式，两者一起称为训练对。一般训练一个网络需要许多个训练对，称为训练集。学习时，使用训练集中的某个输入模式，得到一个网络的实际输出模式Y，再与期望输出模式d相比较，不相符时求出误差，按误差的大小和方向调整权值,以使误差向着减小方向变化；然后，逐个用训练集中的每个训练对，不断地修改网络的权值，整个训练集反复地作用于网络许多次，直到训练集作用下的误差小于事前规定的容许值为止，即认为网络在有导师的训练下已学会了训练数据中包含的知识和规则，学习过程便告结束。并将权值存储于网络中，提供给运行阶段使用。

2．无导师学习（也称无监督学习）

在学习时，训练集仅用各输入模式组成，而不提供相应的输出模式。网络能根据特有的内部结构和学习规则响应输入的激励而反复调整权值，这个过程称为网络的自组织。自组织学习是靠神经元本身对输入模式的不断适应，抽取输入信号的规律，从而将输入模式按其相似程度自动划分若干类，将其输入特征记忆下来，当它再次出现时就能把它识别出来。这种学习的权值调整不受外来的教师信号的影响，可认为这种学习评价准则隐含于网络内部。

3．列记式学习

这类学习方法可说是一次性的，不需要一个训练过程，网络的权值按某种特殊的记忆模式设计好以后，不再作变动。以后当网络输入有关信息时，这种记忆模式就会被回忆起来。

人工神经网络按其结构而言是多种多样的，但是工作过程一般可分为二个阶段：一是网络的学习过程（或称训练过程）；二是网络运行过程（或称联想过程），网络学习的目的是为了从训练数据中提取隐含的知识和规律，一旦学习完成，并存储于网络中，供运行阶段使用。

2.2神经网络的一般学习规则

神经网络的一般学习规则指学习规则的一般形式。在神经网络中每个神经元被认为是一个自适应元件，其权值可以根据输入信号，输出信号及相应的监督信号进行调整，1990年日本学者Amain

1

2

图中神经元j

表示，的输出；第i 个输入与神经元j 到神经元j 关。图中的学习信号为r =r (W j 乘积成正比，即：

j j j X d X W r W ),,(η=∆式中η是一个正数，称为学习率，也称学习常数，其值决定学习速率。 对于离散系统，下一时刻的权向量应为：

)()](),(),([)()1(t X t d t X t W r t W t W T

j j j j η+=+ (2-1b) 不同的学习规则对r (W j ,X , d j )有不同的定义，从而形成了各种具体的学习规则。

2.3 2.

3.1 Hebb 由Hebb i j x y ji w =∆其中w ji （学习速率；y j Hebb

3

j j j y X W r r ==)( (2-3)

权向量的调整量为 ：

T j T j j X r X X W r W ηη==∆)( (2-4) 或写成单个权值（元素式）的调整量为:

i j i j ji x r x X W r w ηη==∆)( (2-5a) 简单地写为:

i j i j ji x y x r w ηη==∆ (i =1,2,……,n) (2-5b)

例2.1 设有一四输入单输出的神经网络，即T x x x x X ],,[4,321=。现有三个输入样本向量：

X 1=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-05.121， X 2=⎥⎥⎥⎥⎦⎤⎢⎢⎢

⎢⎣⎡---5.125.01，X 3=⎥⎥⎥⎥

⎦

⎤⎢⎢⎢⎢⎣⎡-5.1110

学习。

2

s 1=W 1X 1=［1 －1 0 0.5］⎥⎥⎦

⎢⎢⎣05.1=3

则输出为y 1=f (s 1)=1。由式（2-4），调整后的权向量为：

T

T T X W X y W X X W r W W 1111111112)(+=+=+=ηη

=[1 –1 0 0.5]+[1 -2 1.5 0.5]=[2 -3 1.5 0.5]

4

（２）将X 2作输入，作用于网络，计算净输入s 2:

s 2=W 2X 2=[2 –3 1.5 0.5] ⎥⎥⎥⎥

⎦

⎤⎢⎢⎢

⎢⎣⎡---5.125.01= -0.25 则输出为y 2=f (s 2)=-1。由式（2-4），调整后的权向量为：

T

T T X W X y W X X W r W W 2222222223)(-=+=+=ηη

=[2 -3 1.5 0.5] - [1 -0.5 -2 -1.5]=[1 -2.5 3.5 2]

（３）将X 3作输入，作用于网络，计算净输入s 3:

s 3=W 3X 3=［1 -2.5 3.5 2］⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎣⎡-5.1110= -3

则输出为y 3=f (s 3)=-1。由式（2-4），调整后的权向量为：

T

T T X W X y W X X W r W W 3333333334)(-=+=+=ηη

=[1 -2.5 3.5 2]-[0 1 -1 1.5]=[1 -3.5 4.5 0.5]

由上可见，当转移函数为符号函数，且η=1时，Hebb 学习规则的权值调整将简化为权向量加上或减去输入向量。

2、转移函数采用连续的双极性函数ƒ（s ）=s

s

e

e λλ--+-11，设初始向量及输入模式不变，当λ=1时的输出和调整权为：

(1) s 1=W 1X 1=3 y 1= ƒ(s 1)=

3

311--+-e

e =0.905

调整后权向量：

W 2=W 1＋ƒ(s 1)X T

1=W 1＋0.905X T

1

=[1 -1 0 0.5]+0.905[0 -2 1.5 0]=[1.905 -2.8 1.357 0.5]

(1) s 2=W 2X 2=[1.905 -2.81 1.357 0.5]⎥⎥⎥⎥

⎦

⎤⎢⎢⎢

⎢⎣⎡--5.125.01= -0.154 y 2= ƒ(s 2)=

154

.0154.011e

e +-＝-0.0769