神经网络作业(袁晓艺)

《神经网络基础与运用》学习体会

姓名：袁晓懿学号：0610220527

导师：廖桂生课程属性：限选课

当前我们学习的《神经网络基础与运用》，可以说是利用人工构造的神经元，经过不同模式的训练，达到模拟生物神经元功能的目的。从1984年单神经元网络被用来稳定电话系统中长距离传输的声音信号以来，神经网络的应用已经覆盖了航空、电子、金融、医疗、电信、交通等各个行业。可以想象，随着神经网络科学研究的逐步深入以及应用领域的不断拓广，神经网络必将产生更加深远的影响。

一、神经网络发展简述

神经网络这一学科领域，最早可以追溯到19世纪末或者20世纪初，这一时期研究对象主要集中于学习、视觉和条件反射等一般理论，并没有涉及有关神经元工作的数学模型。现代神经网络研究的开始是以20世纪40年代，Warren McCulloch和Walter Pitts从原理上证明人工神经网络可以计算任何算术和逻辑函数为标志。60年代，由于缺乏新思想和用于实验的高性能计算机，动摇了人们对神经网络的研究兴趣。到了80年代，随着个人计算机和工作站能力的急剧增强和广泛应用，以及不断引入的新概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。

二、四种网络模型学习规则

截至目前，我们主要学习了四种网络模型，即：感知机、有监督的Hebb网络、Widrow-Hoff 模型和反向传播模型。此外，我们还从一个模式识别问题上，引出了竞争网络（hamming网络）和Hopfield网络。下面，我就各个网络模型的学习规则谈一些体会。

（一）感知机学习规则

1943年，Warren McCulloch和Walter Pitts最早提出了一种人工神经元模型，把神经元输入信号的加权和与其阈值相比较以确定神经元的输出。如果加权和小于阈值，则该神经元的输出值为0；如果加权和大于阈值，则该神经元的输出值为1。但由于没有找到训练这一网络的方法，因此必须设计这些神经元网络的参数以实现特定的功能。上世纪50年代，Frank Rosenblatt等研究人员提出了一种感知机的神经网络，引入了用于训练神经网络解决模式识别问题的学习规则，并证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的权值上。但是，感知机网络却存在一定的局限性，其只能解决模式识别中的线性可分问题。正是由于这种局限性，一度导致神经网络的研究工作陷入低潮。

我们知道，对于1－3维输入单层神经元的模式识别问题，可以通过图解法解决。其基本程序为：1、画出判定边界，该判定边界实现了区域划分的目的；2、求解权值矩阵，权值矩阵求解的关键是判定边界总是和权值矩阵相正交，对于同一模式识别问题，判定边界的不同

会造成权值矩阵的不同。这一不同，在与当前模式精确匹配时不会产生错误的输出，而在其他模式的判别中可能引起较大的误差（下面将举例说明）。3、求解偏值，偏值b 的求解，可以在求解权值矩阵的基础上，将判定边界上任意一点的坐标带入方程W T *P ＋b ＝0得到,如果我们划定的判定边界通过坐标原点，那么此时的b 值可以设定为0。

当3个以上输入神经元网络的判定边界无法用图形方法进行判定时，我们就必须引入一个学习的规则。如果将单神经元感知机和多神经元感知机统一起来，那么这个学习规则可写为W NEW ＝W OLD ＋ep T ；B NEW ＝B OLD ＋e ，其中e ＝t －a 。在学习过程的开始，权值和偏值我们可以任意设定，在输入第一个模式后，将期望输出与感知机的实际输出相减，得到输出误差e 。通过e 的正负调节权值矩阵和偏值，从而最终实现模式之间的正确分类。

【学习体会】

下面还是举水果区分的例子，说明权值矩阵选取不当，对模式识别问题的影响。例如我们用一个3维向量来表示一个标准的桔子和一个标准的苹果。这个向量的第一个元素表示外形，外形是圆的感知器就输出1，外形是椭圆的就输出－1；第二个元素表示质地，质地是光滑的感知器就输出1，质地粗糙就输出－1；第三个元素表示重量，水果重量超过1磅就输出1，低于1磅就输出－1。在一般情况下，我们都会把p1和p3轴构成的平面作为判定边界，假设苹果（1，1，－1）对应的输出为1，桔子（1，－1，－1）对应的输出为－1，那么权值向量可取（0，1，0），偏值为0，传输函数为Hardlims ，就可实现正确分类。然而当权值向量为（－1，1，－1），偏值为0，传输函数为Hardlims 时，也可实现桔子和苹果的正确区分，即苹果对应的输出为1，桔子的对应输出为－1。但是如果有一个椭圆形的桔子（－1，－1，－1）被放在分类器中，按照前一种识别模式，其输出仍然为－1，即桔子；而当通过后一种识别模式时其被错误的识别为1，即苹果。

（二）有监督的Hebb 学习规则

Hebb 学习规则是最早的神经网络学习规则之一，由Donald Hebb 在1949年作为大脑的一种神经元突触调整的可能机制而提出，从此Hebb 规则就一直用于人工神经网络的训练。 P1 P2

P3

。苹果

。

桔子

与感知机所不同的是，Hebb学习规则的权值更新公式变为W NEW＝W OLD＋t

q p

q

T，矩阵形式为W

＝TP T。在输入样本为标准正交向量时，该样本只与权值矩阵内对应相等的模式发生作用，而

与其他模式的不发生作用，此时网络的输出等于其相应的目标输出。当输入不是标准正交向量时，网络的输出可能偏离目标输出，与目标输出不能十分匹配。解决这一问题的方法，就是运用仿逆规则，即把样本矩阵进行变换。仿逆规则为W＝TP＋，P＋＝（P T P）-1P T。通过仿逆规则，如果由于输入样本的非标准正交化引起的输出误差，可以通过仿逆规则达到精确的结果。

【学习体会】

Hebb学习规则可以大大简化实际模式识别问题，一种特殊的类型就是自联想存储器。在自联想存储器中，期望输出向量等于网络的输入向量，并且在输入样本有所破损或者受到干扰时，也可将其复原，其原因是存储器将输入样本与存储的样本相比较，利用距离最近的原则进行判别输出。然而在输入样本缺损严重时，却不能正确识别，这是自联想存储器普遍存在的一个问题。

实际上在某些特定的情况下，输入样本为非标准正交向量时，如果将神经元的传输函数定义为Hardlims，则网络的输出还是有可能实现正确输出的。例如当输入样本为p

1

＝（1，1，

－1，1，－1，－1）T，p

2

＝（－1，1， 1，1， 1，－1）T时，尽管这两个向量是正交的，但确没有标准化（有的书上称之为归一化），使用Hebb规则，建立一个自联想存储器。通过计算我们会发现，把传输函数由purelin改变为Hardlims后，输出向量就是样本本身，对输入向量标准化的限制消除了。

（三）Widrow-Hoff学习规则

1960年，Widrow和他的研究生Marcian Hoof引入了ADALINE网络和一个称为LMS算法的学习规则。这个网络与感知机十分相似，不同之处在于它的传输函数是线性函数而不是硬极限函数。ADALINE网络和感知机一样，只能解决线性可分问题。但是，LMS算法比感知机学习规则要强大很多。感知机规则能保证将训练模式收敛到一个可以正确分类的解上，有时训练模式常接近网络的判定边界，得到的网络对噪声较为敏感。而LMS算法使均方误差最小，从而使网络的判定边界尽量远离训练模式。

【学习体会】

为了减小感知机学习中由于权值矩阵选取不当引起的误差，我们就可以利用Widrow-Hoff 学习规则，将权值矩阵收敛到一个最优值，增强对噪声的抗干扰能力。为了说明这一问题，我们还以桔子和苹果的分类问题，利用感知机进行分类，由于初始权值选定不同，最终收敛的权值也会各不相同，由于感知机一旦实现正确分类，权值迭代也停止了，难以达到最优权。而利用Widrow-Hoff学习规则，按照LMS算法，如果网络存在一个全局极小点，经过多次迭代后，网络的权值将最终稳定在这个全局极小点上。针对水果分类问题，这个全局极小点就是W＝（0，1，0）这个权值。