读书笔记-神经网络分类器的应用

神经网络分类器的应用

——关于感知器的认识 人工神经网络既是一种基本的人工智能研究途径，也是一种非常重要的机器学习方法。人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式建立起来的网络系统。人脑是在人工神经网络的原型，人工神经网络是对人脑神经系统的模拟。

人工神经网络是借鉴于生物神经网络而发展起来的新型智能信息处理系统，由于其结构上“仿造”了人脑的生物神经系统，因而其功能上也具有了某种智能特点。由于神经网络具有分布储存信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。这种能力是通过神经元之间的协同结构以及信息处理的集体行为而实现的。设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射，可以作为多维非线性函数的通用数学模型。神经网络对外界输入样本具有很强的识别和分类能力，可以很好的解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。

生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。据估计，人脑神经系统的神经细胞约为1011－1013个。它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。神经细胞是构成神经系统的基本单元，称之为生物神经元，或者简称为神经元。神经元主要由三个部分组成：细胞体、轴突、树突（如下图所示）。

感知器模型由美国学者罗森布莱特（F.Rosenblatt ）于1957年提出，是一种早期的神经网络模型，也是最简单的一种神经网络模型。感知器模型中第一次引入了学习的概念。

感知器模型可以分为简单感知器和多层感知器两种。

简单感知器模型实际上仍然是MP 模型的结构。但是，它是通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。感知器处理单元对n 个输入进行加权和操作以后，通过非线性函数输出，即：

其中，w i 为第i 个输入到处理单元的连接权值,θ为阈值, f 取阶跃函数。

感知器在形式上与MP 模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。利用简单感知器可以实现逻辑代数中的一些运算。 1()

n

i i i i y f w x θ==-∑

Y=f(w1x1+w2x2-θ)

(1)“与”运算

当取w1＝w2＝1，θ＝1.5时，上式完成逻辑“与”的运算。

(2)“或”运算，

当取w l＝w2＝1，θ＝0.5时，上式完成逻辑“或”的运算。

(3)“非”运算，

当取w l=-1，w2＝0，θ＝-1时,完成逻辑“非”的运算。

对于一个两输入的简单感知器，每个输入取值为0和1，如上面结出的逻辑运算，所有输入样本有四个，记为(x1，x2)：(0，0)，(0，1)，(1，0)，(1，1)，构成了样本输入空间。

例如，在二维平面上，对于“或”运算，各个样本的分布如下图所示。

直线1*x1+1*x2-0.5＝0 将二维平面分为两部分，上部为激发区(y=1，用★表示)，下部为抑制区(y＝0，用☆表示)。

简单感知器中的学习算法是δ学习规则。其具体过程如下：

(1)选择一组初始权值w i(0)。

(2)计算某一输入模式对应的实际输出与期望输出的误差δ

(3)如果δ小于给定值，结束，否则继续。

(4)更新权值(阈值可视为输入恒为1的一个权值)：

Δw i(t+1)＝w i(t+1)- w i(t)=η[d-y(t)]x i(t)

式中η为在区间(0，1)上的一个常数，称为学习步长，它的取值与训练速度和w收敛的稳定性有关；

d、y为神经元的期望输出和实际输出；x i为神经元的第i个输入。

(5)返回(2)，重复，直到对所有训练样本模式，网络输出均能满足要求。

但是，简单感知器有一个致命的缺陷：不能解决线性不可分问题。线性不可分问题就是无法用一个平面（直线）把超空间（二维平面）中的点正确划分为两部分的问题。感知器对线性不可分问题的局限性决定了它只有较差的归纳性，而且通常需要较长的离线学习才能达到收效。

简单感知器只能解决线性可分问题，不能解决线性不可分问题。形象的说，一个简单感知器只能在二维平面上画一条直线，但是如果能多画条直线的话，那么线性不可分问题就可以解决了。多条直线就对应着多个感知器。把多个感知器级联在一起，用后面级综合前面级的结果，这样就构成一个两级网络。两级感知器网络可以再平面上划分出一个封闭的或者开放的凸域。一个非凸域可以拆分成多个凸域。

多层感知器模型就是由多层简单感知器构成多层前馈网络，层内的感知器没有互联。每个简单感知器就是一个神经元。一般把输入层和输出层之间的一层或者多层称为隐层。这里需要指出的是，多层感知器只能调节输出层的连接权。

上述三层感知器中，有两层连接权，输入层与隐层单元间的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。

对于上面述及的异或问题，用一个简单的二层感知器就可得到解决

x x x 12输入层输出层隐层

x x y

可以证明，只要隐层和隐层单元数足够多，多层感知器网络可实现任何模式分类。感知器收敛定理：对于一个N个输入的感知器，如果样本输入函数是线性可分的，那么对任意给定的一个输入样本x，要么属于某一区域F+，要么不属于这一区域，记为F-。F+，F-两类样本构成了整个线性可分样本空间。如果样本输入函数是线性可分的，那么感知器学习算法经过有限次迭代后，可收敛到正确的权值或权向量。假定隐含层单元可以根据需要自由设置，那么用双隐层的感知器可以实现任意的二值逻辑函数。

多层网络的权值如何确定，即网络如何进行学习，在感知器上没有得到解决。当年Minsky等人就是因为对于非线性空间的多层感知器学习算法未能得到解决，使其对神经网络的研究作出悲观的结论。

以上就是我在学习课本知识过程中所学到的一些内容。人工神经网络是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

除了阅读课本上内容之外，我还在网上查找了相关神经网络的资料。其中，对一篇名为《基于径向基神经网络分类器的人脸识别技术》的文章印象较为深刻。

人脸识别技术是生物特征识别技术的一种。生物特征识别技术在今年来得到了广泛而深入的研究和应用。这种技术通过计算机与光、声、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特征（如指纹、脸相、虹膜等）和行为特征（如笔迹、声音、步态等）来进行个人身份的鉴定。

人脸匹配和识别就是在提取好的特征空间里对被识别对象进行特征匹配和分类，分为一对多和一对一两种匹配过程。一对多的匹配是确定输入人脸为人脸数据库的哪一个人，一般称为识别；一对一的匹配是验证输入图像的人的身份是否属实，一般称为验证。

人工神经网络应用在人脸识别领域中，可训练有较强噪声和部分缺损的图像，这种非线性方法有时比线性方法更有效，因此基于人工神经网络的分类器收到了人们广泛深入的研究和应用。最有影响力的人脸识别神经网络分类器有BP神经网络分类器与径向基函数网络分类器。BP神经网络是应用最广泛的一种人工神经网络，但是BP神经网络的收敛速度过慢，大大增加了计算量，也不能保证一定能达到全局最小。相对的，RBF网络具有学习过程收敛速度快、全局最佳逼近等BP网络所不具备的优点，因此引起越来越多的注意。

使用径向基函数设计多层前馈网络的方法首先由Broomhead和Lowe提出，导致了联系神经网络设计和数值分析的重要领域以及线性自适应滤波器的大量研究工作。1990年，Poggio和Girosi利用Tikhonov的正则化理论进一步丰富了RBF网络理论。近年来，RBF神经网络被广泛应用于函数逼近和模式识别问题。

通过本课程的学习，我们认识到神经网络技术在各个领域的广泛应用，作为一名计算机专业的学生，我们更应该掌握这门技术，并将其运用到今后的工作当中，用以提高智能控制系统的效率与质量。神经网络同常用的PID控制、模糊控制等经典算法一样，是一门实际应用价值很高的工程类技术实现手段。我们也应该学会对模型的建立、优化、训练，使人工神经网络技术更好的为我们服务。