神经网络及BP与RBF比较

机器学习第四章神经网络报告

一、神经网络概述

1.简介

人工神经网络是模仿脑细胞结构和功能、脑神经结构以及思维处理问题等脑功能的信息处系统，它从模仿人脑智能的角度出发，探寻新的信息表示、存储和处理方式，这种神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，它采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结有针对性化信息方面的缺陷，具有自适应、自组织和实时学习的特点，它通过预先提供的一批相互对应的输入和输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果。人工神经网络（ANN）学习对于训练数据中的错误健壮性很好，且已被成功地应用到很多领域，例如视觉场景分析、语音识别、机器人控制以及医学图像处理等。

人工神经网络

2.人工神经网络的特点及功能

2.1人工神经网络具有以下几个突出的优点：

（1）能充分逼近复杂的非线性关系。只有当神经元对所有输入信号的综合处理结果超过某一个限值后才能输出一个信号。

（2）所有定量或定性的信息都等势分布贮存于网络内的各神经元，每个神经元及其连线只能表示一部分信息，因此当有节点断裂时也不影响总体运行效果，具有很强的鲁棒性和容错能力。

（3）采用并行分布处理方法，使得快速进行大量运算成为可能。

（4）可学习和自适应不知道或不确定的系统。

2.2人工神经网络的特点和优越性，使其具有以下三个显著的功能：

（1）具有自学习功能：这种功能在图像识别和处理以及未来预测方面表现得尤为明显。自学习功能在未来预测方面也意义重大，随着人工神经网络的发展，未来它将在更多的领域，比如经济预测、市场预测、效益预测等等，发挥更好的作用。

（2）具有联想存储功能：人的大脑能够对一些相关的知识进行归类划分，进而具有联想的功能，当我们遇到一个人或者一件事情的时候，跟此人或者此事相关的一些信息会浮现在你的脑海，而人工神经网络则通过它的反馈网络，实现一些相关事物的联想。

（3）具有高速寻找优化解的功能：人工神经网络利用反馈型网络，通过发挥计算机快速和高效的计算能力，结合针对解决某一问题的算法，往往能快速找到针对某些复杂问题的优化解

此外，ANN还存在着很多问题：如训练时间长，需大量训练数据，不能保证最佳结果和完全可靠，容易陷入局部极小，不具备增量学习能力，联想存储网络容量小，所存储的信息相互干扰和退化，不适合高精度计算，没有很完善的学习方法，经验参数太多等。在实际应用中也存在着难以设计通用的神经网络芯片，大量的、动态的神经无互联实现困难等问题。因此，还需对ANN进行现深更进一步的研究。

二RBF神经网络介绍

径向基函数（RBF）神经网络是一种新颖有效的前馈式神经网络，它具有最佳逼近和全局最优的性能，同时训练方法快速易行，不存在局部最优问题，这些优点使得RBF网络在非线性时间序列预测中得到了广泛的应用。

1985年，Powell提出了多变量插值的径向基函数（Radial-Basis Function,RBF）方法。1988年，Broomhead和Lowe首先将RBF应用于神经网络设计，构成了径向基函数神经网络，对输入矢量进行一次变换，将低维的模式输入数据变换到高维空间内，通过对隐单无输出的加权求和得到输出，这就是RBF网络的基本思想。

RBF神经网络的结构原理

RBF函数网络从结构上看是一个3层前馈网络，包括一个输入层、一个输出层和一人隐含层。输入层节点的作用是将输入数据传递到隐含层节点。隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，下面是单输出的RBF网络的拓扑图：

通常采用高斯型函数：

u j=exp{−(x−C j)T(x−C j)

2δj2

}，(j=1,2,…,h)

其中x=(x1,x2,…,x m)是RBF网络的输入向量，u j是第j个隐含层神经元的输出，且u j∈[0,1]，C i是高斯函数的中心值，δj是高斯函数的方差，h是隐含层神经元数目。输出层节点的激活函数通常为简单的线性函数。

RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令人满意。例如，某些中心靠的太近，会产生近似线性相关，从而带来数值上的病变条件。通常使用的RBF有：高斯函、多二次函数、逆多二次函数、薄板样条函数等。普通RBF网络采用的是高斯函数。“基函数”采用的高斯基函数具备如下的优点：表示形式简单，即使对于多变量输入也不增加太多的复杂性；径向对称；光滑性好，任意阶导数均存在；由于该基函数表示简单且解析性好，因而便于进行理论分析。

最近邻聚类学习算法

按RBF中心选取方法的不同来分可将RBF网络的学习算法分为随机选取中心、自组织选取中心、有监督选取中心、正交最小二乘等方法。下面对最近邻聚类学习算法选取RBF 基函数中心进行介绍；该算法是一种在线自适应聚类学习算法，不需要事先确定隐单元的个数，完成聚类所得到RBF网络是最优的，并且此算法可以在线学习。

该算法具体过程如下：

（1）选择一个适当的高斯函数宽度r，定义一个矢量Λ(l)用于存放属于各类的输出矢量之各，定义一个计数器B(l)用于统计属于各类的样本个数，其中l为类别数。

（2）从第一个数据对（x1,y1）开始，在x1上建立一个聚类中心，令c1=x1，Λ(1)=y1，B(1)=1。这样建立的RBF网络，只有一个隐单元，该隐单元的中心为c1，该隐单元到输出层的权矢量为ω1=Λ(1)

B(1)

。

（3）考虑第2个样本数据对（x2,y2），求出x2到c1这个聚类中心的距离｜x2−c1｜。

如果｜x2−c1｜≤r，则c1为x2的最近邻聚类，且令Λ(1)=y1+y2，B(1)=2，ω1=Λ(1)

B(1)

；如果｜x2−c1｜>r，则将x2作为一个新聚类中心，并令c2=x2，Λ(2)=y2，B(2)=1。在上述

建立的RBF网络中再添加一个隐单元，该隐单元到输出层的权矢量为ω1=Λ(2)

B(2)

。

（4）假设我们考虑第k个样本数据对（x k,y k）时，k=3,4,…,N存在M个聚类中心，其中心点分别为c1,c2,…,c M，在上述建立的RBF网络中已有M隐单元。再分别求出到这M个聚类中心的距离｜x k−c i｜,i=1,2,…,M，设｜x k−c j｜为这些距离中最小距离，即c j为x k 的最近邻聚类，则：

如果｜x k−c i｜>r，则将x k作为一个新聚类中心，并令c M+1=x k，M=M+1，Λ(M)=y k，B(M)=1。且保持Λ(i)，B(i)的值不变，i=1,2,…,M-1。在上述建立的RBF网络中再添加第M个隐单元。

如查如果｜x k−c i｜≤r，作如下计算Λ(j)=Λ(j)+y k，B(j)=B(j)+1。当i≠j时，

i=1,2,…,M，且保持Λ(i)，B(i)的值不变。隐单元到输出层的权矢量为ωi=Λ(i)

B(i)

，i= 1,2,…,M。

（5）根据上述规则建立的RBF网络其输出应为

f(x k)=∑ωi exp⁡(−(

|x k−c i|)2

r2) M

i=1

∑exp⁡(−(

|x k−c i|)2

r2) M

i=1

半径r的大小决定了动态自适应RBF网络的复杂程度。r越小，所得到的聚类数目就越多，计算量也越大。但由于r是一个一维参数，通常可以通过实验和误差信息找到一个适当的r，这比同时确定隐单元的个数和一个合适的范数要方便的多。由于每一个输入-输出数据对都可能产生一个新的聚类。因此，这种动态自适应RBF网络，实际上同时在进行参数和结构两个过程的自适应调整。

三BP神经网络介绍

BP（Back Propagation）网络是1986年由Rumclhart和McCelland为首的科学家小组提出，