几种神经网络模型及其应用

几种神经网络模型及其应用

摘要：本文介绍了径向基网络，支撑矢量机，小波神经网络，反馈神经网络这几种神经网络结构的基本概念与特点，并对它们在科研方面的具体应用做了一些介绍。

关键词：神经网络径向基网络支撑矢量机小波神经网络反馈神经网络Several neural network models and their application

Abstract: This paper introduced the RBF networks, support vector machines, wavelet neural networks, feedback neural networks with their concepts and features, as well as their applications in scientific research field.

Key words: neural networks RBF networks support vector machines wavelet neural networks feedback neural networks

2

引言

随着对神经网络理论的不断深入研究，其应用目前已经渗透到各个领域。并在智能控制，模式识别，计算机视觉，自适应滤波和信号处理，非线性优化，语音识别，传感技术与机器人，生物医学工程等方面取得了令人吃惊的成绩。本文介绍几种典型的神经网络，径向基神经网络，支撑矢量机，小波神经网络和反馈神经网络的概念及它们在科研中的一些具体应用。

1. 径向基网络

1.1 径向基网络的概念

径向基的理论最早由Hardy，Harder和Desmarais 等人提出。径向基函数（Radial Basis Function，RBF）神经网络，它的输出与连接权之间呈线性关系，因此可采用保证全局收敛的线性优化算法。径向基神经网络（RBFNN）是 3 层单元的神经网络，它是一种静态的神经网络，与函数逼近理论相吻合并且具有唯一的最佳逼近点。由于其结构简单且神经元的敏感区较小，因此可以广泛地应用于非线性函数的局部逼近中。主要影响其网络性能的参数有3 个：输出层权值向量，隐层神经元的中心以及隐层神经元的宽度(方差)。一般径向基网络的学习总是从网络的权值入手，然后逐步调整网络的其它参数，由于权值与神经元中心及宽度有着直接关系，一旦权值确定，其它两个参数的调整就相对困难。

其一般结构如下：

如图 1 所示，该网络由三层构成,各层含义如下：

第一层：输入层：输入层神经元只起连接作用。

第二层：隐含层：隐含层神经元的变换函数为高斯核.

第三层：输出层：它对输入模式的作用做出响应.

图 1. 径向基神经网络拓扑结构

其数学模型通常如下：

设网络的输入为x = ( x1 , x2 , ?, xH ) T，输入层神经元至隐含层第j 个神经元的中心矢

为vj = ( v1 j , v2 j , ?, vIj ) T (1 ≤j ≤H)，隐含层第j 个神经元对应输入x的状态为：zj

=

φ= ‖x - vj ‖= exp Σx1 - vij ) 2 / (2σ2j ) ，其中σ(1≤j ≤H)为隐含层第j个神

经元的

控制参数。隐含层神经元至输出层第k 个神经元的连接系数矢量为wK = (w1K ，w2K ，?，

wHK (1 ≤k ≤p)，输出为：Y i =ΣHj = 0wij Zj ，其中wi0 为节点i 的阈值。

事实上，RBF神经网络可看作从特征子空间到类的映射，每类对应于网络一个输出结点

3

的响应。一般来说，输入层的结点数与输入特征矢量的维数相等，输出层的结点数就是待分类模式类别数。

径向基函数φ()r 一般分为两类：局部的和整体的。如果limφ(r)为零，则称之为局部

r→∞

径向基函数，否则称之为整体径向基函数。局部径向基函数旨在输入数据所在区域的中心插值，而整体径向基函数可以全局插值。最常用的RBF 神经网络的隐含层非线性函数是高斯函

数，其详细表达式描如下：

2

? ||PC- || ?

i

RPi ()=-exp? 2 ?

σ

? i ?

其中Ri (P)是隐含层第i个结点的输出，P是输入模式，Ci 是隐含层第i个结点基函数

2

的中心。σ是第i个隐含结点的归一化参数，它决定该中心对应的基函数的作用范围，σi i

又称之为RBF 隐含结点的宽度系数。隐含结点输出在0 和1之间，输入与中心的距离越近，

隐含结点的响应就越大。显然该高斯函数是径向对称的，即对于与基函数中心径向距离相同的输入，隐含结点都产生相同的输出。

1.2 径向基神经网络的应用：

通常情况下，根据科研项目具体情况的需要，通过对径向基神经网络加以改动或调整，就可以应用在各个领域中，举实例如下：

目标识别是模式识别领域的一项重要研究内容，在这一领域，它能将来自某一目标的多源信息加以智能化合成，产生比单一信源更精确、更完全的估计和判别。用经典的贝叶斯统计方法或智能系统能够解决目标识别和分类问题。但当情况较为复杂，用统计方法不易解决的时候，神经网络可以成功的解决这一类问题。由于人工神经网络具有并行处理、鲁棒性和自组织等特点而被广泛应用。人工神经网络对于解决信息融合目标识别和分类问题具有较大的潜力。BP 神经网络模型被广泛的应用于模式匹配、模式分类、模式识别与模式分析等方面。但BP 网络模型算法收敛速度很慢，且目标函数存在局部极小点，因此BP 网络的效率

不高.而径向基（RBF）神经网络模型在一定程度上克服了这些缺点，其特点是将非监督学习与监督学习有效结合起来,从而得到很好的识别效果。

改进的RBF网络模型的混合学习算法其步骤为:

(1) 给定初始权矩阵wI ×H，训练样本逆相关矩阵初始值和误差迭代终止值εmin；