神经网络模型

神经网络模型

一、神经网络模型简介

1.1 概述

人工神经网络(Artificial Neural Network, ANN)，亦称为神经网络(Neural Network, NN)，是由大量处理单元(神经元, Neurons)广泛互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是根植于神经科学、数学、统计学、物理学、计算机科学等学科的一种技术。其应用领域包括:建模、时间序列分析、预测、模式识别和控制等，并在不断的拓展。

图1 人工神经元示意图

人类大脑皮层中大约包含100亿个神经元，60万亿个神经突触以及它们的连接体。神经元之间通过相互连接形成错综复杂而又灵活多变的神经网络系统。其中，神经元是这个系统中最基本的单元，它主要由细胞体、树突、轴突和突触组成，它的工作原理如图1所示。人工神经元是近似模拟生物神经元的数学模型，是人工神经网络的基本处理单元，同时也是一个多输入单输出的非线性元件(见下图2所示)。每一连接都有突触连接强度，用一个连接权值来表示，即将产生的信号通过连接强度放大，人工神经元接收到与其相连的所有神经元的输出的加权累积，加权总和与神经元的网值相比较，若它大于网值，人工神经元被激活。当它被激活时，信号被传送到与其相连的更高一级神经元。

图2 人工神经元模型示意图

1.2 神经网络的特点

(1)具有高速信息处理的能力

人工神经网络是由大量的神经元广泛互连而成的系统，并行处理能力很强，因此具有高速信息处理的能力。

(2)知识存储容量大

在人工神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。

(3)具有很强的不确定性信息

处理能力由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的对不确定性信息的处理能力。即使输入信息不完全、不准确或模糊不清，人工神经网络仍然能够联想思维存在于记忆中的事物的完整图像。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。

(4)具有很强的健壮性

正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如:专家系统等，具有另一个显著的优点:健壮性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意外事故受轻微损伤之后，并不会失去原有事物的全部记

忆。神经网络也有类似的情况。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。

(5)一种具有高度非线性的系统

人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当人工神经元对所有的输入信号的综合处理结果超过某一阀值后才输出一个信号。因此人工神经网络是一种具有高度非线性的系统。它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃。

二、神经网络的数学模型

目前，已发展了几十种神经网络模型，主要类型有：连接型神经网络模型，如Hopficld模型、Feldmann模型等；玻尔兹曼机模型，如Hinton模型等；多层感知器模型如Rumelhart模型等；自组织网络模型如Kohonen模型等；径向基函数模型等。这些模型大多数处于理论阶段，开发并投入实际计算使用的模型屈指可数。下面主要介绍数据挖掘工具SAS、SPSS和Clementine支持的最重要的两类模型：基于BP算法的多层感知机神经网络模型和径向基函数神经网络模型。

2.1 基于BP算法的多层感知器(MLP)神经网络模型

在众多神经网络模型中，前馈型神经网络是人工神经网络中应用最为广泛的一种网络类型，而这其中应用最广泛的是多层感知器(Multilayer Perceptron, MLP)神经网络。多层感知机神经网络的研究始于20 世纪50 年代，但一直进展不大。直到1985 年，Rumelhart 等提出了误差反向传递学习算法(Error Back Propagation, BP算法)，实现了Minsky的多层网络设想。

BP算法有输入层节点、输出层节点，还可有一个或多个隐含层节点。对于输入信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出节点，最后给出输出结果。

图3基于BP算法的多层感知器神经网络模型

BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。

节点作用的激励函数通常选取S型(Sigmoid)函数，如

式中Q为调整激励函数形式的Sigmoid参数。

图4 S型(Sigmoid)函数曲线

设含有n 个节点的任意网络，各节点之特性为Sigmoid型参数。为简便起见，指定网络只有一个输出y，任一节点i的输出为O i，并设有N个样本

(x k,y k)(k=1,2,3,…,N)，对某一输入X k，网络输出为y k节点i的输出为O ik，节点j的输入为:

并将误差函数定义为：

其中ŷk为网络实际输出，定义E k=(y k-ŷk)2，

如果有M层，而第M 层仅含输出节点，第1 层为输入节点，则BP算法为：

第 1 步，选取初始权值W；

第 2 步，重复以下循环过程直至收敛：

a. 对于k=1到N

a) 计算O ik，net jk和ŷk的值(正向过程)；

b) 对各层从M到2反向计算(反向过程)；

b. 对同一节点j∈M，由上面两个公式计算δjk；

第 3 步，修正权值：

从上述BP算法可以看出，BP模型把一组样本的I/O问题变为一个非线性优化问题，它使用的是优化中最普通的梯度下降法，也可以使用其它方法。如果把神经网络看成输入到输出的映射，则这个映射是一个高度非线性映射。

设计一个神经网络专家系统重点在于模型的构成和学习算法的选择。一般来说，结构是根据所研究领域及要解决的问题确定的。通过对所研究问题的大量历史资料数据的分析及目前的神经网络理论发展水平，建立合适的模型，并针对所选的模型采用相应的学习算法，在网络学习过程中，不断地调整网络参数，直到输出结果满足要求。

2.2 径向基函数(RBF)神经网络模型

前馈型神经网络是人工神经网络中应用最为广泛的一种网络类型，目前，基于BP算法的多层感知器神经网络在各个领域中得到较多的应用，但是BP 神经网络学习过程的收敛与初值密切有关，并且学习过程还可能出现局部收敛，这是实际应用中难点。

径向基函数(Radial Basis Function, RBF)神经网络为一种性能良好的前馈型人工神经网络，它是基于人脑的神经元细胞对外界反应的局部性而提出的，是一种新颖有效的前馈式神经网络，具有较高的运算速度。特别是它的较强的非线性映射能力，能以任意精度全局逼近一个非线性函数，使其在很多领域得到了广泛应用。