人工神经网络概述及其在分类中的应用举例

人工神经网络概述及其在分类中的应用举例

秦兴德（周末班）学号：08200203

人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。

神经网络在2个方面与人脑相似：

(1) 人工神经网络获取的知识是从外界环境中学习得来的。

(2) 互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。

一人工神经网络的基本特征

1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。

2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一种具有高度非线性的超大规模连续时间动力学系统。

3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。

4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。

5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。

6、软件硬件的实现：人工神经网络不仅能够通过软件而且可借助软件实现并行处理。近年来，一些超大规模集成电路的硬件实现已经问世，而且可从市场上购到，这使得神经网络具有快速和大规模处理能力的实现网络。许多软件都有提供了人工神经网络的工具箱（或软件包）如Matlab、Scilab、R、SAS等。

二人工神经网络的基本数学模型

神经元是神经网络操作的基本信息处理单位（图1）。神经元模型的三要素为： (1) 突触或联接，一般用

，表尔神经元和神经元之间的联接强度，常称之为权值。

(2) 反映生物神经元时空整合功能的输入信号累加器。

图1 一个人工神经元（感知器）和一个生物神经元示意图

(3) 一个激活函数用于限制神经元输出（图2），可以是阶梯函数、线性或者是指数形式的函数（Sigmoid 函数）等。

图3是神经元的基本模型，图4是多层人工神经网络模型的示意图，其中12,,

,n x x x 为输入

信号，对应于生物神经元的树突输入，其他神经元的轴突输出；i u 为神经元的内部状态；i θ为阀值；ij w 为神经元i 和神经元j 的连接权值，其正负分别表示兴奋和抑制；()f •为激活函数，也称变换函数或传递函数；i y 为输出。这个模型可以描述为：

1

1

()()n i ij j i

j i i i i s w x u g s y f u i

θ-==-==∑

图3 神经元的基本模型

图4 多层人工神经网络示意图

三 几种典型的人工神经网络模型

1、 反向传播（BP ）神经网络

BP 网络是一种有监督的前馈运行的人工神经网络! 它由输入层/隐含层/输出层以及各层之间的节点的连接权所组成，这个学习过程的算法由信息的正向传播和误差的反向传播构

成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层,每一层神经元只影响下一层神经元的输出。如果不能在输出层得到期望的输出，则转入反向传播, 运用链数求导法则将连接权关于误差函数的导数沿原来的连接通路返回, 通过修改各层的权值使得误差函数减小。 2、 Hopfield 神经网络

基本的Hopfield 神经网络是一个由非线性元件构成的全连接型单层反馈系统。网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。所以Hopfield 神经网络是一个反馈型的网络。其状态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络达到稳定状态的时 候，也就是它的能量函数达到最小的时候。能量函数表征网络状态的变化趋势，并可以依据Hopfield 工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield 神经网络就能够用于解决优化组合问题。

Hopfield 工作时其各个神经元的连接权值是固定的，更新的只是神经元的输出状态。Hopfield 神经网络的运行规则为：首先从网络中随机选取一个神经元i u 进行加权求和，计算i u 的第1t 时刻的输出值。除i u 以外的所有神经元的输出值保持不变，返回至第一步计算，直至网络进入稳定状态。

Hopfield 神经网络的能量函数是朝着梯度减小的方向变化，但它仍然存在一个问题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点而到达全局最小点，因而无法求得网络最优解，这可以通过模拟退火算法或遗传算法得以解决。 3、 随机型的神经网络

为求解全局最优解提供了有效的算法。模拟退火算法(Simulated Annealing)的思想最早是由Metropolis 等人于1953年提出的。但把它用于组合优化和VLSI 设计却是在1983年由S ．Kirkpatrick 等人和V ．Cemy 分别提出的。模拟退火算法将组合优化问题与统计力学中的热平衡问题类比，开辟了求解组合优化问题的新途径。Boltzmann 机(Bohzmann Ma ．chine)模型采用模拟退火算法，使网络能够摆脱能量局部极小的束缚，最终达到期望的能量全局最小状态。但是这需要以花费较长时间的代价来得到。为了改善Boltzmann 机求解速度慢的不足，最后出来的Gaussion 机模型不但具备HNN 模型的快速收敛特性，而且具有Bohzmann 的“爬山”能力。Gussion 机模型采用模拟退火算法和锐化技术，使之能够有效地求解优化及满足约束问题。

4、 自组织神经网络

神经网络在 接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓 扑意义上的有序图。这种有序图也称之为特征图，它实际上时一种非线性映射关 系，它将信号空间中各模式的拓扑关系几乎不变地反映在这张图上，即各神经元 的输出响应上。由于这种映射是通过无监督的自适应过程完成的，所以也称它为 自组织神经网络。

自组织神经网络是以神经元自行组织以校正各种具体模式的概念为基础的，能够形成簇与簇之间的连续映射，起到矢量量化器的作用。在这种网络中，输出节点与其邻域其它节点广泛相连，并相互激励。输入节 点和输出节点之间通过强度()ij w t 相连接。通过某种规则，不断地调整()ij w t ， 使得在稳定时，每一邻域的所有节点对某种输入具有类似的输出，并