人工神经网络发展综述

人工神经网络发展综述

1 绪论

人工神经网络(Artificial Neural Network, ANN)是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。ANN 通过模仿人类大脑的结构和功能，并借鉴生物神经科学的研究成果，实现对信息的处理，是一种新兴的交叉学科，不但推动了智能化计算的应用和发展，同时也为信息科学和神经生物学的研究方法带来革命性的变化，现已成功应用于脑科学，认知科学，模式识别，智能控制，计算机科学等多个领域。

在实际应用中，人工神经网络的选取通常包括适当的神经网络模型，合理的网络结构及快速有效的网络参数训练算法。而针对某一特定网络模型，ANN的研究主要集中在结构的调整和训练算法的改进两个方面。所谓神经网络训练，也就是网络参数的学习和调整，是一个反复调节节点之间权值和阈值的过程,其学习可以分成三类,即有监督学习,无监督学习和强化学习，本文基于有监督和无监督学习进行分类，分别分析了前馈神经网络的特点及研究现状、递归神经网络的特点及研究现状。

2 前馈神经网络

2.1 前馈神经网络的特点

前馈神经网络的主要种类包括：感知器，线性神经网络，BP 网络，径向基网络(RBF)等。其训练算法主要采用梯度下降法，包括：误差反向传播算法，改进的BP算法，Levenberg -Marquardt 法(LM)等。前馈神经网络具有学习简单，收敛较快等优点，因此在实际应用中，一般选取三层或以上的网络结构，神经网络的任意逼近定理指出，训练合适的多层前馈神经网络能够以任意精度逼近任意连续函数。当网络结构已知的情况下，训练前馈神经网络的本质就是确定最优权值和阈值的方法，前馈神经网络的训练方式一般采用网络理想输出和实际输出的误差作为权值调整信号，解空间一般是多峰函数，由于训练过程中很容易陷入局部极小，因此网络的训练目标就是求解一组最优的权值，使误差达到最小。

传统的误差反向传播算法由于为网络的训练提供了简单而有效的实现途径，目前已成为研究和应用最广泛的有监督学习算法。但 BP 算法存在许多问题，例如在多层网络中收敛较慢且容易陷入局部极小，而且不能对多个网络进行同时训练。改进的 BP 算法有多种形式，主要有通过附加动量和学习率的引入改进 BP网络的自适应能力等方法，附加动量方法虽然在一定程度上改善了易陷入局部极小的问题，仍然存在收敛速度较慢的问题。调整学习率方法通过将学习率限制在一定范围内自动调整，虽然能够提高网络收敛速率，但对权值的改变和影响并不大，仍然导致误差较大问题。LM法具有训练时间段，收敛速度快的优点，但由于 LM 法需要计算误差的 Jacobian 矩阵，这是一个复杂的高维运算问题，需要占用大量系统存储空间,同时， LM也存在易陷入局部极小的问题。

2.2 前馈神经网络的研究现状

在传统的神经网络训练过程中，预估校正法或者经验选择是最常被使用的网络结构选取方式。在训练和优化网络权值和阈值过程中，训练算法

在上述分析中已知，存在着容易陷入局部最优并且难以跳出的缺点，因此误差函数要求必须是连续可求导的函数。因此，这些权值训练方法常和进化算法等全局搜索算法相结合。使用全局搜索算法的全局搜索能力帮助网络跳出局部极小。在编码时采用实数编码，克服二进制编码受到编码串长度和精度的限制。例如， Sexton 等人用一种改进的遗传算法优化前馈神经网路权值，结果表明改进的算法使网路训练精度得到显著提高。Abbass 通过将传统 BP 算法和差分进化算法相结合，提出了一种的新的权值训练方法并用于乳腺癌的预测实验，取得较好结果。Iionen 等人使用差分进化算法对前馈网络的权值进行训练和优化，将优化结果与其他几种基于梯度下降的网络训练方法比较，结果表明该方法具有较好的精度。更多研究成果表明，将 DE、PSO应用于网络权值在线训练和优化具有明显优势，这些改进方法也成功应用在了医学和工程技术等领域。

此外，多种优化算法相结合也被证明是有效的。例如，王刚提出了一种 DE 和 LM 相结合的神经网快速训练方法。 Liu 等人提出一种粒子群算法和共轭梯度算法相结合的混合算法，并将其应用于神经网络的权值优化。在优化过程中，首先确定网络结构，然后使用 PSO 的全局搜索能力获得最后权值组合，最后使用传统方法进行权值微调，取得较好结果。李祚泳采用相反方式将基本 PSO 和传统 BP 算法相结合使用，首先用 BP 算法对网络权值进行计算，然后使用 PSO 对网络结构固定的权值进行优化和改进。有学者提出一种具有控制参数自适应选择能力的差分进化算法，用于训练前馈网络，并将该方法用于奇偶分类实验中，将实验结果与几种其他方法进行比较得知，提出的方法具有更好的准确性。Epitropakis 等人在训练离散 Pi-Sigma 神经网络实验中，采用一种分布式离散差分进化算法和分布式离散 PSO算法相结合的方式。该离散网络仍然是一种多层前馈网络，在输出层，通过将神经元求积的方式获得输出，作者认为这种整数权值的离散方式更适合用于硬件实现。在离散化权值方面， Bao 等人的工作表明，通过采用一种可重建的动态差分进化算法，可以有效用于训练固定结构的网络权值。前馈神经网络的权值训练方法在近几十年一直是人工智能领域的研究热点之一。越来越多的工作表明，将多种优化方法相结合，通过对传统训练方法的取长补短，可以将前馈网络有效应用于多个领域的应用中。

3 递归神经网络

3.1 递归神经网络的特点

递归神经网络不同于前馈网络，是一种带有信息反馈功能，带有同力学时间特性的 ANN。递归神经网络模拟了人类大脑神经突触连接进行信号处理的方式，其中神经元之间的权值代表网络的记忆，能存储一部分数据信息，相当于模拟了人类大脑的内部短期记忆功能，常见的有 Hopfield 神经网络、玻尔兹曼机、细胞神经网络、双向联结记忆(BAM)神经网络和Cohen-Grossberg 神经网络等。通常情况下，递归神经网络可以在某一瞬态响应中实现对某一时间信号的存储，然后从存储的信息状态中重新构建上一瞬态的历史信息，实现对记忆的联想。可见递归网络的一个根本特征是具有短时记忆功能，因此很多递归网络的机构设计和训练算法研究都是围绕其记忆特性展开。递归神经网络的动态特性表现在，其内部的信号是存在反馈的，也就是说，网络在某一时刻的输出值不仅与当前状态有关，