递归神经网络

递归神经网络概述

一、引言

人工神经网络的发展历史己有60多年，是采用物理可实现的系统模仿人脑神经细胞的结构和功能，是在神经生理学和神经解剖学的基础上，利用电子技术、光学技术等模拟生物神经网络的结构和功能原理而发展起来的一门新兴的边缘交叉学科，（下面简称为神经网络，NeuralNetwork）。这些学科相互结合，相互渗透和相互推动。神经网络是当前科学理论研究的主要“热点”之一，它的发展对目前和未来的科学技术的发展将有重要的影响。神经网络的主要特征是：大规模的并行处理、分布式的信息存储、良好的自适应性、自组织性、以及很强的学习能力、联想能力和容错能力。神经网络在处理自然语言理解、图像识别、智能机器人控制等方面具有独到的优势。与冯•诺依曼计算机相比，神经网络更加接近人脑的信息处理模式。

自从20世纪80年代，Hopfield首次提出了利用能量函数的概念来研究一类具有固定权值的神经网络的稳定性并付诸电路实现以来，关于这类具有固定权值

神经网络稳定性的定性研究得到大量的关注。由于神经网络的各种应用取决于神经网络的稳定特性，所以，关于神经网络的各种稳定性的定性研究就具有重要的理论和实际意义。递归神经网络具有较强的优化计算能力，是目前神经计算应用最为广泛的一类神经网络模型。

根据不同的划分标准，神经网络可划分成不同的种类。按连接方式来分主要有两种：前向神经网络和反馈（递归）神经网络。前向网络主要是函数映射，可用于模式识别和函数逼近。递归神经网络因为有反馈的存在，所以它是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。由于神经网络的记亿信息都存储在连接权上，根据连接权的获取方式来划分，一般可分为有监督神经网络、无监督神经网络和固定权值神经网络。有监督学习是在网络训练往往要基于一定数量的训练样木。在学习和训练过程中，网络根据实际输出与期望输出的比较，进行连接权值和阂值的调节。通常称期望输出为教师信号，是评价学习的标准。最典型的有监督学习算法是BP（BackProPagation算法。对于无监督学习，无教师信号提供给网

络，网络能根据其特有的结构和学习规则，进行连接权值和闽值的调整，以表示外部输入的某种固有特征。

与有监督和无监督神经网络相比，固定权值神经网络不需要进行学习，权值是根据要解决的问题事先确定的。具有反馈的固定权值递归神经网络，如目前受到广泛研究的Hopfield网络、细胞神经网络、双向联想记忆网络和Cohe n-Grossberg 网络等，主要用在优化计算、联想记忆和模式识别等方面。

二、递归神经网络的分类

递归神经网络是一种具有固定的权值、外部的输入和内部的状态的神经网络，可将其看作以权值和外部输入为参数的，关于内部状态的行为动力学。

根据基本变量是神经元状态（神经元外部状态）或局部场状态（神经元内部状态），或者从外部状态和内部状态作为建模方法来分，递归神经网络分为：静态场神经网络模型和局部场神经网络模型。这两种模型在递归神经网络中代表两类基本的建模方法。局部场模型包括Hopfield型神经网络（即原始Hopfield神经网络及各种变形的Hopfield神经网络）和细胞神经网络模型等。静态场模型包括盒中脑状态模型和优化型神经网络模型。静态场模型广泛应用于求解线性变分不等式和线性补问题。根据处理信号的不同方式，可将神经网络分为连续型系统和离散型系统。

根据时滞的存在与否，可将神经网络分为无时滞系统和有时滞系统。根据神经网络在硬件实现中（产生的）时滞（或利用延迟元件产生的时滞）的不同，可将神经网络分为定常时滞和时变时滞系统、单时滞和多时滞系统、分布时滞和中立型时滞系统等。

总之，根据不同的划分标准，形成了大量的神经网络模型，这些模型都是从不同侧面来反映生物神经网络的功能和特性。

三、Hopfield神经网络动力行为介绍

Hopfield网络是人们最熟悉的全反馈网络，可以说它在人们的心目中就是递归神经网络的典型代表。实际上，Hopfield网络应当是最简单的全反馈网络，它只有一层网络，其激活函数为阈值函数，将k时刻的网络输出反馈到对应的网络输入端，并直接作为下一个时刻网络的输入，组成动态系统，所以网络具有相同的输入

和输出节点。Hopfield网络已经被广泛地被应用于联想记忆和优化计算中。

1982年，美国加州工学院生物物理学家Hopfield开创性地提出了一种新型的连续时间递归神经网络模型(原始的Hopfield模型)，可用如下常微分方程组来描述：

dx X* n

C i L T ij g j X j J*, i 1,..., n (1)

dt R i j 1

其中，电阻R，和电容C的并联模拟了生物神经输出的时间常数，跨导Tij则模拟神经元之间互连的突触特征，且如果i=j则Tij=0；运算放大器gj Xj模拟神经元的非线性特性，其为连续有界、可微、严格单调增的函数，X i为第j个神经元的输入，i，j=l，…，n。

Hopfleld网络在高强度连接下，依靠协同作用能自发产生计算行为。Hopfield 模型是典型的全互连网络，通过在网络中引入能量函数以构造动力学系统，并使网络的平衡态与能量函数的极小解相对应，从而将求解能量函数极小解的过程转化为网络向平衡态的演化过程。

Hopfield在网络中引入了能量函数的概念，证明了当连接权矩阵T T j nn为对称的情况下，网络在平衡点附近是稳定的，这在神经网络研究领域成为一个重要的里程碑。Hopfield神经网络用它作为联想记忆模型时，禾U用的就是它的非线性反馈动力学特性，并且以其强大功能和易于电路实现等特点，成功地应用到联

想记忆和优化领域

该网络模型用微分方程描述，则称为广义Hopfield模型：

dx. n

L c.x. a.j g j X j I ,i 1,..., n ⑵

dt j .

其中，C diag G，…,5 ,A a.j n n,g x g!为，…，g.人T,I n T。

虽然Hopfield网络在理论及应用上取得了许多的成果，然而随着人们对它的

研究的不断深入，发现Hopfield网络存在着一些不可克服的缺点。最主要的缺点

是它的全连接性导致在网络大规模的情况下，网络运算量大，而且硬件实现有困难。而且，Hopield网络对于每个神经元与其它神经元全连接的要求，与生物神经网络不符。现代神经生理学的研究结果表明：人脑是由大约101个神经元构成的神经系统，而每个神经元仅与约103 一104个其它神经元相互连接。这一结果表明，真实神经网络中神经元之间的连接是相当稀疏的。因此，全连接型的Hopfield网络显然与真实神经网络差异很大。

四、递归神经网络的优化计算和联想记忆

由于具有固定权值的递归神经网络模型易于硬件电路实现，进而易于用来实现优化计算、模式识别和联想记忆等，到目前为止，研究最多的是Hopfield神经网络、cohen-Grossber前申经网络和双向联想记忆模型（BAM神经网络）等。

所谓优化问题是求解满足一定条件下的目标函数的极小值问题。有关优化的传统算法很多，如梯度法、单纯形法等。由于在某些情况下，约束条件过于复杂，

加上变量维数较多等诸多原因，使得采用传统算法进行的优化工作耗时过多，有的甚至达不到预期的优化结果。由于采用了能量函数作为分析工具，比数值算法更易得到理论依据，递归神经网络在优化计算上己表现出巨大的潜力，因此近年来许多研究者都在努力开发用于最优化计算的人工神经网络模型。Hopfield网络是人们最熟悉的全反馈网络，可以说它在人们的心目中就是递归神经网络的典型代表。实际上，Hopfield网络应当是最简单的全反馈网络，它只有一层网络，其激活函数为阈值函数，将k时刻的网络输出反馈到对应的网络输入端，并直接作为下一个时刻网络的输入，组成动态系统，所以网络具有相同的输入和输出节点。Hopfield网络已经被广泛地被应用于联想记忆和优化计算中。

自从1982年Hopfield提出了具有联想和优化计算功能的神经网络以来，关于