动态神经网络的模型

动态神经网络的模型李嘉刚（中国海洋大学信息科学与工程学院电子系，青岛264005）摘要：动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。

本文主要介绍动态神经网络的几种常见模型，比较不同模型之间的区别，在此基础上介绍一下动态神经网络的功能及应用。

关键词：动态神经网络，动态神经网络模型神经网络按是否含有延迟或反馈环节可以分为静态神经网络和动态神经网络，含有延迟或反馈环节的神经网络称为动态神经网络。

动态神经网络主要包括Hopfield型神经网络及细胞神经网络模型。

Hopfield型神经网络模型是由N个节点全部互相联结而构成的反馈型动态网络系统。

由于它可以实现联想记忆，并能进行优化问题的求解，因而受到人们的高度重视，并对神经网络理论的研究产生了重大的影响。

细胞神经网络系统与Hopfield神经网络系统结构上有很大的相似之处，不同之处在于Hopfield神经网络系统的神经元为全联结，而细胞神经网络系统不是全联结。

反映在模型的数学表述上就在于关联矩阵的特性不一样。

特性的不一样就决定了它们的应用范围不一样。

细胞神经网络系统主要在图象处理和汉字识别等方面有良好的应用前景，因此也受到了人们的广泛关注[1]。

一、动态神经网络模型根据网络结构特点,将它们分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。

1.1全反馈网络全反馈网络的突出代表就是Hopfield 网络,是由Hopfield在1982年提出的,如图1所示,是一种单层对称全反馈的结构。

Hopfield根据系统动力学和统计力学的原理,将“能量函数”的概念引入到对称Hopfield网络的研究中,给出了网络的稳定性判据。

可以证明,采用Hebb规则进行训练的Hopfield网络系统总是朝着能量减小的方向变化,最终进入稳定状态,即收敛于某个平衡点。

由于Hopfield网络的连接是全连接,因此当节点数目比较多时,网络的结构过于复杂,而网络结构中没有隐含层,使得网络的非线性性能较差,尤其是对于复杂的非线性动态过程系统,因此在一定程度上限制了它的应用[2]。

图1Hopfield网络结构图1.2部分反馈的神经网络全反馈的神经网络结构复杂,在实际应用的时候往往需要简化,同时保留动态的性能,比较典型的有Elman网络、Jordan网络、内回归网络、外回归网络等。

这样的网络结构常常是看作在多层前向网络的基础上加入各种反馈。

1.2.1Elman神经网络Elman神经网络是在三层前向网络的基础上将隐含节点输出反馈到输入端而得到的,如图2所示,包含虚线。

隐含节点的输出可以看作系统的状态(虚拟状态),因此这种反馈网络又叫做状态反馈网络。

Elman网络结构可由非线性离散时间系统的状态空间描述得出:Y(k+1)=f2(X(k+1))=f2(f1(X(k),U(k)))=f(X(k),U(k))由上式的,系统的k+1时刻的输出可以表示为第k时刻的系统状态和外界输入的函数。

值得注意的是,式中X为真实系统状态,而Elman网络中隐含节点输出没有具体的物理意义,但都起到记录过去的系统信息的作用。

隐含节点的数目或虚拟状态的数目可以凭借经验来确定,但这样的方式往往不可靠,而且费时;比较好的方法是采用剪枝法来确定虚拟状态的数目。

理论上,Elman网络可以对n阶系统建模,如果采用前向网络,则需要2n个输入节点,对于Elman网络输入节点只需要1个或者n+1个(这时反馈节点被看作是输入节点),因此Elman网络结构要简单得多。

Elman网络适用于一阶线性系统建模,对高阶系统有困难,大的学习速率导致振荡或者不稳定,学习速率小时又导致训练过程耗时大,又不能增加隐含层节点的数目太多。

基于此情况,提出了一种改进的Elman网络,即在反馈节点上加自反馈,系数为α,如图2中虚线所示。

α值在0-1之间,越接近1,则反馈中包含的过去的输出越多,因为系统的阶数与当前输出对过去时刻输入的依赖程度有关,自反馈的引入提高了Elman网络对高阶系统的建模能力。

Elman网络的训练可以采用传统的BP算法,也可以采用遗传算法(D.T.Pham,1999)[3]。

图2Elman网络结构图图3Jordan网络结构图1.2.2Jordan神经网络Jordan网络结构如图3所示,不包含虚线部分。

网络的输出反馈到输入层。

由非线性系统状态空间方程可以推出:X(k+1)=f-12(Y(k+1))Y(k+1)=f2(X(k+1))=f2(f1(X(k),U(k))=f2(f1(f-12(Y(k)),U(k))=f′(Y(k),U(k))从上式可知,系统k+1时刻的输出可以表示为k时刻的输出Y和输入U的函数的形式。

反映在网络结构上就是将网络的输出延迟一个时间步长后反馈到系统的输入端,从而得到Jordan网络结构。

Jordan网络也不能实现一般n阶系统的建模,因此,类似于修正的Elman网络,也将Jordan网络在状态层加自反馈进行修正,使得网络可以记住过去更多时刻状态的信息,网络的非线性性能大大提高。

D.T.Pham等结合这两种网络的特点,提出了一种混合网络结构,即网络中同时包含从输出层和隐含层来的反馈,此种网络理论上能对任意阶数线性动态系统和任意阶数的非线性系统建模。

1.2.3多层反馈RNN网络根据Elman网络及其局限性,文献中提出了适用于化工复杂系统建模的神经网络结构,如图4所示。

即在原Elman神经网络的基础上增加多层反馈子层,这样n个反馈子层可以保存n个时刻的隐含层节点的输出,各个反馈子层可进行短时记忆,与Elman网络比较,保存了更多的一些空间状态信息,更加接近实际模型,表现出更强的动态特性。

与改进的Elman网络相比,多层反馈子层与隐含层之间的连接权重可以在训练过程中不断的修正,更能真实地反映出过去时刻系统状态对当前时刻输出的贡献程度,而修正的Elman网络中的自反馈系数是不变的[4]。

图4多层反馈神经网络结构图5对角回归神经网络模型1.2.4对角回归神经网络对角回归神经网络根据对角回归元所在位置分为内回归对角神经网络(有的文献中也叫IRNN,即internal recurrent neural network)和外回归对角网络(ERNN,external recurrent neural network)。

前者是一种仅在网络隐含层有内部时延自反馈的神经网络结构,可以看作Elman网络的一种简化,结构简单,但也能实现动态映射。

隐含层中每一个均为激励函数为S型函数的回归元,如图5所示,其中,有阴影的神经元代表为对角回归元。

正因为对角回归元的存在使得网络具有很强的描述动态系统的能力。

方框中z-1表示延迟一个时间步长。

可以证明当网络采用梯度方法进行训练的时候,若学习速率满足一定的值,那么能保证在二次型指标函数下训练算法收敛。

外回归对角神经网络与对角回归神经网络结构类似,只是对角回归元在输出层。

根据两类网络的特点,提出的一种混合的对角回归神经网络(IERNN),具有更好的性能。

这一点类似于D.T.Pham提到的混合神经网络,而实际上这里的IERNN可以看作混合神经网络的简化形式。

1.3无反馈的神经网络结构1.3.1时延神经网络时延神经网络,即TDNN(time-delayed neural network)。

这种网络就是将实际系统的输入和输出的过去值当作网络的输入,下一个输出作为教师信号,结构如图6所示。

网络结构本身是静态的,但是通过时延输入,就把一个时域问题转变为空间领域的建模问题。

我们将离散时间系统状态空间表示通过变换而对此网络结构给出合理化的解释。

Y(k+1)=f2(X(k+1))=f2(f1(X(k),U(k)))=f′(X(k),U(k))=f″(X(k-1),U(k),U(k-1))=f(n-1)(X(k-n),U(k),…,U(k-n))如式上式所示,k+1时刻的输出可以表示为第k-n时刻系统状态和前n个时刻系统输入的函数,而当n足够大时,可以将X(k-n)项忽略,这样,k+1时刻的输出就表示为前n个时刻的输入变量的函数,即:Y(k+1)=f(U(k),U(k-1),…,U(k-n))(6)这种网络仍然是多层前向网络,优点就是利用现有的输入输出数据,算法成熟,网络模型收敛性好,缺点是输入变量多,容易受外界噪声的影响,对于高阶系统预测精度要差。

1.3.2DBPNN神经网络文献中提出一种DBPNN网络结构,在传统的多层前向网络的基础上加以改进,即利用输入时延,使得网络能够反应系统的动态特性,并通过引入集中节点,而使得网络的结构大为简化。

这样的网络结构已经成功地应用于炼油厂分馏装置质量参数预测建模中,与相应的静态BP网络所建立的模型比较,具有更高的预测精度。

网络结构如图7所示。

图6TDNN结构图图7DBPNN结构图二、动态神经网络的功能动态神经网络(DNN)具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种崭新的非线性模型引入复杂系统的建模中引起了许多学者广泛关注[2]。

动态神经网络现在广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。

2.1故障检测估计方法在故障检测中应用广泛，如发动机的故障检测。

用故障参数估计实现发动机故障检测,由于构建的发动机数学模型的不精确性，影响了检测性能。

静态反推神经网络可以实现系统的动态辨识过程,但反推神经网络的学习算法存在局部极小问题,在线学习收敛速度比较慢,不易满足工程上实时性要求。

动态神经网络直接用李雅诺夫方法推出神经网络的权值修改公式,得到稳定的学习规则,并且学习收敛到全局最优,因此可以考虑用动态神经网络来辨识发动机的动态响应过程,估计发动机传感器测量信号。

基于发动机测量信号与动态神经网络辨识信号得到的残差信号,然后将残差信号的的某一特定范数输入检测逻辑,得到发动机故障检测结果,实现动态神经网络的故障检测策略[3]。

2.2变形预报静态神经网络模型用于在线时间序列的预报时具有局限性,即网络的泛化能力有限,且模型不能不断地适应新增样本的变化。

如果每增加一个样本对神经网络重新训练,需要大量的计算时间。

由此产生了动态神经网络预报模型。

在获得新增样本数据之后,通过比较预报值与实际值之差的绝对值是否大于敏感因子a,决定模型是否需要修正。

使用在线动态修正方法降低了模型修正的计算时间,,实现了增加样本而矩阵阶数不增加,且避免了矩阵求逆运算,提高了计算效率。

该方法在计算时间和预报精度两个方面都具有一定优势,可应用于在线实时变形预报及相关领域[4]。

2.3模式信息处理和模式识别所谓模式，从广义上说，就是事物的某种特性类属，如：图像、文字、声纳信号、动植物种类形态等信息。