状态反馈的人工神经网络的学习算法

状态反馈的人工神经网络的学习算法 摘要：递归神经网络的大多数研究和应用主要集中在单位反馈递归神经网络上面，这个系统的动态过程通常是由动态反馈所决定,所以很难控制它的动态过程,也因此它的应用收到了很大的限制。递归反馈系数隐含着神经网络的动态性能，不同的状态反馈系数意味着不同的动态性能，也因此，对于神经网络的状态反馈有着奇迹重要的理论意义和应用价值。对于这个缺点，我们提出了一种由状态反馈动态进化神经元的模型和由状态反馈神经元与学习算法组成的系统。对于这种神经网络，它的静态质量提供了神经网络的静态表征，而状态反馈系数则表明了神经网络的动态性能。不仅静态质量可以通过学习静态知识得到更正，动态反馈系数也可以在动态知识的学习中的到更正。它不仅可以学习静态知识，也可以学习动态知识。不仅可以记忆静态信息，也可以记忆动态信息。它成为了一个真正的具有动态特征的神经网络。在本文最后我们以定理的形式列举了此递归神经网络的静态质量和动态递归系数学习算法。

关键词：人工神经网络；学习算法；状态反馈 一、概述

人工神经网络理论主要研究人工神经网络的构造、学习算法和机遇生物神经系统工作原理的聚合。早期的神经网络结构是单一的，学习算法是简单的，表意也是清楚的。它已经被广泛深入的学习。早期的神经网络所确定的关系通常是输入与输出的静态关系，而实际上，所有控制对象的应用通常都是动态的。因此实际上静态神经网络模型无法描述系统的动态表征。能够描述动态表征的神经网络应该包含动态系数并且能够储存动态信息。为了实现这个功能，系统里通常会有延时反馈或者信息反馈，这种系统被称作递归神经系统或者状态反馈神经系统。递归神经系统已经成为一个广泛研究的课题。 递归神经系统演化过程的定量研究是一个重大的课题。近年来，许多学者应用非线性动态系统的递归神经网络建立数学模型。系统的输出仅仅由动态系统的条件和外部输入决定，递归神经网络本身将是一个非线性的动态系统，因此，学习它的状态演变是非常必要的。 递归系数意味着神经系统的动态表征，而不同的递归系数意味着不同的动态过程。它决定着动态神经系统的响应形式。然而，到目前为止在应用中，反馈递归神经系统通常以常系数1进行循环，也就是单位递归神经系统。如果用递归神经系统来达到动态系统过程，一个简单的方法就是转变动态途径变为景泰途径。研究表明，前馈神经系统的学习算法仍然被用于反馈递归神经系统的学习算法。进过训练，神经系统的输出被反馈单元反馈到输入端以实现迭代预测。这使得递归神经系统的应用变得十分的局限。因此，反馈递归神经系统及其性能变得具有十分重大的理论意义和应用价值。如何设计一个简单的结构而得到一个明确的神经网络的物理意义就变成了一项十分具有挑战性的工作。为此，我们设计了一种具有不同动态反馈系数的动态过程神经网络，以使得神经网络不仅能够学习静态知识，也能学习动态知识；不仅能够记忆静态信息，也能够记忆动态信息。这是一种真正的动态特性神经网络。

二、状态反馈动态神经模型

神经元模型直接与神经网络的性能有关。从不同方向输入的神经元递归输入信号经过了空间和时间的加权变成了神经元函数s()t 。最后通过非线性转换完成非线性变换。神经元模型在神经网络性能中扮演着重要的角色，它可以直接的显示神经系统的动态性能，因此，一个合理的神经元模型是必须的。图1所示为状态反馈的动态神经元模型。 根据神经元的时间和空间特性，它的函数可以表示为：

s()()()()(1)()n

i i t w t x t t s t b t λ=+--∑

（1）

此处，()i x t 是神经元的第i 次输入，()i w t 是第i 次输入加权，()t λ是状态反馈，此时神经元输出为：

()(())y t f s t = （2）

为了方便书写，神经元临界值()b t 可以被写成加权数0()w t ，输入0()x t 为常数-1，这样方程（1）可以被写成：

s()()()()(1)n

i i i t w t x t t s t λ==+-∑

（3）

由此可见，加权函数()i w t 表示着神经元的静态特性，我们可以叫它静态权重。状态反馈函数()t λ表示着神经元的动态表现，称作动态反馈系数。这个神经模型不仅能够显示神经元的静态记忆特性，也可以表示动态演变性能。这个模型称作状态反馈神经元模型。

三、状态反馈神经元模型

神经系统处理信息的能力不仅与神经元性能有关，还与神经系统的构造有关，后者直接决定着神经系统的性能。因此，神经系统的结构研究是十分必要的。状态反馈神经模型依照信息流动的方向与网络结合。为了方便计算，假设不同的层面上没有信息传递，这样，具有不同反馈系数的前反馈神经系统模型就可以建立起来，如图2所示。

假设状态反馈神经系统模型输入模式向量是12()((),(),...,())T n u t u t u t u t =，动态方程状态向量为12()((),(),...,())T

p s t s t s t s t =，反馈系数向量为12()((),(),...,())T

p t t t t λλλλ=，隐藏的输出模式向量为12()((),(),...,())

T

p x t x t x t x t =；输出模式向量为12()((),(),...,())T

m y t y t y t y t =；从输入到隐

藏的加

权矩

阵为

{()},1,2,...,,1,2,...,ji w t i n j p ==，从隐藏函数到输出的加权矩阵为{()},1,2,...,,1,2,...,kj w t j p k m ==，隐藏函数的神经元极值为{()},1,2,...,j b t j p =；输出

极值为{()},1,2,...,k b t k m =。

四、状态反馈神经系统的学习算法

人工神经网络处理信息的性能不仅与结构有关，还与神经元的加权参数，神经元的活跃方程等等有关。如果神经网络的机构相同而参量不同，也可以显示出不同的特性。通常来说，一旦神经网络的结构和活跃方程确定了，神经网络的性能就主要决定于神经元的关系参数。神经元参数可以从学习外部环境中得到，在应用中也是会产生变化的。这就需要对神经系统的学习算法进行研究了 A 、前转换过程