前馈神经网络和反馈神经网络模型

前馈神经网络

前馈神经网络的结构一般包含输入层、输出层、及隐含层，隐含层可以是一层或多层。各神经元只接收前一层的输出作为自己的输入，并且将其输出给下一层，整个网络中没有反馈。每一个神经元都可以有任意多个输入，但只允许有一个输出。图1选择只含一个隐含层的前馈神经网络。其原理框图如图1所示。

图中，只有前向输出，各层神经元之间的连接用权值表示。设输入层有M 个输入信号，其中任一输入信号用i ()M i ,2,1 =表示；隐含层有N 个神经元，任一隐含层神经元用j ()N j ,2,1 =表示；输入层与隐含层间的连接权值为()n w ij ，

()N j M i ,2,1;,2,1 ==；隐含层与输出层的连接权值为()n w j 。假定隐含层神

经元的输入为()n u j ，输出为()n v j ；输出层神经元的输入为()n o ，网络总输出为

()n x ~。则此神经网络的状态方程可表示为：

()()()∑+-==M

i ij j i n y n w n u 11

()()[]

()()⎥⎦

⎤

⎢⎣⎡∑+-===M i ij j j i n y n w f n u f n v 11

()()()∑==N

j j j n v n w n o 1

()()[]()()⎥⎦

⎤⎢⎣⎡==∑=N j j j n v n w f n o f n x 1~ 图1 三层前馈神经网络结构图

输隐

输

(y n (1y n -(1y n M -+

式中，()⋅f 表示隐含层、输出层的输入和输出之间的传递函数，也称为激励函数。

定义代价函数为瞬时均方误差：

()()()()[]()()()2

12

2~⎪⎭

⎪

⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-

=-==∑=N

j j j n v n w f n d n x n d n e n J 式中，()n d 为训练信号。

递归神经网络

对角递归神经网络

图2为典型的对角递归神经网络，它具有三层结构，分别为输入层，隐层和输出层，在隐层的权值叠加中，引入了输入的前一时刻的输出作为反馈控制信号。选用这种网络的优点是结构简单，易于实现，可以直观的体现反馈神经网络的结构模式和工作方式。

设输入层与隐层间的连接权值为()n w h

ij ()k j m i ,2,1;,,1,0==，隐层与输出层之间的权值为()n w o j ，递归层的权值为()n w d

j 。设输入层的输入为()i n y -，

隐层的输入为()n u j ，输出为()n I j ，输出层的输入为()n v ，输出层的输出为()n x ~

，则对角递归神经网络的状态方程为

输入

输

隐图2 对角递归神经网络的结构

()y n ()1y n -

()1y n m -+

()y n m -

()x n

mj

d

()()()()()10

-+-=∑=n I n w i n y n w n u j d j m

i h

ij

j ()()[]

n u f n I j j =

()()()n I n w n v j k

j o j ∑==1

()()[]n v f n x =~

定义代价函数为瞬时均方误差：

()()()()[]2

2~n x n d n e n J -==