前馈神经网络和反馈神经网络模型
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
前馈神经网络
前馈神经网络的结构一般包含输入层、输出层、及隐含层,隐含层可以是一层或多层。各神经元只接收前一层的输出作为自己的输入,并且将其输出给下一层,整个网络中没有反馈。每一个神经元都可以有任意多个输入,但只允许有一个输出。图1选择只含一个隐含层的前馈神经网络。其原理框图如图1所示。
图中,只有前向输出,各层神经元之间的连接用权值表示。设输入层有M 个输入信号,其中任一输入信号用i ()M i ,2,1 =表示;隐含层有N 个神经元,任一隐含层神经元用j ()N j ,2,1 =表示;输入层与隐含层间的连接权值为()n w ij ,
()N j M i ,2,1;,2,1 ==;隐含层与输出层的连接权值为()n w j 。假定隐含层神
经元的输入为()n u j ,输出为()n v j ;输出层神经元的输入为()n o ,网络总输出为
()n x ~。则此神经网络的状态方程可表示为:
()()()∑+-==M
i ij j i n y n w n u 11
()()[]
()()⎥⎦
⎤
⎢⎣⎡∑+-===M i ij j j i n y n w f n u f n v 11
()()()∑==N
j j j n v n w n o 1
()()[]()()⎥⎦
⎤⎢⎣⎡==∑=N j j j n v n w f n o f n x 1~ 图1 三层前馈神经网络结构图
输隐
输
(y n (1y n -(1y n M -+
式中,()⋅f 表示隐含层、输出层的输入和输出之间的传递函数,也称为激励函数。
定义代价函数为瞬时均方误差:
()()()()[]()()()2
12
2~⎪⎭
⎪
⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡-
=-==∑=N
j j j n v n w f n d n x n d n e n J 式中,()n d 为训练信号。
递归神经网络
对角递归神经网络
图2为典型的对角递归神经网络,它具有三层结构,分别为输入层,隐层和输出层,在隐层的权值叠加中,引入了输入的前一时刻的输出作为反馈控制信号。选用这种网络的优点是结构简单,易于实现,可以直观的体现反馈神经网络的结构模式和工作方式。
设输入层与隐层间的连接权值为()n w h
ij ()k j m i ,2,1;,,1,0==,隐层与输出层之间的权值为()n w o j ,递归层的权值为()n w d
j 。设输入层的输入为()i n y -,
隐层的输入为()n u j ,输出为()n I j ,输出层的输入为()n v ,输出层的输出为()n x ~
,则对角递归神经网络的状态方程为
输入
输
隐图2 对角递归神经网络的结构
()y n ()1y n -
()1y n m -+
()y n m -
()x n
mj
d
()()()()()10
-+-=∑=n I n w i n y n w n u j d j m
i h
ij
j ()()[]
n u f n I j j =
()()()n I n w n v j k
j o j ∑==1
()()[]n v f n x =~
定义代价函数为瞬时均方误差:
()()()()[]2
2~n x n d n e n J -==