反馈神经网络原理

一、反馈神经网络原理

1.简述

反馈网络的特点是处理单元之间除前馈连接外还有反馈连接的情况。同前向神经网络相比有更强的计算能力，其最突出的优点是具有很强的联想记忆和优化计算功能。根据网络结构的特点,将它们分为两类:全反馈网络结构和部分反馈网络结构。

2.全反馈网络结构

全反馈网络的突出代表就是由美国加州理工学院的J.Hopfield教授在1982 年提出的Hopfield 网络，一种单层反馈神经网络。Hopfield网络也是一种循环的神经网络，从输出到输入有反馈连接。Hopfield网络可以作为联想储存器，又称为联想记忆网络。

Hopfield 网络分为离散型和连续型两种网络模型。

2.1.离散型Hopfield 网络

2.1.1.网络结构

DHNN的特点是任一神经元的输出xi均通过链接权wij反馈至所有神经元xj 作为输入，目的是为了让输出能够受到所有神经元的输出的控制，从而使得各个神经元的输出相互制约。每个神经元均设有一个阈值Tj，以反映对输入噪声的控制。DHNN可简记为N=（W,T）。

输出神经元的取值为0/1或-1/1。对于中间层，任意两个神经元间的连接权值为w ij, w ij=w ji,神经元的连接是对称的。如果w ii=0，则称为无自反馈的Hopfield 网络，反之则称为有自反馈的Hopfield 网络。利用阈值函数对计算结果二值化。

T时刻神经元的输入为：

b i（t）为第i个神经元的阈值。t + 1时刻的输出为

2.1.2.网络的稳定性与吸引子

（1）稳定性

反馈网络是一种能够存储若干预先设置的稳定点的网络，作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌状态等；

稳定性指的是经过有限次的递归后，状态不再发生改变；

有限环状态指的是限幅的自持震荡；

混沌状态指的是网络状态的轨迹在某个确定的范围内变迁，既不重复也不停止，状态变化无穷多个，轨迹也不发散到无穷远。

对于DHNN，由于网络状态是有限的，不可能出现混沌状态。

利用Hopfield网络可实现联想记忆功能：用网络的稳态表示一种记忆模式，初始状态朝着稳态收敛的过程便是网络寻找记忆模式的过程，初态可视为记忆模式的部分信息，网络演变可视为从部分信息回忆起全部信息的过程，从而实现联想记忆。

可实现优化求解问题：将带求解问的目标函数设置为网络能量函数，当能量函数趋于最小时，网络状态的输出就是问题的最优解。网络的初态视为问题的初始解，而网络从初始状态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变过程中自动完成的。

（2）吸引子

网络的稳定状态X就是网络的吸引子，用于存储记忆信息。网络的演变过程就是从部分信息寻找全部信息，即联想回忆过程。吸引子有以下的性质：

X=f(WX-T)，则X为网络的吸引子；

对于DHNN，若按异步方式调整，且权矩阵W为对称，则对于任意初态，网络都最终收敛到一个吸引子；

对于DHNN，若按同步方式调整，且权矩阵W为非负定对称，则对于任意初态，网络都最终收敛到一个吸引子；

X为网络吸引子，且阈值T=0，在sign(0)处，xj(t+1) = xj(t)，则-X也一定是该网络的吸引子；

吸引子的线性组合，也是吸引子；

能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域；

若使反馈网络具有联想能力，每个吸引子都应该具有一定的吸引域，只有这样，对于带有一定噪声或缺损的初始样本，网络才能经过动态演变而稳定到某一个吸引子状态，从而实现正确联想。反馈网络设计的目的就是要使网络能落到期望的稳定点上，并且还要具有尽可能大的吸引域，以增强联想功能。

（3）Lyapunov函数

引入Lyapunov函数作为能量函数：

（4）运行方式

A．异步工作方式

串行，网络每次只对一个神经元的状态进行调整计算，其他均不变。这样调整的顺序就有一定的影响了。可以随机选定或者按照固定的顺序。本次调整的结果会在下一个神经元的净输入中发挥作用。

公式推导：

对于异步方式，若存在一个调整次序，使网络可以从状态X演变为Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从X 演变为Xa，则称X强吸引到Xa。则对应弱吸引域和强吸引域。

B．同步工作方式

并行，所有神经元同时进行状态调整计算。

公式推导：

2.1.

3.设计离散型Hopfield 网络

Hopfield 网络实现联想记忆需要两个阶段记忆阶段和联系阶段。得到网络的权值有几种算法，分别是外积法、伪逆法、投影学习法和特征结构法。

外积法：

a用于调节比例，一般取a=N。在Hopfield 网络中公式改为：

伪逆法：

3.Elman神经网络

1990年J.L.Elman针对语音处理问题提出了Elman神经网络。与Hopfield 网络不同，它是一种典型的局部回归网络。

输入层数据反映了信号的空域信息，而连接层延迟则反映了信号的时域信息，这就是Elman神经网络可以用于时域和空域模式识别的原因。

4.盒中脑模型

盒中脑状态(Brain State in Box , 简称BSB) 模型是由J. Anderson发展起来的，由大脑结构引出的。它和简单的线性联想器有密切的关系。在BSB模型中，各单元的激活值被限制在一个最小值和一个最大值之间，典型的取值范围是[-1，1]区间。激活函数是一个作用在y i（n）上的分段函数：

二、引申问题

1.连续Hopfield 网络

书中没有详细讲，我们找了一篇国内的经典论文《浅析连续型 Hopfield 神经网络》。

连续型Hopfield网络由r 个如图1所示的神经元模型并联组成，每个神经元都与其他所有神经元相连，并联的电阻可以调整各神经元之间的连接强度，所有其他神经元的输出可以反馈到该神经元作为输入之一，同样，该神经元的输出也会作为所有其他神经元的输入，这样，所有神经元都随时间并行更新，网络状态随时间连续变化。

根据基尔霍夫电流定律：在集总电路中，任何时刻对任意结点，所有流出结点的支路电流的代数和恒等于零，建立如上图 ui 点处的电流平衡：