第4章 Hopfield神经网络-2016

神经动力学
• 动力学系统是状态随时间变化的系统。令v1(t), v2(t), …, vN(t) 表示非线性动力学系统的状态变量，其中 t 是独立的连续时间变量，N 为系统状态变量的维数 。大型的非线性动力学系统的动力特性可用下面的 微分方程表示：
d vi (t ) Fi (vi (t )), dt
i 1,2, , N
• Fi () 函数是包含自变量的非线性函数。为了表述方 便可将这些状态变量表示为 一个N×1维的向量， 称为系统的状态向量. • 可用向量形式表示系统的状态方程：
d V (t ) F (V (t )) dt
• 如果满足： F (V ) 0 则称矢量 V 为系统的稳态或 平衡态。
• 反馈神经网络是一个反馈动力学系统，具有更强的计 算能力。1982年J. Hopfield提出的单层全互连含有对 称突触连接的反馈网络是最典型的反馈网络模型。 Hopfield 用能量函数的思想形成了一种新的计算方法 ，阐明了神经网络与动力学的关系，并用非线性动力 学的方法来研究这种神经网络的特性，建立了神经网 络稳定性判据，并指出信息存储在网络中神经元之间 的连接上，形成了所谓的离散Hopfield网络。
j
(t ) bi 0
n 1 Ei [vi (t 1) vi (t )][ wij v j bi ] 2 j 1 j i
所以
Ei 0
• 因为神经元 i 为网络中的任意神经元，而网络中的 所有神经元都按同一规则进行状态更新，所以网络 的能量变化量应小于等于零，即：
4.2.1 离散Hopfield网络模型
• 离散Hopfield网络是单层全互连的，其表 现形式如下。
i
w w ji ij
j
图4.1 Hopfield神经网络结构
• 神经元可取二值{0/1}或{-1/1}，其中的任意神经元i与j 间的突触权值为 Wij，神经元之间联接是对称的，即 Wij= Wji，神经元自身无联接,即Wii=0。虽然神经元自 身无联接，但每个神经元都同其它的神经元相连，即 每个神经元都将其输出通过突触权值传递给其它的神 经元，同时每个神经元又都接收其它神经元传来的信 息，这样对于每个神经元来说，其输出信号经过其它 神经元后又有可能反馈给自己，所以 Hopfield 网络是 一种反馈神经网络。
• 其中的激励函数f (· )可取阶跃函数u(t)或符号函数 Sgn(t)。如取符号函数，则Hopfield网络的神经元 的输出vi(t+1)取离散值1或-1，即：
•
1 vi (t 1) 1
if wij v j (t ) bi 0
j 1 j i n
2016/10/24 2
概述
• 对于所介绍的前向网络， • 从学习的观点来看，它是一个强有力的学习系统， 系统结构简单、易于编程； • 从系统的观点来看，它是一个静态非线性映射，通 过简单非线性处理单元的复合映射可获得复杂系统 的非线性处理能力； • 从计算的观点来看，它并不是一强有力系统，缺乏 丰富的动力学行为。
j i j i
n 1 [vi (t 1) vi (t )][ wij v j bi ] 2 j 1 j i
因为 1 vi (t 1) 1
if wij v j (t ) bi 0
j 1 j i n
n
w v
j 1 j i ij
vi (t 1) f (ui (t ))
• 第五步：判断网络是否达到稳定状态，若达到稳 定状态或满足给定条件，则结束；否则转到第二 步继续运行。 • 这里网络的稳定状态定义为：若网络从某一时刻 以后，状态不再发生变化，则称网络处于稳定状 态。 v(t t ) v(t ) t 0 •
E (t )
局部极 小值
极小值
局部极小值
图5-2 能量函数局部极小值图示 t
4.3 连续Hopfield神经网络
• 4.3.1连续Hopfield网络模型 • 4.3.2连续Hopfield网络分析
4.3.1 连续Hopfield网络模型
• 1984年Hopfield采用模拟电子线路实现了Hopfield 网络，该网络中神经元的激励函数为连续函数，所 以该网络也被称为连续Hopfield网络。在连续 Hopfield网络中，网络的输入、输出均为模拟量， 各神经元采用并行（同步）工作方式。利用这一特 征Hopfield将该网络应用于优化问题的求解上，并 成功地解决了TSP问题。
第4章Hopfield神经网络与联想记忆
• • • • • • • 4.0 概述 4.1 神经动力学 4.2 离散Hopfield神经网络 4.3 连续Hopfield神经网络 4.4 联想记忆 4.5 最优化计算 4.6 仿真实例
概述
Hopfield网络是神经网络发展历史上的一个重要的 里程碑。由美国加州理工学院物理学家J.J.Hopfield教 授于1982年提出，是一种单层反馈神经网络。 Hopfield网络是一种由非线性元件构成的反馈系统，其 稳定状态的分析比前向神经网络要复杂得多。 1984 年， Hello,I’m John Hopfield设计并研制了网络模型的电路，并成功地解决 Hopfield 了旅行商(TSP)计算难题(优化问题)。 Hopfield网络分为离散型和连续型两种网络模型， 分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。
• 1984年，Hopfield设计与研制了Hopfield网络模型的 电路，指出神经元可以用运算放大器来实现，所有 神经元的连接可用电子线路来模拟，称之为连续 Hopfield网络。
• 连续Hopfield网络成功的解决了旅行商（Traveling Salesman Problem，TSP）计算难题（优化问题）。 • Hopfield网络是神经网络发展历史上的一个重要的里 程碑。
• 这些定理要求Lyapunov函数E(V)是有界正函数，这 样的函数定义如下：函数E(V)在状态空间 中是有 界正函数，则对所有的 V 满足下列条件： （1）函数E(V)关于状态向量V中的每个元素是 连续偏 导的； （2） E (V ) 0 （3） E (V ) 0 if V V 。
• N维向量所处的空间称为状态空间， 状态空间通常 指的是欧氏空间，当然也可以是其子空间，或是类 似圆、球、圆环和其他可微形式的非欧氏空间。
• 如果一个非线性动力系统的向量函数 F(V(t)) 隐含地 依赖于时间t，则此系统称为自治系统，否则不是自 治的。
稳定性和收敛性的定义:
• 定义1 平衡态 V 在满足下列条件时是一致稳定的 ，对任意的正数 ，存在正数 , 当 || V (0) V || 。 时，对所有的 t 0 均有：
• 下面以串行（异步）工作方式说明Hopfied网络的 运行步骤： • 第一步：对网络进行初始化； • 第二步：从网络中随机选取一个神经元i； n • 第三步：求出该神经元i的输入 ui (t ) wij v j (t ) bi
j 1 j i
• 第四步：求出该神经元 i 的输出，此时网络中的其 它神经元的输出保持不变；
• Hopfield网络的“能量函数”Baidu Nhomakorabea定义为：
n 1 n n E wij vi v j bi vi 2 i 1 j 1 i 1 i j j i
• Hopfield反馈网络是一个非线性动力学系统 ， Hopfield网络按动力学方式运行，即按“能量函数 ”减小的方向进行演化，直到达到稳定状态。因而 上式所定义的“能量函数”值应单调减小。
• 为说明这一问题，可考虑网络中的任意神经元i，其 能量函数为：
1 n Ei wijvi v j bi vi 2 j 1
j i
• 从t时刻至t+1时刻的能量变化量为：
Ei Ei (t 1) Ei (t ) 1 n 1 n wij vi (t 1)v j bi vi (t 1) wij vi (t )v j bi vi (t ) 2 j 1 2 j 1
E 0 E (t 1) E (t )
• 所以在满足参数条件下， Hopfield 网络状态是向着 能量函数减小的方向演化。由于能量函数有界，所 以系统必然会趋于稳定状态，该稳定状态即为 Hopfield网络的输出。
• 能量函数的变化曲线如图5-2所示，曲线含有全局最 小点和局部最小点。将这些极值点作为记忆状态， 可将 Hopfield 网络用于联想记忆；将能量函数作为 代价函数，全局最小点看成最优解，则 Hopfield 网 络可用于最优化计算。
n
w v (t ) b 0
j 1 j i ij j i
4.2.2 离散Hopfield网络运行规则
• Hopfield网络按动力学方式运行，其工作过程为状 态的演化过程，即从初始状态按“能量” 减小的 方向进行演化，直到达到稳定状态，稳定状态即 为网络的输出。 • Hopfield网络的工作方式主要有两种形式： （ 1 ）串行（异步）工作方式：在任一时刻 t，只有 某一神经元 i（随机的或确定的选择）依上式变化 ，而其他神经元的状态不变。 （ 2 ）并行（同步）工作方式：在任一时刻 t，部分 神经元或全部神经元的状态同时改变。
稳定性和渐进稳定性定理
• Lyapunov定理： • 定理 1 若在平衡态 V 的小邻域内存在有界正函数 E(V)，该函数对时间的导数在区域中是有界非正函 数，则 V 是稳定的。 • 定理2 若在平衡态 V 的小邻域内存在有界正函数 E(V) ，该函数对时间的导数在区域中是有界负函数 ，则 V 是渐进稳定的。 • 满足上述条件的标量函数E(V)称为平衡态的 Lyapunov函数。性和渐进稳定性，其定理如下：

|| V (t ) V || • • 定义2 若平衡态 V 是收敛的，存在正数 ， 满足 || V (0) V || ，则当 t 时 。
V (t) V
。、、、
定义
• 定义3 若平衡态 V 是稳定的、收敛的，则该平衡 态被称为渐进稳定。 • 定义4 若平衡态 V 是稳定的，且当时间 t 趋向于 无穷大时，所有的系统轨线均收敛于 V ，则此平 衡态是渐进稳定的或全局渐进稳定的。
4.1 神经动力学
• 1989 年 Hirsch 把神经网络看成是一种非线性动力学 系统，称为神经动力学（Neurodynamics）。 • 确定性神经动力学将神经网络作为确定性行为，在 数学上用非线性微分方程的集合来描述系统的行为 ，方程解为确定的解。 • 统计性神经动力学将神经网络看成被噪声所扰动， 在数学上采用随机性的非线性微分方程来描述系统 的行为，方程的解用概率表示。
• Hopfield网络存在稳定状态，则要求Hopfield网络模 型满足如下条件： • 网络为对称连接，即wij= wji； • 神经元自身无联接即wii=0。 • 在满足以上参数条件下，Hopfield网络“能量函数 ” （Lyapunov函数）的“能量”在网络运行过程 中应不断地降低，最后达到稳定的平衡状态。
• Hopfield 网络中有个 n 神经元，其中任意神 经元i的输入用 ui表示，输出用vi表示，它们 都是时间的函数，其中 vi(t) 也称为神经元 i n 在 t 时刻的状态。 ui (t ) wij v j (t ) bi • •
j 1 j i
相应神经元i的输出或状态为：
vi (t 1) f (ui (t ))
• 若E(V)是Lyapunov函数，(定理1)如果
d E (V ) 0 dt
V V
• 则平衡态 V 是稳定的. d • (定理2)如果 E (V ) 0 dt
• 则平衡态
V V
V 是渐进稳定的。
4.2 离散Hopfield神经网络
• 4.2.1 离散Hopfield网络模型 • 4.2.2 离散Hopfield网络运行规则