第5章 Hopfield神经网络与联想记忆

1 vi (t 1) 1
if wij v j (t ) bi 0
j 1 j i n
n
w v (t ) b 0
j 1 j i ij j i
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

神经元可取二值{0/1}或{-1/1}，其中的任意神经元i与j 间的突触权值为 Wij，神经元之间联接是对称的，即 Wij= Wji，神经元自身无联接,即Wii=0。虽然神经元自 身无联接，但每个神经元都同其它的神经元相连，即 每个神经元都将其输出通过突触权值传递给其它的神 经元，同时每个神经元又都接收其它神经元传来的信 息，这样对于每个神经元来说，其输出信号经过其它 神经元后又有可能反馈给自己，所以 Hopfield 网络是 一种反馈神经网络。
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

1984年，Hopfield设计与研制了Hopfield网络模型的 电路，指出神经元可以用运算放大器来实现，所有 神经元的连接可用电子线路来模拟，称之为连续 Hopfield网络。
Fi () 函数是包含自变量的非线性函数。为了表述方
d V (t ) F (V (t )) dt

如果满足： F (V ) 0 则称矢量 V 为系统的稳态或 平衡态。
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

反馈神经网络是一个反馈动力学系统，具有更强的计 算能力。1982年J. Hopfield提出的单层全互连含有对 称突触连接的反馈网络是最典型的反馈网络模型。 Hopfield 用能量函数的思想形成了一种新的计算方法， 阐明了神经网络与动力学的关系，并用非线性动力学 的方法来研究这种神经网络的特性，建立了神经网络 稳定性判据，并指出信息存储在网络中神经元之间的 连接上，形成了所谓的离散Hopfield网络。
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
这些定理要求Lyapunov函数E(V)是有界正函数，这 样的函数定义如下：函数E(V)在状态空间 中是有 界正函数，则对所有的 V 满足下列条件： （1）函数E(V)关于状态向量V中的每个元素是 连续偏 导的； （2） E (V ) 0 （3） E (V ) 0 if V V 。


5.1 神经动力学



1989 年 Hirsch 把神经网络看成是一种非线性动力学 系统，称为神经动力学（Neurodynamics）。 确定性神经动力学将神经网络作为确定性行为，在 数学上用非线性微分方程的集合来描述系统的行为， 方程解为确定的解。 统计性神经动力学将神经网络看成被噪声所扰动， 在数学上采用随机性的非线性微分方程来描述系统 的行为，方程的解用概率表示。
Artificial Neural Network
人工神经网络
竞 争 促 进 发 展
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
协 同 形 成 结 构
第5章Hopfield神经网络与联想记忆



5.0 前言 5.1 神经动力学 5.2 离散Hopfield神经网络 5.3 连续Hopfield神经网络 5.4 联想记忆 5.5 最优化计算 5.6 仿真实例
Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

N维向量所处的空间称为状态空间， 状态空间通常 指的是欧氏空间，当然也可以是其子空间，或是类 似圆、球、圆环和其他可微形式的非欧氏空间。
如果一个非线性动力系统的向量函数 F(V(t)) 隐含地 依赖于时间t，则此系统称为自治系统，否则不是自 治的。

合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

则平衡态 V 是稳定的. d (定理2)如果 E (V ) 0 dt
则平衡态
V V

V 是渐进稳定的。
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

若E(V)是Lyapunov函数，(定理1)如果
d E (V ) 0 dt
V V

合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

Hopfield 网络中有个 n 神经元，其中任意神 经元i的输入用 ui表示，输出用vi表示，它们 都是时间的函数，其中 vi(t) 也称为神经元 i n 在 t 时刻的状态。 ui (t ) wij v j (t ) bi
连续Hopfield网络成功的解决了旅行商（Traveling Salesman Problem，TSP）计算难题（优化问题）。 Hopfield网络是神经网络发展历史上的一个重要的里 程碑。
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
神经动力学

动力学系统是状态随时间变化的系统。令v1(t), v2(t), …, vN(t) 表示非线性动力学系统的状态变量， 其中 t 是独立的连续时间变量，N 为系统状态变量 的维数。大型的非线性动力学系统的动力特性可用 下面的微分方程表示：
稳定性和收敛性的定义:

定义1 平衡态 V 在满足下列条件时是一致稳定的， 对任意的正数 ，存在正数 , 当 || V (0) V || 。 时，对所有的 t 0 均有：


|| V (t ) V ||
定义2 若平衡态 V 是收敛的，存在正数 ， 满足 || V (0) V || ，则当 t 时 。
d vi (t ) Fi (vi (t )), dt
i 1,2, , N
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images


便可将这些状态变量表示为 一个N×1维的向量， 称为系统的状态向量. 可用向量形式表示系统的状态方程：
5.2 离散Hopfield神经网络

5.2.1 离散Hopfield网络模型 5.2.2 离散Hopfield网络运行规则
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
5.2.2 离Leabharlann BaiduHopfield网络运行规则
Hopfield网络按动力学方式运行，其工作过程为状 态的演化过程，即从初始状态按“能量” 减小的 方向进行演化，直到达到稳定状态，稳定状态即 为网络的输出。 Hopfield网络的工作方式主要有两种形式： （ 1 ）串行（异步）工作方式：在任一时刻 t，只有 某一神经元 i（随机的或确定的选择）依上式变化， 而其他神经元的状态不变。 （ 2 ）并行（同步）工作方式：在任一时刻 t，部分 神经元或全部神经元的状态同时改变。
j 1 j i

相应神经元i的输出或状态为：

合肥工业大学 计算机与信息学院 图像信息处理研究室
vi (t 1) f (ui (t ))
Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images

其中的激励函数f (· )可取阶跃函数u(t)或符号函数 Sgn(t)。如取符号函数，则Hopfield网络的神经元 的输出vi(t+1)取离散值1或-1，即：
z
1
z
1
z
1
z
1
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
i
w w ji ij
j
图5.1 Hopfield神经网络结构
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
稳定性和渐进稳定性定理



Lyapunov定理： 定理 1 若在平衡态 V 的小邻域内存在有界正函数 E(V)，该函数对时间的导数在区域中是有界非正函 数，则 V 是稳定的。 定理2 若在平衡态 V 的小邻域内存在有界正函数 E(V) ，该函数对时间的导数在区域中是有界负函数， 则 V 是渐进稳定的。 满足上述条件的标量函数E(V)称为平衡态的 Lyapunov函数。性和渐进稳定性，其定理如下：
V (t ) V
。、、、 合肥工业大学
计算机与信息学院 图像信息处理研究室
Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images
定义


定义3 若平衡态 V 是稳定的、收敛的，则该平衡 态被称为渐进稳定。 定义4 若平衡态 V 是稳定的，且当时间 t 趋向于 无穷大时，所有的系统轨线均收敛于 V ，则此平 衡态是渐进稳定的或全局渐进稳定的。
合肥工业大学 计算机与信息学院 图像信息处理研究室
5.0 前言



对于所介绍的前向网络， 从学习的观点来看，它是一个强有力的学习系统， 系统结构简单、易于编程； 从系统的观点来看，它是一个静态非线性映射，通 过简单非线性处理单元的复合映射可获得复杂系统 的非线性处理能力； 从计算的观点来看，它并不是一强有力系统，缺乏 丰富的动力学行为。
5.2.1 离散Hopfield网络模型

离散Hopfield网络是单层全互连的，其表 现形式有两种。
合肥工业大学 计算机与信息学院 图像信息处理研究室 Tel:2901393 Email:images@hfut.edu.cn http://www1.hfut.edu.cn/organ/images