第四章 反馈神经网络模型

x j = f ( net j )
j=1,2,…,n
DHNN网的转移函数常采用符号函数 网的转移函数常采用符号函数
1 net j ≥ 0 x j = sgn net j） （ = − 1 net j < 0
式中净输入为
j=1,2,…,n
net j = ∑ ( wij xi − T j )
i =1
n
j=1,2,…,n
反馈网络稳定时每个神经元的状态都不再改变， 反馈网络稳定时每个神经元的状态都不再改变，此时 的稳定状态就是网络的输出， 的稳定状态就是网络的输出，表示为
lim X ( t )
t→ ∞
权值矩阵
Hopfield神经网络模型由单 层全互连的神经元ui(i=1,…， n)组成。神经元没有自连接, 即：wii＝0；神经元与神经 元之间的连接是对称的，即 wij＝wji。
j=i j≠i
(2)网络的同步（并行）工作方式 (2)网络的同步（并行） 网络的同步
网络的同步工作方式是一种并行方式， 网络的同步工作方式是一种并行方式，所有神经元 同时调整状态， 同时调整状态，即
x j (t + 1) = sgn[net j (t )]
j=1,2Leabharlann Baidu…,n
网络的稳定性与吸引子
1. 网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网 网实质上是一个离散的非线性动力学系统。 网实质上是一个离散的非线性动力学系统 络从初态X(0)开始，若能经有限次递归后，其状态不再发 开始， 络从初态 开始 若能经有限次递归后， 生变化， 生变化，即X(t+1)＝X(t)，则称该网络是稳定的。 ＝ ，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态： 如果网络是稳定的，它可以从任一初态收敛到一个稳态：
∆E( t ) = E( t + 1) − E( t )
1 [ = − [X(t) + ∆X(t)] W X(t) + ∆X(t)] +[X(t) + ∆X(t)] T 2 1 −[− X (t)W (t) + X (t)T] X 2
T T T T
= −∆XT (t)WX (t) − 1 ∆XT (t)W∆X(t) + ∆XT (t)T 2
0 w 12 W = w 13 14 w w 15 w 12 0 w23 w24 w25 w w w 13 14 15 w23 w24 w25 0 w34 w35 w34 0 w45 w35 w45 0
a1
a2
x1(t +1) x2 (t +1) xn−1(t +1) xn (t +1)
∆E( t ) = − ∆x j ( t )net j ( t )
上式中可能出现的情况： 上式中可能出现的情况：
情况a 又因为net 情况a ：xj(t)=-1, xj(t+1)=1, 则∆xj(t)=2, 又因为 j(t)≧0， ，
所以∆E(t)≦0。 所以 。
情况b ：xj(t)=1, xj(t+1)=-1, 所以 j(t)=-2,又有 j(t)<0 所以∆x 又有net 情况b 又有
网络连接形式 输出输入关系 学习算法 应用（功能） 稳定性理论 不含反馈连接 简单映射关系，不考虑 滞后效应 BP算法，收敛慢 分类、联想 分析简单
Hopfield 网络
包含反馈连接 要考虑输出输入间的延迟，要 用差分或微分方程描述 Hebb规则，收敛快 分类、联想、优化计算 分析复杂
Hopfield的主要贡献有： Hopfield的主要贡献有： 的主要贡献有 提出了利用能量函数研究反馈网络稳定状态的方法。 <1> 提出了利用能量函数研究反馈网络稳定状态的方法。 <2> 给出了利用模拟电子线路实现反馈型人工神经网络的 电路模型。 电路模型。 成功求解了人工智能的典型难题——TSP问题。 TSP问题 <3> 成功求解了人工智能的典型难题 TSP问题。 以此为基础，人们对Hopfield网络进行了深入研究， 以此为基础，人们对Hopfield网络进行了深入研究， Hopfield网络进行了深入研究 主要有以下几个方面：寻找Hopfield Hopfield网络的稳定性规律 主要有以下几个方面：寻找Hopfield网络的稳定性规律 并进而研究其信息容量；提出各种改进的Hopfield Hopfield网络 并进而研究其信息容量；提出各种改进的Hopfield网络 模型；参照Hopfield Hopfield电子线路模型研究人工神经网络的 模型；参照Hopfield电子线路模型研究人工神经网络的 硬件实现方法；借助能量函数方法用Hopfield Hopfield网络求解 硬件实现方法；借助能量函数方法用Hopfield网络求解 优化计算、组合数学、人工智能问题的多种实例。 优化计算、组合数学、人工智能问题的多种实例。
1 E( t ) = − 2 X T ( t )WX ( t ) + X T ( t )T
令网络的能量改变量为∆E，状态改变量为 ， 令网络的能量改变量为 ，状态改变量为∆X，有
∆E (t ) = E (t + 1) − E (t )
∆X (t ) = X (t + 1) − X (t )
则网络能量可进一步展开为
DHNN模型结构 DHNN模型结构
x1(t +1 x2 (t +1) xn−1(t +1) xn (t +1) )
a1
a2
an−1
an
x1(t)
x2 (t)
xn−1(t)
xn (t)
DHNN模型数学描述 DHNN模型数学描述
DHNN网中的每个神经元都有相同的功能，其输出称 网中的每个神经元都有相同的功能， 网中的每个神经元都有相同的功能 为状态， 表示。 为状态，用 xj 表示。 所有神经元状态的集合就构成反馈网络的状态 X=[x1,x2,…,xn]T 反馈网络的输入就是网络的状态初始值，表示为 反馈网络的输入就是网络的状态初始值， X(0)=[x1(0),x2(0),…,xn(0)]T 反馈网络在外界输入激发下， 反馈网络在外界输入激发下，从初始状态进入动态演 变过程， 变过程，变化规律为
吸引子与能量函数
对于DHNN 网，若按异步方式调整网络状态， 按异步方式调整网络状态 调整网络状态， 定理 1 对于 且连接权矩阵W 为对称阵，则对于任意初态， 且连接权矩阵 为对称阵，则对于任意初态，网络都最 终收敛到一个吸引子。 终收敛到一个吸引子。 证明： 证明： 定义网络的能量函数为： 定义网络的能量函数为：
an−1
an
x1(t) x2 (t) xn−1(t) xn (t)
工作方式
(1)网络的异步（串行） (1)网络的异步（串行）工作方式 网络的异步
网络运行时每次只有一个神经元进行状态的调整计 其它神经元的状态均保持不变， 算，其它神经元的状态均保持不变，即
sgn[ net j (t )] x j (t + 1) = x j (t )
内容提要
Hopfield神经网络模型 双向联想存储器
第一节
Hopfield模型 Hopfield模型
美国加州理工学院物理学家J.J.Hopfield教授于 美国加州理工学院物理学家J.J.Hopfield教授于 J.J.Hopfield 1982年提出一种单层反馈神经网络 年提出一种单层反馈神经网络， 1982年提出一种单层反馈神经网络，后来人们将这种反馈 网络称作Hopfield 网络称作Hopfield 网。 下表是Hopfield 网络与BP网络的简单比较。 BP网络的简单比较 下表是Hopfield 网络与BP网络的简单比较。 BP网络
(a )
(b )
若网络是不稳定的，由于DHNN 若网络是不稳定的，由于DHNN 网每个节点的状态只有1 网每个节点的状态只有1和-1 两种情况， 两种情况，网络不可能出现无 限发散的情况， 限发散的情况，而只可能出现 限幅的自持振荡， 限幅的自持振荡，这种网络称 (a) 为有限环网络。 为有限环网络。 如果网络状态的轨迹在某个确 定的范围内变迁， 定的范围内变迁，但既不重复 也不停止， 也不停止，状态变化为无穷多 轨迹也不发散到无穷远， 个，轨迹也不发散到无穷远， (a) 这种现象称为混沌。 这种现象称为混沌。 (b)
第四章
反馈神经网络模型
概述
反馈型网络
– 在反馈网络中所有节点都具
有信息处理功能，而且每个 节点既可以从外界接收输入， 同时又可以向外界输出。 从系统的观点看，反馈神经网络模型是一反馈动力 学系统，它具有极复杂的动力学特性。在反馈神经网 络模型中，我们关心的是其稳定性,稳定性是神经网络 相联存储性质的体现，可以说稳定就意味着完成回忆。
，所以∆E(t)<0。 所以 。
情况c 所以∆x 所以有∆E(t)=0。 情况c ：xj(t)=xj(t+1), 所以 j(t)=0,所以有 所以有 。
由此可知在任何情况下均有∆E(t)≦0 。 由此可知在任何情况下均有
由于网络中各节点的状态只能取1 由于网络中各节点的状态只能取1 或 –1 ，能量函 1 作为网络状态的函数是有下界的，因此网络能量函 数E(t) 作为网络状态的函数是有下界的，因此网络能量函 数最终将收敛于一个常数， 综上所述， 数最终将收敛于一个常数，此时ΔE(t)=0 。综上所述， 当网络工作方式和权矩阵均满足定理5.1的条件时， 5.1的条件时 当网络工作方式和权矩阵均满足定理5.1的条件时，网络最 终将收敛到一个吸引子。 终将收敛到一个吸引子。 综上所述，当网络工作方式和权矩阵均满足定理5.1的 综上所述，当网络工作方式和权矩阵均满足定理 的 条件时，网络最终将收敛到一个吸引子。 条件时，网络最终将收敛到一个吸引子。
= −∆XT (t)[WX (t) −T] − 1 ∆XT (t)W∆X(t) 2
并考虑到W为 将 ∆X (t ) = [0,...,0, ∆x j (t ),0,...,0] 代入上式 ，并考虑到 为 对称矩阵， 对称矩阵，有
T
∆E(t) = −∆x (t)[∑(w x −T )]
n j i=1 ij i j
Hopfield网络分为离散型和连续型两种网络模型， Hopfield网络分为离散型和连续型两种网络模型， 网络分为离散型和连续型两种网络模型 分别记作DHNN 分别记作DHNN (Discrete Hopfield Neural Network) Network)， 和CHNN (Continues Hopfield Neural Network)，重点 讨论前一种类型。 讨论前一种类型。
=−
∑
j =1
n
1 ∆x j ( t )net j ( t ) − 2 ∆X T ( t )W∆X( t )
= −∆XT (t)[WX(t) −T] − 1 ∆XT (t)W∆X(t)
2
1 = −∆XT ( t )net( t ) − 2 ∆XT ( t )W∆X( t )
前已证明， 前已证明，对于任何神经元 j ，有 −∆x j ( t )net j ( t ) ≤ 0 因此上式第一项不大于0，只要 为非负定阵 为非负定阵， 因此上式第一项不大于 ，只要W为非负定阵，第二项也 不大于0， 也就是说E(t)最终将收敛到 不大于 ，于是有⊿E(t)≦0 ，也就是说 最终将收敛到 一个常数值， 对应的稳定状态是网络的一个吸引子。 一个常数值 ， 对应的稳定状态是网络的一个吸引子 。
(b)
(c)
吸引子与能量函数
网络达到稳定时的状态X， 吸引子。 网络达到稳定时的状态 ，称为网络的 吸引子。 如果把吸引子视为问题的解，从初态朝吸引子演变的过程 如果把吸引子视为问题的解，从初态朝吸引子演变的过程 便是求解计算的过程。 便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子， 若把需记忆的样本信息存储于网络不同的吸引子，当输 入含有部分记忆信息的样本时，网络的演变过程便是从 入含有部分记忆信息的样本时，网络的演变过程便是从 部分信息寻找全部信息， 联想回忆的过程 的过程。 部分信息寻找全部信息，即联想回忆的过程。 若网络的状态X 定义 1 若网络的状态 满足 X=f(WX-T) 则称X为网络的吸引子。 则称 为网络的吸引子。 为网络的吸引子
对于DHNN DHNN网 按同步方式调整状态 调整状态， 定理 2 对于DHNN网，若按同步方式调整状态，且 连接权矩阵W为非负定对称阵，则对于任意初态， 连接权矩阵W为非负定对称阵，则对于任意初态， 网络都最终收敛到一个吸引子。 网络都最终收敛到一个吸引子。
证明： 证明：
∆E( t ) = E( t + 1) − E( t )