Hopfield神经网络优化方法

在Hopfield模型中，神经网络之间的联系总是 设为对称的，这保证了系统最终会达到一个固 定的有序状态，即稳定状态。
.神经网络优化方法
17
Hopfield网络基本结构:
其中，I1, I2,..., In是外部对网络的输入；v1, v2,..., vn是网络系统 的输出；u1, u2, ..., un是对相应神经元输入，wij是从第j个神经 元对第i个神经元的输入的权值，wji=wij，wii=0。f(•)是特性函 数，决定了网络是离散的还是连续的。
稳定状态是给定的，通过网络的学习求合适的 权矩阵W（对称阵） 。一旦学习完成后，以 计算的方式进行联想。
Hopfield网络，可以采用Hebb学习规则和误差 型学习算法等学习方法 。
.神经网络优化方法
30
Hebb学习规则
给定M个待存储模式，按Hebb学习规则，Hopfield网络有如下学 习过程：
.神经网络优化方法
28
能量函数与稳定性
例10-1 试计算一个有8个神经元的离散Hopfield网络，
其网络权值W和阈值向量如下：
2．计算结果
（1）
初始解按v0=[-1 1 -1 1 -1 1 1 1]T
最终状态：v=[1 1 1 1 1 1 1 1 ]T
最小能量：E=-15.165。
（2）
初始解按v0=[1 -1 1 -1 1 -1 1 -1]T
行过程中是不断降低并最后趋于稳定平衡状态的——网络
中任意一个神经元节点状态发生变化时，能量E都将减小
。
.神经网络优化方法
22
能量函数与稳定性
假设第i个神经元节点状态 v i 的变化量记为 v i ，相应的能量变化量记为 E i 。能量 E i 随状态变化而减小意味着 E i 总是负值。考察两种情况：
矩阵和向量，且有界，因此E有下界：
Emin12i n1
n
wij
j1
n
i1
i
因为式（10-9）的E是有界函数，从而可知式（ 10-9）是正定的，即网络将最终达到稳定状态。
.神经网络优化方法
25
能量函数与稳定性
离散Hopfield模型的稳定状态与能量函数E在 状态空间的局部极小点是一一对应的。
需要指出：一般在Hopfield神经网络中， 能量函数可能存在局部最小值，如图10-9所示。
第10章 Hopfield神经网络优化 方法
1
Hopfield神经网络优化方法
10.1 人工神经网络模型 10.2 Hopfield神经网络 10.3 Hopfield网络与最优化问题
.神经网络优化方法
2
人工神经网络
人工神经网络是指由大量简单人工神经元互联而成的一 种计算结构。它可以在某种程度上模拟生物神经系统的 工作过程，从而具备解决实际问题的能力。
个模式中的某个模式mk，则称模式mk是由模式m0联想起来的 。
.神经网络优化方法
31
联想记忆
例10-2 对于一个4神经元的网络，取阈值为0。
给定两个模式存储于网络中。试确定网络的权
值矩阵W。
1
m0=
1
1 1
1
m1=
1
1 1
.神经网络优化方法
32
联想记忆
解： 可据式（10-11）构造出权值矩阵W如下：
最终状态：v=[-1 -1 -1 -1 -1 -1 -1 -1 ]T
最小能量：E=-7.564998。
经尝试不同的初始状态，该网络系统最终收敛到（1）和（2
）两个状态之一。其中，状态1为最优解，而状态2为局部Байду номын сангаас优
解。
解毕。
.神经网络优化方法
29
10.2.2 离散Hopfield网络用于联想记忆
反馈网络能够收敛于其稳定状态，因此它可用 作联想记忆。
x 1 1 x 1
x 1
类似于系数为1的非线性放大器， 当工作于线性区时它是一个线性组合器，
放大系数趋于无穷大时变成一个阈值单元
.神经网络优化方法
13
激活函数的若干形式
（3）sigmoid函数
f (x) 1 1exp(cx)
式中，c为大于0的参数 ，可控制曲线斜率
.神经网络优化方法
14
10.1.3 人工神经网络的互连模式
wij
M k1
v v (k) (k) ij
0
i j i j
（10-11）
按上述规则求出权矩阵后，可以认为网络已经将这M个模
式存入网络的连接权中。
在联想过程中，与求解优化问题一样，先给出一个原始模
式m0，使网络处于某种初始状态下，用网络方程动态运行，最 后达到一个稳定状态。如果此稳定状态对应于网络已存贮的M
E1n
2i1
n ji
wijvivj
i
ivi
（2）随机选取神经元i，按下式判断该神经元输出状态vi（即采用了阈值为0的双 极硬限函数），按串行工作方式，直至状态不变，计算终止：
若神经元i的状态 若神经元i的状态
n
xi wijv j i>0，则取vi=1 ji n
xi wijv j i <0，则取vi=-1 ji
.神经网络优化方法
11
激活函数的若干形式
（1）阈值函数，即阶跃函数
f(x)sgn(x) 1 0
x0 x0
于是神经元i的相应输出为：
1 vi 0
xi 0 xi 0
式中，
n
xi wijs j i
j1
.神经网络优化方法
12
激活函数的若干形式
（2）分段线性函数
1
f
(x)
1 2
(1
x)
0
特点：
.神经网络优化方法
18
离散型Hopfield网络
定义：对图10-8中的特性函数f(•)取阈值函数（见图 10-3）等硬限函数，使神经元的输出取离散值，就得 到离散型Hopfield神经网络。
工作原理：设有n个神经元，v为神经网络的状态矢量 v i ，为第i个神经元的输出，输出取值为0或者为l的二 值状态。对任一神经元{ iv，j i } j 为第i个神经元的内部 未加权输入，它们对该神经元的影响程度用连接权wij
4
人工神经元模型
人工神经元是构成人工神经网络的基本单元， 是对生物神经元特性及功能的一种数学抽象， 通常为一个多输入单输出器件。
.神经网络优化方法
5
人工神经元模型
输入与输出信号：s1、s2、….sn为输入，vi为输 出。输出也称为单元的状态。
.神经网络优化方法
6
人工神经元模型
权值：给不同的输入的信号一定的权值，用wij 表示。一般权值为‘+’表示激活，为‘-’表示 抑制；
对于离散型网络方程，Hopfield将网络整体能量函数定义为：
1n n
E(t) 2i1
wijvivj
ji
i
ivi
.神经网络优化方法
23
能量函数与稳定性
③即前面已讨论过的 “E随状态变化而严格
单调递减”
容易证明它满足Lyapunov函数的三个条件：①函数 连续可导；②函数正定以及；③函数的导数半 负定。
•第二类只利用全局极小点 ，主要用于优化问题求解 。Hopfield模型、波尔兹 曼机（BM）模型等可以完 成此类计算。
.神经网络优化方法
16
10.2 Hopfield神经网络 - HNN
特点：
网络中引入了反馈，所以它是一个非线性动力 学系统 .
非线性动力学系统着重关心的是系统的稳定性 问题。
一旦给出Hopfield网络的权值和神经元的阈值， 则网络的状态转移序列就确定了。
.神经网络优化方法
20
离散型Hopfield网络
定义10.1 若神经元i在更新过程中，输出变量v 不再变化，则称神经元i已稳定。若Hopfield网 络从t=0的任意一个初始输出状态开始，存在 一个有限的时间，此时间点后系统中所有神经 元都是稳定的，即网络状态不再发生变化，则 称该系统是稳定的，即：v(tt)v(t)，对所有 。 t 0
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能，以及它高度的自组织和自适应能力，已成为 解决许多工程问题的有力工具，近年来得到了飞速的发 展。
.神经网络优化方法
3
生物神经系统
生物神经系统是一个有高度组织和相互作用的 数目庞大的细胞组织群体。这些细胞被称为神 经细胞，也称作神经元。
.神经网络优化方法
主要起函数映射作用，常用于模式识别和函数逼近 。
.神经网络优化方法
15
（2）反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。 若总的单元数为n，则每一个结点有n-1个输入、—个输出，如图10-7 的
形式。 反馈网络按对能量函数极 小点的利用分为两类：
•一类是能量函数的所有极 小点都起作用，主要用作 各种联想存储器；
W
0.33 0.63
0.47 0.58
0.10 0.19
0 0.66
0.66 0
0.32 0.14
0.05
0.15 0.70 0.065
0.78 0.61 0.26 0.32 0.15 0 0.81 0.15
0.24 0.30 0.77 0.14 0.70 0.81 0
0.23
0.17 0.22 0.53 0.05 0.065 0.15 0.23 0
。
.神经网络优化方法
10
人工神经元模型
上述作用可用数学方式表示如下：
n
u i w i j s j j1
xi ui i vi f (xi)
i=1, 2,…, n