华南理工大学最优化理论——第十一章Hopfield神经网络优化方法剖析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解： 1．计算步骤如下： （1）按式（10-9）确定如下能量函数：
1 n n E wij vi v j i vi 2 i 1 j i i
（2）随机选取神经元i，按下式判断该神经元输出状态vi（即采用了阈值为0的双 极硬限函数），按串行工作方式，直至状态不变，计算终止： 若神经元i的状态 若神经元i的状态
6
人工神经元模型
权值：给不同的输入的信号一定的权值，用wij 表示。一般权值为‘+’表示激活，为‘-’表示 抑制；
Hopfield神经网络优化方法
7
人工神经元模型
求和器：用表示，以计算各输入信号的加权 和，其效果等同于一个线性组合；
Hopfield神经网络优化方法
8
人工神经元模型
激活函数：图中的f()，主要起非线性映射作用， 另外还可以作为限幅器将神经元输出幅度限制 在一定范围内；
Hopfield神经网络优化方法 18
离散型Hopfield网络
定义：对图10-8中的特性函数f(•)取阈值函数（见图 10-3）等硬限函数，使神经元的输出取离散值，就得 到离散型Hopfield神经网络。 vi 工作原理：设有n个神经元，v为神经网络的状态矢量， 为第i个神经元的输出，输出取值为0或者为l的二值 {v j i } j为第i个神经元的内部未 状态。对任一神经元i， 加权输入，它们对该神经元的影响程度用连接权wij表 示。 i 为第i个神经元的阈值。
③即前面已讨论过的
容易证明它满足Lyapunov函数的三个条件：①函数
连续可导；②函数正定以及；③函数的导数半 负定。
E (V ) wij v j i ①从 可以看出E对于所有V的分量是连续的。 v i j i
② 严格来说，式（10-9）并不能满足Lyapunov函数的正定条 件。但是，对于神经元有界的神经网络的稳定性来说，正定 条件可以退化为只要求该函数有界。
Hopfield神经网络优化方法
16
10.2 Hopfield神经网络 - HNN
特点：
网络中引入了反馈，所以它是一个非线性动力 学系统 . 非线性动力学系统着重关心的是系统的稳定性 问题。 在Hopfield模型中，神经网络之间的联系总是 设为对称的，这保证了系统最终会达到一个固 定的有序状态，即稳定状态。
0.65 0.3 0.4 0.75 0.15 0.25 0.95 0.35
试确定网络最后的平衡状态。
Hopfield神经网络优化方法 27
能量函数与稳定性
例10-1 试计算一个有8个神经元的离散Hopfield网络， 其网络权值W和阈值向量如下：
Hopfield神经网络优化方法
9
人工神经元模型
阈值：控制激活函数输出的开关量，用i表示。
Hopfield神经网络优化方法
10
人工神经元模型
上述作用可用数学方式表示如下：
ui wij s j
j 1 n
xi ui i vi f ( xi )
i=1, 2,…, n
式中，sj为输入信号；wij为神经元i对输入信号sj的权值； ui为线性组合结果；i为阈值；f()为激活函数； vi为神经元i的输出。
Hopfield神经网络优化方法
21
离散型Hopfield网络
定理10.1 若神经网络的连接权矩阵W是零主对角元素的
对称矩阵，即满足wij=wji且wii＝0，i＝l，2，…，n，网络
状态按串行异步方式更新，则网络必收敛于状态空间中的 某一稳定状态。
能量函数与稳定性之间的关系 ：如果网络是稳定
的，则在满足一定的参数条件下，某种能量函数在网络运 行过程中是不断降低并最后趋于稳定平衡状态的——网络 中任意一个神经元节点状态发生变化时，能量E都将减小。
Hopfield神经网络优化方法 22
能量函数与稳定性
假设第i个神经元节点状态 v i 的变化量记为
Ei 。能量
（1）当状态 （2）当状态
vi ，相应的能量变化量记为
n
Ei ( wij v j i )vi
对于离散型网络方程，Hopfield将网络整体能量函数定义为：
1 n n E (t ) wij vi v j i vi 2 i 1 j i i
Hopfield神经网络优化方法 23
能量函数与稳定性
“E随状态变化而严格 单调递减”
0 0.55 0.45 0.33 W 0.63 0.78 0.24 0.17 0.55 0 0.91 0.47 0.58 0.61 0.30 0.22 0.45 0.91 0 0.10 0.19 0.26 0.77 0.53 0.33 0.63 0.47 0.58 0.10 0.19 0 0.66 0.66 0 0.32 0.15 0.14 0.70 0.05 0.065 0.78 0.61 0.26 0.32 0.15 0 0.81 0.15 0.24 0.17 0.30 0.22 0.77 0.53 0.14 0.05 0.70 0.065 0.81 0.15 0 0.23 0.23 0
第10章 Hopfield神经网络 优化方法
胡广华
1
Hopfield神经网络优化方法
10.1 人工神经网络模型 10.2 Hopfield神经网络 10.3 Hopfield网络与最优化问题
Hopfield神经网络优化方法
2
人工神经网络
人工神经网络是指由大量简单人工神经元互联而成的一 种计算结构。它可以在某种程度上模拟生物神经系统的 工作过程，从而具备解决实际问题的能力。
激活函数的若干形式
（2）分段线性函数
1 1 f ( x) (1 x) 2 0
x 1 1 x 1 x 1
特点：
类似于系数为1的非线性放大器， 当工作于线性区时它是一个线性组合器， 放大系数趋于无穷大时变成一个阈值单元
Hopfield神经网络优化方法
13
激活函数的若干形式
（3）sigmoid函数
1 f ( x) 1 exp(cx)
式中，c为大于0的参数， 可控制曲线斜率
Hopfield神经网络优化方法
14
10.1.3 人工神经网络的互连模式
根据连接方式的不同，将现有的各类神经网络分为 如下2种形式：前馈型网络 ，反馈型网络
（1）前馈型网络
xi wij v j i>0，则取v =1
n
xi wij v j i <0，则取vi=-1
j i
j i n
i
Hopfield神经网络优化方法
28
能量函数与稳定性
例10-1 试计算一个有8个神经元的离散Hopfield网络， 其网络权值W和阈值向量如下： 2．计算结果 （1） 初始解按v0=[-1 1 -1 1 -1 1 1 1]T 最终状态：v=[1 1 1 1 1 1 1 1 ]T 最小能量：E=-15.165。 （2） 初始解按v0=[1 -1 1 -1 1 -1 1 -1]T 最终状态：v=[-1 -1 -1 -1 -1 -1 -1 -1 ]T 最小能量：E=-7.564998。 经尝试不同的初始状态，该网络系统最终收敛到（1）和（2 ）两个状态之一。其中，状态1为最优解，而状态2为局部最优 解。 解毕。
Hopfield神经网络优化方法
4
人工神经元模型
人工神经元是构成人工神经网络的基本单元， 是对生物神经元特性及功能的一种数学抽象， 通常为一个多输入单输出器件。
Hopfield神经网络优化方法
5
人工神经元模型
输入与输出信号：s1、s2、….sn为输入，vi为输 出。输出也称为单元的状态。
Hopfield神经网络优化方法
Ei 总是负值。考察两种情况：
Ei
vi
随状态变化而减小意味着
由0变为1时， vi ＞0，必有xi＞0。
vi
由1变为0时， vi ＜0，必有xi＜0。
可见 vi与xi的积总是正的。Ei =-xi
故节点i的能量可定义为：
n j i
vi = ( wij v j i ) vi j i
1 vi 0
xi 0 xi 0
Hopfield神经网络优化方法
（10-6）
19
离散型Hopfield网络
2种状态更新方式：
异步方式：在任一时刻 t ，只有某一个神经元按式 （10-6）发生变化，而其余n-1个神经元的状态保持 不变。 同步方式：在任一时刻t，有部分神经元按式（10-6） 变化（部分同步）或所有神经元按式（10-6）变化 （全并行方式）。
Hopfield神经网络优化方法
25
能量函数与稳定性
离散Hopfield模型的稳定状态与能量函数E在 状态空间的局部极小点是一一对应的。 需要指出：一般在Hopfield神经网络中， 能量函数可能存在局部最小值，如图10-9所示。
Hopfield神经网络优化方法
26
能量函数与稳定性
例10-1 试计算一个有8个神经元的离散Hopfield网络， 其网络权值W和阈值向量如下：
各神经元接受前一层的输入，并输出给下一 层，没有反馈。 结点分为两类，即输入单元和计算单元，每 一计算单元可有任意个输入，但只有一个输 出（它可耦合到任意多个其他结点作为输 入）。 可分为不同的层，第i-1层输出是第i层的输 入，输入和输出结点与外界相连，而其他中 间层称为隐层。
主要起函数映射作用，常用于模式识别和函数逼近 。
Hopfield神经网络优化方法 11
激活函数的若干形式
（1）阈值函数，即阶跃函数
1 f ( x) sgn( x) 0 x0 x0
于是神经元i的相应输出为：
1 vi 0
n
xi 0 xi 0
j 1
式中，
x i wij s j i
12
Hopfield神经网络优化方法
Hopfield神经网络优化方法 17
Hopfield网络基本结构:
其中，I1, I2,..., In是外部对网络的输入；v1, v2,..., vn是网络系统 的输出；u1, u2, ..., un是对相应神经元输入，wij是从第j个神经 元对第i个神经元的输入的权值，wji=wij，wii=0。f(•)是特性函 数，决定了网络是离散的还是连续的。
Hopfield神经wenku.baidu.com络优化方法 15
（2）反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。 若总的单元数为n，则每一个结点有n-1个输入、—个输出，如图10-7 的 形式。
反馈网络按对能量函数极 小点的利用分为两类： •一类是能量函数的所有极 小点都起作用，主要用作 各种联想存储器； •第二类只利用全局极小点， 主要用于优化问题求解。 Hopfield模型、波尔兹曼 机（BM）模型等可以完成 此类计算。
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能，以及它高度的自组织和自适应能力，已成为 解决许多工程问题的有力工具，近年来得到了飞速的发 展。
Hopfield神经网络优化方法
3
生物神经系统
生物神经系统是一个有高度组织和相互作用的 数目庞大的细胞组织群体。这些细胞被称为神 经细胞，也称作神经元。
Hopfield神经网络优化方法
24
能量函数与稳定性
订正： P155
W和（由n个i构成的列向量）都是有确定值的
矩阵和向量，且有界，因此E有下界：
Emin
n 1 n n wij i 2 i 1 j 1 i 1
因为式（10-9）的E是有界函数，从而可知式
（10-9）是正定的，即网络将最终达到稳定状态。
一旦给出Hopfield网络的权值和神经元的阈值， 则网络的状态转移序列就确定了。
Hopfield神经网络优化方法 20
离散型Hopfield网络
定义10.1 若神经元i在更新过程中，输出变量v 不再变化，则称神经元i已稳定。若Hopfield网 络从t=0的任意一个初始输出状态开始，存在 一个有限的时间，此时间点后系统中所有神经 元都是稳定的，即网络状态不再发生变化，则 v (t t ) v (t )，对所 称该系统是稳定的，即： 有 t 0 。
1 n n E wij vi v j i vi 2 i 1 j i i
（2）随机选取神经元i，按下式判断该神经元输出状态vi（即采用了阈值为0的双 极硬限函数），按串行工作方式，直至状态不变，计算终止： 若神经元i的状态 若神经元i的状态
6
人工神经元模型
权值：给不同的输入的信号一定的权值，用wij 表示。一般权值为‘+’表示激活，为‘-’表示 抑制；
Hopfield神经网络优化方法
7
人工神经元模型
求和器：用表示，以计算各输入信号的加权 和，其效果等同于一个线性组合；
Hopfield神经网络优化方法
8
人工神经元模型
激活函数：图中的f()，主要起非线性映射作用， 另外还可以作为限幅器将神经元输出幅度限制 在一定范围内；
Hopfield神经网络优化方法 18
离散型Hopfield网络
定义：对图10-8中的特性函数f(•)取阈值函数（见图 10-3）等硬限函数，使神经元的输出取离散值，就得 到离散型Hopfield神经网络。 vi 工作原理：设有n个神经元，v为神经网络的状态矢量， 为第i个神经元的输出，输出取值为0或者为l的二值 {v j i } j为第i个神经元的内部未 状态。对任一神经元i， 加权输入，它们对该神经元的影响程度用连接权wij表 示。 i 为第i个神经元的阈值。
③即前面已讨论过的
容易证明它满足Lyapunov函数的三个条件：①函数
连续可导；②函数正定以及；③函数的导数半 负定。
E (V ) wij v j i ①从 可以看出E对于所有V的分量是连续的。 v i j i
② 严格来说，式（10-9）并不能满足Lyapunov函数的正定条 件。但是，对于神经元有界的神经网络的稳定性来说，正定 条件可以退化为只要求该函数有界。
Hopfield神经网络优化方法
16
10.2 Hopfield神经网络 - HNN
特点：
网络中引入了反馈，所以它是一个非线性动力 学系统 . 非线性动力学系统着重关心的是系统的稳定性 问题。 在Hopfield模型中，神经网络之间的联系总是 设为对称的，这保证了系统最终会达到一个固 定的有序状态，即稳定状态。
0.65 0.3 0.4 0.75 0.15 0.25 0.95 0.35
试确定网络最后的平衡状态。
Hopfield神经网络优化方法 27
能量函数与稳定性
例10-1 试计算一个有8个神经元的离散Hopfield网络， 其网络权值W和阈值向量如下：
Hopfield神经网络优化方法
9
人工神经元模型
阈值：控制激活函数输出的开关量，用i表示。
Hopfield神经网络优化方法
10
人工神经元模型
上述作用可用数学方式表示如下：
ui wij s j
j 1 n
xi ui i vi f ( xi )
i=1, 2,…, n
式中，sj为输入信号；wij为神经元i对输入信号sj的权值； ui为线性组合结果；i为阈值；f()为激活函数； vi为神经元i的输出。
Hopfield神经网络优化方法
21
离散型Hopfield网络
定理10.1 若神经网络的连接权矩阵W是零主对角元素的
对称矩阵，即满足wij=wji且wii＝0，i＝l，2，…，n，网络
状态按串行异步方式更新，则网络必收敛于状态空间中的 某一稳定状态。
能量函数与稳定性之间的关系 ：如果网络是稳定
的，则在满足一定的参数条件下，某种能量函数在网络运 行过程中是不断降低并最后趋于稳定平衡状态的——网络 中任意一个神经元节点状态发生变化时，能量E都将减小。
Hopfield神经网络优化方法 22
能量函数与稳定性
假设第i个神经元节点状态 v i 的变化量记为
Ei 。能量
（1）当状态 （2）当状态
vi ，相应的能量变化量记为
n
Ei ( wij v j i )vi
对于离散型网络方程，Hopfield将网络整体能量函数定义为：
1 n n E (t ) wij vi v j i vi 2 i 1 j i i
Hopfield神经网络优化方法 23
能量函数与稳定性
“E随状态变化而严格 单调递减”
0 0.55 0.45 0.33 W 0.63 0.78 0.24 0.17 0.55 0 0.91 0.47 0.58 0.61 0.30 0.22 0.45 0.91 0 0.10 0.19 0.26 0.77 0.53 0.33 0.63 0.47 0.58 0.10 0.19 0 0.66 0.66 0 0.32 0.15 0.14 0.70 0.05 0.065 0.78 0.61 0.26 0.32 0.15 0 0.81 0.15 0.24 0.17 0.30 0.22 0.77 0.53 0.14 0.05 0.70 0.065 0.81 0.15 0 0.23 0.23 0
第10章 Hopfield神经网络 优化方法
胡广华
1
Hopfield神经网络优化方法
10.1 人工神经网络模型 10.2 Hopfield神经网络 10.3 Hopfield网络与最优化问题
Hopfield神经网络优化方法
2
人工神经网络
人工神经网络是指由大量简单人工神经元互联而成的一 种计算结构。它可以在某种程度上模拟生物神经系统的 工作过程，从而具备解决实际问题的能力。
激活函数的若干形式
（2）分段线性函数
1 1 f ( x) (1 x) 2 0
x 1 1 x 1 x 1
特点：
类似于系数为1的非线性放大器， 当工作于线性区时它是一个线性组合器， 放大系数趋于无穷大时变成一个阈值单元
Hopfield神经网络优化方法
13
激活函数的若干形式
（3）sigmoid函数
1 f ( x) 1 exp(cx)
式中，c为大于0的参数， 可控制曲线斜率
Hopfield神经网络优化方法
14
10.1.3 人工神经网络的互连模式
根据连接方式的不同，将现有的各类神经网络分为 如下2种形式：前馈型网络 ，反馈型网络
（1）前馈型网络
xi wij v j i>0，则取v =1
n
xi wij v j i <0，则取vi=-1
j i
j i n
i
Hopfield神经网络优化方法
28
能量函数与稳定性
例10-1 试计算一个有8个神经元的离散Hopfield网络， 其网络权值W和阈值向量如下： 2．计算结果 （1） 初始解按v0=[-1 1 -1 1 -1 1 1 1]T 最终状态：v=[1 1 1 1 1 1 1 1 ]T 最小能量：E=-15.165。 （2） 初始解按v0=[1 -1 1 -1 1 -1 1 -1]T 最终状态：v=[-1 -1 -1 -1 -1 -1 -1 -1 ]T 最小能量：E=-7.564998。 经尝试不同的初始状态，该网络系统最终收敛到（1）和（2 ）两个状态之一。其中，状态1为最优解，而状态2为局部最优 解。 解毕。
Hopfield神经网络优化方法
4
人工神经元模型
人工神经元是构成人工神经网络的基本单元， 是对生物神经元特性及功能的一种数学抽象， 通常为一个多输入单输出器件。
Hopfield神经网络优化方法
5
人工神经元模型
输入与输出信号：s1、s2、….sn为输入，vi为输 出。输出也称为单元的状态。
Hopfield神经网络优化方法
Ei 总是负值。考察两种情况：
Ei
vi
随状态变化而减小意味着
由0变为1时， vi ＞0，必有xi＞0。
vi
由1变为0时， vi ＜0，必有xi＜0。
可见 vi与xi的积总是正的。Ei =-xi
故节点i的能量可定义为：
n j i
vi = ( wij v j i ) vi j i
1 vi 0
xi 0 xi 0
Hopfield神经网络优化方法
（10-6）
19
离散型Hopfield网络
2种状态更新方式：
异步方式：在任一时刻 t ，只有某一个神经元按式 （10-6）发生变化，而其余n-1个神经元的状态保持 不变。 同步方式：在任一时刻t，有部分神经元按式（10-6） 变化（部分同步）或所有神经元按式（10-6）变化 （全并行方式）。
Hopfield神经网络优化方法
25
能量函数与稳定性
离散Hopfield模型的稳定状态与能量函数E在 状态空间的局部极小点是一一对应的。 需要指出：一般在Hopfield神经网络中， 能量函数可能存在局部最小值，如图10-9所示。
Hopfield神经网络优化方法
26
能量函数与稳定性
例10-1 试计算一个有8个神经元的离散Hopfield网络， 其网络权值W和阈值向量如下：
各神经元接受前一层的输入，并输出给下一 层，没有反馈。 结点分为两类，即输入单元和计算单元，每 一计算单元可有任意个输入，但只有一个输 出（它可耦合到任意多个其他结点作为输 入）。 可分为不同的层，第i-1层输出是第i层的输 入，输入和输出结点与外界相连，而其他中 间层称为隐层。
主要起函数映射作用，常用于模式识别和函数逼近 。
Hopfield神经网络优化方法 11
激活函数的若干形式
（1）阈值函数，即阶跃函数
1 f ( x) sgn( x) 0 x0 x0
于是神经元i的相应输出为：
1 vi 0
n
xi 0 xi 0
j 1
式中，
x i wij s j i
12
Hopfield神经网络优化方法
Hopfield神经网络优化方法 17
Hopfield网络基本结构:
其中，I1, I2,..., In是外部对网络的输入；v1, v2,..., vn是网络系统 的输出；u1, u2, ..., un是对相应神经元输入，wij是从第j个神经 元对第i个神经元的输入的权值，wji=wij，wii=0。f(•)是特性函 数，决定了网络是离散的还是连续的。
Hopfield神经wenku.baidu.com络优化方法 15
（2）反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。 若总的单元数为n，则每一个结点有n-1个输入、—个输出，如图10-7 的 形式。
反馈网络按对能量函数极 小点的利用分为两类： •一类是能量函数的所有极 小点都起作用，主要用作 各种联想存储器； •第二类只利用全局极小点， 主要用于优化问题求解。 Hopfield模型、波尔兹曼 机（BM）模型等可以完成 此类计算。
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能，以及它高度的自组织和自适应能力，已成为 解决许多工程问题的有力工具，近年来得到了飞速的发 展。
Hopfield神经网络优化方法
3
生物神经系统
生物神经系统是一个有高度组织和相互作用的 数目庞大的细胞组织群体。这些细胞被称为神 经细胞，也称作神经元。
Hopfield神经网络优化方法
24
能量函数与稳定性
订正： P155
W和（由n个i构成的列向量）都是有确定值的
矩阵和向量，且有界，因此E有下界：
Emin
n 1 n n wij i 2 i 1 j 1 i 1
因为式（10-9）的E是有界函数，从而可知式
（10-9）是正定的，即网络将最终达到稳定状态。
一旦给出Hopfield网络的权值和神经元的阈值， 则网络的状态转移序列就确定了。
Hopfield神经网络优化方法 20
离散型Hopfield网络
定义10.1 若神经元i在更新过程中，输出变量v 不再变化，则称神经元i已稳定。若Hopfield网 络从t=0的任意一个初始输出状态开始，存在 一个有限的时间，此时间点后系统中所有神经 元都是稳定的，即网络状态不再发生变化，则 v (t t ) v (t )，对所 称该系统是稳定的，即： 有 t 0 。