Hopfield神经网络优化方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
可分为不同的层，第i-1层输出是第i层的输 入，输入和输出结点与外界相连，而其他中 间层称为隐层。
主要起函数映射作用，常用于模式识别和函数逼近 。
Hopfield神经网络优化方法神经网络优化方法
15
（2）反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。 若总的单元数为n，则每一个结点有n-1个输入、—个输出，如图10-7 的
Hopfield神经网络优化方法神经网络优化方法
14
10.1.3 人工神经网络的互连模式
根据连接方式的不同，将现有的各类神经网络分为 如下2种形式：前馈型网络 ，反馈型网络
（1）前馈型网络
各神经元接受前一层的输入，并输出给下一 层，没有反馈。
结点分为两类，即输入单元和计算单元，每 一计算单元可有任意个输入，但只有一个输 出（它可耦合到任意多个其他结点作为输入 ）。
Hopfield神经网络优化方法神经网络优化方法
4
人工神经元模型
人工神经元是构成人工神经网络的基本单元， 是对生物神经元特性及功能的一种数学抽象， 通常为一个多输入单输出器件。
Hopfield神经网络优化方法神经网络优化方法
5
人工神经元模型
输入与输出信号：s1、s2、….sn为输入，vi为输 出。输出也称为单元的状态。
形式。 反馈网络按对能量函数极 小点的利用分为两类：
•一类是能量函数的所有极 小点都起作用，主要用作 各种联想存储器；
•第二类只利用全局极小点 ，主要用于优化问题求解 。Hopfield模型、波尔兹 曼机（BM）模型等可以完 成此类计算。
Hopfield神经网络优化方法神经网络优化方法
16
10.2 Hopfield神经网络 - HNN
x)
0ห้องสมุดไป่ตู้
特点：
x 1 1 x 1
x 1
类似于系数为1的非线性放大器， 当工作于线性区时它是一个线性组合器，
放大系数趋于无穷大时变成一个阈值单元
Hopfield神经网络优化方法神经网络优化方法
13
激活函数的若干形式
（3）sigmoid函数
f (x) 1 1exp(cx)
式中，c为大于0的参数 ，可控制曲线斜率
其中，I1, I2,..., In是外部对网络的输入；v1, v2,..., vn是网络系统 的输出；u1, u2, ..., un是对相应神经元输入，wij是从第j个神经 元对第i个神经元的输入的权值，wji=wij，wii=0。f(•)是特性函 数，决定了网络是离散的还是连续的。
Hopfield神经网络优化方法神经网络优化方法
18
离散型Hopfield网络
定义：对图10-8中的特性函数f(•)取阈值函数（见图 10-3）等硬限函数，使神经元的输出取离散值，就得 到离散型Hopfield神经网络。
工作原理：设有n个神经元，v为神经网络的状态矢量 v i ，为第i个神经元的输出，输出取值为0或者为l的二 值状态。对任一神经元{ iv，j i } j 为第i个神经元的内部 未加权输入，它们对该神经元的影响程度用连接权wij
特点：
网络中引入了反馈，所以它是一个非线性动力 学系统 .
非线性动力学系统着重关心的是系统的稳定性 问题。
在Hopfield模型中，神经网络之间的联系总是 设为对称的，这保证了系统最终会达到一个固 定的有序状态，即稳定状态。
Hopfield神经网络优化方法神经网络优化方法
17
Hopfield网络基本结构:
11
激活函数的若干形式
（1）阈值函数，即阶跃函数
f(x)sgn(x) 1 0
x0 x0
于是神经元i的相应输出为：
1 vi 0
xi 0 xi 0
式中，
n
xi wijs j i
j1
Hopfield神经网络优化方法神经网络优化方法
12
激活函数的若干形式
（2）分段线性函数
1
f
(x)
1 2
(1
Hopfield神经网络优化方法神经网络优化方法
6
人工神经元模型
权值：给不同的输入的信号一定的权值，用wij 表示。一般权值为‘+’表示激活，为‘-’表示 抑制；
Hopfield神经网络优化方法神经网络优化方法
7
人工神经元模型
求和器：用表示，以计算各输入信号的加权 和，其效果等同于一个线性组合；
表示。 i 为第i个神经元的阈值。
1 vi 0
xi 0 xi 0
（10-6）
Hopfield神经网络优化方法神经网络优化方法
19
离散型Hopfield网络
2种状态更新方式：
异步方式：在任一时刻t，只有某一个神经元按式（ 10-6）发生变化，而其余n-1个神经元的状态保持不 变。
第10章 Hopfield神经网络优化 方法
1
Hopfield神经网络优化方法
10.1 人工神经网络模型 10.2 Hopfield神经网络 10.3 Hopfield网络与最优化问题
Hopfield神经网络优化方法神经网络优化方法
2
人工神经网络
人工神经网络是指由大量简单人工神经元互联而成的一 种计算结构。它可以在某种程度上模拟生物神经系统的 工作过程，从而具备解决实际问题的能力。
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能，以及它高度的自组织和自适应能力，已成为 解决许多工程问题的有力工具，近年来得到了飞速的发 展。
Hopfield神经网络优化方法神经网络优化方法
3
生物神经系统
生物神经系统是一个有高度组织和相互作用的 数目庞大的细胞组织群体。这些细胞被称为神 经细胞，也称作神经元。
Hopfield神经网络优化方法神经网络优化方法
8
人工神经元模型
激活函数：图中的f()，主要起非线性映射作用 ，另外还可以作为限幅器将神经元输出幅度限 制在一定范围内；
Hopfield神经网络优化方法神经网络优化方法
9
人工神经元模型
阈值：控制激活函数输出的开关量，用i表示
。
Hopfield神经网络优化方法神经网络优化方法
10
人工神经元模型
上述作用可用数学方式表示如下：
n
u i w i j s j j1
xi ui i vi f (xi)
i=1, 2,…, n
式中，sj为输入信号；wij为神经元i对输入信号sj的权值；
ui为线性组合结果；i为阈值；f()为激活函数；
vi为神经元i的输出。
Hopfield神经网络优化方法神经网络优化方法
主要起函数映射作用，常用于模式识别和函数逼近 。
Hopfield神经网络优化方法神经网络优化方法
15
（2）反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。 若总的单元数为n，则每一个结点有n-1个输入、—个输出，如图10-7 的
Hopfield神经网络优化方法神经网络优化方法
14
10.1.3 人工神经网络的互连模式
根据连接方式的不同，将现有的各类神经网络分为 如下2种形式：前馈型网络 ，反馈型网络
（1）前馈型网络
各神经元接受前一层的输入，并输出给下一 层，没有反馈。
结点分为两类，即输入单元和计算单元，每 一计算单元可有任意个输入，但只有一个输 出（它可耦合到任意多个其他结点作为输入 ）。
Hopfield神经网络优化方法神经网络优化方法
4
人工神经元模型
人工神经元是构成人工神经网络的基本单元， 是对生物神经元特性及功能的一种数学抽象， 通常为一个多输入单输出器件。
Hopfield神经网络优化方法神经网络优化方法
5
人工神经元模型
输入与输出信号：s1、s2、….sn为输入，vi为输 出。输出也称为单元的状态。
形式。 反馈网络按对能量函数极 小点的利用分为两类：
•一类是能量函数的所有极 小点都起作用，主要用作 各种联想存储器；
•第二类只利用全局极小点 ，主要用于优化问题求解 。Hopfield模型、波尔兹 曼机（BM）模型等可以完 成此类计算。
Hopfield神经网络优化方法神经网络优化方法
16
10.2 Hopfield神经网络 - HNN
x)
0ห้องสมุดไป่ตู้
特点：
x 1 1 x 1
x 1
类似于系数为1的非线性放大器， 当工作于线性区时它是一个线性组合器，
放大系数趋于无穷大时变成一个阈值单元
Hopfield神经网络优化方法神经网络优化方法
13
激活函数的若干形式
（3）sigmoid函数
f (x) 1 1exp(cx)
式中，c为大于0的参数 ，可控制曲线斜率
其中，I1, I2,..., In是外部对网络的输入；v1, v2,..., vn是网络系统 的输出；u1, u2, ..., un是对相应神经元输入，wij是从第j个神经 元对第i个神经元的输入的权值，wji=wij，wii=0。f(•)是特性函 数，决定了网络是离散的还是连续的。
Hopfield神经网络优化方法神经网络优化方法
18
离散型Hopfield网络
定义：对图10-8中的特性函数f(•)取阈值函数（见图 10-3）等硬限函数，使神经元的输出取离散值，就得 到离散型Hopfield神经网络。
工作原理：设有n个神经元，v为神经网络的状态矢量 v i ，为第i个神经元的输出，输出取值为0或者为l的二 值状态。对任一神经元{ iv，j i } j 为第i个神经元的内部 未加权输入，它们对该神经元的影响程度用连接权wij
特点：
网络中引入了反馈，所以它是一个非线性动力 学系统 .
非线性动力学系统着重关心的是系统的稳定性 问题。
在Hopfield模型中，神经网络之间的联系总是 设为对称的，这保证了系统最终会达到一个固 定的有序状态，即稳定状态。
Hopfield神经网络优化方法神经网络优化方法
17
Hopfield网络基本结构:
11
激活函数的若干形式
（1）阈值函数，即阶跃函数
f(x)sgn(x) 1 0
x0 x0
于是神经元i的相应输出为：
1 vi 0
xi 0 xi 0
式中，
n
xi wijs j i
j1
Hopfield神经网络优化方法神经网络优化方法
12
激活函数的若干形式
（2）分段线性函数
1
f
(x)
1 2
(1
Hopfield神经网络优化方法神经网络优化方法
6
人工神经元模型
权值：给不同的输入的信号一定的权值，用wij 表示。一般权值为‘+’表示激活，为‘-’表示 抑制；
Hopfield神经网络优化方法神经网络优化方法
7
人工神经元模型
求和器：用表示，以计算各输入信号的加权 和，其效果等同于一个线性组合；
表示。 i 为第i个神经元的阈值。
1 vi 0
xi 0 xi 0
（10-6）
Hopfield神经网络优化方法神经网络优化方法
19
离散型Hopfield网络
2种状态更新方式：
异步方式：在任一时刻t，只有某一个神经元按式（ 10-6）发生变化，而其余n-1个神经元的状态保持不 变。
第10章 Hopfield神经网络优化 方法
1
Hopfield神经网络优化方法
10.1 人工神经网络模型 10.2 Hopfield神经网络 10.3 Hopfield网络与最优化问题
Hopfield神经网络优化方法神经网络优化方法
2
人工神经网络
人工神经网络是指由大量简单人工神经元互联而成的一 种计算结构。它可以在某种程度上模拟生物神经系统的 工作过程，从而具备解决实际问题的能力。
人工神经网络由于其大规模并行处理、学习、联想和记 忆等功能，以及它高度的自组织和自适应能力，已成为 解决许多工程问题的有力工具，近年来得到了飞速的发 展。
Hopfield神经网络优化方法神经网络优化方法
3
生物神经系统
生物神经系统是一个有高度组织和相互作用的 数目庞大的细胞组织群体。这些细胞被称为神 经细胞，也称作神经元。
Hopfield神经网络优化方法神经网络优化方法
8
人工神经元模型
激活函数：图中的f()，主要起非线性映射作用 ，另外还可以作为限幅器将神经元输出幅度限 制在一定范围内；
Hopfield神经网络优化方法神经网络优化方法
9
人工神经元模型
阈值：控制激活函数输出的开关量，用i表示
。
Hopfield神经网络优化方法神经网络优化方法
10
人工神经元模型
上述作用可用数学方式表示如下：
n
u i w i j s j j1
xi ui i vi f (xi)
i=1, 2,…, n
式中，sj为输入信号；wij为神经元i对输入信号sj的权值；
ui为线性组合结果；i为阈值；f()为激活函数；
vi为神经元i的输出。
Hopfield神经网络优化方法神经网络优化方法