hopfield神经网络模型与学习算法共21页
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
➢ newhop( )
➢功能 生成一个Hopfield回归网络。 ➢格式 net = newhop(T) ➢说明 net为生成的神经网络，具有在T中的向量上稳
定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为 -1或1）。Hopfield神经网络经常被应用于模式的联想 记忆中。Hopfield神经网络仅有一层，其激活函数用 satlins( )函数，层中的神经元有来自它自身的连接 权和阈值。
Hopfield网络分为离散型和连续型两种网络模型，分 别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。
1
2020/3/24
2.9.1离散Hopfield 神经网络
网络模型表示法一
0,
dE 0 dt
连续Hopfield网络模型是稳定的
11
2020/3/24
2.9.2 连续Hopfield 神经网络
连续Hopfield网络模型的主要特性 ➢1)连续Hopfield网络的神经元作为I/O转换，其传输 特性具有Sigmoid特性； ➢2)具有时空整合作用； ➢3)在神经元之间存在着大量的兴奋性和抑制性连接， 这种联接主要是通过反馈来实现。 ➢4)具有既代表产生动作电位的神经元，又有代表按 渐进方式工作的神经元，即保留了动态和非线性两 个最重要的计算特性。
概述
Hopfield网络是神经网络发展历史上的一个重要的里 程碑。由美国加州理工学院物理学家J.J.Hopfield教授于 1982年提出，是一种单层反馈神经网络。
Hopfield网络是一种由非线性元件构成的反馈系统，其 稳定状态的分析比前向神经网络要复杂得He多llo。,I’1m98Jo4h年n， Hopfield设计并研制了网络模型的电路，并Ho成pf功iel地d 解决 了旅行商(TSP)计算难题(优化问题)。
➢(2)并行(同步)工作方式
在任一时刻，部分神经元或全部神经元 的状态同时改变。
6 2020/3/24
2.9.1离散Hopfield 神经网络
串行(异步)工作方式运行步骤 ➢第一步 对网络进行初始化； ➢ 第二步 从网络中随机选取一个神经元； ➢ 第三步 按式(2-5)求出该神经元i的输出； ➢ 第四步 按式(2-6)求出该神经元经激活函 数处理后的输出，此时网络中的其他神经元 的输出保持不变； ➢ 第五步 判断网络是否达到稳定状态，若 达到稳定状态或满足给定条件则结束；否则 转到第二步继续运行。
Ci dduti
N
wijvj
j1
Ii
ui Ri
dEN
dt
i1
Ci(dduti
)dvi dt
N
i1
Ci
df1(vi dt
)
dvi dt
N
i1
Ci
df1(vi dvi
)
dvi dt
N百度文库
i1
Ci
df1(vi)(dvi dvi dt
)2
因为
d
f 1(vi dvi
)
0,
又
dvi dvi
2
0, Ci
z 1
z 1
z 1
z 1
2 2020/3/24
2.9.1离散Hopfield 神经网络
网络模型表示法二
3 2020/3/24
2.9.1离散Hopfield 神经网络
相关参数说明
➢任意神经元 i与 j 间的突触权值 w i j 为，神经元之间
连接是对称的，神经元自身无连接.
➢每个神经元都同其他的神经元相连,其输出信号经 过其他神经元又有可能反馈给自己
7
2020/3/24
2.9.1离散Hopfield 神经网络
稳定状态
➢若网络从某一时刻以后，状态不再发生变化， 则称网络处于稳定状态
v(t t) v(t) t 0
➢网络为对称连接，即；神经元自身无连接
➢ 能量函数在网络运行中不断降低，最后达到
稳定
E1 n
2 i1
n
wijvivj
j1
n
bivi
Hopfield神经网络设计的目标就是使得网络存储一些 特定的平衡点，当给定网络一个初始条件时，网络最后 会在这样的点上停下来
12
2020/3/24
2.9.3 Hopfield 神经网络的MATLAB实现
MATLAB中Hopfield网络的重要函数和功能
函数名
功能
satlin( ) 饱和线性传递函数
satlins( ) 对称饱和线性传递函数
newhop( ) 生成一个Hopfield回归网络
nnt2hop( ) 更新NNT 2.0 Hopfield回归 网络
13 2020/3/24
2.9.3 Hopfield 神经网络的MATLAB实现
MATLAB中与Hopfield网络有关的重要函数和功能
i1
ij ji
8 2020/3/24
2.9.1离散Hopfield 神经网络
网络中神经元能量函数变化量
Ei
1 2
n i1
wijvivj
bivi
i j
Ei Ei(t 1)Ei(t)
Hopfield网络状态向着能量函数减小的 方向演化。由于能量函数有界，所以系 统必然会趋于稳定状态 。
1 2
n i1
➢设Hopfield网络中有n个神经元，其中任意神经元
的输入用 u i 表示，输出 v i用表示，它们都是时间的
函数，其中vi (t)也称为神经元在时刻 t的状态。
n
vi (t) wiju j (t) bi j1
ji
vi(t1)f(vi(t))
4 2020/3/24
2.9.1离散Hopfield 神经网络
wijvi
(t
1)vj
bivi (t
1)
1 2
n i1
wijvi
(t)vj－bivi
(t)
i j
i j
＝1 2
vi(t 1)vi(t)
n
wijvj
ii1j
bi
Ei 0
9
2020/3/24
2.9.2 连续Hopfield 神经网络
网络模型
w11
I1
u1
v1
+
1
R10
C1
wi1
Ii
ui
+
激励函数
1
vi
(t
1)
1
n
wijv j (t) bi 0
j 1 ji
n
wijv j (t) bi 0,
j 1 ji
5 2020/3/24
2.9.1离散Hopfield 神经网络
离散Hopfield网络的运行规则 ➢(1)串行(异步)工作方式
在任—时刻，只有某—神经元 (随机的 或确定的选择)依上式变化，而其他神经 元的状态不变。
vi
Ri 0
Ci
i
wj1
Ij
+
uj
j
vj
Rj0
Cj
wN1
+
IN
RN0
uN
N
CN
vN
10 2020/3/24
2.9.2 连续Hopfield 神经网络
稳定性分析
d dE t d dv E i d d v ti iN 1 jN 1w ijvjR uijIid d v ti
➢将下式代入得：
➢功能 生成一个Hopfield回归网络。 ➢格式 net = newhop(T) ➢说明 net为生成的神经网络，具有在T中的向量上稳
定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为 -1或1）。Hopfield神经网络经常被应用于模式的联想 记忆中。Hopfield神经网络仅有一层，其激活函数用 satlins( )函数，层中的神经元有来自它自身的连接 权和阈值。
Hopfield网络分为离散型和连续型两种网络模型，分 别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。
1
2020/3/24
2.9.1离散Hopfield 神经网络
网络模型表示法一
0,
dE 0 dt
连续Hopfield网络模型是稳定的
11
2020/3/24
2.9.2 连续Hopfield 神经网络
连续Hopfield网络模型的主要特性 ➢1)连续Hopfield网络的神经元作为I/O转换，其传输 特性具有Sigmoid特性； ➢2)具有时空整合作用； ➢3)在神经元之间存在着大量的兴奋性和抑制性连接， 这种联接主要是通过反馈来实现。 ➢4)具有既代表产生动作电位的神经元，又有代表按 渐进方式工作的神经元，即保留了动态和非线性两 个最重要的计算特性。
概述
Hopfield网络是神经网络发展历史上的一个重要的里 程碑。由美国加州理工学院物理学家J.J.Hopfield教授于 1982年提出，是一种单层反馈神经网络。
Hopfield网络是一种由非线性元件构成的反馈系统，其 稳定状态的分析比前向神经网络要复杂得He多llo。,I’1m98Jo4h年n， Hopfield设计并研制了网络模型的电路，并Ho成pf功iel地d 解决 了旅行商(TSP)计算难题(优化问题)。
➢(2)并行(同步)工作方式
在任一时刻，部分神经元或全部神经元 的状态同时改变。
6 2020/3/24
2.9.1离散Hopfield 神经网络
串行(异步)工作方式运行步骤 ➢第一步 对网络进行初始化； ➢ 第二步 从网络中随机选取一个神经元； ➢ 第三步 按式(2-5)求出该神经元i的输出； ➢ 第四步 按式(2-6)求出该神经元经激活函 数处理后的输出，此时网络中的其他神经元 的输出保持不变； ➢ 第五步 判断网络是否达到稳定状态，若 达到稳定状态或满足给定条件则结束；否则 转到第二步继续运行。
Ci dduti
N
wijvj
j1
Ii
ui Ri
dEN
dt
i1
Ci(dduti
)dvi dt
N
i1
Ci
df1(vi dt
)
dvi dt
N
i1
Ci
df1(vi dvi
)
dvi dt
N百度文库
i1
Ci
df1(vi)(dvi dvi dt
)2
因为
d
f 1(vi dvi
)
0,
又
dvi dvi
2
0, Ci
z 1
z 1
z 1
z 1
2 2020/3/24
2.9.1离散Hopfield 神经网络
网络模型表示法二
3 2020/3/24
2.9.1离散Hopfield 神经网络
相关参数说明
➢任意神经元 i与 j 间的突触权值 w i j 为，神经元之间
连接是对称的，神经元自身无连接.
➢每个神经元都同其他的神经元相连,其输出信号经 过其他神经元又有可能反馈给自己
7
2020/3/24
2.9.1离散Hopfield 神经网络
稳定状态
➢若网络从某一时刻以后，状态不再发生变化， 则称网络处于稳定状态
v(t t) v(t) t 0
➢网络为对称连接，即；神经元自身无连接
➢ 能量函数在网络运行中不断降低，最后达到
稳定
E1 n
2 i1
n
wijvivj
j1
n
bivi
Hopfield神经网络设计的目标就是使得网络存储一些 特定的平衡点，当给定网络一个初始条件时，网络最后 会在这样的点上停下来
12
2020/3/24
2.9.3 Hopfield 神经网络的MATLAB实现
MATLAB中Hopfield网络的重要函数和功能
函数名
功能
satlin( ) 饱和线性传递函数
satlins( ) 对称饱和线性传递函数
newhop( ) 生成一个Hopfield回归网络
nnt2hop( ) 更新NNT 2.0 Hopfield回归 网络
13 2020/3/24
2.9.3 Hopfield 神经网络的MATLAB实现
MATLAB中与Hopfield网络有关的重要函数和功能
i1
ij ji
8 2020/3/24
2.9.1离散Hopfield 神经网络
网络中神经元能量函数变化量
Ei
1 2
n i1
wijvivj
bivi
i j
Ei Ei(t 1)Ei(t)
Hopfield网络状态向着能量函数减小的 方向演化。由于能量函数有界，所以系 统必然会趋于稳定状态 。
1 2
n i1
➢设Hopfield网络中有n个神经元，其中任意神经元
的输入用 u i 表示，输出 v i用表示，它们都是时间的
函数，其中vi (t)也称为神经元在时刻 t的状态。
n
vi (t) wiju j (t) bi j1
ji
vi(t1)f(vi(t))
4 2020/3/24
2.9.1离散Hopfield 神经网络
wijvi
(t
1)vj
bivi (t
1)
1 2
n i1
wijvi
(t)vj－bivi
(t)
i j
i j
＝1 2
vi(t 1)vi(t)
n
wijvj
ii1j
bi
Ei 0
9
2020/3/24
2.9.2 连续Hopfield 神经网络
网络模型
w11
I1
u1
v1
+
1
R10
C1
wi1
Ii
ui
+
激励函数
1
vi
(t
1)
1
n
wijv j (t) bi 0
j 1 ji
n
wijv j (t) bi 0,
j 1 ji
5 2020/3/24
2.9.1离散Hopfield 神经网络
离散Hopfield网络的运行规则 ➢(1)串行(异步)工作方式
在任—时刻，只有某—神经元 (随机的 或确定的选择)依上式变化，而其他神经 元的状态不变。
vi
Ri 0
Ci
i
wj1
Ij
+
uj
j
vj
Rj0
Cj
wN1
+
IN
RN0
uN
N
CN
vN
10 2020/3/24
2.9.2 连续Hopfield 神经网络
稳定性分析
d dE t d dv E i d d v ti iN 1 jN 1w ijvjR uijIid d v ti
➢将下式代入得：