第三章：反馈神经网络
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为吸引子y(t)的吸引域。
3.2.2 DHNN的动力学稳定性
从DHNN可以看出:
➢ 它是一种多输入,含有阈值的二值非线性动力系统.
➢ 在动力系统中,平衡稳定状态可以理解为系统的某种形式 的能量函数在系统运动过程中,其能量值不断减小,最后处 于最小值.
➢ 因此,对HNN可引入一个Lyapunov函数,即所谓能量函数:
DHNN有二种不同的工作方式: ➢ 串行(异步)方式和 ➢ 并行(同步)方式.
下面分别加以介绍.
3.2.1离散Hopfield网络的结构
(1) 串行(异步)方式
在时刻t时,只有某一个神经元j的状态产生变化,而其它n-1个 神经元的状态不变这时称串行工作方式.并且有
y
j
(t
1)
f
r
n 1
w
第三章 反馈神经网络
பைடு நூலகம்
本章知识结构
▪ 概述 ▪ 离散Hopfield网络 ▪ 连续Hopfield网络 ▪ 连续Hopfield网络的应用——优化计算
3.1 概述
联想特性是ANN的一个重要特性。前面介绍的 网络模型属于前向NN，从学习的角度看，具有 较强的学习能力，结构简单，易于编程。从系统 角度看，属于静态的非线性映射，通过简单的非 线性处理单元的复合映射可获得复杂的非线性处 理能力。但他们因此缺乏反馈，所以并不是强有 力的动力学系统。联想特性是ANN的一个重要特 性，主要包括联想映射和联想记忆。前馈网络具 有诱人的联想映射能力，而不具备联想记忆能力。 在反馈NN中，我们将着重介绍NN的联想记忆和 优化计算的能力。
➢ 各神经元通过赋有权重的连接来互联. ➢ 下面,首先考虑由三个神经元组成的DHNN,其
结构如图3.1所示.
3.2.1离散Hopfield网络的结构
w13 w21 w23 w31
w11 w12
w22
w32 w33
x1
x2
x3
y1
y2
y3
图 3.1 三神经元组成的 HNN
3.2.1离散Hopfield网络的结构
3.1 概述
▪ 1982年,美国加州工学院J.Hopfield提出了可用作 联想存储器和优化计算的反馈网络,这个网络称为 Hopfield神经网络(HNN)模型,也称Hopfield模型.
➢ HNN是一种循 环NN,从输出 到输入有反馈 连接.
➢ HNN有
离散型和
连续型
两种.
3.1 概述
反馈网络(Recurrent Network),又称自联 想记忆网络,如下图所示:
r,
j
yr
(t)
x
j
θ
j
ji
y j(t 1) y j(t)
ji
在不考虑外部输入时,则有
y
j
(t
1)
f
n
w
r,
j
yr
(t)
θ
j
r1
3.2.1离散Hopfield网络的结构
(2) 并行(同步)方式
在任一时刻t,所有的神经元的状态都产生了变化,则称并行工 作方式.并且有
y
j
(t
1)
f
➢ 对于HNN来说,关键是在于确定它在稳定条件下的权系 数.
➢ 应该指出,反馈网络有稳定的,也有不稳定的. 对于HNN来说,还存在如何判别它是稳定网络,亦或 是不稳定的问题.而判别依据是什么,也是需要确定的.
3.1 概述
反馈网络与前向网络的区别
▪ 结构不同 前向神经网络：没有反馈环节。 反馈神经网络：一个动态系统，存在稳定性问 题。（关键问题）
➢ 对于二值神经元,它的计算公式如下
n
u j wi,jyi x j i1
3.2.1离散Hopfield网络的结构
其中xj为外部输入,并且有 yj=1,当ujj时 yj=0,当uj<j时
对于DHNN,其网络状态是输出神经元信息的集合. ➢ 对于一个输出层是n个神经元的网络,则其t时刻的状态为 一个n维向量: y(t)=[y1(t),y2(t),...,yn(t)] ➢ 因为yi(t)可以取值为1或0,故n维向量y(t),即网络状态,有2n 种状态.
3.1 概述
▪ 由于HNN为动力学系统,且其平衡态关系到信 息的存储与联想记忆,其平衡态与稳定性是非 常关键的问题。
▪ 反馈网络根据信号的时间域的性质的分类为
➢ 如果激活函数f(·)是一个二值型的阶跃函数,则称 此网络为离散型反馈网络,主要用于联想记忆;
➢ 如果f(·)为一个连续单调上升的有界函数,这类网 络被称为连续型反馈网络,主要用于优化计算。
n
wi,jyi
(t)
x
j
θj
j 1,2,..., n
i1
在不考虑外部输入时,则有
y j (t
1)
f
n i1
wi,jyi
(t)
θ
j
3.2.2 DHNN的动力学稳定性
由于HNN为一非线性动力学系统,因此在其状态的演变过程 中,存在一个动力学稳定性问题. ➢ 对于动力学系统来说,稳定性是一个重要的性能指标,也可 以说是第一重要的性能指标. ➢ 对于DHNN, ✓ 在串行方式下的DHNN稳定性称之为串行稳定性. ✓ 同理,在并行方式的稳定性称之为并行稳定性. ✓ 在NN稳定时,其状态称稳定状态. ➢ 类似于研究动力学系统稳定性的Lyapunov稳定性分析方 法,下面讨论HNN的动力学稳定性问题.
➢ 当对反馈网络应用能量函数后,从任一初始状态开 始,因为在每次迭代后都能满足E0,所以网络的 能量将会越来越小.
由于能量函数存在下界,因此其最后趋于稳定点E=0.
➢ Hopfield能量函数的物理意义是:
在那些渐进稳定点的吸引域内,离吸引点越远的状态,所 具有的能量越大.
由于能量函数的单调下降特性,保证状态的运动方向能 从远离吸引点处,不断地趋于吸引点,直到达到稳定点.
3.2.2 DHNN的动力学稳定性
➢ 能量函数是反馈网络中的重要概念.根据能量函数 可以方便的判断系统的稳定性;
➢ Hopfield选择的能量函数,只是保证系统稳定和渐 进稳定的充分条件,而不是必要条件,其能量函数也 不是唯一的.
➢ 在状态更新过程中，包括三种情况：由0变为1； 由1变为0及状态保持不变。
3.2.1离散Hopfield网络的结构
对于3个神经元的DHNN,它的
输出层就是3位二进制数.每一
个3位二进制数就是一种网络
001
状态,从而共有8个网络状态,如
图2中所示.
101
111
011
100
110
➢ 在图中,立方体的每一个顶 000
010
角表示一种网络状态.
图 3.2 三神经元输出层的状 态
E - 1
2
n i1
n
wi,jyi (t)y j(t) -
j1
n
x jy j(t)
j1
n
θ
j1
jy j(t)
➢ 即有
E
n j 1
1 2
n i1
wi,jyi (t)y j(t) - x jy j(t) θ
jy j(t)
(1)
3.2.2 DHNN的动力学稳定性
▪ 对HNN的能量函数有几点说明:
3.1 概述
▪ 反馈NN由于其输出端有反馈到其输入端,所 以,HNN在输入的激励下,会产生不断的状态变化.
➢ 当有输入之后,可以求取出HNN的输出,这个输出反馈到 输入从而产生新的输出,这个反馈过程一直进行下去.
➢ 如果HNN是一个能稳定的网络,则这个反馈与迭代的计 算过程所产生的变化越来越小,一旦到达了稳定平衡状态, 那么HNN就会输出一个稳定的恒值.
▪ 模型不同 前向网络：从输入到输出的映射关系，不考虑 延时。 反馈网络：考虑延时，是一个动态系统，模 型是动态方程（微分方程）。
3.1 概述
网络的演变过程不同
前向网络：通过学习得到连接权然后完成指定 任务。 反馈网络：(优化计算时)首先确定w（不是通 过学习而来的，而是通过目标函数用解析算法 得到的），设定网络的初始状态，然后系统运 动，若稳定，则最后达到一个稳定状态，对应 的输出就是优化问题的解。
3.1 概述
联想记忆是指当网络输入某个矢量后，网络经 过反馈演化，从网络输出端得到另一个矢量，这 样输出矢量就称作网络从初始输入矢量联想得到 的一个稳定记忆，即网络的一个平衡点。优化计 算是指当某一问题存在多种解法时，可以设计一 个目标函数，然后寻求满足这一目标函数的最优 解法。例如，在很多情况下可以把能量函数作为 目标函数，得到的最优解法需要使能量函数达到 极小点，即能量函数的稳定平衡点。总之，反馈 网络的设计思想就是在初始输入下，使网络经过 反馈计算最后到达稳定状态，这时的输出即是用 户需要的平衡点。
3.2.2 DHNN的动力学稳定性
定义 对于DHNN,其状态为y(t): y(t)=[y1(t),y2(t),...,yn(t)]
如果,经有限时刻t,对于任何t>0,有: y(t+t)=y(t)
则称网络是稳定的. 吸引子：若y(t)是网络的稳定状态，则称y(t)是网络的稳定吸引子。 吸引域：能够稳定在吸引子y(t)的所有初始状态y(0)的集合，称
y
j
(t
1)
f[u
j
(t)]
1, 0,
u j(t) 0 u j(t) 0
n
u j(t) w y i,j i (t) x j θj i1
3.2.1离散Hopfield网络的结构
对图3所示的DHNN网络 ➢ 当wi,j在i=j时等于0,则说明一个神经元的输出并不会反馈 到它自己的输入. ✓ 这时,DHNN称为无自反馈网络. ➢ 当wi,j在i=j时不等于0,则说明—个神经元的输出会反馈到 它自己的输入. ✓ 这时,DHNN称为有自反馈的网络.
3.2.2 DHNN的动力学稳定性
➢ 如何通过网络神经元状态的变迁而最终稳定于平 衡状态,得到联想存储或优化计算的结果
➢ 网络的稳定性问题 ➢ 怎样设计和利用稳定的反馈网络
网络系统能够达到稳定收敛 网络的稳定点 吸引域的设计
▪ 下面开始介绍HNN,分别介绍两种主要的 HNN:
➢ 离散Hopfield网络 ➢ 连续Hopfield网络
▪ 在图中,第0层仅仅是作为网络的输入,它不是 实际神经元,所以无计算功能;
➢ 而第一层是实际神经元,故而执行对输入信息和 权系数乘积求累加和,并由非线性函数f处理后产 生输出信息.
➢ f是一个简单的阈值函数,如果
神经元的输入信息的综合大于阈值,那么,神经元的 输出就取值为1;
小于阈值,则神经元的输出就取值为0.
➢ 同理,对于n个神经元的输出层,它有2n个网络状态,也和一
个n维超立方体的顶角相对应.
➢ 如果HNN是一个稳定网络,那么在网络的输入端加入一 个输入向量,则网络的状态会产生变化,也就是从超立方 体的一个顶角转移向另一个顶角,并且最终稳定于某顶角.
3.2.1离散Hopfield网络的结构
对于一个由n个神经元组成的 DHNN,则有nn权系数矩阵 w={wij|i=1,2,...,n; j=1,2,...,n},同时, 有n维阈值向量=[1,2,...,n].
3.1 概述
反馈网络的目的是为了设计一个网络，储存一 组平衡点，使得当给网络一组初始值时，网络通过 自行运行而最终收敛到这个设计的平衡点上。
反馈网络能够表现出非线性动力学系统的动态 特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某 一初始状态开始运动，网络系统总可以收敛到某一 个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权 值而被存储到网络中。
➢ 一般而言,w和可以确定一个 唯一的DHNN.
x1 x2 x3
➢ 对于图3.1所示的三神经元组成
的HNN,也可以用图3.3所示的
图形表示,这两个图形的意义是
y1 y2 y3
一样的.
图 3.3 离散 Hopfield 网络
3.2.1离散Hopfield网络的结构
考虑DHNN的节点状态,用yj(t)表示第j个神经元,即节点j在时刻t 的状态,则节点的下一个时刻t+1的状态可以求出如下:
3.1 概述
学习方法不同 前向网络：误差修正算法（BP算法）。 反向网络：海布(Hebb)算法(用于联想、分类 的时候)
学习 Hebb算法 w 运行
3.1 概述
▪ 应用范围不同 前向网络：只能用于联想映射及其分类。 反馈网络：同时也可以用于联想记忆和约 束优化问题的求解。
3.1 概述
▪ 对于如HNN类似的反馈网络,研究的重点为:
3.2 离散Hopfield网络
▪ Hopfield最早提出的网络是神经元的输出为 0-1二值的NN,所以,也称离散的HNN (简称 为DHNN).
➢ 下面分别讨论DHNN的
结构 动力学稳定性(网络收敛性) 联想存储中的应用 记忆容量问题
3.2.1离散Hopfield网络的结构
▪ 在DHNN网络中,神经元所输出的离散值1和 0分别表示神经元处于兴奋和抑制状态.
3.2.2 DHNN的动力学稳定性
从DHNN可以看出:
➢ 它是一种多输入,含有阈值的二值非线性动力系统.
➢ 在动力系统中,平衡稳定状态可以理解为系统的某种形式 的能量函数在系统运动过程中,其能量值不断减小,最后处 于最小值.
➢ 因此,对HNN可引入一个Lyapunov函数,即所谓能量函数:
DHNN有二种不同的工作方式: ➢ 串行(异步)方式和 ➢ 并行(同步)方式.
下面分别加以介绍.
3.2.1离散Hopfield网络的结构
(1) 串行(异步)方式
在时刻t时,只有某一个神经元j的状态产生变化,而其它n-1个 神经元的状态不变这时称串行工作方式.并且有
y
j
(t
1)
f
r
n 1
w
第三章 反馈神经网络
பைடு நூலகம்
本章知识结构
▪ 概述 ▪ 离散Hopfield网络 ▪ 连续Hopfield网络 ▪ 连续Hopfield网络的应用——优化计算
3.1 概述
联想特性是ANN的一个重要特性。前面介绍的 网络模型属于前向NN，从学习的角度看，具有 较强的学习能力，结构简单，易于编程。从系统 角度看，属于静态的非线性映射，通过简单的非 线性处理单元的复合映射可获得复杂的非线性处 理能力。但他们因此缺乏反馈，所以并不是强有 力的动力学系统。联想特性是ANN的一个重要特 性，主要包括联想映射和联想记忆。前馈网络具 有诱人的联想映射能力，而不具备联想记忆能力。 在反馈NN中，我们将着重介绍NN的联想记忆和 优化计算的能力。
➢ 各神经元通过赋有权重的连接来互联. ➢ 下面,首先考虑由三个神经元组成的DHNN,其
结构如图3.1所示.
3.2.1离散Hopfield网络的结构
w13 w21 w23 w31
w11 w12
w22
w32 w33
x1
x2
x3
y1
y2
y3
图 3.1 三神经元组成的 HNN
3.2.1离散Hopfield网络的结构
3.1 概述
▪ 1982年,美国加州工学院J.Hopfield提出了可用作 联想存储器和优化计算的反馈网络,这个网络称为 Hopfield神经网络(HNN)模型,也称Hopfield模型.
➢ HNN是一种循 环NN,从输出 到输入有反馈 连接.
➢ HNN有
离散型和
连续型
两种.
3.1 概述
反馈网络(Recurrent Network),又称自联 想记忆网络,如下图所示:
r,
j
yr
(t)
x
j
θ
j
ji
y j(t 1) y j(t)
ji
在不考虑外部输入时,则有
y
j
(t
1)
f
n
w
r,
j
yr
(t)
θ
j
r1
3.2.1离散Hopfield网络的结构
(2) 并行(同步)方式
在任一时刻t,所有的神经元的状态都产生了变化,则称并行工 作方式.并且有
y
j
(t
1)
f
➢ 对于HNN来说,关键是在于确定它在稳定条件下的权系 数.
➢ 应该指出,反馈网络有稳定的,也有不稳定的. 对于HNN来说,还存在如何判别它是稳定网络,亦或 是不稳定的问题.而判别依据是什么,也是需要确定的.
3.1 概述
反馈网络与前向网络的区别
▪ 结构不同 前向神经网络：没有反馈环节。 反馈神经网络：一个动态系统，存在稳定性问 题。（关键问题）
➢ 对于二值神经元,它的计算公式如下
n
u j wi,jyi x j i1
3.2.1离散Hopfield网络的结构
其中xj为外部输入,并且有 yj=1,当ujj时 yj=0,当uj<j时
对于DHNN,其网络状态是输出神经元信息的集合. ➢ 对于一个输出层是n个神经元的网络,则其t时刻的状态为 一个n维向量: y(t)=[y1(t),y2(t),...,yn(t)] ➢ 因为yi(t)可以取值为1或0,故n维向量y(t),即网络状态,有2n 种状态.
3.1 概述
▪ 由于HNN为动力学系统,且其平衡态关系到信 息的存储与联想记忆,其平衡态与稳定性是非 常关键的问题。
▪ 反馈网络根据信号的时间域的性质的分类为
➢ 如果激活函数f(·)是一个二值型的阶跃函数,则称 此网络为离散型反馈网络,主要用于联想记忆;
➢ 如果f(·)为一个连续单调上升的有界函数,这类网 络被称为连续型反馈网络,主要用于优化计算。
n
wi,jyi
(t)
x
j
θj
j 1,2,..., n
i1
在不考虑外部输入时,则有
y j (t
1)
f
n i1
wi,jyi
(t)
θ
j
3.2.2 DHNN的动力学稳定性
由于HNN为一非线性动力学系统,因此在其状态的演变过程 中,存在一个动力学稳定性问题. ➢ 对于动力学系统来说,稳定性是一个重要的性能指标,也可 以说是第一重要的性能指标. ➢ 对于DHNN, ✓ 在串行方式下的DHNN稳定性称之为串行稳定性. ✓ 同理,在并行方式的稳定性称之为并行稳定性. ✓ 在NN稳定时,其状态称稳定状态. ➢ 类似于研究动力学系统稳定性的Lyapunov稳定性分析方 法,下面讨论HNN的动力学稳定性问题.
➢ 当对反馈网络应用能量函数后,从任一初始状态开 始,因为在每次迭代后都能满足E0,所以网络的 能量将会越来越小.
由于能量函数存在下界,因此其最后趋于稳定点E=0.
➢ Hopfield能量函数的物理意义是:
在那些渐进稳定点的吸引域内,离吸引点越远的状态,所 具有的能量越大.
由于能量函数的单调下降特性,保证状态的运动方向能 从远离吸引点处,不断地趋于吸引点,直到达到稳定点.
3.2.2 DHNN的动力学稳定性
➢ 能量函数是反馈网络中的重要概念.根据能量函数 可以方便的判断系统的稳定性;
➢ Hopfield选择的能量函数,只是保证系统稳定和渐 进稳定的充分条件,而不是必要条件,其能量函数也 不是唯一的.
➢ 在状态更新过程中，包括三种情况：由0变为1； 由1变为0及状态保持不变。
3.2.1离散Hopfield网络的结构
对于3个神经元的DHNN,它的
输出层就是3位二进制数.每一
个3位二进制数就是一种网络
001
状态,从而共有8个网络状态,如
图2中所示.
101
111
011
100
110
➢ 在图中,立方体的每一个顶 000
010
角表示一种网络状态.
图 3.2 三神经元输出层的状 态
E - 1
2
n i1
n
wi,jyi (t)y j(t) -
j1
n
x jy j(t)
j1
n
θ
j1
jy j(t)
➢ 即有
E
n j 1
1 2
n i1
wi,jyi (t)y j(t) - x jy j(t) θ
jy j(t)
(1)
3.2.2 DHNN的动力学稳定性
▪ 对HNN的能量函数有几点说明:
3.1 概述
▪ 反馈NN由于其输出端有反馈到其输入端,所 以,HNN在输入的激励下,会产生不断的状态变化.
➢ 当有输入之后,可以求取出HNN的输出,这个输出反馈到 输入从而产生新的输出,这个反馈过程一直进行下去.
➢ 如果HNN是一个能稳定的网络,则这个反馈与迭代的计 算过程所产生的变化越来越小,一旦到达了稳定平衡状态, 那么HNN就会输出一个稳定的恒值.
▪ 模型不同 前向网络：从输入到输出的映射关系，不考虑 延时。 反馈网络：考虑延时，是一个动态系统，模 型是动态方程（微分方程）。
3.1 概述
网络的演变过程不同
前向网络：通过学习得到连接权然后完成指定 任务。 反馈网络：(优化计算时)首先确定w（不是通 过学习而来的，而是通过目标函数用解析算法 得到的），设定网络的初始状态，然后系统运 动，若稳定，则最后达到一个稳定状态，对应 的输出就是优化问题的解。
3.1 概述
联想记忆是指当网络输入某个矢量后，网络经 过反馈演化，从网络输出端得到另一个矢量，这 样输出矢量就称作网络从初始输入矢量联想得到 的一个稳定记忆，即网络的一个平衡点。优化计 算是指当某一问题存在多种解法时，可以设计一 个目标函数，然后寻求满足这一目标函数的最优 解法。例如，在很多情况下可以把能量函数作为 目标函数，得到的最优解法需要使能量函数达到 极小点，即能量函数的稳定平衡点。总之，反馈 网络的设计思想就是在初始输入下，使网络经过 反馈计算最后到达稳定状态，这时的输出即是用 户需要的平衡点。
3.2.2 DHNN的动力学稳定性
定义 对于DHNN,其状态为y(t): y(t)=[y1(t),y2(t),...,yn(t)]
如果,经有限时刻t,对于任何t>0,有: y(t+t)=y(t)
则称网络是稳定的. 吸引子：若y(t)是网络的稳定状态，则称y(t)是网络的稳定吸引子。 吸引域：能够稳定在吸引子y(t)的所有初始状态y(0)的集合，称
y
j
(t
1)
f[u
j
(t)]
1, 0,
u j(t) 0 u j(t) 0
n
u j(t) w y i,j i (t) x j θj i1
3.2.1离散Hopfield网络的结构
对图3所示的DHNN网络 ➢ 当wi,j在i=j时等于0,则说明一个神经元的输出并不会反馈 到它自己的输入. ✓ 这时,DHNN称为无自反馈网络. ➢ 当wi,j在i=j时不等于0,则说明—个神经元的输出会反馈到 它自己的输入. ✓ 这时,DHNN称为有自反馈的网络.
3.2.2 DHNN的动力学稳定性
➢ 如何通过网络神经元状态的变迁而最终稳定于平 衡状态,得到联想存储或优化计算的结果
➢ 网络的稳定性问题 ➢ 怎样设计和利用稳定的反馈网络
网络系统能够达到稳定收敛 网络的稳定点 吸引域的设计
▪ 下面开始介绍HNN,分别介绍两种主要的 HNN:
➢ 离散Hopfield网络 ➢ 连续Hopfield网络
▪ 在图中,第0层仅仅是作为网络的输入,它不是 实际神经元,所以无计算功能;
➢ 而第一层是实际神经元,故而执行对输入信息和 权系数乘积求累加和,并由非线性函数f处理后产 生输出信息.
➢ f是一个简单的阈值函数,如果
神经元的输入信息的综合大于阈值,那么,神经元的 输出就取值为1;
小于阈值,则神经元的输出就取值为0.
➢ 同理,对于n个神经元的输出层,它有2n个网络状态,也和一
个n维超立方体的顶角相对应.
➢ 如果HNN是一个稳定网络,那么在网络的输入端加入一 个输入向量,则网络的状态会产生变化,也就是从超立方 体的一个顶角转移向另一个顶角,并且最终稳定于某顶角.
3.2.1离散Hopfield网络的结构
对于一个由n个神经元组成的 DHNN,则有nn权系数矩阵 w={wij|i=1,2,...,n; j=1,2,...,n},同时, 有n维阈值向量=[1,2,...,n].
3.1 概述
反馈网络的目的是为了设计一个网络，储存一 组平衡点，使得当给网络一组初始值时，网络通过 自行运行而最终收敛到这个设计的平衡点上。
反馈网络能够表现出非线性动力学系统的动态 特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某 一初始状态开始运动，网络系统总可以收敛到某一 个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权 值而被存储到网络中。
➢ 一般而言,w和可以确定一个 唯一的DHNN.
x1 x2 x3
➢ 对于图3.1所示的三神经元组成
的HNN,也可以用图3.3所示的
图形表示,这两个图形的意义是
y1 y2 y3
一样的.
图 3.3 离散 Hopfield 网络
3.2.1离散Hopfield网络的结构
考虑DHNN的节点状态,用yj(t)表示第j个神经元,即节点j在时刻t 的状态,则节点的下一个时刻t+1的状态可以求出如下:
3.1 概述
学习方法不同 前向网络：误差修正算法（BP算法）。 反向网络：海布(Hebb)算法(用于联想、分类 的时候)
学习 Hebb算法 w 运行
3.1 概述
▪ 应用范围不同 前向网络：只能用于联想映射及其分类。 反馈网络：同时也可以用于联想记忆和约 束优化问题的求解。
3.1 概述
▪ 对于如HNN类似的反馈网络,研究的重点为:
3.2 离散Hopfield网络
▪ Hopfield最早提出的网络是神经元的输出为 0-1二值的NN,所以,也称离散的HNN (简称 为DHNN).
➢ 下面分别讨论DHNN的
结构 动力学稳定性(网络收敛性) 联想存储中的应用 记忆容量问题
3.2.1离散Hopfield网络的结构
▪ 在DHNN网络中,神经元所输出的离散值1和 0分别表示神经元处于兴奋和抑制状态.