100神经网络控制 (3)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为了说明Hebb学习法则的应用，现以线性联想网络为 例说明其训练过程。设学习率η=1，连接强度矩阵初始化为 0，用m个输入代入加权值调整公式后，得加权值调整矩阵 的表达式：
m
w yK .xKT
k 1
第3章 神经网络模型
若xk为标准正交矢量，则当网络的输入为xj时，网络的 输出为
m
QK wx j yk xkT x j
k 1
考虑到xkT·xk=1，则
Qk
yk 0
jk jk
表明神经元的输出就是网络的输出，对应每一个输入，Hebb 学习法则将给出正确的输出结果。
的作用函数可记为
y j
sgn
n i1
wij xi
θj
第3章 神经网络模型
式中，θj是第j个神经元的动作阈值，sgn是符号函数：
1
y
j
sgn
1
n
wij xi θ j
i1 n
wi j xi θ j
i 1
当神经元的动作电位Nj超越阈值θj时，神经元输出+1， 处于兴奋状态；当Nj没超越阈值θj时，神经元输出－1，处于 抑制状态。MP作用函数如图3-2所示。
第3章 神经网络模型
(4) 如果相连接两个神经元的输出正负始终一致，将使 连接强度无约束地增长，为了防止这一状况出现，需要预先 设置连接强度饱和值。
Hebb学习法则除了使用神经元在某一时刻输出信号乘 积表示连接强度的变化外，还可以改进成使用差分形式。设 t－1时刻两神经元的输出为xi(t－1)和yj(t－1)；t时刻两神经 元的输出为xi(t)和yj(t)，则t+1时刻连接强度权值为：
3.1 人工神经网络建模
3.1.1 MP模型 MP模型是1943年由McCulloch和Pitts首先提出来的。它
是一种较为典型的模型，突出了神经元的兴奋和抑制功能， 设定了一个动作电位的阈值，把神经元是否产生神经冲动转 化为突触强度来描述。所谓“突触强度”就是指突触在活动 时所能产生神经冲动的强弱。
神经元具有PID调节功能。
第3章 神经网络模型
3.1.2 Hebb学习法则 1949年，D.O.Hebb首先提出了神经网络的学习算法，
史称Hebb学习法则。该法则的文字叙述是“神经元连接强 度的变化与两个相互连接神经元的激活水平成正比”。这一 学习法则源自于一个物理现象，就是当两个神经元都处在激 活状态时，两个神经元之间的连接突触将增强。人们在生物 能够形成“习惯”以及多次训练能够形成条件反射的观察中， 看到了这一现象并把它归纳与总结。
wij(t+1)=wij(t)+Δwij=wij(t)+ηyjxi
第3章 神经网络模型 图3-3 两个神经元
第3章 神经网络模型
上式说明权值的调整与第j个神经元的输入输出乘积成正比。 在批量出现的输入模式样本中，频率较高的输入样本将对加 权值的调整产生较大影响。
Hebb学习法有以下四个特征： (1) 连接强度的变化与相邻两个神经元的输出乘积成正 比，只要知道相连接神经元的输出，就能获得连接强度的变 化。 (2) 学习过程仅体现在信号前馈传送过程中，无反馈现 象存在。 (3) 是一种无导师学习，无须知道目标输出是什么。
于是
θj=w0jx0
y j
sgn n i0
wi
j
xi
式中，w0j=θj，x0=1。
第3章 神经网络模型
(3) 在需要考虑突触的延长作用时，神经元的作用函数 应修正为
y j t 1 sgn n wij xi t
i0
t+1时刻的神经元冲动取决于t时刻的输入。 人工神经元输出、输入之间的关系表达式决定了人工
图3-1画出了MP模型的结构示意图。该图以第j个神经 元为例，有n个神经元的输出信号x1，x2，…，xn作为输入。 每个输入突触的突触强度分别为w1j，w2j，…，wnj，突触强 度wij反映了第i个神经元对第j个神经元传递信号时的加权值。
第3章 神经网络模型 图3-1 MP模型结构示意图
第3章 神经网络模型
第3章 神经网络模型 图3-2 MP作用函数
第3章 神经网络模型
人工神经元模型有如下3个性质：
(1) i≠j，由于第j个神经元不可能自己对自身进行输入，
因此第i个输入中不能包括第j个神经元。
(2) 阈值θj可以看作是一个输入信号的权值，该输入信 号和权值分别用x0和w0j表示，且x0=1，则有：
第3章 神经网络模型
第3章 神经网络模型
3.1 人工神经网络建模 3.2 感知器 3.3 BP网络与BP算法 3.4 自适应线性神经网络 3.5 自组织竞争型神经网络 3.6 小脑模型神经网络 3.7 递归型神经网络 3.8 霍普菲尔德(Hopfield)神经网络 3.9 小结 习题与思考题
第3章 神经网络模型
第3章 神经网络模型
设网络中的第i个神经元对第j个神经元的连接如图3-3所
示，传递信号时的权值为wij
wij，两
个相互连接神经元的激活水平可以表示成ηyjxi，其中的η称
为激活率(又称为学习率)，激活率的大小将直接影响激活水
平的高低。
Hebb学习法表示成
Δwij=yjxi t时刻和t+1时刻的权值分别为wij(t)和wij(t+1)，有
人工神经元模型依靠突触输入xi和突触强度wij之间的运 算关系建立。MP模型采用的是线性加权求和，神经元在n个 突触进行活动时产生的动作电位为
n
N j wi j xi
i 1
把突触强度wij模拟成突触输入xi的加权值，当突触强度越强 时，该突触的输入对第Fra Baidu bibliotek个神经元的动作电位影响越大。
神经元的冲动是神经元的输出，用yj表示。如果用“+1” 和“－1”分别表示神经元的兴奋和抑制状态，那么MP模型
wij(t+1)=wij(t)+η(yj(t)－yj(t－1))(xi(t)－xi(t－1)) wij(t+1)与前两个相邻时刻的神经元输出增量成正比。
第3章 神经网络模型
连接强度与每一时刻的输出或输出增量有关，反映了此 时采用的神经网络结构为非线性结构。如果输出量与时间无 关，这时的神经元就是线性神经元。但是线性神经元及由此 构成的线性神经网络存在表达能力有限的问题，不能真实模 拟生物神经网络的信息处理特征。
m
w yK .xKT
k 1
第3章 神经网络模型
若xk为标准正交矢量，则当网络的输入为xj时，网络的 输出为
m
QK wx j yk xkT x j
k 1
考虑到xkT·xk=1，则
Qk
yk 0
jk jk
表明神经元的输出就是网络的输出，对应每一个输入，Hebb 学习法则将给出正确的输出结果。
的作用函数可记为
y j
sgn
n i1
wij xi
θj
第3章 神经网络模型
式中，θj是第j个神经元的动作阈值，sgn是符号函数：
1
y
j
sgn
1
n
wij xi θ j
i1 n
wi j xi θ j
i 1
当神经元的动作电位Nj超越阈值θj时，神经元输出+1， 处于兴奋状态；当Nj没超越阈值θj时，神经元输出－1，处于 抑制状态。MP作用函数如图3-2所示。
第3章 神经网络模型
(4) 如果相连接两个神经元的输出正负始终一致，将使 连接强度无约束地增长，为了防止这一状况出现，需要预先 设置连接强度饱和值。
Hebb学习法则除了使用神经元在某一时刻输出信号乘 积表示连接强度的变化外，还可以改进成使用差分形式。设 t－1时刻两神经元的输出为xi(t－1)和yj(t－1)；t时刻两神经 元的输出为xi(t)和yj(t)，则t+1时刻连接强度权值为：
3.1 人工神经网络建模
3.1.1 MP模型 MP模型是1943年由McCulloch和Pitts首先提出来的。它
是一种较为典型的模型，突出了神经元的兴奋和抑制功能， 设定了一个动作电位的阈值，把神经元是否产生神经冲动转 化为突触强度来描述。所谓“突触强度”就是指突触在活动 时所能产生神经冲动的强弱。
神经元具有PID调节功能。
第3章 神经网络模型
3.1.2 Hebb学习法则 1949年，D.O.Hebb首先提出了神经网络的学习算法，
史称Hebb学习法则。该法则的文字叙述是“神经元连接强 度的变化与两个相互连接神经元的激活水平成正比”。这一 学习法则源自于一个物理现象，就是当两个神经元都处在激 活状态时，两个神经元之间的连接突触将增强。人们在生物 能够形成“习惯”以及多次训练能够形成条件反射的观察中， 看到了这一现象并把它归纳与总结。
wij(t+1)=wij(t)+Δwij=wij(t)+ηyjxi
第3章 神经网络模型 图3-3 两个神经元
第3章 神经网络模型
上式说明权值的调整与第j个神经元的输入输出乘积成正比。 在批量出现的输入模式样本中，频率较高的输入样本将对加 权值的调整产生较大影响。
Hebb学习法有以下四个特征： (1) 连接强度的变化与相邻两个神经元的输出乘积成正 比，只要知道相连接神经元的输出，就能获得连接强度的变 化。 (2) 学习过程仅体现在信号前馈传送过程中，无反馈现 象存在。 (3) 是一种无导师学习，无须知道目标输出是什么。
于是
θj=w0jx0
y j
sgn n i0
wi
j
xi
式中，w0j=θj，x0=1。
第3章 神经网络模型
(3) 在需要考虑突触的延长作用时，神经元的作用函数 应修正为
y j t 1 sgn n wij xi t
i0
t+1时刻的神经元冲动取决于t时刻的输入。 人工神经元输出、输入之间的关系表达式决定了人工
图3-1画出了MP模型的结构示意图。该图以第j个神经 元为例，有n个神经元的输出信号x1，x2，…，xn作为输入。 每个输入突触的突触强度分别为w1j，w2j，…，wnj，突触强 度wij反映了第i个神经元对第j个神经元传递信号时的加权值。
第3章 神经网络模型 图3-1 MP模型结构示意图
第3章 神经网络模型
第3章 神经网络模型 图3-2 MP作用函数
第3章 神经网络模型
人工神经元模型有如下3个性质：
(1) i≠j，由于第j个神经元不可能自己对自身进行输入，
因此第i个输入中不能包括第j个神经元。
(2) 阈值θj可以看作是一个输入信号的权值，该输入信 号和权值分别用x0和w0j表示，且x0=1，则有：
第3章 神经网络模型
第3章 神经网络模型
3.1 人工神经网络建模 3.2 感知器 3.3 BP网络与BP算法 3.4 自适应线性神经网络 3.5 自组织竞争型神经网络 3.6 小脑模型神经网络 3.7 递归型神经网络 3.8 霍普菲尔德(Hopfield)神经网络 3.9 小结 习题与思考题
第3章 神经网络模型
第3章 神经网络模型
设网络中的第i个神经元对第j个神经元的连接如图3-3所
示，传递信号时的权值为wij
wij，两
个相互连接神经元的激活水平可以表示成ηyjxi，其中的η称
为激活率(又称为学习率)，激活率的大小将直接影响激活水
平的高低。
Hebb学习法表示成
Δwij=yjxi t时刻和t+1时刻的权值分别为wij(t)和wij(t+1)，有
人工神经元模型依靠突触输入xi和突触强度wij之间的运 算关系建立。MP模型采用的是线性加权求和，神经元在n个 突触进行活动时产生的动作电位为
n
N j wi j xi
i 1
把突触强度wij模拟成突触输入xi的加权值，当突触强度越强 时，该突触的输入对第Fra Baidu bibliotek个神经元的动作电位影响越大。
神经元的冲动是神经元的输出，用yj表示。如果用“+1” 和“－1”分别表示神经元的兴奋和抑制状态，那么MP模型
wij(t+1)=wij(t)+η(yj(t)－yj(t－1))(xi(t)－xi(t－1)) wij(t+1)与前两个相邻时刻的神经元输出增量成正比。
第3章 神经网络模型
连接强度与每一时刻的输出或输出增量有关，反映了此 时采用的神经网络结构为非线性结构。如果输出量与时间无 关，这时的神经元就是线性神经元。但是线性神经元及由此 构成的线性神经网络存在表达能力有限的问题，不能真实模 拟生物神经网络的信息处理特征。