第3章 神经网络控制- 网络结构3

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
即:������ 2 = 1, 0, 0 T 。
161
第3步,更新 ������3 、而������1 和������2 的输出状态保持不变,有:
������3 (3) = ������,0.2 ∙ 1 + 0.6 ∙ 0 − 0- = ������(0.2) = 1; ������������ 3 = ������������ 2 , ������ = 1,2, 即:������ 3 = 1, 0, 1 T 。 (2) 假定按������3 → ������2 → ������1 的顺序异步更新输出状态
������2 (1) = ������,(−0.5) ∙ 0 + 0.6 ∙ 0 − 0- = ������(0) = 0 ;
第 2 步,更新 ������1 、而 ������2 和 ������3 的输出状态保持不变,有:
������������ 2 = ������������ 1 , ������ = 2,3,
全互联型,三种画法等价;若含一条(以上)红色虚线,则为含自环的全互联型。

典型反馈网络: Hopfield 网络、 Boltzmann 机 网络、Kohonen网络。
149


Hopfield网络
1982 年 , 美 国 加 州 理 工 学 院 物 理 学 家 J.J. Hopfield教授提出一种离散型的单层全互联反馈 神经网络,可用作联想存储器——Hopfield网络。 1984 年, Hopfield 又提出连续型的单层全互联 反馈网络,可用作优化计算。
2 为 。 3 3
第2步: 以第1步所得到的状态100为新的初始态,进行类似 计算,可以得到整个状态转移图。
159
w 1N w 33 w ... y 1/3 1/3 0.0
3 N
110 1/3 1/3
0.4 001 0.0
y3
NN
N
010 1/3
1/3 2/3
000 0.0 1/3
Hopfield网络结构 V 1
163
3.3.2.2 DHNN网络的稳定状态与能量井

稳定状态 DHNN 网是一个离散的非线性动力学系统,网络 从初态 ������(0) 开始,若能经有限次递归后,其状态 不再发生变化,即������ ������ + ∆������ =������ ������ , ∀∆������ > 0,则 称该网络是稳定的。此时的状态 ������ ������ 称为稳定状 态(稳定点)或吸引子。
3.3.2.4 DHNN网络的应用——联想记忆
3.3.3 连续型Hopfield神经网络
146
3.3 动态神经网络
3.3.1 基本概念

神经网络的分类 (按信息流向) 前馈式和反馈式。

前馈网络:主要研究网络的输出与输入间的映射 关系;输出由当前输入和权矩阵决定,与网络先 前的输出状态无关;设计与分析简单。
150

Hopfield网络的结构 单层、神经元全互联、不含自环 。 外部输入单元和输出单元的确定
a)

假定网络共有ℎ 个神经元,(外部)输入向量的维 数为������,输出向量的维数为������。
b)
c) d)
若指定网络中的������个神经元直接接受对应于输入 向量的信号,则称这������个神经元为输入神经元。
������������ (������ + 1) = ������ ������������������������ (������ + 1) , ������ = 1,2, ⋯ , ������
154
其中,
������
������������������������ (������ + 1) =
������1 ������2

������������

������������
������1

������2
������������

������������
153

网络的状态

DHNN网中的每个神经元都有相同的功能,其输 出称为状态,用������������ 表示。

所有神经元状态的集合构成反馈网络的状态:


能量函数
基于耗散动力系统的观点,Hopfield提出了神经 网络的类能量函数。
164

对于离散Hopfield网络,能量函数为:
������
������ = −
������=1
1 2
������
������������������ ������������ − ������������
������=1
1987 年,贝尔实验室基于 Hopfield 网络成功开 发了神经网络芯片。 根据激励函数的不同,可分为
离散型 (DHNN) :二值网络,激励函数为阶跃函数或符号函数,
神经元输入、输出只取*0,1+或*−1,1+;



连续型 (CHNN) : 激励函数为连续函数,神经元输入输出间形
成连续可微、单调上升的函数关系。
������1 (3) = ������,(−0.5) ∙ 0 + 0.2 ∙ 0 − (−0.1)- = ������(0.1) = 1 ;
第3步,更新 ������1 、而 ������2 和������3 的输出状态保持不变,有: ������������ 3 = ������������ 2 , ������ = 2,3, 即:������ 3 = 1, 0, 0 T 。
元的输出状态不变;除非特别说明属例外。)
注:
对于DHNN网,一般有������������������ = 0, ������������������ = ������������������ 。
155

网络的异步工作方式

(串行模式)
网络运行时每次只有一个神经元的输出状态发生 变化,而其他神经元的输出状态保持不变。其中, 状态变化的神经元可以随机地选择,也可以按照 一定的顺序进行。 若随机选择发生变化的神经元,则通常以等概率 被选择。
1/3
-0.1 2/3
100 2/3 1/3 1/3 101 -0.3 1/3
0.2
1/3 2/3 -0.4 111 V
3
0.0
(b) 网络状态转移 圈内为状态 线上为转移概率
1/3 011 -0.6 3/3
160
权值初值 值
若选用指定顺序的异步工作方式,则状态转移不具有 随机性。如:
(1) 假定按������2 → ������1 → ������3 的顺序异步更新输出状态
第 1 步,更新 ������2 、而 ������1 和 ������3 的输出状态保持不变,有: ������������ 1 = ������������ 0 , ������ = 1,3, 即:������ 1 = 0, 0, 0 T 。
������1 (2) = ������,(−0.5) ∙ 0 + 0.2 ∙ 0 − (−0.1)- = ������(0.1) = 1
(本例规定������ 0 = 0)
T
= 0,0,0 T 。
试用异步工作方式计算网络演变过程的状态。
������1
−0.1 -0.5 0.2
������2
0 0.6
0
������3
157
������1
−0.1 -0.5
0.2
������2
0 0.6
0
������3
解:
设各节点状态取值为 1 或 0 ,Leabharlann Baidu节点 DHNN 网络应 有23 = 8种状态。选择随机异步更新方式。
第1步:
若������1 被随机选中,而������2 、������3 状态保持不变,则有
������1 (1) = ������,(−0.5) ∙ 0 + 0.2 ∙ 0 − (−0.1)- = ������(0.1) = 1,
状态变为100;
158
若������2 被随机选中,而������1 、������3 状态保持不变,则有 ������2 (1) = ������,(−0.5) ∙ 0 + 0.6 ∙ 0 − 0- = ������(0) = 0 ,状态 仍为000;
(并行模式)


网络的同步工作方式

网络工作时每次有多个神经元的输出状态发生变 化,其余的神经元的状态保持不变,变化的神经 元可以随机地选取,也可以按照一定的顺序进行。
156

如果所有神经元的输出状态同时发生变化,则称 为全并行工作方式。 例11:设有3节点DHNN网,权值与阈值均已标 在图中,初始状态为 ������(0) = ������1 (0), ������2 (0), ������3 (0)
若������3 被随机选中,而������1 、������2 状态保持不变,则有 ������3 (1) = ������,0.2 ∙ 0 + 0.6 ∙ 0 − 0- = ������(0) = 0 , 状 态 仍 为000。
因输出状态可能改变的单个神经元是等概率被选中 1 的,故状态变为100的概率为 ,而保持不变的概率
������3
������3
������4 ������4
根据实际情况,反馈网络的输入模式(外部输入)可以 始终加在网络上;也可以是仅起初始化状态的作用, 即认为初始化后即撤除外部输入。 本课程中的分析假定基于后者。
152
3.3.2 离散型Hopfield神经网络
3.3.2.1 网络的结构与工作方式
162
第2步,更新 ������2 、而 ������1 和������3 的输出状态保持不变,有: ������2 (2) = ������,(−0.5) ∙ 0 + 0.6 ∙ 0 − 0- = ������(0) = 0; ������������ 2 = ������������ 1 , ������ = 1,3, 即:������ 2 = 0, 0, 0 T 。
������ = ������1 , ������2 , … , ������������
T

反馈网络的外部输入就是网络的状态初始值,表 示为: ������(0) = ������1 0 , ������2 0 , … , ������������ 0 T

反馈网络在外界输入激发下,从初始状态进入动 态演变过程,变化规律为:
1 ������ ������������ = − ������ ������������ + ������ ������ Θ 2
将网络的总能量人为分配在每个神经元上,则第������ 个神经元的能量函数为 1 ������������ = − 2
������
������������������ ������������ ������������ + ������������ ������������

反馈网络:主要研究动力系统的稳定特性;网络 中至少存在一条反馈回路;设计与分析复杂。
147

一种重要的反馈结构:单层全互联型网络(可含自环) 全互联型:每个神经元的输出均反馈到其它所有 神经元的输入端作为内部输入之一; 自环型:网络中存在神经元的输出信号反馈回自 身的情况。

148
可等价为:
第1步,更新 ������3 、而 ������1 和������2 的输出状态保持不变,有:
������3 1 = ������ 0.2 ∙ 0 + 0.6 ∙ 0 − 0 = ������ 0 = 0
������������ 1 = ������������ 0 , ������ = 1,2, 即:������ 1 = 0, 0, 0 T 。
������=1
������������������ ������������ (������) − ������������ , ������ = 1,2, ⋯ , ������
DHNN网的激活函数������ 可以选为阶跃函数,也可以选 用符号函数。(对Hopfield网络,一般规定当������������������������ = 0时,神经
第1部分 网络结构
3.1 神经网络概述
3.2 前向神经网络
3.3 动态神经网络
3.4 径向基函数神经网络
145
3.3 动态神经网络
3.3.1 基本概念 3.3.2 离散型Hopfield神经网络
3.3.2.1 网络的结构与工作方式
3.3.2.2 DHNN网络的稳定状态与能量井
3.3.2.3 DHNN网络的稳定性
若指定网络中的 ������ 个神经元用于输出计算结果 时,就称这������个神经元为输出神经元。 当 ������ = ������ = ℎ 时,网络退化为最简单的形式, 称为基本的Hopfield网络。
151
例10:含有4个单元的基本Hopfield网络。 ������1 ������1 ������2 ������2
相关文档
最新文档