智能控制系统 -神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
反向传播(Backpropagation)算法：从后向前（反 向）逐层“传播”输出层的误差，以间接算 出隐层误差。分两个阶段：
正向过程：从输入层经隐层逐层正向计算各单元 的输出。
反向过程：由输出层误差逐层反向计算隐层各单 元的误差，并用此误差修正当前层的权值。
图 BP网络结构
2.4.2 BP网络的标准学习算法
第五章 神经网络控制
5.1 神经网络的基本原理及结构 5.2 前向网络及其算法 5.3 反馈网络 5.4 神经网络控制
5.1 神经网络的基本原理和结构 1 神经细胞的结构与功能
神经元是由细胞体、树突和轴突组成
图 生物神经元模型
神经网络的基本模型
2
人工神经元模型
人工神经网络是对生物神经元的一种模拟和简化，是 神经网络的基本处理单元。
5.4
神经网络控制
神经网络在控制中的作用
⑴在传统的控制系统中用以动态系统建模，充当 对象模型；
⑵在反馈控制系统中直接充当控制器的作用； ⑶在传统控制系统中起优化计算作用；
do (k) d1(k),d2(k),L ,dq(k)
2.4.2 BP网络的标准学习算法
第三步，计算隐含层各神经元的输入和输出
n
hih (k ) wih xi (k ) bh
i 1
h 1, 2,L , p
hoh (k) f(hih (k)) h 1, 2,L , p
p
yio (k ) whohoh (k ) bo
网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
2.4.2 BP网络的标准学习算法
网络结构
输入层有n个神经元，隐含层有p个神经元,
输出层有q个神经元
变量定义
输入向量; 隐含层输入向量； 隐含层输出向量;
x x1, x2,L , xn
hi hi1, hi2,L , hip
ho ho1, ho2,L , hop
他节点的状态保持不变 同步方式：所有神经元节点同时调整 离散Hopfield网络实质是一个离散的非线性动力学系 统。系统如果稳定，则可以从一种初态收敛到一个稳定 状态；若系统不稳定，系统不可能出现无限发散。
5.3
反馈网络
2 Boltzmann机网络(BM网络)
具有对称的连接权值
用于分类问题的BM网络，不含隐单元
哥帽。
自组织特征映射网络具有侧 向联想力，如图右。输出 节点呈二维阵列分布。输 出节点与其邻域或其他节 点广泛连接，互相激励。 每个输入节点与输出节点 之间由可变权值连接。通 过某种规则，不断调整权 值，使得在稳定是每个领 域的所有节点对某种输入 具有类似的输出，并且聚 类的概率分布与输入模式 的概率分布相接近。
who
hoh (k)
e
yio
(1 2
q o1
(do(k) yio
yoo (k)))2
(do (k )
yoo (k)) yoo
(k)
(do(k) yoo (k))f ( yio(k)) @o(k)
BP网络的标准学习算法
第六步，利用输出层各神经元的o (k)和隐含 层各神经元的输出来修正连接权值 who(k) 。
将误差分摊给各层的所有 单元－－－各层单元的误 差信号
修正各单元权 值
学习的过程：
信号的正向传播
误差的反向传播
BP网络的标准学习算法-学习过程
正向传播：
输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
若输出层的实际输出与期望的输出（教师信号）不符
误差反传
误差以某种形式在各层表示－－－－修正各层单元的权值
三种改进算法 ：⑴引入动量项 ⑵变尺度法
⑶变步长法
5.3
反馈网络
1
Hopfield网络
是一种全连结加权无向图，可分为离散型和连续 性两种
离散Hopfield网络
离散型网络：单层网络，有n各神经元节点，每个神 经元输出连接到其他神经元输入，各节点没有自反馈 每个节点有一个阈值，ωij是神经元间的连接权值，每 个神经元处于状态1（刺激值超过阈值）或-1。 工作方式有两种： 异步方式：每次只有一个神经元节点进行状态调整，其
J (n) 1
2
k
ek2 (n)
1 2
eT
(n)e(n)
J
E
1 2
k
ek2 (n)
E
1 2
eT
(n)e(n)
14
误差纠正学习
用梯度下降法求解
wk J
对于感知器和线性网络：
Pj
wkj ek p j
wkj
nk
ak
W epT
delta学 习规则
对于多层感知器网络：扩展的delta学习规 则，bp算法
感知器是由阈值元件组成且具有单层计算单元 的神经网络，具有学习功能。
感知器是最简单的前馈网络，它主要用于模式 分类，也可用在基于模式分类的学习控制和多 模态控制中，其基本思想是将一些类似于生物 神经元的处理元件构成一个单层的计算网络
感知器
图 单层感知器网络
感知器的输入输出关系：
图 单个神经元的感知器
概率式学习 学习规则：
竞争学习
输出神经元之间有侧向抑制性连接，较强单元 获胜并抑制其他单元，独处激活状态。 （Winner takes all, WTA）
wkj ( p j wkj ) 若神经元k获胜
wkj 0
若神经元k失败
wkj
k
pj
5.2
前向网络及其算法
前馈神经网络(feed forward NN)：各神经元接受 前级输入，并输出到下一级，无反馈，可用一 有向无环图表示。
对于输出层第k个神经元的 实际输出: ak(n) 目标输出: tk(n) 误差信号: ek(n) = tk(n) - ak(n) 目标函数为基于误差信号ek(n)的函数，如误差平方和判 据(sum squared error, SSE)，或均方误差判据(mean
squared error, MSE)
输出层输入向量; 输出层输出向量; 期望输出向量;
yi yi1, yi2,L , yiq
yo yo1, yo2,L , yoq
do d1, d2,L , dq
BP网络的标准学习算法
输入层与中间层的连接权值:
wih
隐含层与输出层的连接权值:
who
隐含层各神经元的阈值: bh
输出层各神经元的阈值: bo 样本数据个数: k 1,2,L m
who (k )
e who
o (k)hoh (k)
wN 1 ho
whNo
o (k)hoh (k)
BP网络的标准学习算法
第七步，利用隐含层各神经元的h (k)和输入 层各神经元的输入修正连接权。
wih (k )
e wih
e hih (k )
hih (k ) wih
h (k ) xi (k )
wN 1 ih
从计算观点，缺乏丰富的动力学行为
人工神经网络的基本结构类型
⑵有反馈的前向网络：典型的网络有Hopfield神经网络
特点： 若总节点(神经元)数为N，
则每个节点有N个输入和一个 输出。每个节点都是一样，互 相连接。
反馈型网络是反馈动力学系 统，需要工作一段时间后才能 达到稳定。
Hopfield神经网络是反馈型 网络中最简单应用最广的模型， 具有联想记忆功能。
BM网络运行分为两个阶段：
1）学习和训练阶段，根据学习样本对网络进 行训练，将知识分布地存储于网络的连接 权中；
2）工作阶段，根据输入运行网络得到合适的 输出，这实质是按照某种机制将知识提取 出来。
5.3
反馈网络
3
自组织特征映射网络
神经网络在接受外界输入时，将会分成不同的区 域，不同区域对不同模式具有不同的响应特征。 各神经元放入连接权值具有一定的分布特性，最 邻近的神经元互相激励，而较远的神经元则互相 抑制，再远的又具有较弱的激励作用。在受外界 刺激时，最强的地方形成一个气泡，称其为墨西
输入
环境 神经网络
输出 输入
环境
神经网络
评价信息
神经网络的学习方法
学习规则(learning rule)：
Hebb学习算法 误差纠正学习算法 概率式学习 竞争学习算法
Hebb学习
Hebb学习规则：无教师学习方法 Hebb学习规则的物理解释：两个神经元同时
处于激发状态时，相应的权值得到加强。
误差纠正学习（δ学习规则）
教师
t(n) 期望输出
输入
环境
p(n)
神经网络
实际输出
比较
a(n)
误差信号
e(n)
非监督学习与再励学习
非监督学习：不存在教 师，网络根据外部数据 的统计规律来调节系统 参数，以使网络输出能 反映数据的某种特性
再励学习：外部环境对 网络输出只给出评价信 息而非正确答案，网络 通过强化受奖励的动作 来改善自身的性能
wiNh
பைடு நூலகம்
h (k ) xi
(k)
BP网络的标准学习算法
第八步，计算全局误差
E
1 2m
m k 1
q o1
(do (k )
yo (k ))2
第九步，判断网络误差是否满足要求。当误差达 到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对 应的期望输出，返回到第三步，进入下一轮学 习。
神经元输出特性函数常选用的类型有：
3 人工神经网络的基本结构类型
⑴前向网络 ；⑵有反馈的前向网络 ；⑶层内有互联的前向 网络 ；⑷互联网络
1）前向网络:典型的网络有：感知器网络、BP网络等。
特点：
前向网络具有较强的学习能力，结构 简单，易于编程。
前馈网络是静态非线性映射，通过简 单非线性处理单元的复合映射，可获 得复杂的非线性处理能力。
激活函数:
f()
误差函数：
e
1 2
q o1
(do (k )
yoo (k ))2
BP网络的标准学习算法
第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内的
随机数，设定误差函数e，给定计算精度值
和最大学习次数M。
第二步,随机选取第 k个输入样本及对应期 望输出
x(k) x1(k), x2(k),L , xn(k)
人工神经网络的基本结构类型
神经网络的学习方法
从环境中获取知识并改进自身性能，主要指 调节网络参数使网络达到某种度量，又称 为网络的训练 学习方式：
监督学习 非监督学习 再励学习(强化学习）
监督学习
对训练样本集中的每一组输入能提供一组目标输 出。 网络根据目标输出与实际输出的误差信号来调节 网络参数。
h1
o 1, 2,L q
yoo (k) f( yio (k)) o 1, 2,L q
BP网络的标准学习算法
第四步，利用网络期望输出和实际输出，
计算误差函数对输出层的各神经元的偏
导数 o (。k )
e e yio who yio who
p
(
yio (k) who
h
whohoh (k) bo )
3
BP算法的改进算法
BP算法尚存在以下一些缺点
①由于采用非线性梯度优化算法，易形成局部极小而得 不到整体最优；
②优化算法次数甚多使得学习效率低，收敛速度很慢；
③BP网络是前向网络，无反馈连接，影响信息交换速度 和效率；
④网络输入节点、输出节点由问题而定，但隐节点的选 取根据经验，缺乏理论指导；
⑤在训练中学习新样本有遗忘旧样本的趋势，且要求每 个样本的特征数目要相同。
学习的过程：
神经网络在外界输入样本的刺激下不断改变网络的连接 权值,以使网络的输出不断地接近期望的输出。
学习的本质：
对各连接权值的动态调整
学习规则：
权值调整规则，即在学习过程中网络中各神经元的连接 权变化所依据的一定的调整规则。
BP网络的标准学习算法-算法思想
学习的类型：有导师学习 核心思想：
将输出误差以某种形式通过隐层向输入层逐层反传
多层感知器的一致逼近性
逻辑功能：单个阈值神经元可以实现任意多输 入的与、或及与非、或非逻辑门。
任何逻辑函数可由两层前馈网络实现 当神经元的输出函数为Sigmoid等函数时，两
层前馈网络可以逼近任意的多元非线性函数 MLP的适用范围大大超过单层网络。
2 前项多层网络的BP学习算法
问题：多层感知器的中间隐层不直接与外界连 接，其误差无法直接计算。
图中结点为神经元（PE）：多输入单输出，输 出馈送多个其他结点。
前馈网络通常分为不同的层(layer)，第i层的输入 只与第i-1层的输出联结。
可见层：输入层(input layer)和输出层(output layer)
隐层(hidden layer) ：中间层
1
感知器网络
感知器是1957年美国学者Rosenblatt提出的 一种用于模式分类的神经网络模型。
当输入的加权和大于或等于阈值，输出为1，否则 为-1（或为0）。
感知器学习算法
感知器学习算法：误差修正学习
wkj (tk ak ) p j
W epT
对应于线性判别函数 对线性可分问题算法收敛， 对线性不可分的数据算法不收敛
多层感知器
多层感知器: Multi-Layer Perceptron, MLP Architecture：
正向过程：从输入层经隐层逐层正向计算各单元 的输出。
反向过程：由输出层误差逐层反向计算隐层各单 元的误差，并用此误差修正当前层的权值。
图 BP网络结构
2.4.2 BP网络的标准学习算法
第五章 神经网络控制
5.1 神经网络的基本原理及结构 5.2 前向网络及其算法 5.3 反馈网络 5.4 神经网络控制
5.1 神经网络的基本原理和结构 1 神经细胞的结构与功能
神经元是由细胞体、树突和轴突组成
图 生物神经元模型
神经网络的基本模型
2
人工神经元模型
人工神经网络是对生物神经元的一种模拟和简化，是 神经网络的基本处理单元。
5.4
神经网络控制
神经网络在控制中的作用
⑴在传统的控制系统中用以动态系统建模，充当 对象模型；
⑵在反馈控制系统中直接充当控制器的作用； ⑶在传统控制系统中起优化计算作用；
do (k) d1(k),d2(k),L ,dq(k)
2.4.2 BP网络的标准学习算法
第三步，计算隐含层各神经元的输入和输出
n
hih (k ) wih xi (k ) bh
i 1
h 1, 2,L , p
hoh (k) f(hih (k)) h 1, 2,L , p
p
yio (k ) whohoh (k ) bo
网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
2.4.2 BP网络的标准学习算法
网络结构
输入层有n个神经元，隐含层有p个神经元,
输出层有q个神经元
变量定义
输入向量; 隐含层输入向量； 隐含层输出向量;
x x1, x2,L , xn
hi hi1, hi2,L , hip
ho ho1, ho2,L , hop
他节点的状态保持不变 同步方式：所有神经元节点同时调整 离散Hopfield网络实质是一个离散的非线性动力学系 统。系统如果稳定，则可以从一种初态收敛到一个稳定 状态；若系统不稳定，系统不可能出现无限发散。
5.3
反馈网络
2 Boltzmann机网络(BM网络)
具有对称的连接权值
用于分类问题的BM网络，不含隐单元
哥帽。
自组织特征映射网络具有侧 向联想力，如图右。输出 节点呈二维阵列分布。输 出节点与其邻域或其他节 点广泛连接，互相激励。 每个输入节点与输出节点 之间由可变权值连接。通 过某种规则，不断调整权 值，使得在稳定是每个领 域的所有节点对某种输入 具有类似的输出，并且聚 类的概率分布与输入模式 的概率分布相接近。
who
hoh (k)
e
yio
(1 2
q o1
(do(k) yio
yoo (k)))2
(do (k )
yoo (k)) yoo
(k)
(do(k) yoo (k))f ( yio(k)) @o(k)
BP网络的标准学习算法
第六步，利用输出层各神经元的o (k)和隐含 层各神经元的输出来修正连接权值 who(k) 。
将误差分摊给各层的所有 单元－－－各层单元的误 差信号
修正各单元权 值
学习的过程：
信号的正向传播
误差的反向传播
BP网络的标准学习算法-学习过程
正向传播：
输入样本－－－输入层－－－各隐层－－－输出层
判断是否转入反向传播阶段：
若输出层的实际输出与期望的输出（教师信号）不符
误差反传
误差以某种形式在各层表示－－－－修正各层单元的权值
三种改进算法 ：⑴引入动量项 ⑵变尺度法
⑶变步长法
5.3
反馈网络
1
Hopfield网络
是一种全连结加权无向图，可分为离散型和连续 性两种
离散Hopfield网络
离散型网络：单层网络，有n各神经元节点，每个神 经元输出连接到其他神经元输入，各节点没有自反馈 每个节点有一个阈值，ωij是神经元间的连接权值，每 个神经元处于状态1（刺激值超过阈值）或-1。 工作方式有两种： 异步方式：每次只有一个神经元节点进行状态调整，其
J (n) 1
2
k
ek2 (n)
1 2
eT
(n)e(n)
J
E
1 2
k
ek2 (n)
E
1 2
eT
(n)e(n)
14
误差纠正学习
用梯度下降法求解
wk J
对于感知器和线性网络：
Pj
wkj ek p j
wkj
nk
ak
W epT
delta学 习规则
对于多层感知器网络：扩展的delta学习规 则，bp算法
感知器是由阈值元件组成且具有单层计算单元 的神经网络，具有学习功能。
感知器是最简单的前馈网络，它主要用于模式 分类，也可用在基于模式分类的学习控制和多 模态控制中，其基本思想是将一些类似于生物 神经元的处理元件构成一个单层的计算网络
感知器
图 单层感知器网络
感知器的输入输出关系：
图 单个神经元的感知器
概率式学习 学习规则：
竞争学习
输出神经元之间有侧向抑制性连接，较强单元 获胜并抑制其他单元，独处激活状态。 （Winner takes all, WTA）
wkj ( p j wkj ) 若神经元k获胜
wkj 0
若神经元k失败
wkj
k
pj
5.2
前向网络及其算法
前馈神经网络(feed forward NN)：各神经元接受 前级输入，并输出到下一级，无反馈，可用一 有向无环图表示。
对于输出层第k个神经元的 实际输出: ak(n) 目标输出: tk(n) 误差信号: ek(n) = tk(n) - ak(n) 目标函数为基于误差信号ek(n)的函数，如误差平方和判 据(sum squared error, SSE)，或均方误差判据(mean
squared error, MSE)
输出层输入向量; 输出层输出向量; 期望输出向量;
yi yi1, yi2,L , yiq
yo yo1, yo2,L , yoq
do d1, d2,L , dq
BP网络的标准学习算法
输入层与中间层的连接权值:
wih
隐含层与输出层的连接权值:
who
隐含层各神经元的阈值: bh
输出层各神经元的阈值: bo 样本数据个数: k 1,2,L m
who (k )
e who
o (k)hoh (k)
wN 1 ho
whNo
o (k)hoh (k)
BP网络的标准学习算法
第七步，利用隐含层各神经元的h (k)和输入 层各神经元的输入修正连接权。
wih (k )
e wih
e hih (k )
hih (k ) wih
h (k ) xi (k )
wN 1 ih
从计算观点，缺乏丰富的动力学行为
人工神经网络的基本结构类型
⑵有反馈的前向网络：典型的网络有Hopfield神经网络
特点： 若总节点(神经元)数为N，
则每个节点有N个输入和一个 输出。每个节点都是一样，互 相连接。
反馈型网络是反馈动力学系 统，需要工作一段时间后才能 达到稳定。
Hopfield神经网络是反馈型 网络中最简单应用最广的模型， 具有联想记忆功能。
BM网络运行分为两个阶段：
1）学习和训练阶段，根据学习样本对网络进 行训练，将知识分布地存储于网络的连接 权中；
2）工作阶段，根据输入运行网络得到合适的 输出，这实质是按照某种机制将知识提取 出来。
5.3
反馈网络
3
自组织特征映射网络
神经网络在接受外界输入时，将会分成不同的区 域，不同区域对不同模式具有不同的响应特征。 各神经元放入连接权值具有一定的分布特性，最 邻近的神经元互相激励，而较远的神经元则互相 抑制，再远的又具有较弱的激励作用。在受外界 刺激时，最强的地方形成一个气泡，称其为墨西
输入
环境 神经网络
输出 输入
环境
神经网络
评价信息
神经网络的学习方法
学习规则(learning rule)：
Hebb学习算法 误差纠正学习算法 概率式学习 竞争学习算法
Hebb学习
Hebb学习规则：无教师学习方法 Hebb学习规则的物理解释：两个神经元同时
处于激发状态时，相应的权值得到加强。
误差纠正学习（δ学习规则）
教师
t(n) 期望输出
输入
环境
p(n)
神经网络
实际输出
比较
a(n)
误差信号
e(n)
非监督学习与再励学习
非监督学习：不存在教 师，网络根据外部数据 的统计规律来调节系统 参数，以使网络输出能 反映数据的某种特性
再励学习：外部环境对 网络输出只给出评价信 息而非正确答案，网络 通过强化受奖励的动作 来改善自身的性能
wiNh
பைடு நூலகம்
h (k ) xi
(k)
BP网络的标准学习算法
第八步，计算全局误差
E
1 2m
m k 1
q o1
(do (k )
yo (k ))2
第九步，判断网络误差是否满足要求。当误差达 到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对 应的期望输出，返回到第三步，进入下一轮学 习。
神经元输出特性函数常选用的类型有：
3 人工神经网络的基本结构类型
⑴前向网络 ；⑵有反馈的前向网络 ；⑶层内有互联的前向 网络 ；⑷互联网络
1）前向网络:典型的网络有：感知器网络、BP网络等。
特点：
前向网络具有较强的学习能力，结构 简单，易于编程。
前馈网络是静态非线性映射，通过简 单非线性处理单元的复合映射，可获 得复杂的非线性处理能力。
激活函数:
f()
误差函数：
e
1 2
q o1
(do (k )
yoo (k ))2
BP网络的标准学习算法
第一步，网络初始化
给各连接权值分别赋一个区间（-1，1）内的
随机数，设定误差函数e，给定计算精度值
和最大学习次数M。
第二步,随机选取第 k个输入样本及对应期 望输出
x(k) x1(k), x2(k),L , xn(k)
人工神经网络的基本结构类型
神经网络的学习方法
从环境中获取知识并改进自身性能，主要指 调节网络参数使网络达到某种度量，又称 为网络的训练 学习方式：
监督学习 非监督学习 再励学习(强化学习）
监督学习
对训练样本集中的每一组输入能提供一组目标输 出。 网络根据目标输出与实际输出的误差信号来调节 网络参数。
h1
o 1, 2,L q
yoo (k) f( yio (k)) o 1, 2,L q
BP网络的标准学习算法
第四步，利用网络期望输出和实际输出，
计算误差函数对输出层的各神经元的偏
导数 o (。k )
e e yio who yio who
p
(
yio (k) who
h
whohoh (k) bo )
3
BP算法的改进算法
BP算法尚存在以下一些缺点
①由于采用非线性梯度优化算法，易形成局部极小而得 不到整体最优；
②优化算法次数甚多使得学习效率低，收敛速度很慢；
③BP网络是前向网络，无反馈连接，影响信息交换速度 和效率；
④网络输入节点、输出节点由问题而定，但隐节点的选 取根据经验，缺乏理论指导；
⑤在训练中学习新样本有遗忘旧样本的趋势，且要求每 个样本的特征数目要相同。
学习的过程：
神经网络在外界输入样本的刺激下不断改变网络的连接 权值,以使网络的输出不断地接近期望的输出。
学习的本质：
对各连接权值的动态调整
学习规则：
权值调整规则，即在学习过程中网络中各神经元的连接 权变化所依据的一定的调整规则。
BP网络的标准学习算法-算法思想
学习的类型：有导师学习 核心思想：
将输出误差以某种形式通过隐层向输入层逐层反传
多层感知器的一致逼近性
逻辑功能：单个阈值神经元可以实现任意多输 入的与、或及与非、或非逻辑门。
任何逻辑函数可由两层前馈网络实现 当神经元的输出函数为Sigmoid等函数时，两
层前馈网络可以逼近任意的多元非线性函数 MLP的适用范围大大超过单层网络。
2 前项多层网络的BP学习算法
问题：多层感知器的中间隐层不直接与外界连 接，其误差无法直接计算。
图中结点为神经元（PE）：多输入单输出，输 出馈送多个其他结点。
前馈网络通常分为不同的层(layer)，第i层的输入 只与第i-1层的输出联结。
可见层：输入层(input layer)和输出层(output layer)
隐层(hidden layer) ：中间层
1
感知器网络
感知器是1957年美国学者Rosenblatt提出的 一种用于模式分类的神经网络模型。
当输入的加权和大于或等于阈值，输出为1，否则 为-1（或为0）。
感知器学习算法
感知器学习算法：误差修正学习
wkj (tk ak ) p j
W epT
对应于线性判别函数 对线性可分问题算法收敛， 对线性不可分的数据算法不收敛
多层感知器
多层感知器: Multi-Layer Perceptron, MLP Architecture：