第3章 神经元、感知器和BP网络(1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.单层感知器的基本结构
图中
x [ x1 x2 xn ]T
是输入特征向量，
y1
y2
ym . . . wm1
1
w11 w12 x1
w1 n
2
m
w ji
是
x i到 y j
wk.baidu.com
w mn x2 . . . xn
的连接权， y j (j=1, 2, …, m)
是输出量 。 也就是按照不同特征的分类结果。 13
出层k有L个节点，激活函数为f2， wki是i层和k层节点之间的联接 权值。隐含层和输出层节点的输入是前一层节点的输出的加权和。
22
课程名：智能控制技术
二. BP网络的基本学习规则
属于d 算法。基本思想是最小二乘算法：对于P个 输入学习样本[x1,x2,…xP]，已知对应的输出样本为 [d1,d2,…,dP]。学习的目的是用网络的实际输出 [y1,y2,…,yP]与目标矢量[d1,d2,…,dP]之间的误差来修正 其权值，使网络输出层的误差平方和达到最小。 学习过程由正向递推计算实现函数映射和反向传 播计算训练权值两步来完成。
x2
xn
M wij
q
wki
L
输入层
隐含层 信息流
输出层
21
课程名：智能控制技术
误差反向传播(学习算法) x1 x2
j
i
k +
xn
M wij
q
wki
L
输入层
隐含层 信息流
输出层
设输入层 j 有M个节点，节点的输出等于其输入。隐含层 i 有
q个节点，激活函数为f1，wij是j层和i层节点之间的联接权值。输
得
x2 时： 12 12 T 0
T 0
x3 时： 3 8 T 0
得
T 5
为将样本按要求分两类，
5 T 2
，根据题意选
T 3
8
课程名：智能控制技术
3.1.2 人工神经元网络
一.人工神经元网络的组成原理
人工神经网络是一个并行和分布式的信息处理网络结构，该网络结 构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以 连接到很多其它的神经元，其输入有多个连接通路，每个连接通路对 应一个连接权系数。
1
课程名：智能控制技术
（2）自适应性和自组织性。神经元之间的连接具有多样性，各神
经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自
组织，以适应不同信息处理的要求。 （3） 并行处理性。网络各单元可同时进行类似的处理，整个网络
的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。
（4）分布存储和容错性。信息在神经网络内的存储按内容分布于 许多神经元中，而且每个神经元存储多种信息的部分内容。网络的
样本
1 X3 4
为另一类（感知器输出为-1），
试求阀值T。（T为绝对值最小的整数，转移函数采用符号函数）
7
课程名：智能控制技术
解：单节点两输入感知器的输出为：
sgn(w1 x1 w2 x2 T ) sgn(3x1 2x2 T )
根据题意：
x1
时：
3 5 T 0 得 T 2
对于第q 层，它形成一个 nq 1 维的超平面，它对于该层的输入模 式进行线性分类。
由于多层的组合，最终可实现 对输入模式的较复杂的分类。
x ( Q)
1
x ( Q)
2
x ( Q)
nQ
...
... ...
x( 0 )
1
x( 0 )
2
x( 0 )
20
n0
课程名：智能控制技术
3.2.2. BP网络 一. BP网络的基本结构及原理
n0
这时每一层相当于一个单层感知器网络。
19
课程名：智能控制技术 2、多层感知器的输入输出变换关系
s
(q) i
( q ) ( q 1 ) w ij xj j 0
nq 1
( q 1 ) q) ( x0 i( q ) , w i(0 1)
(q) 1 s 0 (q) (q) i xi f ( si ) (q ) 1 s 0 i i 1, 2, , nq ; j 1, 2, , nq 1 , q 1, 2, , Q
课程名：智能控制技术
第三章 神经网络控制
神经网络是在生物功能启示下建立起来的一种数据处 理技术。它是由大量简单神经元互连而构成的一种计算结构， 在某种程度上模拟生物神经系统的工作过程，从而具备解决 实际问题的能力。
特点:
（1）非线性映射逼近能力。任意的连续非线性函数映射关系 可由多层神经网络以任意精度加以逼近。
f ( ) 称为输出变换函数。
x n
5
课程名：智能控制技术 2. 常用的输入输出变换函数
神经元模型的输出函数，它是一个非动态的非线性函数，用 以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。 这些非线性函数具有两
个显著的特征，一是它的突变 性，二是它的饱和性，这正是 为了模拟神经细胞兴奋过程中 所产生的神经冲动以及疲劳等 特性。
sj 0 sj < 0
x
p
( p =1, 2,…,P )。
该感知器的输出将输入模式分成了两类。它们分属于 n 维空间的两个不同的部分。
14
课程名：智能控制技术
y x2
* 以二维空间为例 分界线的方程为:
w1 x1 (a)
w1 x 1 w 2 x 2 0
* 值得注意的是：
w2 x
6
课程名：智能控制技术
课堂练习
某两输入、单输出的单节点感知器的连接权值 W 1 ， w 2 2 样本
w 3
1 4 X1 2.5 ， X 2 6
为一类（感知器输出为1），
3.2.1 感知器网络
感知器(perceptron) 是最简单的前馈网络，也是
早期仿生学的研究成果，主要功能是用于对不同的输
入模式进行分类。
12
课程名：智能控制技术
一、单层感知器网络
是具有单层神经元、采用线性阈值函数的前馈网络。 通过对权值的训练，可使感知器对一组线性可分的输入模 式（矢量）进行有效的分类。
n n
s j w ji x i w ji x i j ( x 0 j , w j 0 1)
i 0 i 1
y j f (s j )
其中: j 称为阈值
j
x1
-1 w j1
. . w jn ) .
( ) f f (. )
yj
w ji 称为连接权系数
根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分 为两大类：层状结构和网络结构。层状结构的神经网络是由若干层组 成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同 层内的神经元不能联接。
下面介绍几种常见的网络结构: 1、 前向网络（前馈网络） 2、反馈网络
10
课程名：智能控制技术
2
x1 (b)
只有那些线性可分模式类才能用感知器来加以区分。 线性不可分问题：
x2 . . -1 .-1
15
1 . 1 x1
典型的例子是异或关系。
课程名：智能控制技术 3. 感知器网络的学习规则
对于输入矢量 x，输出矢量 y，目标矢量d，根据以下输
出矢量可能出现的情况进行调整：
1)若yi d i，则wij ( k 1) wij ( k )； 2)若yi 0，d i 1，则wij ( k 1) wij ( k ) x j； 3)若yi 1，d i 0，则wij ( k 1) wij ( k ) x j；
3) 计算神经网络的实际输出：
yi f ( wij x j )
j 1
n
或 yk f ( wk x )
1 , x 0 式中，f 为双极值阶跃函数，且 f ( x ) 1 , x 0
17
课程名：智能控制技术
4) 检查输出y与目标d是否相同，若是，或已达到最大循环次数，训 练结束，否则继续；
可见，权值的变化量等于正负输入矢量。即 wij ( k 1) wij ( k ) [d i yi (k )]x j
16
课程名：智能控制技术 4.感知器网络的学习算法
采用有教师的学习方法进行训练： 1) 确定输入矢量x，目标矢量d，各矢量的维数、神经元数和样本数目： n，m，P； 2) 参数初始化： a)输入[x]np，[d]mp ； b)设置(-1,1)随机非零权矢量[w]mn ； c)给出最大循环次数max_epoch；
23
课程名：智能控制技术
三. BP网络的输入输出变换关系
1.BP网络中神经元的激活函数
在BP网络中，神经元 的变换函数通常采用 S 型函数，因此输出量 是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。
5) 修正权值 wij ( k 1) wij ( k ) [d i yi ( k )] x j wk 1 wk [d yk ] xT wk k xT k d yk 代表理想输出与网络实际输出的差值。 ：学习因子。
6)转到3)。 权矢量的修正量与输入模式xk成正比。若 的取值太大，算法可能出 现振荡。 取值太小，收敛速度会很慢。 单层感知器的局限性：只能解决简单的分类问题，也就是只有在输入 矢量是线性可分时，单层感知器才对输入模式进行有效的分类有效。线性 不可分问题只能用多层感知器来解决。
18
课程名：智能控制技术
二、多层感知器网络
1.多层感知器的基本结构
x ( Q) x ( Q)
2
如下图多层感知器网络： 其中：第0 层为输入层， 有 n 0 个神经元， 中间层为隐层。 第Q 层为输出层， 有 nQ 个神经元，
1
x ( Q)
nQ
...
... ...
x( 0 )
1
x( 0 )
2
x( 0 )
课程名：智能控制技术
2.单层感知器的输入输出变换关系
由于按不同特征的分类是互相独立的，因而可以
取出其中的一个神经元来讨论。 其输入到输出的变换关系为：
yj
s j w ji xi j
i 1
n
j
... x1 x2 xn
1 y j f (s j ) 0
若有P个输入样本
反向传播(Back-Propagation)网络，简称BP网络，是采 用广义d 学习规则，对非线性可微分函数进行权值训练的多 层（三层或三层以上）前馈网络。
BP网络主要用于函 数逼近、模式识别、分 x1 类、数据压缩。
误差反向传播(学习算法) j i k +
前、后层之间各神 经元实现全联接； 每层各神经元之间 无联接。
脑神经元由细胞体、树突和轴突构 成。细胞体是神经元的中心，它一般又 由细胞核、细胞膜等组成。树突是神经 元的主要接受器，它主要用来接受信息。 轴突的作用主要是传导信息，它将信息 从轴突起点传到轴突末梢。 轴突末梢与另一个神经元的树突或 胞体构成一种突触的机构。通过突触实 现神经元之间的信息传递。
3
课程名：智能控制技术 2. 生物神经元工作状态
严格说来，神经网络是一个具有如下性质的有向图。
1.对于每个结点有一个状态变量 x j 2. 结点 i 到结点j有一个连接权系数 w ji 3.对于每个结点有一个阈值 j 4. 对于每个结点定义一个变换函数
f ( w ji xi j )
i
其中： (i j )
9
课程名：智能控制技术
二.典型的神经网络结构：
每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整
的信息得到恢复，因而使网络具有容错性和联想记忆功能。 （5）便于集成实现和计算模拟。神经网络在结构上是相同神经元
的大规模组合，特别适合于用大规模集成电路实现。
2
课程名：智能控制技术
§3-1 神经网络的基本概念
3.1.1 神经元模型
一. 生物神经元模型 1、组成
3.相互结合型网络
即网状结构，在这种神经 网络结构中，任何两个神经 元之间都可能双向联接。
4.混合型网络
在前向网络基础上，在同层、 部分神经元之间也可双向联接。
11
课程名：智能控制技术
§3-2 监督学习及前馈神经网络
具有分层的结构。最前面一层是输入层，中间是 隐层，最后一层是输出层。其信息从输入层依次向上 传递，直至输出层。这样的结构称为前馈网络。
具有两种常规工作状态：兴奋与抑制。 当传入的神经冲动使细胞膜电位升高超过阈值时，细胞进入兴奋状态， 产生神经冲动并由轴突输出；
当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没 有神经冲动输出。
4
课程名：智能控制技术
二. 人工神经元模型
人工神经网络是利用物理器件来模拟生物神经网络的 某些结构和功能。 1. 人工神经元的输入输出变换关系为:
图中
x [ x1 x2 xn ]T
是输入特征向量，
y1
y2
ym . . . wm1
1
w11 w12 x1
w1 n
2
m
w ji
是
x i到 y j
wk.baidu.com
w mn x2 . . . xn
的连接权， y j (j=1, 2, …, m)
是输出量 。 也就是按照不同特征的分类结果。 13
出层k有L个节点，激活函数为f2， wki是i层和k层节点之间的联接 权值。隐含层和输出层节点的输入是前一层节点的输出的加权和。
22
课程名：智能控制技术
二. BP网络的基本学习规则
属于d 算法。基本思想是最小二乘算法：对于P个 输入学习样本[x1,x2,…xP]，已知对应的输出样本为 [d1,d2,…,dP]。学习的目的是用网络的实际输出 [y1,y2,…,yP]与目标矢量[d1,d2,…,dP]之间的误差来修正 其权值，使网络输出层的误差平方和达到最小。 学习过程由正向递推计算实现函数映射和反向传 播计算训练权值两步来完成。
x2
xn
M wij
q
wki
L
输入层
隐含层 信息流
输出层
21
课程名：智能控制技术
误差反向传播(学习算法) x1 x2
j
i
k +
xn
M wij
q
wki
L
输入层
隐含层 信息流
输出层
设输入层 j 有M个节点，节点的输出等于其输入。隐含层 i 有
q个节点，激活函数为f1，wij是j层和i层节点之间的联接权值。输
得
x2 时： 12 12 T 0
T 0
x3 时： 3 8 T 0
得
T 5
为将样本按要求分两类，
5 T 2
，根据题意选
T 3
8
课程名：智能控制技术
3.1.2 人工神经元网络
一.人工神经元网络的组成原理
人工神经网络是一个并行和分布式的信息处理网络结构，该网络结 构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以 连接到很多其它的神经元，其输入有多个连接通路，每个连接通路对 应一个连接权系数。
1
课程名：智能控制技术
（2）自适应性和自组织性。神经元之间的连接具有多样性，各神
经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自
组织，以适应不同信息处理的要求。 （3） 并行处理性。网络各单元可同时进行类似的处理，整个网络
的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。
（4）分布存储和容错性。信息在神经网络内的存储按内容分布于 许多神经元中，而且每个神经元存储多种信息的部分内容。网络的
样本
1 X3 4
为另一类（感知器输出为-1），
试求阀值T。（T为绝对值最小的整数，转移函数采用符号函数）
7
课程名：智能控制技术
解：单节点两输入感知器的输出为：
sgn(w1 x1 w2 x2 T ) sgn(3x1 2x2 T )
根据题意：
x1
时：
3 5 T 0 得 T 2
对于第q 层，它形成一个 nq 1 维的超平面，它对于该层的输入模 式进行线性分类。
由于多层的组合，最终可实现 对输入模式的较复杂的分类。
x ( Q)
1
x ( Q)
2
x ( Q)
nQ
...
... ...
x( 0 )
1
x( 0 )
2
x( 0 )
20
n0
课程名：智能控制技术
3.2.2. BP网络 一. BP网络的基本结构及原理
n0
这时每一层相当于一个单层感知器网络。
19
课程名：智能控制技术 2、多层感知器的输入输出变换关系
s
(q) i
( q ) ( q 1 ) w ij xj j 0
nq 1
( q 1 ) q) ( x0 i( q ) , w i(0 1)
(q) 1 s 0 (q) (q) i xi f ( si ) (q ) 1 s 0 i i 1, 2, , nq ; j 1, 2, , nq 1 , q 1, 2, , Q
课程名：智能控制技术
第三章 神经网络控制
神经网络是在生物功能启示下建立起来的一种数据处 理技术。它是由大量简单神经元互连而构成的一种计算结构， 在某种程度上模拟生物神经系统的工作过程，从而具备解决 实际问题的能力。
特点:
（1）非线性映射逼近能力。任意的连续非线性函数映射关系 可由多层神经网络以任意精度加以逼近。
f ( ) 称为输出变换函数。
x n
5
课程名：智能控制技术 2. 常用的输入输出变换函数
神经元模型的输出函数，它是一个非动态的非线性函数，用 以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。 这些非线性函数具有两
个显著的特征，一是它的突变 性，二是它的饱和性，这正是 为了模拟神经细胞兴奋过程中 所产生的神经冲动以及疲劳等 特性。
sj 0 sj < 0
x
p
( p =1, 2,…,P )。
该感知器的输出将输入模式分成了两类。它们分属于 n 维空间的两个不同的部分。
14
课程名：智能控制技术
y x2
* 以二维空间为例 分界线的方程为:
w1 x1 (a)
w1 x 1 w 2 x 2 0
* 值得注意的是：
w2 x
6
课程名：智能控制技术
课堂练习
某两输入、单输出的单节点感知器的连接权值 W 1 ， w 2 2 样本
w 3
1 4 X1 2.5 ， X 2 6
为一类（感知器输出为1），
3.2.1 感知器网络
感知器(perceptron) 是最简单的前馈网络，也是
早期仿生学的研究成果，主要功能是用于对不同的输
入模式进行分类。
12
课程名：智能控制技术
一、单层感知器网络
是具有单层神经元、采用线性阈值函数的前馈网络。 通过对权值的训练，可使感知器对一组线性可分的输入模 式（矢量）进行有效的分类。
n n
s j w ji x i w ji x i j ( x 0 j , w j 0 1)
i 0 i 1
y j f (s j )
其中: j 称为阈值
j
x1
-1 w j1
. . w jn ) .
( ) f f (. )
yj
w ji 称为连接权系数
根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分 为两大类：层状结构和网络结构。层状结构的神经网络是由若干层组 成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同 层内的神经元不能联接。
下面介绍几种常见的网络结构: 1、 前向网络（前馈网络） 2、反馈网络
10
课程名：智能控制技术
2
x1 (b)
只有那些线性可分模式类才能用感知器来加以区分。 线性不可分问题：
x2 . . -1 .-1
15
1 . 1 x1
典型的例子是异或关系。
课程名：智能控制技术 3. 感知器网络的学习规则
对于输入矢量 x，输出矢量 y，目标矢量d，根据以下输
出矢量可能出现的情况进行调整：
1)若yi d i，则wij ( k 1) wij ( k )； 2)若yi 0，d i 1，则wij ( k 1) wij ( k ) x j； 3)若yi 1，d i 0，则wij ( k 1) wij ( k ) x j；
3) 计算神经网络的实际输出：
yi f ( wij x j )
j 1
n
或 yk f ( wk x )
1 , x 0 式中，f 为双极值阶跃函数，且 f ( x ) 1 , x 0
17
课程名：智能控制技术
4) 检查输出y与目标d是否相同，若是，或已达到最大循环次数，训 练结束，否则继续；
可见，权值的变化量等于正负输入矢量。即 wij ( k 1) wij ( k ) [d i yi (k )]x j
16
课程名：智能控制技术 4.感知器网络的学习算法
采用有教师的学习方法进行训练： 1) 确定输入矢量x，目标矢量d，各矢量的维数、神经元数和样本数目： n，m，P； 2) 参数初始化： a)输入[x]np，[d]mp ； b)设置(-1,1)随机非零权矢量[w]mn ； c)给出最大循环次数max_epoch；
23
课程名：智能控制技术
三. BP网络的输入输出变换关系
1.BP网络中神经元的激活函数
在BP网络中，神经元 的变换函数通常采用 S 型函数，因此输出量 是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。
5) 修正权值 wij ( k 1) wij ( k ) [d i yi ( k )] x j wk 1 wk [d yk ] xT wk k xT k d yk 代表理想输出与网络实际输出的差值。 ：学习因子。
6)转到3)。 权矢量的修正量与输入模式xk成正比。若 的取值太大，算法可能出 现振荡。 取值太小，收敛速度会很慢。 单层感知器的局限性：只能解决简单的分类问题，也就是只有在输入 矢量是线性可分时，单层感知器才对输入模式进行有效的分类有效。线性 不可分问题只能用多层感知器来解决。
18
课程名：智能控制技术
二、多层感知器网络
1.多层感知器的基本结构
x ( Q) x ( Q)
2
如下图多层感知器网络： 其中：第0 层为输入层， 有 n 0 个神经元， 中间层为隐层。 第Q 层为输出层， 有 nQ 个神经元，
1
x ( Q)
nQ
...
... ...
x( 0 )
1
x( 0 )
2
x( 0 )
课程名：智能控制技术
2.单层感知器的输入输出变换关系
由于按不同特征的分类是互相独立的，因而可以
取出其中的一个神经元来讨论。 其输入到输出的变换关系为：
yj
s j w ji xi j
i 1
n
j
... x1 x2 xn
1 y j f (s j ) 0
若有P个输入样本
反向传播(Back-Propagation)网络，简称BP网络，是采 用广义d 学习规则，对非线性可微分函数进行权值训练的多 层（三层或三层以上）前馈网络。
BP网络主要用于函 数逼近、模式识别、分 x1 类、数据压缩。
误差反向传播(学习算法) j i k +
前、后层之间各神 经元实现全联接； 每层各神经元之间 无联接。
脑神经元由细胞体、树突和轴突构 成。细胞体是神经元的中心，它一般又 由细胞核、细胞膜等组成。树突是神经 元的主要接受器，它主要用来接受信息。 轴突的作用主要是传导信息，它将信息 从轴突起点传到轴突末梢。 轴突末梢与另一个神经元的树突或 胞体构成一种突触的机构。通过突触实 现神经元之间的信息传递。
3
课程名：智能控制技术 2. 生物神经元工作状态
严格说来，神经网络是一个具有如下性质的有向图。
1.对于每个结点有一个状态变量 x j 2. 结点 i 到结点j有一个连接权系数 w ji 3.对于每个结点有一个阈值 j 4. 对于每个结点定义一个变换函数
f ( w ji xi j )
i
其中： (i j )
9
课程名：智能控制技术
二.典型的神经网络结构：
每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整
的信息得到恢复，因而使网络具有容错性和联想记忆功能。 （5）便于集成实现和计算模拟。神经网络在结构上是相同神经元
的大规模组合，特别适合于用大规模集成电路实现。
2
课程名：智能控制技术
§3-1 神经网络的基本概念
3.1.1 神经元模型
一. 生物神经元模型 1、组成
3.相互结合型网络
即网状结构，在这种神经 网络结构中，任何两个神经 元之间都可能双向联接。
4.混合型网络
在前向网络基础上，在同层、 部分神经元之间也可双向联接。
11
课程名：智能控制技术
§3-2 监督学习及前馈神经网络
具有分层的结构。最前面一层是输入层，中间是 隐层，最后一层是输出层。其信息从输入层依次向上 传递，直至输出层。这样的结构称为前馈网络。
具有两种常规工作状态：兴奋与抑制。 当传入的神经冲动使细胞膜电位升高超过阈值时，细胞进入兴奋状态， 产生神经冲动并由轴突输出；
当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没 有神经冲动输出。
4
课程名：智能控制技术
二. 人工神经元模型
人工神经网络是利用物理器件来模拟生物神经网络的 某些结构和功能。 1. 人工神经元的输入输出变换关系为: