第三章：前向网络(1)

x2
(0,1) B类 界
(1,1) A类 界 (1,0) x1
(0,0)
图 2.3a 函数 x1x2 的分 类
感知器的学习算法
-1 1 x1 1.5
x2

1
o(x1,x2)
图2.3b AND函数的NN实现
感知器的学习算法
但对异或逻辑函数XOR(真值表如下所示),则不可能利用单层 感知器设计的线性分类面（线性分类函数）,如下图所示。
2.2 单层网络分类功能（感知器）
证明：因为N个样本线性可分，所以存在单位权向量W* 和一个较小的正数d>0，使得W*TXk≥d对所有的样本 输入Xk都成立，任意权值向量W和最优权值向量W*之 间的余弦角cosα为
W *W T ( k ) s (k ) W * W T (k )
由学习律可得 W(k+1)=W(k)+μX(k) , μ是学习系数。 上式左乘W*可得 W*WT(k+1)=W* [WT(k)+μXT(k)] ≥W*WT(k)+μd 从k=0迭代, 可得 W*WT(k) ≥ W*WT(0)+kμd
选择W(0)∈ Xk ，满足W* Xk >0，此时有 W*WT(k) ≥kμd 在W(k)未达到W*时，W(k)XT(k)<0，所以
W (k 1) W (k 1)W (k 1)
2 T
W (k ) X (k ) W (k ) X (k ) 2 2 2 T 2 W (k ) 2W (k ) X (k ) X (k ) W (k ) 2
1
c1
x0
2
感知器的学习算法
感知器的学习算法目的在于找寻恰当的权系数w=(w1,w2,…, wn)，使系统对一个特定的样本x=(x1,x2,…,xn)能产生期望值d。
当x分类为A类时，期望值d=1；x为B类时，d= -1。
为了方便说明感知器学习算法，把阈值并入权系数w中， 同时，样本x也相应增加一个分量xn+1。故令：
第二讲：前馈神经网络
主要内容
一：前向网络简介 二：具有硬限幅函数的单层网络的分类功能（感知 器） 三：具有线性函数的单层网络的分类功能 四：前向多层网络的分类功能 五：BP网络及BP算法以及BP网络的应用
上一讲内容回顾
模拟生物神经网络的ANN的这一数学方法问世以来,人们已 慢慢习惯了把这种ANN直接称为NN。 NN在数学、优化与运筹学、计算机科学与智能理论、 信号处理、控制科学、机器人、系统科学等领域吸引 来了众多的研究者,呈现勃勃生机。 给这些学科中的一些困难问题,带来了新的分析、 求解的新思路和新方法。 对控制科学领域，NN在系统辨识、模式识别、智能控 制等领域有着广泛而吸引人的前景。 特别在智能控制中,人们对NN的自学习功能尤其感 兴趣,并且把NN这一重要特点看作是解决控制器适 应能力这个难题的关键钥匙之一.
2.2 单层网络分类功能（感知器）
F.Roseblatt已经证明，如果两类模式是线 性可分的（指存在一个超平面将它们分开），则 算法一定收敛。 感知器特别适用于简单的模式分类问题，也 可用于基于模式分类的学习控制中。 本节中所说的感知器是指单层的感知器。多 层网络因为要用到后面将要介绍的反向传播法进 行权值修正，所以把它们均归类为反向传播网络 之中。
2.2 单层网络分类功能（感知器）
为证明此定理,不失一般性,先对该分类问题做一些 假设： A1: 输入样本Xk,k=1,2,…,N全部归一化，即 ||Xk||=1； A2: 对最优权向量W*,有||W*||=1. A3: 如果样本可分，那么任意给定的一个输入样本 Xk ，要么属于某一区域F＋，要么不属于这一区 域，记为F－，F＋和F－构成了整个线性可分的 样本空间。在这里仅讨论Xk∈F＋的情况。
这说明在μ和d选定后，可以在有限的次数k达到 最优加权W*。
2.2 单层网络分类功能（感知器）
三.感知器网络的设计 设输入矢量
xk [ x0 , x1... xN 1,1]
连接权
w [w0 , w1...wN 1, ]
Ix w
K
K
T
K
y f [ I ], 期望输出T
2.2 单层网络分类功能（感知器）
x1 0 0 1 1
x2 x1x2 0 0 1 1 0 1 1 1
感知器的学习算法
以x1x2=1为A类,以x1x2=0为B类,则有方程组
w1 0 w 2 0 θ 0 w 0 w 1 θ 0 1 2 w1 1 w 2 0 θ 0 w1 1 w 2 1 θ 0
x1
x2

-1 -1 0.5
图2.4b XOR函数的2层NN实现
o(x1,x2)
1
感知器的学习算法
而其函数空间的分类面如下图所示。
x2
(0,1)
A类 界 (0,0)
(1,1) A类 界 B类 界 (1,0) x1
图 2.4c XOR 函数的分类
2.2 单层网络分类功能（感知器）
感知器学习算法的收敛性定理：如果样本输入函 数是线性可分的，那么感知器学习算法经过有限 次迭代后，可收敛到正确的权值或权向量。 可证：在训练样本Xk,k=1,2,…,N是线性可分时， 采用上式的学习方法，在有限次迭代后，必能得 到正确解。
A类 界 (1,0) B类 界 (0,0) x1+x2-0.5=0 x1 图 2.2a 函数 x1x2 的分 类

o(x1,x2)
感知器的学习算法
类似地,对与逻辑函数AND(真值表如下所示),即x1x2, 也可设 计如图所示的分类面（分类函数）
x1 0 0 1 1
x2 0 1 0 1
x1x2 0 0 0 1
wn+1= -, xn+1=1
则感知器的输出可表示为：
n 1 y f wi xi i 1
感知器的学习算法
感知器学习算法步骤如下： 步1. 对权系数w置初值
权系数w=(w1,…,wn,wn+1)的各个分量置一个较小的初 始随机值,并记为wl(0),…,wn(0),同时有wn+1(0)= -。
上一章内容回顾
此外,在控制领域的研究课题中,不确定性系统的控制 问题、非线性系统控制问题长期以来都是控制理论研究 的中心主题,但是这些问题一直没有得到有效的解决。 • 利用NN的学习能力,使它在对不确定性系统的控 制过程中自动学习系统的特性,从而适应系统变化的 环境和内在特性,以达到对系统的最优控制. • 利用NN的非线性逼近能力,将NN用于非线性系统 控制问题中的模型表达、控制器设计、在线控制计 算、自适应控制等. 显然,NN对于控制科学领域是一种十分振奋人心的意 向和方法。
y0
y1
yN 1
x0
x1
xN 1
2.2单层网络分类功能（感知器）
本节主要介绍:
单层网络的结构 调整连接权和阈值的学习规则（ 算法） 单层网络的训练和设计 单层网络分类的局限性
2.2 单层网络分类功能（感知器）
一.感知器是由美国计算机科学家罗森布拉特 （F.Roseblatt）于1957年提出的。 单层感知器神经元模型图：
2.2 单层网络分类功能（感知器）
一个简单的单神经元（感知器）分类的例子。 例：二维矢量 x [ x0 , x1 ] ，两类 c1 , c2 x L 如图： 1 L 为分类线： 0.5x0 x1 1 0 c1 区为 0.5x0 x1 1 0 c2 c2 区为 0.5x0 x1 1 0 设一个单神经元 w0 0.5, w1 1, 1 1 硬限幅函数 1, x c1 y f [ w j x j 1] j 0 0, x c2
T T
迭代可得：
W (k )
2
W (0)
2
k2 1 k2
k d 1 2k
所以,
S (k ) W *W ( k ) W * W (k )
由于余弦值S(k) ≤1，当W(k)=W*时，S(k)=1， 于是我们求解得到
k 2 ( ud )2 1 2 1 u k k 2 ( ud )2 u 2 k 1 0 k 1 1 4d 2 / u 2 2d 2
wi(t)为t时刻从第i个输入上的权系数，i=1,2,…,n。 wn+1(t)为t时刻时的阈值。 步2. 输入一样本x=(x1,x2,…,xn+1)以及它的期望输出d
期望输出值d在样本的类属不同时取值不同。
如果x是A类,则取d=1,如果x是B类,则取-1。 期望输出d也即是教师信号。
感知器的学习算法
当实际输出和期望值d相同时有: wi(t+1)=wi(t)
步6. 转到第2步,一直执行到一切样本均稳定为止.
（算法的收敛性分析见后面的证明）
从上面分析可知,感知器实质是一个分类 器,它的这种分类是和二值逻辑相应的.
因此,感知器可以用于实现逻辑函数. 下面对感知器实现逻辑函数的情况作 一些介绍. 例 用感知器实现或逻辑函数OR,即x1x2, 的真值(真值表如右所示).
上一章内容回顾
NN的基础在于神经元.
神经元是以生物神经系统的神经细胞为基础的生物 模型. 在人们对生物神经系统进行研究,以探讨AI的机制时, 把神经元数学化,从而产生了神经元数学模型. 大量的形式相同的神经元连结在—起就组成了NN. 虽然,单个神经元的结构和功能都不复杂,但是NN的 动态行为则是十分复杂的,是一个高度非线性动力学系统. 因此,用NN可以表达实际物理世界的复杂现象.
即有 >0, w2, w1, w1+w2 令w1=1,w2=1,则有1.取=0.5,则有分类判别曲线x1+x2-0.5=0, 分类情况如图2.2a所示,实现的NN如图2.2b.