神经网络-第二章 PPT课件

• 学习规则统一表达： 感知器修正权值公式 分量表示： wij(ti ai)pj
bi (ti ai)1
矩阵表示：设E=T-A为误差矢量，
WWEP T or WEPT
BBE
or BE
学习的收敛性：该算法属于梯度下降法，有解时收敛。
感知器神经网络的构建 －运用MATLAB
• newp() －建立一个感知器 • sim() －仿真一个神经网络 • init () －初始化一个神经网络 • learnp() －感知器权值学习 举例
• 感知器是目前研究得最为透彻的网络之一； • 感知器在解决线性分类问题非常有效； • 感知器的训练对突变矢量是敏感的；但多层
感知器可解决该情形问题。
P r1
p
2
p
r
a1
A s1
a
2
a
s
2.2 感知器的网络结构
• 多组输入与输出：
p11 p12 p1q
a11 a12 a1q
Prq
p21
pr1
p22
pr 2
p2q
prq
，
Asq
a21
as1
a22
as2
a2q
asq
B s q [B s 1 ,B s 1 , ,B s 1 ]
2.5 网络的训练
例1 设计一个感知器，对输入数据分成两类。
已知输入矢量P=[-0.5 -0.5 0.3 0;
-0.5 0.5 -0.5 1]
目标矢量T=[ 1.0 1.0 0 0]
◊ 分析：选择2-1型感知器，权矩阵W1*2，偏差B=w3，
则
0.5w1 0.5w2 w3 0 00.3.5ww1 100.5.5ww2 2ww3 300
2.4 感知器的学习规则
• 学习规则伪代码 1. 初始化权向量W； 2. 重复下列过程，直到训练完成： 2.1 对每个样本（X,Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算o=F（XW）； 2.1.3 如果输出不正确，则 当o=0时，取 W=W+X， 当o=1时，取 W=W-X
2.4 感知器的学习规则
• 样本集：{(X,Y)|Y为输入向量X对应的输出}
• 输入向量：X=(x1,x2,…,xn) • 理想输出向量：Y=(y1,y2,…,ym) • 激活函数：F
• 权矩阵W=(wij)
• 实际输出向量：O=(o1,o2,…,om)
x1
o1
x2
o2
…
…
…
…
xn
om
输入层
多输出感知器
输出层
2.4 感知器的学习规则
例2. 多个神经元分类：输入矢量 P = [0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3]; 相应的10组二元目标矢量为： T = [1 1 1 0 0 1 1 1 0 0; 0 0 0 0 0 1 1 1 1 1];
p2
W Pb0
p1
当s=1和r=2时，有 W P b w 1 p 1 w 2 p 2 b 0
它是在p1Op2平面的一条直线，上方输出1(A类)，
下方为0（B类）；或相反。
2.3 感知器的图形解释
– 当输入向量为三个分量时，它构成三维信号集， 此时判决界是一个平面。
– 当输入向量为多个分量时，它构成多维信息空间， 此时判决界是一个多维面。
w1 0
0.8 w1
w1 /3
w2 w3
w3 w1
w2 w3 0
w3 w2
可能的一组解: w 1 1 ,w 20 ,w 3 0 .1
2.5 网络的训练
◊ Matlab算法程序：r=2, s=1，q=4
网络简化结构：u=1,2,3,4
p1u
w1
w2
au
p2u
b 1
ຫໍສະໝຸດ Baidu
2.5 网络的训练
2.1 感知器概述
• 感知器实例
– 简单感知器
两层感知器
2.1 感知器概述
• 感知器的神经元结构就是MP模型：
p1 w1
p2 w2
n
a
......
b
pr wr
1
• 输入与输出的关系： r
n wj pj b
j1
1 n0 af(n)0 n0
2.2 感知器的网络结构
• 一般感知器结构是单层神经网络，其激活函数为二值 函数（符号，阈值）：
2.4 感知器的学习规则
学习规则－用于计算新的权值矩阵W和偏差B的算法
感知器的学习规则 ：
1) 若第i个神经元的输出正确，即ai=ti，则与第i个神经元 连接的权值wij和偏差bi保持不变；
2) 若第i个神经元的输出是不正确的，则按如下改变权值 和偏差： a. 若ai=0, 但ti=1，则权值修正的算法： wij=wij+pj , bi=bi+1 b. 若ai=1, 但ti=0，则权值修正的算法： wij=wij -pj , bi=bi -1
• 这意味着不管如何改变参数W1、W2和θ都不能 使单层感知器产生“异或”功能。
• 对于线性不可分的功能，训练中找不到一条直线 （或多维判决界面）将A和B两类分开，使得加 权总是来回摆动，不能收敛到一个确定的判决界， 此时训练不收敛。
• 要想用感知器表示某种功能，必须知道这种功能 是否是线性可分的。
例如典型的“异或”问题； 3. 对有些问题，例如当输入样本中存在奇异样本, 训练
速度慢。 例3 在例1中加入一个新的输入矢量：
P = [-0.5 -0.5 0.3 0 -0.8 -0.5 0.5 -0.5 1 0];
T = [1 1 0 0 0]; 训练结果：训练失败
2.7 “异或”问题
－感知器实现逻辑“与”的功能 • 逻辑“与”的真值表
2.5 网络的训练
• 讨论 – 经过有限次迭代可使误差达到最小。 – 收敛的速度（迭代次数）与初始条件 W(0)、b(0)有关，收敛后的权值也不 是唯一的。 – 在实际中b并不指定，可以作为偏置 加权同其它加权一样参与训练调整。
2.6 感知器的局限性
1. 输出与输入的映射关系简单，只能进行简单分类； 2.只能解决线性可分问题，不能解决线性不可分问题，
－Minsky和Papert发现感知器的不足的主要依据： 感知器不能实现简单的“异或”逻辑功能。
－逻辑“异或”的真值表
2.7 “异或”问题
– 感知器不能实现逻辑“异或”的功能 • 因只有两个输入，构成二维空间。
2.7 “异或”问题
– 感知器不能实现逻辑“异或”的功能
• 要实现“异或”功能，要求A类和B类在直线两 边，这显然不可能，因为它是线性不可分的。
2.5 网络的训练
网络的训练过程： 1. 输入: P, T
网络结构的选取，并计算相关的量 2. 初始化：W，B
目标（期望）误差，参数如权值和偏差的初始化 [(-1，1)中的随机值]，最大循环迭代次数； 3. 计算：A 计算网络的实际输出矢量。 4. 检查或比较：A与T, E与误差门限 比较网络的输出误差和与期望误差相比较；若小 于期望误差或达到最大迭代次数，训练结束 5. 学习：计算新W和B，并返回到3.
2.5 网络的训练
数字识别：
1. 输入：0,1,2,3,4,5,6,7,8,9
预处理：将数字(图形、声音等)转化为数组(数字信号)， 常用方法是“抽样+量化+编码”
3→[1 1 1 0 0 1 1 1 1 0 0 1 1 1 1]
1 1 1
0
0
1
1 1 1
0
0
1
1 1 1
目标输出：3→011,或3→0011,或3→[0 0 1 0 0 0 0 0 0 ]； 2. 网络训练：确定网络结构，参数、学习等。
– 遗憾的是，并没有通用的办法来确定这种线性可分性 （尤其是当输入分量很大时）。
2.8 解决线性可分性限制的办法
• 对“异或”问题可利用，两层网络解决：
p1 a
，
p2
例如取T=[0 1 1 0]
P00
0 1
1 0
11
W1 11 12
B1 00.5.5
W2[1,1]
B2[0.5]
2.8 解决线性可分性限制的办法
神经网络-第二章 PPT课件
2. 感知器
• 神经生理学和神经解剖学的研究表明，大脑 中实际的神经网络一般具有层次结构，同时 结点间的连接很多属于前馈连接，同时这种 前馈连接构成的网络（前馈网络）学习过程 比较容易，所以首先讨论前馈网络模型。
• 1958年心理学家Frank Rosenblatt及其合作者 首先研究了这种前馈层次网络模型，将其称 为感知器(Perception)。
2.2 感知器的网络结构
• 输入与输出的关系 －矩阵形式：
N sqW srP rqB sq
Asq F(Nsq)
－分量形式： r
nit wij pjt bi j1
t1,2, ,q
1 ait f(nit)0
nit 0 nit 0
2.3 感知器的图形解释
• 神经元模型 ：
r
1 n 0
af(W * P b )f(j 1w jp j b ) 0 n 0
w11 p1
p2 ......
pr
wsr
n1 1 b1 n2
1 b2 ...... ns
1 bs
a1
a2 ......
as
2.2 感知器的网络结构
• 权值与偏差
w11 w12 w1r
Wsr
w21
w22
w2r
ws1
ws2
wsr
b1
B s1
b
2
b
s
• 一组输入与输出：
p1
则 A1F(W1*PB1)
F00
1 2
1 1
1000.5.5
0.5 0.5
0.5 0.5
00.5.5
F00.5.5
0.5 2.5
1.5 0.5
10.5.510
1 1
0 0
0 1
A2F(W2*A1B2)
F1 0 0 10.5 0.5 0.5 0.5 F0.5 0.5 0.5 0.50 11 0
本章小节
• 一个问题：训练失败的原因：一是参数选择不当；
二是问题不能用感知器解决。
2.5 网络的训练
小结： • 当r=1和s=1时，感知器是以点为分割界； • 当r=2时，在输入矢量平面以线为分割界：
s=1, 分割线为一条线； s=2, 分割线为二条线。 • 当r=3时，以面为分割界，分割面数为神经元 数s
2.7 “异或”问题
– 感知器实现逻辑“与”的功能 • 因只有两个输入，构成二维空间。
2.7 “异或”问题
– 感知器实现逻辑“与”的功能
• 通过真值表中的4个输入输出对，训练调节对 应的加权W1、W2和阈值θ，可得表示“与”功 能的感知器。
2.7 “异或”问题
－感知器在表示能力方面存在局限性，很多功能不 管如何调节加权和阈值，也不能被识别或表示。
－任意一组参数W和B，在输入矢量空间中，可决定 一条（超）直线或（超）平面等，在该直线或平面上 方输出为1；在其下方输出为0；
－处理单元实际上是输入信息的分类器，判决输入信
息属于两类中的哪一类（A或B类）。
2.3 感知器的图形解释
– 当输入向量为两个分量时，它构成平面上的两 维集，此时判决界是一条直线。