感知器学习规则

人 工 神 经 网 络 基 础
1.4 感知器学习规则
a=f(n)=f[W(3)p4+b(3)] =f([-2 -2][-1 0]T+(-1)) =f(11)=1 e=t4-a=1-1=0 因为输出a等于目标值t4，所以无需调整权值 和阈值。 W(4)=W(3)=[-2 -2] b(4)=b(3)=-1
人 工 神 经 网 络 基 础
人工神经网络基础
感知器学习规则
主讲：周常欣
人 工 神 经 网 络 基 础
人工神经网络基础
目录

Biblioteka Baidu
生物学的神经网络 数字神经网络 感知器模拟神经元 感知器学习规则 从感知器到多层神经网络
人 工 神 经 网 络 基 础
1.4 感知器学习规则
1.4.1 感知器的训练
（6）以后各次迭代又从以第一个输入样本开始，作为输 入向量，以前一次的权值和阈值进行计算，直到调整后 的权值和阈值对所有的输入样本，其输出的误差为0为止。
人 工 神 经 网 络 基 础
1.4 感知器学习规则
从以上各个步骤可以看出：W=[-2 -2]，b=-1对所有的输 入样本，其输出误差为零，所以为最终调整后的权值和 阈值。 （7）因为n＞0时，a=1；n≦0时，a=0，所以以n=0作为边 界, 根据训练后的结果画出分类示意图，如图所示。
如果一个单层感知器神经网络可以表示一个具有线 性可分性函数，那么接下来的问题是如何找到合适的权 值和阈值，使感知器输出、输入之间满足这样的函数关 系。不断调整权值和阈值的过程称为“训练”。 神经网络在训练的过程 中，其具有把输入空间 映射到输出空间的能力， 这种过程称为神经网络 的“学习”。 感知器学习是一种有教师学习方式，其学习规则为δ规则。
例1.4.1 试用单个感知器神经元完成下列分类，写出其 训练的迭代过程，画出最终的分类示意图。已知：
｛p1=[2 2]T，t1=0｝ ｛p2=[1 -2]T，t2=1｝ ｛p3=[-2 2]T，t3=0｝｛p4=[-1 0]T，t4=1｝ 解：据题意，神经元有两个输入量，传输函数为阈值型 函数。图1.4.1所示感知器神经元结构。
图1.4.2 神经元最终分类示意图
人 工 神 经 网 络 基 础
1.4 感知器学习规则
a=f(n)=f[W(2)p3+b(2)] =f([-2 -2][-2 -2]T+(-1)) =f(-1)=0 e=t3-a=0-0=0 因为输出a等于目标t3，所以不需要调整权值 和阈值。
W(3)=W(2)=[-2 -2] b(3)=b(2)=-1 （5）第四次迭代：以第四个输入样本作为输入向量，以 W(3)，b(3)进行计算：
人 工 神 经 网 络 基 础
1.4 感知器学习规则
（3）第二次迭代：以第二个输入样本作为输入向量，以 调整后的权值和阈值进行计算。 a=f(n)=f[W(1)p2+b(1)]=f([-2 -2][1 -2]T+(-1))=f(1)=1 e=t2-a=1-1=0
因为输出a等于目标t2，所以不需要调整权值 和阈值。 W(2)=W(1)=[-2 -2] b(2)=b(1)=-1 （4）第三次迭代：以第三个输入样本作为输入向量， 以w(2)，b(2)进行计算：
人 工 神 经 网 络 基 础
1.4 感知器学习规则
从δ规则中可以看出，感知器神经网络的训练需要提 供训练样本集，每个样本由神经网络的输入向量和输出 向量构成，n个训练样本构成的训练样本集为： {p1, t1}，{p2, t2}，…，{pn, tn} (1.4.2) 权值阈值调整算 W( k+1 ) = W( k ) + epT b( k+1 )=b( k ) +e (1.4.3) (1.4.4)
学习时间会很长。为了解决这一问题，权值调整可以采用 归一化算法，即：
pT W (k 1) W (k ) e || p ||
（1.4.6）
|| p ||
p
i 1
m
2 i
（1.4.7）
式中 n——输入向量元素的个数
人 工 神 经 网 络 基 础
1.4 感知器学习规则
训练是不断学习的过程。单层感知器网络只能解决线 性可分的分类问题，所以要求网络输入模式是线性可分 的。 在这种情况下，上述学习过程反复进行，通过有限步 骤，网络的实际输出与期望输出的误差减小到零时完成 训练过程。
式中：e——误差向量，e=t-a； W——权值向量； b——阈值向量； p——输入向量； k——表示第k步学习过程。
人 工 神 经 网 络 基 础
1.4 感知器学习规则
输入向量的取值范围很大，一些输入的值太大，而一些输 入的值太小，则按照：
W (k 1) W (k ) epT
（1.4.5）
人 工 神 经 网 络 基 础
1.4 感知器学习规则
t表示目标输出， a表示实际输出，则： e=t-a (1.4.1)
网络训练的目的就是要使ta
当e=0时，得到最优的网络权值和阈值； 当e>0时，说明得到的实际输出小于目标输出，应增
加网络权值和阈值； 当e<0时，说明得到的实际输出大于目标输出，应减 小网络权值和阈值。 一般感知器的传输函数为阈值型函数，网络的输出a只 可能为0或1，所以，只要网络表达式的函数是线性可分 的，则函数经过有限次迭代后，将收敛到正确的权值和 阈值，使得e=0。
人 工 神 经 网 络 基 础
1.4 感知器学习规则
图1.4.1 感知器神经元结构
（1）初始化：W(0)=[0 0],b(0)=0 （2）第一次迭代： a=f(n)=f[W(0)p1+b(0)]=f([0 0][2 2]T +0)=f(0)=1 e=t1-a=0-1=-1 因为输出a不等于目标值t1，所以需要调整权 值和阈值。