感知器准则函数

对错分的样本集求和： t t =(3,7,2) t (1,4,1) +(2,3,1) 修正权向量a： t +(3,7,2) t= (-4,5,0) t a= (-7,-2,-2) 再计算错分的样本集： t g(y1)=(-4,5,0)(1,4,1) =16 （正确） t g(y2)=(-4,5,0)(2,3,1) =7 （正确） t g(y3)=(-4,5,0)(-3,-2,-1) =2 （正确） t g(y4)=(-4,5,0)(-4,-1,-1) =11 （正确） 全部样本正确分类，算法结束 a=(-4,5,0) t。
所有样本 正确分类
Y
N
得到合理的a 完成 分类器设计
梯度下降算法计算实例

有两类的二维数据，其中第一类的两个样本为 (1,4) t和(2,3) t，第二类的两个样本为(3,2) t和 (4,1) t。假设初始的a=(0,1,0) t，n(k)=1利用 批处理感知器算法求解线性判别函数g(y)=aty的 权向量a。 首先对每个样本增加一维为增广样本。然后规范化 第二类的样本为：(-3,-2,-1) t和(-4,-1,-1) t。
感知器 准则
感知器准则函数


对于任何一个增广权向量a ， T 对样本y正确分类，则有：a y>0 T 对样本y错误分类，则有：a y<0 定义一准则函数JP(a) (感知准则函数)：
J P ( a)

恒有JP(a)≥0，且仅当a为解向量，Yk为空集（不 存在错分样本）时， JP(a)=0，即达到极小值。确 定向量a的问题变为对JP(a)求极小值的问题。

梯度下降算法计算实例

计算错分的样本集： t g(y1)=(0,1,0)(1,4,1) =4（正确） t g(y2)=(0,1,0)(2,3,1) =3（正确） t g(y3)=(0,1,0)(-3,-2,-1) =-2（错分） t g(y4)=(0,1,0)(-4,-1,-1) =-1（错分）
yY k
y
感知器 准则
算法(step by step)
1. 初值: 任意给定一向量初始值 a(1) 2. 迭代: 第k+1次迭代时的权向 量a(k+1)等于第k次的权向 量a(k)加上被错分类的所有 样本之和与rk的乘积 3. 终止: 对所有样本正确分类
任意给定一向量 初始值a(1) a(k+1)= a(k)+ rk×Sum (被错分类的所有样本)



对错分的样本集求和： t t =(-7,-3,-2) t (-3,-2,-1) +(-4,-1,-1) 修正权向量a： t +(-7,-3,-2) t= (-7,-2,-2) t a= (0,1,0) 再计算错分的样本集： t g(y1)=(-7,-2,-2)(1,4,1) =-17 （错分） t g(y2)=(-7,-2,-2)(2,3,1) =-22 （错分） t g(y3)=(-7,-2,-2)(-3,-2,-1) =27 （正确） t g(y4)=(-7,-2,-2)(-4,-1,-1) =32 （正确）
yY k
(a y)
T
被错分类的规 化增广样本集
感知器 准则
梯度下降算法

梯度下降算法：对(迭代)向量沿某函数的负 梯度方向修正，可较快到达该函数极小值。
பைடு நூலகம்
J p ( a) J p (a) ( y) a yY
k
a( k 1) a( k ) rk J p (a) a( k ) rk