第2章 线性判别函数_第二讲

a k 1 a k y k
then
a k 1 a k (k )y k
4.
5. return a
until all patterns properly classified
6. end
感知器算法推广
准则函数的推广 错误分类点数 J mis (a) (1)
规范化平方（裕量）误差判据
J r (a)
yY
(at y b) 2 y y
2
J r 2
yY
(at y b)
2
y
Y (a) 为满足 at y b 的样本集 当 Y (a) 为空时，定义 J r 0
松弛算法(单样本裕量)
1. begin initialize a 0 , b， ，k0 2. do k(k+1)mod n
引入边沿裕量比b:
a yi 0
t
a yi b
t
感知器算法推广
引入变增量 k 可以证明：当样本为线性可分时，如果：

k 0,
m
2 k
m
m
lim k ,
k 1
m
lim
k 1
m k k 1
3.
if
a yi b
t
a yi 0
t
then
a k 1 a k y k
yk
2
a k 1 a k (k )
4.
b ns properly classified
5. return a
2
0
则 a( k ) 收敛于一个解向量对所有 i 满足
a yi b
t
k 为常数或 1 k
感知器算法(带裕量，变增量单样本调整)
1. begin initialize a 0 , b， ，k0 2. do k(k+1)mod n
3.
if
a yi b
t
at y i 0
yY
不连续 梯度不连续
梯度连续 克服边界点 及||y||的影响 松弛算法
感知器判据
J p (a) a y
t yY t
J q (a) (a y ) 2 平方误差判据
yY
规范化平方（裕量）误差判据
J r (a)
yY
(at y b) 2 y
2
松弛算法（relaxation procedure）
第二章 线性判别函数
主要内容回顾：
线性空间、线性判别函数 矩阵分析简介
矩阵微分——相对于数量变量的微分
x t Ax 例:求二次型
对t 的导数
x x(t ) 是n维函数向量 A At R nn 是数字矩 其中 阵
dxt Ax dxt dxt dx t dAx t dA Ax x Ax x xA dt dt dt dt dt dt dxt dx dxt dx t t Ax x A 2 Ax 2x A dt dt dt dt
矩阵微分——复合函数微分
1，数量函数的求导公式
例：求f (x a Bz)t (x a Bz)对a的导数：
令y (x a Bz ), 则f y t y df dy t df I(2y ) 2(x a Bz) da da dy
矩阵微分——复合函数微分
1. begin initialize a 0 , k0 2. do k(k+1)mod n
3.
if yk is misclassified by a then
a k 1 a k y k
4. until all patterns properly classified
b a( k ) y a a( k ) y ˆ 2
t k t
yk
2
k

2
b a( k ) y
t k
2
yk
2
ˆ a( k ) a
2
b a( k ) y (2 )
t k
2
yk
2
ˆ ˆ 当 0 2 时，有: a(k 1) a a(k ) a ˆ 在k趋向无穷大时，达到有限值：lim a(k ) a
1. begin initialize a 0 , ,θ, k0 2. do kk+1
3.
a k 1 a k k y
until k
yY k
4.
y
yY k
5. return a
6. end
感知器算法(固定增量单样本感知器)
2，向量函数的求导公式
例：求f (Ax b)t R(Ax b)对x的导数
其中，A, R为常数矩阵，b是常数向量
令y Ax b, 则f y t Ry df dy t df At R Rt y At R Rt Ax b dx dx dy
最优化方法采用最多的是梯度下降法，设定初始 权值矢量a(1)，然后沿梯度的负方向迭代计算：
a k 1 a k k J a k
其中η (k)称为学习率，或称步长。
一般求解方法—梯度下降法
a k 1 a k k J a k
yk
2 t 2 k
k


2
b a( k ) y
yk
2
ˆ ˆ 如果 a 是解区域中的向量，那么每个 a( k ) 都更接近 a
ˆ a a( k ) y k a t y k a( k )t y k b a( k )t y k 0 ˆ
t
ˆ a( k ) a
2
例2
有两类模式的训练样本： ω1：{ (1,1), (2,2) } ω2：{ (0,0), (1,0) }
用感知器算法求取判别函数，将两类样本分 t 开。初始权矢量为 a 0 3, 2, 2 ，第1维为 偏置，学习率 1
感知器算法收敛定理
如果训练样本线性可分，固定增量算法给出 的权向量序列必定终止于某个解向量
2 2
经过k步校正后
ˆ ˆ a(k 1) a a(1) a k 2
2 2
经过不超过k0步校正后，校正终止
ˆ k0 a(1) a
2
2
2
if : a(1) 0
2
与解向量最 接近正交的 样本（收敛 的难点）
ˆ a
2
ˆ a
2
2
ˆ a max y i
松弛算法(单样本裕量)——几何解释
a k 1 a k (k ) b at ( k ) y k yk
2
yk
b at (k ) y k yk
yk yk
=1 松弛 ( k ) 1 欠松弛 1 过 松弛
松弛算法(单样本裕量)——几何解释
过
解区域的几何解释(权空间中）
权空间中，atyi=0是一个通过原点的超平面， yi是法向量，而a是空间中一个点。
边沿裕量b
a yi 0
t
a yi b
t
一般求解方法—梯度下降法
求解不等式组采用的最优化的方法：
1. 定义一个准则函数J(a)，当a是解向量时，J(a)为最小； 2. 采用最优化方法求解标量函数J(a)的极小值。
5. return a
6. end
例
有两类模式的训练样本： ω1：{ (1,1), (0,1) } ω2：{ (-1,0), (0,-1) }
用感知器算法求取判别函数，将两类样本分 t 开。初始权矢量为 a 0 1, 2, 2 ，第1维为 偏置，学习率 1
模式识别 – 概率密度函数的非参数估计
矩阵微分——相对于向量变量的微分
2，函数向量的导数 t 例：a）行向量 x A对 x 的导数 A Bx 对 xt 的导数 B b）列向量 t xt Ax 对 x 的导数 A A x c）二次型 pt Ax 对 x 的导数 At p d）数量函数
dxt Ax dxt d ( Ax)t Ax x Ax At x dx dx dx dpt Ax dpt d ( Ax)t Ax p At p dx dx dx
i
2
a t y i min ˆ i
感知器算法的特点
当样本线性可分情况下，学习率 合适时， 算法具有收敛性； 收敛速度较慢；
当样本线性不可分情况下，算法不收敛，且 无法判断样本是否线性可分。
感知器算法推广
引入边沿裕量
引入变增量
准则函数的推广
感知器算法推广
5.2 线性判别函数的学习
问题的提出：假设有一个包含n个样本的集 合y1, y2, …, yn, 一些标记为ω 1,另一些标记 为ω 2，用这些样本来确定一个判别函数 g(y)=aty的权矢量a。
在线性可分的情况下，希望得到的判别函数 能够将所有的训练样本正确分类； 线性不可分的情况下，判别函数产生错误的 概率最小。
dxt x dxt dx 2 x 2xt dt dt dt
矩阵微分——相对于向量变量的微分
1，数量函数的导数
例：求函数 f (x) xt x 对 x 的导数
2 2 f (x) xt x x12 x2 xn
df (x) t 2 x1 , 2 x1 , , 2 xn 2x dx
2.3 感知器算法(Perceptron)