模式识别ppt

3.2 确定超维分界面的感知器算法
l xi l x k wxi w0 wx k w0
w xi x k w xi x k cos w 0 cos (3.9)
3.1 线性判别函数和决策超平面
• 是原来距离的 w 2 cos 倍。这里，为xi-xk与之 间的夹角。事实上，式（3-9）表示的就是两点 之差 x i - x k 在权值向量或决策平面法矢量方向上 的投影，与阈值w0无关，如图3.2所示。
• 当足够大时，有
2 2 2 2 w 0 w * 0 w 1 w * 0 ( A8) 2 • 但 w 1 w * 0,由此推出矛盾，故 • 当足够大时，有 w 1 w* 。
3.2 确定超维分界面的感知器算法
• 我们称: l(x)=0为决策超平面。若分类对象只有 两类1、2，决策规则为
x ω1 x ω2 不定 如果 l x 0 如果 l x 0 如果 l x 0 (3.10)
• 可以证明，多次线性变换等价于一次线性变换。
• 若分类对象有多类，决策函数形式上仍为
3.1 线性判别函数和决策超平面
Linear Discriminant Functions and Decision Hyperplanes
• 我们先考虑一个两类问题及其线性判别函数。 设特征空间维数为 m，即xRm，超平面决策方 程可写为 • 这里，w=(w1,w2,,wm)T为权值向量，w0为阈值 (bias)。如果x1、x2两个点均在超平面上，则有
3.1 线性判别函数和决策超平面
πj :
T l j x w j x w j0
0 j 1,2,..., n (3.11)
• 但决策过程中会出现图 3.4所示的几种情况。类 别数越多，情况越复杂。因此，线性分类器只 对处理不同类别的样本分布在特殊区域的情况 才是有效的。例如，各个类别均位于超维立方 体的顶端。
x 2
x x
2 x
2
0
( A5)
• 令 2 max x x
x
2
T 2 w x 0 ,则 , x *
x
• 写成递推公式，就是
3.2 确定超维分界面的感知器算法
2 2 w 1 w * w w * 2 2 2 w 1 w * 2 2 2 2 2 2 2 w 0 w * ( A7)
T 如果 w x 0 T 如果 w x 0 T 如果 w x 0
不定, • 设样本 x 的类别为已知 （当然它来自于训练 的确定规则是 集）， x T 1 x 1 , 但 w x 0, 则 x T 1 (3.14) x 2 , 但 w x 0, 则 x 当x 0 被正确分类时 , x
x x
2 x w w * x
x x
2
T T w w x 2 x x 2 x *
x
( A1)
3.2 确定超维分界面的感知器算法
T • 由于 x 为错分的样本， w x x 0 ，所以 2 2 2 x w 1 w * w w * x
第三章 线性分类器
Chapter 3 Linear Classifiers
• 我们知道，在一定条件下，基于后验概率或类 条件概率密度的分类器可转化为线性分类器。 这就是说，线性分类器是基于Bayes决策理论设 计的分类器的一个特例。
• 线性分类器的特点是结构简单，计算工作量小， 缺点是在很多情况下分类正确率不够高（？）。
(3.13)
3.2 确定超维分界面的感知器算法
• 由（3-14），我们有如下推论 T w x 0, x if x 被错分
(3.15)
• 若 w *为所求的解，则 T w x 0, x if x被错分 (3.16) * • 为了确定一组最佳的 w * ，对（3-12）求 J w 关 于 w 的一阶偏导数，则有 J w x (3.17) x w x
xk 新超平面
x2
w
w 1
原超平面
0 xi
x1
x1 x 2
图3.5 感知器算法
• 可以证明，只要两个类别是线性可分的，感知 器学习算法是收敛的，反之则不收敛。对线性 可分的样本集，学习结束时，线性分类器对训 练集的错分样本数为0。 • 例3.1，证明，对线性可分的样本集，线性分类 器采用感知器学习算法时，学习过程收敛。 方法一： • 设 w * 是一个解，则
2 • 又 w 0 w * 为一有限值，所以，当没有样本被
错分时，有
2 • w 1 w * 0，或 w 1 w* ，于是 2 w 0 w * 2 2

( A9)
• 也是有限值。 • 这说明，若两个类别是线性可分的，则在有 限步内，感知器学习算法收敛。
π : l x w x w0 0
T
(3.1)
3.1 线性判别函数和决策超平面
w T x1 w0 w T x 2 w0 0 (3.2)
(3.3)
• 或
w
T
x1 x 2 0
• 显然，w与x1-x2垂直。有时，人们称w为超平面 的法矢量。将(3.1)展开得
π : l x w1x1 w2 x2 ... wm xm w0 wi xi 0
i 0 m
(3.4)
3.1 线性判别函数和决策超平面
• 这里，x0=+1。平面在坐标轴xi上的截距为
w0 θi wi
(3.5)
• 图3.1给出了线性分类器决策超平面示意图。图 3.1指出，一个决策平面将输入空间分成了两个 区域，但到底哪个决策区域为分类器实际输出 大于0的区域取决于权值与阈值的正负号。例如， 1: l(x)= w1x1+w2x2++wmxm+w0=0与2 : l(x) =w1x1-w2x2--wmxm-w0=0所决定的平面完全相
3.2 确定超维分界面的感知器算法
• 根据梯度下降算法，有
J w w 1 w w x w x
x
(3.18)
• 式中，＞0为学习率，或称之为步长因子，为 迭代次数。
• 特别地，设=1，且只有来自1的样本 x1 和来自 2的样本x 2 被错分，（3.18）变为
x=(x1, x2)T d(x, ) w0>0 w1<0 w2<0 x1
w0 w 2
d0
: l(x)>0的区域
0
w
w0 w 1
图3.1b 线性分类器决策超平面示意图
3.1 线性判别函数和决策超平面
• 同，但它们的决策区域却完全相反。因此，在 判断决策区域时，必须考虑法矢量的方向。根 据该图，坐标原点到决策平面的Euclid距离为 w0 w0 d0 (3.6) 2 2 2 w2 w1 w2 ... wm • 特征空间任意一点 x=(x1,x2,,xm)T到决策平面 的Euclid距离为 w1x1 w2 x2 ... wi xi ... wm xm w0 l x d x, π (3.7) 2 2 2
d0
: l(x)=w1x1+w2x2+w0=0
0
w
w0
1
x1
图3.2 两点xi、xk经w变换过程示意图
x2
w1
w2
l2(x) l2(xi)
2

1
0
xk xi
0
2
1
x1
l2(xk) 0
l1(x) l1(xk)
l1(xi)
图3.3 两点xi、xk经过2次线性变换示意图
3.1 线性判别函数和决策超平面
3.2 确定超维分界面的感知器算法
w 1 w x1 x 2 (3.19)
• 图3.5为感知器算法的一次学习过程。
• 感知器算法在具体实现时，初始权值分量可为 (0, 1)之间的随机数。一般地，步长因子0<<1。 步长太大，可能造成一次调整量过多（调整过 头）；反之，太小，则需要更多的学习次数， 即学习时间长。
w1 w2 ... wm w
2
3.1 线性判别函数和决策超平面
• 更一般地，我们有
lx w 2 d x , π
(3.8)
• 称之为点x到平面的代数（有向）距离，即所谓 线性判别函数的值，它是Euclid距离的 w 2 倍。 思考一下，如何使有向距离l(x)变大。 • 另外，两点 xi、xk在特征（输入）空间的距离为 0=xi-xk，但
•
x x , 1 即可。设 为错分样本的集合，则
误差函数为
T w x J w x
x
(3.12)
x • 其中，学习系数 与样本是否被错分有关。
3.2 确定超维分界面的感知器算法
• 判别规则为 x 1 , x 2 ,
1 2 1
2 12
1
13
2
1 2
3
1
3
2
23
(a) 2类问题
3
(b) 3类问题特殊情况 (c) 多类问题一般情况
图3.4 线性分类器对多类问题形成的决策区域
3.2 确定超维分界面的感知器算法
（Perceptron Algorithm）