模式识别第八讲-第五章 线性判别函数

5.1 引言
∴
g( x ) r w
（点面距离）
点 (x0, y0, z0) 到平面 Ax+By+Cz+D=0的距离为：
d
Ax 0 By 0 Cz 0 D
A B C
2 2
2
5.1 引言
4. 广义线性判别函数
有时，有些分界面不是线性的，但通过 适当的变换可以转换为线性分界面。
例如：
5.2 感知器算法 构造一个准则函数，
J p ( a ) ( a y )
T yYe
Ye ：被a所错分的样本集合。 即aTy<=0的（错分）。 此时 -aTy>=0。
∴
J p (a ) 0
5.2 感知器算法
只有当Ye为空集时，不存在错分样本，才有
min( J p (a)) 0
这一准则函数是Rosenblat在五十年 代末提出来的，用来模拟人脑神经细胞的 模型，所以一般称为感知准则函数。
gi ( X ) A Y Wi X wi 0 , i 1,2,..., c
T i T
其中
wi 0 1 Ai X W , Y i
• 如果对于所有的 i j ，有 g i ( X ) g j ( X )， 则把模式 X 归到 i 类去。
• 多类线性分类器把特征空间分成c个决策域R1, R2,…, Rc。当模式在Ri中时，gi(X)具有最大的函 数值。如果Ri和Rj相邻，则决策面是超平面Hij的 一部分。在决策面上，有
gi (X ) g j (X )
c(c 1) • 在多类的情况，决策面最多有 个，但往 2 c(c 1)
•最小错分样本数准则适用于线性可分和线 性不可分情形。
•对于规范化的增广样本向量，yi=1, …, N， 要找a，使得aTyi>0, i=1, …, N。这是求N个不 等式组解的问题。 •错分样本数等于不满足的不等式数目。
5.3 Fisher线性判别
使当样本 Y i 时，对一切
ji
有：
T T ˆ ˆ Ai Y Aj Y
多类问题的固定增量算法
1. 任意选择初始权向量 A1 , A2 ,..., Ac
2. 对于 Y j ，若至少有一个类别 i （ i j ）满足
T AT Y A j i Y ，则以Aj+Y代替Aj，对于满足这个
k 为固定值时，称为固定增量法。 当 k 随k变化时，称为可变增量法。
当
5.2 感知器算法 例1．
多类情况下的线性分类器
• 对于二类问题，可以用感知器等算法求出线性 分界面。
• 对于多类问题，可以把它们转化为二类问题来 求解，也可以直接按多类问题来求解。
按二类问题求解
设有c类模式，利用二类情况下的线性判别 函数设计分类器，有两种处理方法。
g ( x) w x w0
T
其中：
xT [ x1, x2 , ..., xn]
w [ w1 , w2 , ..., wn ]
T
( w 称为权向量 ）
5.1 引言
假定x1和x2是超平面H（分界面）上的 任意两点，由于
w x1 w0 w x2 w0 w ( x1 x2 ) 0
g( x ) c0 c1 x c2 x
2
二次判别函数
5.1 引言
y1 1 a 1 c 0 若令： y y 2 x a a c 2 1 2 y ， x a c 3 3 2
则
g( x ) a y a i y i ，是y的线性函数。
T i 1
3
这样做的结果是增加了特征空间的维数。 如上例由一维→三维。
5.1 引言
另外,为了处理上的方便，线性判别函数
g( x ) w x w0
T
常写成齐次的形式
g( x ) a y
T
5.1 引言
其中
1 x 1 1 y x xn
对应于准则函数的最优化 （方法），求准则函数的 极值问题。
5.1 引言
几种常用的准则函数：
Fisher 准则 感知器（Perceptron ）准则 最小错分样本数准则 最小平方误差准则 随机最小错误率（线性判别函数）准则
5.1 引言
3. 线性判别函数的性质
形式（两类时）：
5.2 感知器算法
也可采用“单样本修正”：顺序对各 个样本进行分类，发现一个分错就马上修 正权向量。
单样本修正算法为：
a(1) 任意 k a ( k 1 ) a ( k ) y , k y k 是被a k 错分的
单样本修正算法与前面描述的感知器算 法的基本思想是一致的。
5.2 感知器算法
向量正 交。
5.1 引言
判别函数g(x)是特征空间中的某点x到超平面 g(x)=0的代数距离（有正负）的一种度量。 x
5.1 引言
由
w x x r w
代入g(x) 中有：
T w w w T T g( x ) w ( x r ) w0 w x w0 r r w w w 0
W1T X w10 W2T X w20
或写成：
(W1T W2T ) X ( w10 w20 ) 0
令:
W T W1T W2T , w0 w10 w20
g ( X ) W T X w0
并定义新的线性判别函数：

则决策规则变为： 如果g(X)>0, 则决策1，即把X归到1类去； 如果g(X)<0, 则决策2，即把X归到2类去；
一是把c类问题化为(c1)个二类分类问题， 其中第i个二类问题就是用线性判别函数把属于 i类的模式同不属于i类的模式分开；
第一种方法分类示意图
R1 R2 R3
假如有三类样本集1、2和3，它分别在区域R1、 R2和R3。采用第一种方法分类，问题化为c1=2个 两类分类问题：每次用线性分类器将一个类别的 样本与所有不属于这个类别的样本分开；不属于 前2个类别的样本都归为第3类。
（分段线性可以逼近任意复杂的判别边界面）
5.1 引言
1. 线性判别函数的定义 线性判别函数的一般形式为：
g( x ) w x w 0
T
希望根据给出的已知类别的训练样 本，确定参数w和w0.
在只有两类模式的情况下，设两类的线性判 别函数分别为：
如果X属于1，应有g1(X )> g2(X )，即：
yj
yj
，当 ，当
y j 1
y j 2
这样问题就化为找一个a，使对所有的yn，有 aTyn>0。 yn 上述的处理称为规范化。 称为规范化的增广样本。
以后为书写方便，仍用 y 来表示规范化的增广样本。 （可根据上下文定 ）
5.2 感知器算法 二．感知准则函数及其梯度下降算法
设有一组样本y1, …, yN（规范的 增广样本向量）。目的是求一a*，使 得a*Tyi>0, i=1, 2, …, N。
在实际工作中，对贝叶斯决策：
样本的类条件概率密度形式很难确定， 参数估计和密度估计又需要大量的样本。
所以发展了各种直接从样本中设计线性 分类器的方法。这些方法本质上都是在设计 线性判别函数中的参数（参数分类器中的参 数估计）。
5.1 引言
线性判别函数分类的错误率可能比 贝叶斯错误率大，但它简单，容易实 现，它是P.R.中最基本的方法之一， 人们对它进行了大量的研究工作。
5.2 感知器算法 2．样本的规范化 若样本是线性可分的，则总存在权 向量a能把每个样本正确分类。即使得 T a yi 0 ，对 yi 1
a y j 0 ，对 y j 2
T
对第二类的样本，若在yj前加一负 号 yj’=-yj，则 aTyi’>0 。
5.2 感知器算法
即若令
yn
( y )
yYe
a( k 1) a( k ) k J a( k ) k y
Y ：被a(k)错分的样本集。
yYek
• 即，当任意给定初始权向量a(1)后， a(k+1)等于a(k)加上 y
k yYek
5.2 感知器算法 可以证明，若样本线性可分，则经过有 限次迭代修正后，一定可以找到一个解向量， 即算法收敛。 上述的算法是一种“批处理”方式。用 a(k)把所有的样本分类一次，然后根据所有 错分的样本，修改一次权向量。
5.1 引言
线性函数g(x)=0 定义了一个超平面H，即决 策面，或分界面，它把特征空间分成了三部分，
g( x ) 0
正负半空间和超平面本身。
5.1 引言
2. 线性分类器的设计过程
对分类器的性能 提出要求 使所确定的w和w0尽可能 满足这些要求。
利用各种
准则函数 目标函数 表示
这个不等式的类别 i，用Ai–Y代替Ai。
3.对于 Y j ，若对于所有的类别 i （ i j ） ，有
T AT Y A j i Y ，则保持Aj不变。
固定增量算法的收敛性
可以证明，如果c类样本集是线性可分的， 则多类问题的固定增量算法必定收敛。
最小错分样本数准则
•如果线性不可分，希望错分样本数最少。
• 对于一个待分样本，依次用这些线性分界面来进 行判别，并统计判别为每一个类别的次数（投票 算法），最后判别为票数最多的类别。
• 缺点：同样会产生拒绝分类的情况，即无法确定 阴影区域中的点的类别（3个类别的票数相同）。
按多类问题求解
• 如果按多类问题求解，可以避免拒绝分类现象。 • 每一类的线性判别函数可以表示为：