线性判别函数

第四章 线性判别函数
主要内容： 非参数判别分类器的基本原理，与参数判别分类方法的比 较 线性分类器
三种典型的线性分类器:fisher准则，感知器，SVM
两类与多类判别方法 非线性判别方法
4.1 引言
参数判别方法： 训练样本集 各类别在特征空间的 分布表示成先验概率、 类概率密度分布函数 选择最佳准 决策规则、判 则函数 别函数、决策 面方程
缺陷：获取统计分布及参数非常困难
选择最佳准则 训练样本集
获取决策规则、判别函数、 决策面方程
非参数判别方法：
4.1 引言
非参数判别分类方法的基本原理——有监督学习方法 线性分类器 近邻法 Fisher 准则线 性分类 器 感知准 则函数 线性分 类器 svm 改进的近邻法
非线性 分类器 的扩 展—分 段线性
法一（c个 w / w 二分法） ：通过唯一一个线性判别函数，将 属于i类的模式与其余不属于i类的模式分开。对于c类问题， 需要c个判别函数。即：g ( x) w x i 1,2,...., c g ( x) 0 ， x w g ( x) 0 ，x w 且 i 1,2,...., c
T
x0 1 其中：sgn( x) 1 x 0
x ( x1 , x2 ,.....xd ,1)T
w (w1 , w2 ,.....wd , )
T
模型特点：神经元之间的耦合程度可变，各个权值wi可以通过 训练/学习来调整，从而实现线性可分函数。
4.4 感知器 感知器训练算法
i i
T i i
i
i
i
i
C个判别函数把特征空间分成C个 w / w 问题。
i i
4.2线性判别函数和判定面
特点：有不确定区域及模糊区域，类型越多，不确定区域越多。
x 不能直接根据 g ( x) 0 判断： wi
i
4.2线性判别函数和判定面
判决准则：
若： g ( x) 0 且 g ( x) 0
T i i
i j
i
有5个不同类型，决策面是分段线性的区分超 平面。类 型w1与其余4个类型均相邻 w2与2个类型相邻 (w1,w3)，w5与3个类型相邻 (w1,w3 ,w4)。k的选取取决于所考察的类型与 几个类型相邻。如 w1, k=4; w2, k=2; w5, k=3。
4.2线性判别函数和判定面
g ( x) wT x
0 g ( x) 0
则：
wi x w j
感知器训练算法实现： 设训练样本集 X {x1 , x2 ,.....xn }，每个样本 xk , k 1, 2,....., n ，分别属于 类型wi或wj，且xk类别属性已知。为了确定加权向量w*，执行： ① 给定初始值：置k=0，分别给每个权向量赋任意值，可选常 数。 ② 输入训练样本 xk , xk {x1 , x2 ,....., xn } ③ 计算判决函数值： g ( xk ) [w(k )]T xk
12 1 2 T
Hale Waihona Puke 13123
1
2
试判断该样本类别 ：
解：把样本代入判决函数： g ( x) 8 3 8.2 2.8 ，g ( x) 2.5 g ( x) 4.8 ， 因此 g ( x) g ( x) 2.5 0 及 g ( x) g ( x) 4.8 0
12
13
23
12
13
12
13
21
23
g ( x)
23
g ( x) 0
32
4.2线性判别函数和判定面
例：设一个三类问题，有如下判决函数 g ( x) x x 8.2 ， g ( x) x 5.5 ， g ( x) x x 0.2 ，现有模式样本 x (8,3)
>0 x w i g ij (x) <0 x w j
判别函数具有性质： g ( x) g ( x)
ij ji
把c类问题转变为两类问题，与第一种情况不同的是，两类问题 的数目不是c个，而是 c(c 1) / 2个 ，并且每个两类问题不是 w / w 而是 w / w
i i
i j
例：设一个三类问题，按最大值规则建立了3个判决函数。
g1 ( x) 3x1 x2 9 g 2 ( x) 2 x1 4 x2 11 g ( x) x 2 3
今有模式样本x=(0,2)T，试判别该模式属于 哪一类?
解：将x=(0,2)T代入3个判决函数
1 1 2 2 d d d 1
其中： w (w1 , w2 ,...., wd )T 称为加权量，则： g ( x) wT x wd 1 x ( x1 , x2 ,...., xd ,1)T 称为增广模式。
w (w1 , w2 ,...., wd , wd 1 )T
称为增广加权向量。
将x表示为： xp：是x在H上的投影向量，r是x到H的算术距离
4.2线性判别函数和判定面
结论：
1.g(x)正比于点x到超平面的算术距离（带符号）
2.点x属于w1时，r为正
3.点x属于w2时，r为负
4.2线性判别函数和判定面
多类情况： w 对c类问题： , w ,....,w ，且c≥3
1 2 c
多层感 知器
特征映 射方式 实现线 性分类 器
4.2线性判别函数和判定面
最简单的判别函数是线性函数，相应的分类面是超平面
4.2线性判别函数和判定面
线性判别函数：由x的各个分量的线性组合构成的函数
（1)
w ：权向量，w0 ：阀值权或偏置
4.2线性判别函数和判定面
两类情况：
4.2线性判别函数和判定面
且： gij ( x) g ji ( x) （3）
T gij ( x) wij x ， ij ( x) g ji ( x) 完 g 上两式与第二种情况中的两个表达式
全一致。但是，这里的(2)式来源于(1)式，对于c个类型来说，独 立方程式为c-1个，而非c(c-1)/2个。尽管有此差别，第三种情况 的判别式 gi ( x) g j ( x)与第二种情况的判别式 gij ( x) 0 相同。因此， wi / w j 第三种情况此时也被转变成 二分法问题。 例如，假定c=3， 且已有3个判决函数，满足最大值判决规则。已知：
所以 g23 ( x) 是 g13 ( x) 和 g12 ( x) 的线性组合。即 g13 ( x)和 g12 ( x) 是独立的， g 23 ( x) 是不独 立的，且在二维空间理，三个判决函数必须相交于 一点。
由三个类别的分布情况来看， 它们满足第二种情况的判决 规则，且无不确定区。
4.2线性判别函数和判定面
第二步：确定一个准则,满足(1) J J ( w, x) ，(2) J ( w, x) 能反映分 类器的性能，且对于J的权值w*,所得分类器最优。 第三步：求 J ( w, x) 的权值，得到解向量w*,同时设计求解w的最优 算法。 一旦得到w*，训练实验的任务就完成了。
4.4 感知器
感知器（perceptron）是一个具有单层计算单元的人工神经网 络。
② 假定c个类型在特征空间里均相邻，即 k=c。由于：
gi ( x) wiT x , i 1,2,.....c, k c （1）
T gij ( x) gi ( x) g j ( x) wiT x w j T x ( wiT wT ) x wij x , j , i 1, 2,.....c, i j（2） j
g1 ( x ) w1T x T g 2 ( x ) w2 x g 3 ( x ) w3T x
4.2线性判别函数和判定面
三个类型区域均相邻。有： T T T T 由：g12 ( x) g1 ( x) g2 ( x) (w1T w2 ) x w12 x, 同理：g13 ( x) w13 x ， 23 ( x) w23 x g
i
j
j 1,2,...., c
ji
则： x w
i
例如：对三类问题，分别建立三个判别函数
g g ( x) 10x 19x 19 ， ( x) x x 5 ， g ( x) 2 x 1
1 1 2 2 1 2
3
2
有一个模式样本
x (6,2) ，试判断该样本的类别。
T
解：把样本X分别代入上面的判别函数得： g ( x) 60 38 19 3 0 ， g ( x) 3 0 ， g ( x) 1 0
1 2
3
根据判别规则 g ( x) 0
2
g ( x) 0
1
g ( x) 0
3
因此，判决结果为： x w
2
4.2线性判别函数和判定面
12
13
23
31
13
32
23
所以： x w
3
4.2线性判别函数和判定面
法三：对c种类型中的每一种类型，均建立一个判决函数，即： g ( x) w x ， 1,2,..... c 为了区分出其中的某一个类型 w 需要k i ， i g k 个判决函数， c ，如果满足： ( x) g ( x) ， j 1,2,..... k j i 则： x w 对不同的wi，k的取值可能不同。判决规则也可 以写成：若满足 gi (x)=max{g j ( x)} ,则 x wi ，即最大值判决规则。 j=1,...k ① 关于k值的选取 ：
4.2线性判别函数和判定面
判决准则：
若： g ( x) 0
ij
j 1,2,....c, j i