[工学]第5章 线性判别函数

9
线性判别函数的几何意义
决策面(decision boundary) H 方程：g(x)=0 决策面将特征空间分成决策区域 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量
w x xp r , w r是x到H的垂直距离 x p 是x在H 上的投影向量 g ( x) r w
Fisher准 则最佳 投影
1 1 2 S1 1 1 2
1 S2 1 2 1 2 1
1 w
26
判别函数的确定
前面讨论了使Fisher准则函数极大的d维向量
w*的计算方法，判别函数中的另一项w0 （阈值）可采用以下几种方法确定：
% % m 1 m2 w0 2
% % N1m 1 N 2 m2 % w0 m N1 N 2
% % ln P(1 ) / P(2 ) m 1 m2 w0 2 N1 N2 2

g(x)又可表示成：
g ( x) a y ai yi
T i 1
13
3
广义线性判别函数
• 按照上述原理，任何非线性函数g(x)用级数 展开成高次多项式后，都可转化成线性来处 理 • 一种特殊映射方法：增广样本向量y与增广 权向量a
x T y x1 ,..., xd ,1 1
16
广义线性判别函数
例2：有一个三次判别函数：z=g(x)=x3+2x2+3x+4。试建 立一映射x→y，使得z转化为y的线性判别函数。
答：映射X→Y如下：
y1 1 a1 4 y x a 3 2 2 y 2 ，a y3 x a3 2 3 y x 4 a4 1
w* argmax J ( K , w)
w
应用

对于未知样本x，计算g(x)，判断其类别
5
线性判别函数
d维空间中的线性判别函数的一般形式：
g (x) w x w0
T

x是样本向量，即样本在d维特征空间中的描 述， w是权向量，w0是一个常数(阈值权)
T
x x1 , x2 , ...xd
18
5.2 Fisher线性判别 — 降维/两类
线性判别函数 y
•
= g(x) = wTx :
•
•
样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在w上的投影
Fisher准则的基本原理：找到一个最理想的
投影轴，使两类样本在该轴上投影之间的距 离尽可能远，而每一类样本的投影尽可能紧 凑，从而使分类效果为最佳
g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
x2


1
g( x ) 0
2
x1
8
构造一个二类模式的线性分类器，如下图所示：
g(X )=0 是决策面方程，它是两类模式的分界，对于二维 空间情况，它是一条直线；对于三维情况，它是一个平面；而 对于高维空间的情况，则是一个超平面
w T a w1 ,...源自文库 wd , w0 w0
14
广义线性判别函数

线性判别函数的齐次简化：
g (x) w x w0 a y
T T

增广样本向量使特征空间增加了一维，但保持了样 本间的欧氏距离不变，对于分类效果也与原决策面 相同，只是在Y空间中决策面是通过坐标原点的， 这在分析某些问题时具有优点，因此经常用到。
xKi T
T w (x m i )(x m i ) w xKi T w Si w
T T % % % Sw S1 S1 w (S1 S2 )w w Sww
24
Fisher准则函数
评价投影方向w的原则，使原样本向量在该
方向上的投影能兼顾类间分布尽可能分开， 类内尽可能密集的要求 Fisher准则函数的定义： T % Sb w Sb w J F ( w) % % T S S w S w
g (x) aT y 如果存在权向量a使 aT y n 0, n 1, 2,..., N 称y n 被正确分类。分类器被看做求N个线性不等式的解
15
广义线性判别函数
例1：设五维空间的线性方程为 55x1+68x2+32x3+16x4+26x5+10 =0，试求出其权向 量与样本向量点积的表达式wTx+w0=0中的w，x以及 增广权向量与增广样本向量形式aTy中的a与y。 答： 样本向量：x = (x1, x2, x3, x4, x5)T 权向量：w = (55, 68, 32, 16, 26)T, w0=10 增广样本向量：y = (1, x1, x2, x3, x4, x5)T 增广权向量：a = (10, 55, 68, 32, 16, 26)T
概率密度函数
决策规则： 判别函数 决策面方程
x1
g1
• “最优”分类器：错误 率最小，风险最小等对 分类器设计在理论上有 指导意义
w2 x2
. . .
g2
. . .
MAX
y(x)
• 获取统计分布及其参数 很困难，实际问题中并 不一定具备获取统计分 布的条件
3
wd xd
gc
判别函数
基于训练样本确定判别函数
x2
w0 w
w
R1: g>0
xp
x r
g x w
x1
R2: g<0
H: g=0
10
线性判别函数的几何意义
w x xp r w
结论：利用线性判别函数进行决策，就是用一个 超平面把特征空间分割成两个决策区域，超平面 方向由权向量W决定，它的位置由阈值权w0确定
=0
T w w w T T T g (x) w x w0 w（x p r ） w0 W x p w0 r ） w w
19
Fisher线性判别图例
x2
w1
H: g=0
w2
x1
Fisher准则的描述：用投影后数据的统计性质 —均值和离散度的函数作为判别优劣的标准
20
d维X空间样本分布的描述量

各类样本均值向量mi
1 mi Ni
xKi
x
i 1, 2

样本类内离散度矩阵Si与总类内离散度矩阵Sw
Si (x mi )(x mi )T , i 1, 2
i 1, 2
2 T T 2 % % % Sb ( m 1 m2 ) ( w m1 w m 2 )
w (m1 m 2 )(m1 m 2 ) w w Sb w
T T T
23
样本与其投影统计量间的关系
% S i
y i 2 % ( y mi ) T T 2 ( w x w m ) i
广义 权向量
广义样 本向量
a (a, b, c, d , e, f , g, h, l , m)T
y ( x12 , x22 , x32 , x1x2 , x1x3 , x2 x3 , x1, x2 , x3,1,)T
z g (x) h( y) a y
T
维数为10
广义线性 判别函数
判别函数：
g ( x) ( x a)( x b)
12
广义线性判别函数

二次函数的一般形式：
g ( x) c0 c1x c2 x
2
映射X→Y
y1 1 a1 c0 x ，a a c y y 2 2 1 2 y x 3 a3 c2
例：正态分布最小错误率贝叶斯分类器在特殊情 况下，是线性判别函数 g(x)=wTx（决策面是超 平面），能否基于样本直接确定w?
设定判别函数形式，用样本集确定参数
使用准则函数，表达分类器应满足的要求 这些准则的“最优”并不一定与错误率最小相一 致：次优分类器
训练样本集
选择“最优”准 则
i 1, 2
%S % S % S w 1 2
2 % (m % % S m ) b 1 2

样本类间离散度
以上定义描述d维空间样本点到一向量投影后的 分散情况
22
原样本与其投影统计量间的关系
样本x与其投影 y
的统计量之间的关系：
1 % m i Ni
1 T T y w x w mi , Ni yKi y i
xi
Sw S1 S2

样本类间离散度矩阵Sb： Sb (m1 m2 )(m1 m2 )T
离散度矩阵在形式上与协方差矩阵很相似
21
一维Y空间样本分布的描述量


各类样本均值
1 % m i Ni
y
y,
i
i 1, 2
样本类内离散度和总类内离散度
2 % % S ( y m ) , i i y i
w w1 , w2 , ...wd
T
6
为了说明向量W的意义，我 们假设在决策平面上有两个 特征向量X1与X2，则应有
w
x2
其中(X1-X2)也是一个向量， 上式表明向量W与该平面上 任两点组成的向量(X1-X2)正 交，因此W的方向就是决策 面的法线方向
x1
平面g x 0
7
两类问题的分类决策规则
第五章 线性判别函数
线性判别函数 Fisher线性判别
最小平方误差准则
多类问题 分段线性判别函数
5.1 问题的提出
Generative→Discriminative
基于样本的Bayes分类器：通过估计类条件概率密度函数， 设计相应的判别函数 训练 样本集
w1
样本分布的 统计特征：
z g ( x ) h( y ) aT y ai yi
i 1
4
17
广义线性判别函数
例3：设在三维空间中一个两类别分类问题拟采用二次 曲面。如欲采用广义线性方程求解，试问其广义样 本向量与广义权向量的表达式，其维数是多少？ 答：设该二次曲面方程为:
二次 曲面
2 2 2 ax1 bx2 cx3 dx1x2 ex1x3 fx2 x3 gx1 hx2 lx3 m 0

分类规则:
y w x w0 0 x 1
T T
y w x w0 0 x 2
27
Fisher准则举例
例1：设两类样本的类内离散矩阵分 别为S1，S2，各类样本均值分别为 m1=(2, 0)T, m2=(2, 2)T, 试用Fisher准 则求其决策面方程
解
r w r是x到H的垂直距离 x p是x在H 上的投影向量 w0 r0 w
w0 w
x2
w
R1: g>0
xp
x
r
R2: g<0
g x w
x1
H: g=0
11
广义线性判别函数

线性判别函数是形式最为简单的判别函数， 但是它不能用于复杂情况 例：设计一个一维分类器，使其功能为：
x b 或 x a 则决策x 1 如果 则决策x 2 bxa
1 2 w

Fisher最佳投影方向的求解
w* argmax J F (w )
w
25
Fisher最佳投影方向的求解
采用拉格朗日乘子算法解决
定义 L(w, ) wT Sb w (wT Sww c)
w S (m1 m2 )
*
m1-m2是一向量，对与(m1-m2)平行的向量投影可使两均值 点的距离最远。但是如果从使类间分得较开，同时又使类 内密集程度较高这样一个综合指标来看，则需根据两类样 本的分布离散程度对投影方向作相应的调整，这就体现在 对m1-m2 向量按Sw-1作一线性变换，从而使Fisher准则函数 达到极值点
决策规则： 判别函数 决策面方程
该样本集中的 每个样本的类 别已知
4
线性分类器设计步骤

设 计
线性分类器设计任务：给定样本集K，确定线性判别 函数 g(x)=wTx 的各项系数w：
1. 收集一组样本K={x1,x2,…,xN} 2. 按需要确定一准则函数J(K,w)，其值反映分类 器的性能，其极值解对应于“最优”决策 3. 用最优化技术求准则函数J的极值解w*，从而 确定判别函数，完成分类器设计