第三章 线性判别分析_非参数判别分类方法-第二次课

性判别函数。
第3章 线性判别分析
这是广义线性判别函数的一个特例。
y=(1, x)T被称为增广样本向量, v称为增广权向量。
对于二次判决函数
1 g (x) w0 wi xi wij xi x j i 1 i 1 j 1 x1 1 y x2 有一种特殊的映射方法, 将x增广至 x w 0 并将g(x)中的向量w和w0统一表示成 x w 1 w d v w2 0 w 则线性判别函数g(x)可以表示成 w d d
确定权向量wi和阈值权wi0。
第3章 线性判别分析
1. 两类问题的讨论
在两类情况下, 判决函数具有简单的形式: 若 g1 (x) g 2 (x) , 则判决 x （或）ω2； 1 若 g (x) g (x) , 则判决 x 2 （或）ω１； 1 2 若 g1 (x) g 2 (x) , 则不作判决或作任意判决,
习
1. 对于线性判决函数:
题
g (x) x1 2 x2 2
(1) 将判别函数写成g(x)=wTx+w0的形式, 画出 H: g(x)=0的几何图形 , 标出权向量并确定决策区域 R1 和R2。
(2) 化成增广权向量和增广向量的形式: g(x)=vTy。
g ( x) 0 对应的决策规则：
g ( x) 0 x 2
x 1
第3章 线性判别分析
g(x)=(x－a)(x－b)=c0+c1x+c2x2
第3章 线性判别分析
任何形式的高次判别函数都可转化成线性判别函
数处理。譬如将非线性函数g(x)用级数展开, 并截取
其有限项, 使之成为高次多项式, 然后转化成广义线
g1 (x) 0 , g 2 (x) 0 , g 3 (x) 0

单个的g1(x)>0条件只能区分属于ω1和不属于ω1。 此时特征空间中还可能存在不确定区域, 如图中g1(x)<0,
g2(x)<0, g3(x)<0确定的区域, 在这个区域中的样本不属于任
何一类。
第3章 线性判别分析
类。
第3章 线性判别分析
g1 (x) x1 x2 g 2 (x) x1 x2 5 g ( x) x 5 1 2 3
对于x=(x1, x2)T=(6, 5)T, 代入判决函数可得g1(x)=－1, g2(x)=6, g3(x)=－4, 所以x∈ω2。
对于3类问题, 可用3个超平面: g12(x)=0, g13(x)=0和g23(x)=0
把ω1、 ω2、 ω3分开。
三类问题的情况
g12 (x) x1 x2 5 【例】一个三类问题, 三个判决函数为 g13 ( x) x1 3 g ( x) x x 1 2 23
设计线性判别函数的任务就是在一定条件下, 寻找 最好的w和w0 , 其关键在于最优准则以及相应的求解方 法。
第3章 线性判别分析
(1) 选择样本集z={x1, x2, …, xN}。 样本集中的样本来自两
类且类别已知。
(2) 确定一个准则函数J, 要求满足以下两个条件: ① J是样本集、 w和w0的函数;
第3章 线性判别分析
(3) 每一模式类都有一个判别函数。 对于m类的判决问
题, 可以确定m个超平面, 它的判决函数为
g i ( x) w T i x wi 0
判决准则为 gi (x) max( g j ( x)) , 则x∈ωi。
j
对于前面两种情况中
的不确定区域, 由于不确 定区域内任何两类的判别 函数值不相等, 按最大判 决思想, 可以做出类别判 决, 因此这种情况下不存 在不确定区域。


若w0>0, 则原点在超平面的正侧;
若w0<0, 则原点在超平面的负侧; 若w0=0, 则超平面通过原点。
第3章 线性判别分析
结论：
对于两类情形, 利用线性函数进行分类, 实质上 就是用一个超平面H把Rd分成两个决策区域；

H的方向由权向量w确定, 它的位置由阈值权w0 确定；

判别函数g(x)正比于x点到H的代数距离；
第3章 线性判别分析
第三章 线性判别分析 —— 非参数判别分类方法
第3章 线性判别分析
第3章 线性判别分析

本章的思路：利用样本直接设计分类器, 可以避
开各类的概率密度函数的估计, 其基本思想就是设定
一组判别函数, 并利用样本直接计算判决函数中的有
关参数。
第3章 线性判别分析
本章内容
3.1 3.2 3.3 3.4 总结 习题 线性判别函数 线性分类器 分段线性分类器 近邻分类器
第3章 线性判别分析
3.1 线性判别函数
3.1.1 线性判别函数的几何意义 线性判别函数的形式如下:
g i ( x) w T i x wi 0 , i 1, 2,, m
其中: wi 称为权向量; wi0 称为阈值权。 wi和wi0 的值
需根据样本集来确定。 线性分类器设计的关键在于
每一类具有一个判决函数的情况
第3章 线性判别分析
g 1 ( x) x1 x 2 g 2 ( x) x1 x 2 1 【例】一个三类问题, 三个判决函数为 g ( x) x 2 3
请画出各类判决区域, 并判断x=(x1, x2)T=(1, 1)T属于哪一类。 解 各类的判决区域如图
② J的值反映分类器性能, 它的极值对应于“最好”的决
策。 (3) 用最优化技术求解准则函数, 得到极值点对应的w*和w*0。 当准则函数J的求解比较困难, 不能得到全局最优解或是
求全局最优结果比较困难时, 往往通过求局部最优解（次优解）
来降低求解难度, 或者用计算解代替解析解。
第3章 线性判别分析
即可判成ω１、 ω2中的任意一类。
第3章 线性判别分析
两类判决区域的分界面为 g1 (x) g 2 (x)
g (x) w x w0 w1 x1 w2 x2 wd xd w0 0
T
其几何意义为d维欧几里德空间中的一个超平面。
第3章 线性判别分析
(1) w是超平面的法向量。
对于x=(x1, x2)T=(4, 3)T, 代入判决函数可得
g12 (x) 2, g13 (x) 1, g 23 (x) 1
所以判断x∈ω3。
第3章 线性判别分析
(2) 每一模式类与其他模式类之间用单个超平 面分开。 对于m类的判决问题, 可以确定m个超平面, 它的 判决函数为 gi (x) wT i x wi 0
0 gi(x)判决准则为 gi (x) 0 x i x i (i 1, 2, , m)
若 k {1, 2,, m}, 使gk(x)>0, gj(x)<0(j≠k, j∈{1, 2, …, m}), 则判断x∈ωk。
第3章 线性判别分析

图中每一类都用一
个简单的直线将它与 其他模式类分开, 例 如 x∈ω1 的样本 , 同 时满足下面三个条件
超平面示意图
第3章 线性判别分析
如果取最大判决,
g1 (x) g 2 (x) g1 (x) g 2 (x)
x 1
w指向R1, R1中的点在H的正第3章 线性判别分析
(2)
g ( x) r w
g(x)是x到超平面距离的一种代数距离。
w0 当x=0时, g(x)=w0, 即原点到超平面的代数距离为 r0 w
当x在H的正侧时, g(x)>0; 在负侧时, g(x)<0。

第3章 线性判别分析
2. 多类问题的讨论
所谓多类问题,
是指类别数m≥3的情形。多类
情况下可以按下述三种方法进行划分。
(1) 任意两个模式类之间分别用单个超平面分开。
对于m类中的任意两类: ωi、ωj, i≠j, 可以确定一 个超平面Hij, 能把ωi和ωj两类分开, 两类各占Hij的一 侧。显然, 对于m类的判决问题, 最多需要确定的超 平面个数为
对于两类分类问题, 线性判决函数的几何意义在于利用 一个超平面实现对特征空间Rd的划分。 若以H表示超平面, 则对H上的任意两点x1、x2有
g (x1 ) wT x1 w0 0
g (x2 ) wT x2 w0 0
w T ( x1 x 2 ) 0
w和H上任一向量正交,
即w是超平面H的法向量。
d d d
g ( x) w0 wi xi v T y
i 1
第3章 线性判别分析
3.1.3
线性判别函数设计的一般步骤
判决函数的形式为 g (x) w T x w0
设计线性分类器, 是指所用的判别函数、分界面方程的类型 已选定为线性类型, 主要的设计任务是确定线性方程的两个参 数, 一个是权向量w, 另一个是阈值w0。 使所设计的线性分类器在性能上要满足一定的要求, 这种要 求通过一种准则来体现, 并且要表示成一种准则函数, 以便能 通过将准则函数值优化的方法确定w和w0。
2 Cm
1 m(m 1) 2
第3章 线性判别分析
Hij的方程为
ij gij (x) wT x w ij 0
g ji (x) gij (x)
其中, i<j, i, j=1, 2, …, m。 gij(x)判决准则为：
0 g ij ( x) 0 x i x j (i, j 1, 2, , m)
请画出各类判决区域, 并判断
第3章 线性判别分析
x=(x1, x2)T=(4, 3)T属于哪一类。 解 各类的判决区 域如图所示 , 在三 条分界线相交组成 的三角形区域内的 样本无法判决所属 类别 , 该区域称为 不确定区域(IR)。