第三章 线性判别分析_非参数判别分类方法-第二次课
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
设计线性判别函数的任务就是在一定条件下, 寻找 最好的w和w0 , 其关键在于最优准则以及相应的求解方 法。
第3章 线性判别分析
(1) 选择样本集z={x1, x2, …, xN}。 样本集中的样本来自两
类且类别已知。
(2) 确定一个准则函数J, 要求满足以下两个条件: ① J是样本集、 w和w0的函数;
即可判成ω1、 ω2中的任意一类。
第3章 线性判别分析
两类判决区域的分界面为 g1 (x) g 2 (x)
g (x) w x w0 w1 x1 w2 x2 wd xd w0 0
T
其几何意义为d维欧几里德空间中的一个超平面。
第3章 线性判别分析
(1) w是超平面的法向量。
g ( x) 0 对应的决策规则:
g ( x) 0 x 2
x 1
第3章 线性判别分析
g(x)=(x-a)(x-b)=c0+c1x+c2x2
第3章 线性判别分析
任何形式的高次判别函数都可转化成线性判别函
数处理。譬如将非线性函数g(x)用级数展开, 并截取
其有限项, 使之成为高次多项式, 然后转化成广义线
确定权向量wபைடு நூலகம்和阈值权wi0。
第3章 线性判别分析
1. 两类问题的讨论
在两类情况下, 判决函数具有简单的形式: 若 g1 (x) g 2 (x) , 则判决 x (或)ω2; 1 若 g (x) g (x) , 则判决 x 2 (或)ω1; 1 2 若 g1 (x) g 2 (x) , 则不作判决或作任意判决,
② J的值反映分类器性能, 它的极值对应于“最好”的决
策。 (3) 用最优化技术求解准则函数, 得到极值点对应的w*和w*0。 当准则函数J的求解比较困难, 不能得到全局最优解或是
求全局最优结果比较困难时, 往往通过求局部最优解(次优解)
来降低求解难度, 或者用计算解代替解析解。
第3章 线性判别分析
对于3类问题, 可用3个超平面: g12(x)=0, g13(x)=0和g23(x)=0
把ω1、 ω2、 ω3分开。
三类问题的情况
g12 (x) x1 x2 5 【例】一个三类问题, 三个判决函数为 g13 ( x) x1 3 g ( x) x x 1 2 23
所示, 分别计算得 g1(x)=0, g2(x)=1, g3(x)=-1, 因为 g2(x)>g3(x), g2(x)>g1(x), 所以x∈ω2。
第3章 线性判别分析
3.1.2
广义线性判别函数
一维特征空间中非线性可分图示
第3章 线性判别分析
决策区域
•ω1:(-∞, a)和(b, +∞)
•ω2:(a, b) 建立一个二次函数 g(x)=(x-a)(x-b)=c0+c1x+c2x2
0 gi(x)判决准则为 gi (x) 0 x i x i (i 1, 2, , m)
若 k {1, 2,, m}, 使gk(x)>0, gj(x)<0(j≠k, j∈{1, 2, …, m}), 则判断x∈ωk。
第3章 线性判别分析
图中每一类都用一
个简单的直线将它与 其他模式类分开, 例 如 x∈ω1 的样本 , 同 时满足下面三个条件
每一类具有一个判决函数的情况
第3章 线性判别分析
g 1 ( x) x1 x 2 g 2 ( x) x1 x 2 1 【例】一个三类问题, 三个判决函数为 g ( x) x 2 3
请画出各类判决区域, 并判断x=(x1, x2)T=(1, 1)T属于哪一类。 解 各类的判决区域如图
请画出各类判决区域, 并判断
第3章 线性判别分析
x=(x1, x2)T=(4, 3)T属于哪一类。 解 各类的判决区 域如图所示 , 在三 条分界线相交组成 的三角形区域内的 样本无法判决所属 类别 , 该区域称为 不确定区域(IR)。
第3章 线性判别分析
g12 (x) x1 x2 5 g13 (x) x1 3 g ( x) x x 1 2 23
性判别函数。
第3章 线性判别分析
这是广义线性判别函数的一个特例。
y=(1, x)T被称为增广样本向量, v称为增广权向量。
对于二次判决函数
1 g (x) w0 wi xi wij xi x j i 1 i 1 j 1 x1 1 y x2 有一种特殊的映射方法, 将x增广至 x w 0 并将g(x)中的向量w和w0统一表示成 x w 1 w d v w2 0 w 则线性判别函数g(x)可以表示成 w d d
第3章 线性判别分析
3.1 线性判别函数
3.1.1 线性判别函数的几何意义 线性判别函数的形式如下:
g i ( x) w T i x wi 0 , i 1, 2,, m
其中: wi 称为权向量; wi0 称为阈值权。 wi和wi0 的值
需根据样本集来确定。 线性分类器设计的关键在于
第3章 线性判别分析
第三章 线性判别分析 —— 非参数判别分类方法
第3章 线性判别分析
第3章 线性判别分析
本章的思路:利用样本直接设计分类器, 可以避
开各类的概率密度函数的估计, 其基本思想就是设定
一组判别函数, 并利用样本直接计算判决函数中的有
关参数。
第3章 线性判别分析
本章内容
3.1 3.2 3.3 3.4 总结 习题 线性判别函数 线性分类器 分段线性分类器 近邻分类器
对于x=(x1, x2)T=(4, 3)T, 代入判决函数可得
g12 (x) 2, g13 (x) 1, g 23 (x) 1
所以判断x∈ω3。
第3章 线性判别分析
(2) 每一模式类与其他模式类之间用单个超平 面分开。 对于m类的判决问题, 可以确定m个超平面, 它的 判决函数为 gi (x) wT i x wi 0
类。
第3章 线性判别分析
g1 (x) x1 x2 g 2 (x) x1 x2 5 g ( x) x 5 1 2 3
对于x=(x1, x2)T=(6, 5)T, 代入判决函数可得g1(x)=-1, g2(x)=6, g3(x)=-4, 所以x∈ω2。
超平面示意图
第3章 线性判别分析
如果取最大判决,
g1 (x) g 2 (x) g1 (x) g 2 (x)
x 1
w指向R1, R1中的点在H的正侧。
x 2
R2中的点在H的负侧。
第3章 线性判别分析
(2)
g ( x) r w
g(x)是x到超平面距离的一种代数距离。
w0 当x=0时, g(x)=w0, 即原点到超平面的代数距离为 r0 w
d d d
g ( x) w0 wi xi v T y
i 1
第3章 线性判别分析
3.1.3
线性判别函数设计的一般步骤
判决函数的形式为 g (x) w T x w0
设计线性分类器, 是指所用的判别函数、分界面方程的类型 已选定为线性类型, 主要的设计任务是确定线性方程的两个参 数, 一个是权向量w, 另一个是阈值w0。 使所设计的线性分类器在性能上要满足一定的要求, 这种要 求通过一种准则来体现, 并且要表示成一种准则函数, 以便能 通过将准则函数值优化的方法确定w和w0。
g1 (x) 0 , g 2 (x) 0 , g 3 (x) 0
单个的g1(x)>0条件只能区分属于ω1和不属于ω1。 此时特征空间中还可能存在不确定区域, 如图中g1(x)<0,
g2(x)<0, g3(x)<0确定的区域, 在这个区域中的样本不属于任
何一类。
第3章 线性判别分析
若w0>0, 则原点在超平面的正侧;
若w0<0, 则原点在超平面的负侧; 若w0=0, 则超平面通过原点。
第3章 线性判别分析
结论:
对于两类情形, 利用线性函数进行分类, 实质上 就是用一个超平面H把Rd分成两个决策区域;
H的方向由权向量w确定, 它的位置由阈值权w0 确定;
判别函数g(x)正比于x点到H的代数距离;
g1 (x) x1 x2 【例 】一个三类问题, 三个判决函数为 g 2 (x) x1 x2 5 g ( x) x 5 请画出各类判决区域, 并判断 1 2 3
x=(x1, x2)T=(6, 5)T属于哪一类。
解 各类的判 决区域如图所 示, IR1、 IR2、 IR3、IR4区域 内样本无法分
对于两类分类问题, 线性判决函数的几何意义在于利用 一个超平面实现对特征空间Rd的划分。 若以H表示超平面, 则对H上的任意两点x1、x2有
g (x1 ) wT x1 w0 0
g (x2 ) wT x2 w0 0
w T ( x1 x 2 ) 0
w和H上任一向量正交,
即w是超平面H的法向量。
当x在H的正侧时, g(x)>0; 在负侧时, g(x)<0。
第3章 线性判别分析
2. 多类问题的讨论
所谓多类问题,
是指类别数m≥3的情形。多类
情况下可以按下述三种方法进行划分。
(1) 任意两个模式类之间分别用单个超平面分开。
对于m类中的任意两类: ωi、ωj, i≠j, 可以确定一 个超平面Hij, 能把ωi和ωj两类分开, 两类各占Hij的一 侧。显然, 对于m类的判决问题, 最多需要确定的超 平面个数为
习
1. 对于线性判决函数:
题
g (x) x1 2 x2 2
(1) 将判别函数写成g(x)=wTx+w0的形式, 画出 H: g(x)=0的几何图形 , 标出权向量并确定决策区域 R1 和R2。
(2) 化成增广权向量和增广向量的形式: g(x)=vTy。
2 Cm
1 m(m 1) 2
第3章 线性判别分析
Hij的方程为
ij gij (x) wT x w ij 0
g ji (x) gij (x)
其中, i<j, i, j=1, 2, …, m。 gij(x)判决准则为:
0 g ij ( x) 0 x i x j (i, j 1, 2, , m)
第3章 线性判别分析
(3) 每一模式类都有一个判别函数。 对于m类的判决问
题, 可以确定m个超平面, 它的判决函数为
g i ( x) w T i x wi 0
判决准则为 gi (x) max( g j ( x)) , 则x∈ωi。
j
对于前面两种情况中
的不确定区域, 由于不确 定区域内任何两类的判别 函数值不相等, 按最大判 决思想, 可以做出类别判 决, 因此这种情况下不存 在不确定区域。