3第三章线性判别函数-PPT精选文档
模式识别课件-线性函数
–
1. 二维情况 ：取两个特征向量
X ( x1 , x2 )T , n 2
这种情况下 判别函数:
g( x ) w1x1 w2 x2 w3
w为参数， 1 , x2为坐标向量 x
1. 二维情况
在两类别情况，判别函数 g (x) 具有以下性质：
0, X 1 g i ( x) 0, X 2
g1 ( x) g3 ( x) 0
g 2 ( x) g3 ( x) 0 g 3 ( x) g 2 ( x) 3 g 3 ( x ) g1 ( x ) g1 ( x) g 2 ( x) 0
第三种情况（续）
问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数：g1 ( x), g2 ( x), g3 ( x). 得判别函数为：g1 ( x) 0, g2 ( x) 1, g3 ( x) 1 因为 g2 ( x) g3 ( x), g2 ( x) g1 ( x) g ( x) g ( x) T属于 类。0 .5 g ( x) g ( x) 所以模式x= (1,1) 2 1
3.3判别函数值的鉴别意义、权空间、解空 间
–
1、模式空间与加权空间
–
– –
模式空间：由 构成的n维欧氏空间。 W是此空间的加权向量，它决定 模式的分界面H，W与H正交。 加权空间：以 w1 , w2 ,...,wn1 为变 X2 量构成的欧氏空间 模式空间与加权空间的几何表示 如下图：
IR 4
另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都
模式识别-线性判别函数
线性判别函数可写为: g(Y) A' Y 判别面 A' Y 0 的超平面 根据判别函数的性质 对于二类问题有 : , 若g(Y) A' Y 0, 则 Y 1类 若g(Y) A' Y 0, 则 Y 2类
2013-8-9 37
现对2类样本进行归一化处理 即令所有2类样本 , Y -Y 则二类分类问题变为: 由N各学习样本,找到权矢量A,使得 对所有的学习样本有: A' Yi 0, i 1,..., N 满足上述条件的向量 称为解向量 A 可见每个学习样本都对 解向量进行了限制 解向量是不唯一的 , 显然,若存在解向量A使得二类样本分类正确 则样本 , 是线性可分的
w0 r0 w
多类问题（情况一）
每一类模式可以用一个超平面与其它 类别分开； 这种情况可以把c个类别的多类问题分 解为c个两类问题解决，需要c个线性 分类界面； 第i类与其它类别之间的判别函数：
gi x a x
t i
（1）二分法
x2
IR 1
1
IR 2
2
IR 4
结论：无不确定区间
例：假设判别函数为：
d1 ( x ) x1 x2 问 x (1,1) 属 d 2 ( x ) x1 x2 1 于哪一类。 d ( x ) x 2 3 解： d1 ( x ) x1 x2 d 2 ( x ) x1 x2 1 d ( x ) x 2 3
Fisher线性判别
当考虑先验概率时： S w P(1 ) S1 P( 2 ) S 2 S B P(1 ) P( 2 )(m1 m2 )(m1 m2 )' P( 2 ) N 2 / N N1m1 N 2 m2 N1w' m1 N 2 w' m2 取阈值：yt N1 N 2 N1 N 2 N1m1 N 2 m2 w' w' m N1 N 2 P(1 ) N1 / N ,
第三章 线性与非线性判别函数
wT (11)x21 = (− 2 0 1)(− 1 0 − 1) = 1 > 0 ∴ w(12 ) = w(11) = (− 2 0 1)
T T T
w (12)x22 = (− 2 0 1)(− 1 − 1 − 1) = 1 > 0 ∴ w(13) = w(12 ) = (− 2 0 1)
T
权向量有修正，需进行第四轮迭代
感知器准则函数
例3.2解答（续）
wT (13)x11 = (− 2 0 1)(0 0 1) = 1 > 0 第四轮迭代：
T
∴ w(14 ) = w(13) = (− 2 0 1)
T
T T
w (14 )x12 = (− 2 0 1)(0 1 1) = 1 > 0 ∴ w(15) = w(14 ) = (− 2 0 1)
例3.1
有两类样本
ω1 : (0 0 0 ) , (1 0 1) , (1 0 0) , (1 1 0)
T T T
ω2
{ ( : {0
0 1) , (0 1 1) , (0 1 0 ) , (1 1
T T T
} 1) }
T T
试用Fisher准则降维分类。
Fisher线性判别
例3.1解答
由于原始样本为3维，采用Fisher准则降到 − ω * = sω1 (m1 − m2 ) 一维，知：投影方向为 时，投影后的一维样本最易分类。所以， 先求 ω * ，再投影分类。
Fisher线性判别
例3.1解答（续）
(2)求 yk = w*T xk y11 = (1 − 1 − 1)(0 0 0 ) = 0
T
y12 = (1 − 1 − 1)(1 0 1) = 0
线性判别函数
则
YA b
则求A为最优的方法就是使误差向量e的长度的平方最小。 定义平方和准则函数： n 2 2 J s ( A) e YA b ( AT Yi bi )2
i1
为使广义权向量为最优，只需使平方和准则函数极小化， 然后把相应的 A 作为问题的解，称其为矛盾方程组的最 小二乘解（MSE解）。 为此，对准则函数求导并令其为0：
Ak 1 Ak k Y (YAk b)
T
k
1
k
对于任意的正常数，算法得到的权向量序列收敛于
J s ( A) 2Y T (YAb) 0
多类情况下的线性判别函数
前面我们重点讨论了二类模式情况下的线性判别方法，不 难把它们推广到多类别的情况。可以把多类问题化为二类 问题来解决，也可以直接按多类问题来解。 1、按二类问题解 ①是把 c 类问题转化为（c-1）个二类模式的分类问题。 其中第 i 个二类问题就是用线性判别函数把属于 类的 i 模式同不属于 的模式分开。 i 2 次二类模式线性判别，每次只从样本集中判别 ②是用 Cc 指定的二类的决策面。 两种方法都会产生模糊区域，见下图：
也就是说，当对于某个向量 A，准则函数 J P ( A) 达到 极小值的话，A 就是解权 向量，这时没有样本被错分类。 ˆ 现在用最优化方法——梯度下降算法寻找使 A 达到极 小值的解权向量。
梯度下降算法基本思想 函数 J P ( A) 在某点 Ak 的梯度 G J P ( A) 是一个向量，它 的方向与过点 Ak 的等量面 J P ( Ak ) C 的法线方向重合， 指向 J P ( Ak ) 增加的一方，是准则函数变化率最大的方向。 反之，负梯度的方向则是函数J P ( A) 减少得最快的方向。 所以在求准则函数 J P ( A) 的极小值时 ，沿负梯度方向 搜索有可能最快地找到极小值。 梯度下降算法的实现
第3章 线性判别函数
判别规则： x w g ( x ) 0 1 , 若 ,则 （3-2） g ( x) 0 ,则 x w2 , g ( x) 0 ,则可将x分到任一类, 或拒绝
方程 g(x)=0 定义了一个决策面。当 g(x) 为线性函 数时，这个决策面便是超平面。
假设
x1
和
T
x2
都在决策面H上，则有
g ( x) ( x a)( x b)
决策规则是
（3-9）
g ( x) 0, 则决策x 1 g ( x) 0, 则决策x 2
二次判别函数可写成
g ( x) c0 c1 x c2 x
T 3
2
（3-10）
适当选择从x到y的影射，则可把函数化成y的线性函数
g ( x) a y ai yi
3.Fisher算法步骤
由Fisher线性判别式求解向量的步骤： ① 把来自两类 w1 / w2 的训练样本集X分成 w1和w2两 个子集 X 1和 X 2。
1 ② 由 mi Ni
③ 由 Si
xX i
T ( x m )( x m ) , i 1, 2 计算各类的类 i i
T
w x1 w0 w x2 w0
或
（3-3） （3-4）
w ( x1 x2 ) 0
T
这表明，w和超平面H上任一向量正叫交，即w是 H的法向量。
判别函数 g(x) 可以看成是特征空间中某点 x 到超 平面的距离的一种代数度量，见图4.1。
若把x表示成
w x xp r w
（3-5）
在图3.3中，分析w1方向之所以比w2方向优越，
可以归纳出这样一个准则，即向量W的方向选择应 能使两类样本投影的均值之差尽可能大些，而使类 内样本的离散程度尽可能小。这就是Fisher准则函 数的基本思路。为了将这个思路变为可计算的函数 值，我们先对一些基本参量下定义。
线性判别函数
线性判别函数
4最小错分样本数准则
参考向量对解性质的影响
若b=(n/n1(u1),n/n2(u2)),则所得解与Fisher解等价;
当样本数趋于无穷时,取b=(1,1,…,1),则所得判别 函数能以最小均方误差逼近Bayes判别函数.
线性判别函数
4最小错分样本数准则
搜索法 准则函数
Jq(w)=S(sgnwxi) 即不等式组wxi>0中成立的不等式个数. 使准则函数取最大值的w即要求的w*.
线性判别函数
2Fisher线性判别
求解方法
Fisher解
kw S S w
T
1 T W B
S (m1 m2 )(m1 m2 ) w
T
1 W
T
w cS (m1 m2 )
T
1 W
线性判别函数
2Fisher线性判别
一维分类原则
当投影前维数和样本数都很大时,可采用Bayes决 策规则,从而获得一种在一维空间的最优分类. 如上述条件不满足,也可利用先验知识选定分界阈 值点y,以便进行分类判别. y=(m1+m2)/2
线性判别函数
3感知准则函数
准则函数（Perceptron Function）
J P (w)
xX e
wx
其中Xe 是被权向量w错分的样本集合.当x被错分 后,wx<=0或–wx>=0.我们的任务是寻找使JP(w) 极小(至0)的权向量w.
线性判别函数
3感知准则函数
梯度下降法
准则函数在某点wk 的梯度方向反映了函数变化率 最大的方向，故在求准则函数极小值时，沿负梯 度方向搜索有可能最快地找到极小值。 先任意选择一个初始权向量，沿梯度方向进行递 推搜索，因而可构造迭代算法：
线性判别函数
线性判别函数5.1引言在第三章中我们假设概率密度函数的参数形式已知,于是可以使用训练样本来估计概率密度函数的参数值.在本章中,我们将直接假定判别函数的参数形式已知,而用训练的方法来估计判别函数的参数值.我们将介绍求解判别函数的各种算法,其中一部分基于统计方法,而另一些不是.这里都不要求知道有关的概率密度函数的确切的(参数)形式,从这种意义上来说,它们都属于非参数化的方法.在这一章中,我们将关注以下形式的判别函数:它们或者是X的各个分量的线性函数,或者是关于以X为自变量的某些函数的线性函数.线性判别函数具有许多优良的特性,因而便于进行分析.就像我们在第二章看到的一样,如果内在的概率密度函数恰当的话,那么采用线性判别函数是最优的,比如通过适当的选择特征提取方法,可以使得各个高斯函数具有相等的协方差矩阵.即使它们不是最优的,我们也愿意牺牲一些分类准确率,以换取处理简便的优点.线性判别函数的计算是相当容易的,另外,当信息比较缺乏时,线性分类器对处于最初的.尝试阶段的分类器来说也是很有吸引力的选择.它们所展示的一些非常重要的原理在第6章的神经网络中将得到更充分的应用.寻找线性差别函数的问题将被形式为极小化准则函数的问题.以分类为目的的准则函数可以是样本风险,或者是训练误差,即对训练样本集进行分类所引起的平均损失.但在这里我们必须强调的是:尽管这个准则是很有吸引力的,但它却有很多的问题.我们的目标是能够对新的样本进行分类,但一个小的训练误差并不能保证测试误差同样的小-------这是一个吸引人而又非常微妙的问题,我们将在第9章中进一步论述这个问题.这里我们将看到,准确的计算极小风险判别函数通常是困难的,因此我们将考查一些有关的更易于分析的准则函数.我们的注意力将在很大程度上放在收敛性用各种应用于极小化准则函数的梯度下降法的计算复杂度上,它们当中一些方法的是很相似的,这使得清晰地保持它们之间的不同变得困难,因此,我们在后面的章节里会作出总结.5.2线性判别函数的判定面一个判别函数是指X的各个分量的线性组合而成的函数g(x)=w’x+w0 (1)这里W是权向量,w0被称为阈值权或偏置.和我们在第二章所看到的一样,一般情况下有C个这样的判别函数,分别对应C类的一类.我们在后面将讨论这样的情况,但首先考虑中人两个类别的简单情况.5.2.1两类情况对具有式(1)形式的判别函数的一个两类线性分类器来说,要求实现以下判定规则:如果G(x)>0则判定w1,如果g(x)<0,那么x可以被随意归到任意一类,但是在本章我们将它们归为未定义的.图5-1给出了一个典型的系统实现结构,是第二章所讨论的典型的模式识别系统结构的一个例子.图5-1一个简单线性分类器,有d个输入的单元,每个对应一个输入向量在各维上的分量值.每个输入特征值xi被乘以它对应的权wi, 输出单元为这些乘积的和∑wixi.因此这d个输入单元都是线性的,产生的是它对应的特征的值.惟一的一个偏差单元总是产生常数 1.0.如果w’x+w0>0的话,输出单元输出a+1,反之为a-1方程g(x)=0定义了一个判定面,它把归类于w1的点与归类于w2的眯分开来.当g(x)是线性的,这个平面被称为超平面.如果x1和x2都在判定面上,则w’x1+w0=w’x2+w0或W’(x1-x2)=0这表明,w和超平面上的任意向量正交.通常,一个超平面H将特征空间分成两个半空间,即对应于W1类的决策域R1和对应于W2的决策域R2.因为当X在R1中时,g(x)>0,所以判定面的法向量W指向R1,因此,有时称R1中的任何X在H的”正侧”,相应地,称R2中的任何向量在H的负侧.判别函数g(x)是特征空间中某点X到超平面的距离的一种代数度量.或许这一点最容易从表达式X=xp+r(w/IIwII)看出来,这里的XP是X在H上的投影向量,r是相应的算术距离------如果为正,表示X在H的正侧;如果为负,表示X在H的负侧.于是,由于g(xp)=0,有g(x)=w’x+w0=rIIwII或R=g(X)/IiwII特别,从原点到H的距离为W0/IiwII.如果W0>0表明原点在H的正侧,w0<0表明原点在H的负侧.如果W0=0,那么g(x)有齐次形式w’x,说明超平面H通过原点.图5---2对这些代数结果给出了几何解释.总之,线性判别函数利用一个超平面判定面把特征空间分割成两个区域.超平面的方向由法向量W确定,它的位置由阈值权W0确定.判别函数g(x)正比于x点到超平面的代数距离(带正负号).当X在H正侧时,g(x)>0,在负侧时,g(x)<0.5.2.2多类的情况利用线性判别函数设计多类分类器有多种方法,例如,可以把C类问题转化为C个两类问题,其中第I个问题是用线性判别函数把属于WI类的点与不属于W1类的分开.更复杂一些的方法是用c(c-1)/2个线性判别函数,把样本分为C个类别,每个线性判别函数只对其中的两个类别分类,如图5-3所示.这两种方法都会产生如无法确定其类型的区域.为此,我们采用在第二章采用的方法,通过定义C个判别函数Gt(x)=wt’xt+wi0 i=1......c (2)5.4二类线性可分的情况假设我们在一个包含N个样本的集合y1,y2,……yn,一些标记为w1,另一些标记为w2.我们希望用这样的样本确定一个判别函数g(x)=a’y的权向量a.假设我们有理由相信存在一个解,它产生错误的概率非常小.那么一个很合理的想法是寻找一个能将所有这些样本正确分类的权向量.如果这个权向量存在,这些样本就被称为线性可分的.对于一个样本yi,如果有a’yi>0就标记为w1,如果小于0,就标记为w2.这样,我们可以用一种规范化操作来简化二类样本的训练过程,也就是说对属于W2的样本,用负号表示而不是标记W2.有了规范化,我们可以忘掉这些标记,而寻找一个对所有样本都有a’yi>0的权向量a.这样的向量被称为分离向量,更正规的说法是解向量.5.4.1几何解释和术语求解权向量的过程可认为是确定权空间中的一点.每个样本都对解向量的可能位置给出限制.等式a’yi=0确定一个穿过权空间原点的超平面,yi为其法向量.解向量-----如果存在的话,必须在每个超平面的正侧.也就是说,解向里如果存在,必在N个正半空间的交叠区,而且该区中的任意向量都是解向量.我们称这样的区域为解区域,注意不要将它和任何特定类对应的特征空间的判决区域相混淆.对于二维问题.我们用图5.8说明解区域的情况,其中包含了规范化样本和未规范化样本.从以上讨论可知,解向量如果存在的话,通常不是惟一的.有许多方法引入一些附加要求来对解向量进行限制.一种可能的方法是找到一个单位长度的权向量,它使得从样本到分类平面最小距离达到最大.另一种方法是在所有I中寻找满足a’yi>=b的有最小长度的权向量,这里的b是被称为边沿裕量或间隔的正常数.正如图5—9所示的,新的解区域位于由a’yi>=b>0所产生的正半空间的交叠区,它是在原解区之中,且它和原解区边界被隔开的距离为b/IIyiII.我们一般试图在解区域的中间位置来寻找解向量,这背后的动机是一个自然的信念,认为这样的解更能将新测试样本正确地分类.但在大多数情况下,我们对解区域中的任何解都感到满意.而主要关心的是任何一种可行的递归算法,只是它的递归过程能够不收敛到边界点上即可.这个问题可通过引入一个边沿裕量来解决,比如要求对所有的I都有a’yi>=b>0.5.7不可分的情况当样本是线性可分的时候,感知器法和松弛法给我我们许多寻找分类向量的简单方法.这些都被称为误差校正方法,这是因为它们只在遇到错分样本时才对权向量进行校正.它们对可分问题的成功之处在于对求得一个无解进行坚持不懈的摸索.实际上只有在有理由认为最优线性判别函数的误差率比较低的时候才会考虑使用这些方法.当然,即使对训练样本的分离向量已经找到,也不能保证它对独立的测试数据都能很好地分类.我们感觉有种直觉印象,它表明数目少于2d的样本集很可能是线性可分的----我们会在第九章再次考察这一点.因此有人可能会想到:对设计好的样本集使用多次,综合多种因素来获得分类器,并由此确保它在训练和实际数据上的分类性能是相同的.不幸的是,如果使用非常多的数据的话,它们往往不是线性可分的.这样,当样本不是线性可分时了解误差校正方法的效果如何就变得非常重要了.由于不存在可以将不可分数据集中的样本都能正确分类的权向量(由定义可知),显然误差校正过程永远不会结束.这些算法都将产生一个无限的权向量序列,所有的成员都有可能或者不可能得到有用的解.在一些特殊的例子中,这些算法在不可分的情况下的行为被全面的研究过.比如,固定增量算法得到的权向量的幅值波动的趋势.从理论的观点来看,如果样本的分量是整数值的话,固定增量算法将产生一个有限状态过程.如果校正过程停在任意一个状态上,权向量可能正处于,也可能不处于好的状态上.如果对校正算法得到的权向量求均值的话,就可以降低偶然选到处于不好状态上的坏向量的风险.有许多类似的启发式规则被用于修改误差校正算法,并进行了实验研究.修改的目的是在不可分的问题中得到令人接受的结果,同时保持它对可分问题仍能正确分类的性质.最普通的想法是使用变增量Q(K),且当K趋向无穷大时Q(K)趋向0.Q(K)趋向0的速度是相当重要的.如果它太慢的话,得到的结果对那些使得集合为不可分的样本仍然敏感.如果太快,权向量在还没有得到最优结果的时候就收敛了.一种选择Q(K)的方法是今它为当前性能的函数,也即当性能提高的时候减小Q(K).另一种方法是选择Q(K)=Q(1)/K.当研究随机逼近技术的时候,我们发现后一种方法是一种类似问题的理论解.但在展开这个主题之前,我们先考一种在可分和不可分情况下都有很好性能的折中方法,它不再试图直接获取分离向量.本章小结本章给出了一些判别函数,它们都是某个参数集的线性函数,而这些参数一般被称为权系数.在所有两类样本集的情况下这些判别都能确定一个判定超平面,它可能是位于样本自身的原始特征空间中,也可能是位于原始特征通过一个非线性函数(通常是线性判别式)映射而得到的空间.从更广的角度看.感知器算法是一类技术是通过调整参数来提高与W1的样本的内积,而降低与W2的样本的内积.一个更通用的方法是构造准则函数进行梯度下降.不同的准则函数在计算复杂度和收敛性方面各有不同的优缺点,没有哪个方法说是比别的方法都好.我们也可以通过线性代数运算来直接求得权(参数).比如对小型问题采用伪逆的方法.在支持向量机中,输入被非线性函数映射到一个更高维的空间,最优超平面就是具有最大“间隔”(margin)的平面.支持向量就是用来确定间隔的(变换后的)样本,它们通常是那些最难被分类,却能给分类器提供最多信息的样本.分类器期望误差率的上界线性依赖于支持向量的期望个数.对多类问题,线性机产生了由一些部分超平面构成的判定面.为了证明多类算法的收敛性可先将它们转化成两类算法再用两类法的证明.单纯型算法用来寻找由(不等式)约束的一个线性函数的优化.它也能被用来训练线性分类器.线性判别函数虽然很有用,对任意的很具挑战性的模式识别问题却不有足够的通用性(比如那些包含多模的或非凸密度的问题),除非能找到一个适当的非线性映射(Q函数).这一章我们没有给出如何选择这些函数的原则,但我们会在第六章讲述这个主题.文献的历史评述因为线性判别函数是易于分析的,在这方面有极大量的文章,尽管它的内容有限而不值得有这么多的文章.历史上,所有这方面的工作都是从ronald A.Fisher(5)的经典论文开始的.文献9很好描述了线性判别函数在模式识别中的应用,它提出了最优化(最小风险)线性判别问题并建议采用适当的梯度下降从样本中求得解.然而,在不知道内在的分布时,我们对这些方法的适用程度的了解是很有限的,即使是有条件的分析也是很复杂的.用两类方法来设计多类分类器来自于文献16.Minsky和papert的感知器一书强有力地指出了线性分类器的弱点------但可以用我们将在第六章中学习的方法来解决.无差错情况下的Winnow算法10以及更一般情况下的后续工作在计算(机器)学习领域是非常有用,它们都允许导出收敛的界.虽然这些工作都是基于统计的,许多从其他观点出发的模式识别的文章出现在20世纪50年代末和60年代初.其中一种观点是神经网络的,每一个单独的神经无被建模成阈值元----即两类的线性机,这些工作都是从McCulloch和Pitts12的著名的论文开始的.。
《线性判别函数》课件
模型训练
训练集包含特征向量和类别标签，用于确定线性函数的权重和偏差。训练过程核心是通过优化算法调整权重和 偏差，以最大化模型的分类准确性。
模型应用
线性判别函数广泛应用于模式识别、数据挖掘、图像处理等领域。它们可以用于分类问题、聚类分析、特征选 择等任务。
总结
线性判别函数是一种重要的分类器，具有广泛的应用前景。通过深入理解线 性判别函数的模型原理和应用方法，我们可以更好地利用它们解决么是线性判别函数？
线性判别函数是一种分类器，用于将数据点分组在不同的类别中。它是一个 由一组权重和偏差（截距）确定的线性函数。
模型基本原理
线性判别函数将数据点映射到一个标量值，然后使用阈值函数将其转换为类别标签。模型训练的目的是找到一 组权重和偏差，将数据点映射到正确的类别。
线性判别函数-Fisher-PPT课件
gx a y r' a a
T
设计线性分类器的主要步骤
1.给定一组有类别标志的样本集S
2.确定准则函数J(S,w,w0) 3.用优化技术得到极值解w*,w0* 这样就得到线性判别函数g(x)=w*Tx+w0*,对未知 样本xk，计算g(xk),然后根据决策规则就可判断xk 所属的类别。
2 T 1 2 b F 2 2 T 1 2 w
Lagrange乘子法求极值： 令：
w S w c 0
T w
T
定义函数：
L w , w S w w S w c
线性判别函数
已知条件 实际问题
贝叶斯决策 条件未知
利用样本集直接设计分类器，即给定某个判别函 数类，然后利用样本集确定出判别函数中的未知 参数。
一类简单的判别函数：线性判别函数
线性判别函数(discriminant
function)是指 由x的各个分量的线性组合而成的函数 ，一 般表达式为：
1 2
~ ~ 两类均值之差 m m 越大越好
2.各类样本内部尽量密集
~ ~ 类内离散度 S S 越小越好
2 2 1 2
准则函数
~ m ~ m ~ ~ J w S S
1 2 F 2 2 1 2
T
2
求准则函数的极大值
化简分子：
1 1 1 ~ m y w x w x w m N N N
2.在一维Y空间 各类样本均值：
1 ~ m y ,i 1 ,2 N
i Y i i
样本类内离散度：
~ ~ S y m , i 1 , 2
第三章 线性判别分析_非参数判别分类方法-第四次课
Ri Ri1 Ri2 Rili
其中,
Ri j1 Ri j2 , j1 j2 。
用mli表示Rli中的均值向量, 并以此作为该子区的代表 点, 确定判别函数: 则判决准则为 若 g j ( x) min gi ( x) ， 则x∈ωj
i1,2,,m
gi ( x) min x mli
Fisher 线性判决的基本思想
是寻找一个最好的投影方向 ,
当特征向量x从d维空间映射到
这个方向上时 , 两类能最好地 分开。
这个方法实际上涉及特征维
数的压缩问题。
第3章 线性判别分析
分析 w1 方向之所以比 w2 方向优 越, 可以归纳出这样一个准则：即向 量 w 的方向选择应能使两类样本投 影的均值之差尽可能大些, 而使类内 样本的离散程度尽可能小。这就是 Fisher准则函数的基本思路。
，则vTzi>0。
经过这样的变换后, 我们可以不考虑样本原来的类别标 志, 只要找到一个对全部样本zi都满足vTzi>0(i=1, 2, …, N)的
权向量即可。
第3章 线性判别分析 3. 解向量和解区
满足vTzi>0(i=1, 2, …, N)的
权向量称为解向量。 若把 v 看成是权向量空间中 的一点, 对于任一zi, vTzi=0在权向 量空间确定了一个超平面 , 这个 超平面把权空间分为两个半空间 , 该超平面的法向量为 zi , 超平面
在这种情况下，可以将各类 别划分成相对密集的子类， 每个子类以它们的均值作为 代表点，然后按最小距离分 类，可以有比较满意的效果。
对样本进 行子类的合适划 分是分段线性距离分类器性 能好坏的一个关键问题。 分段线性距离分类器示意图
张素文-第3章线性判别函数
维数>3时：判别边界为一超平面。
可以是更高维的。 b) 注意：对判别线正负的理解和确定。 判别界面正负侧的确定，是在训练判别函数的权值时确定 的，不要和几何上的概念混淆。
若X 1 ， 则 d12 ( X ) 0
若X 2 ， 则 d21 ( X ) 0
二、确定判别函数的两个因素 1、判决函数 d ( X ) 的几何性质。它可以是线性的或非线性的函 数，维数在特征提取时已经确定。 如：已知三维线性分类 —— 判决函数的性质就确定了判决函数 的形式： d ( X ) w1 x1 w2 x2 w3 x3 w4
d 31 0
d12 0 d13 0
d 32 பைடு நூலகம்0
3
1
x1
d12 0 d13 0 IR d 23 0
d13 ( X ) 0
例3：一个三类问题，三个判决函数为：
d12 ( X ) x1 x2 5
d13 ( X ) x1 3 d 23 ( X ) x1 x2
则 X 1 类，而 d 23 ( X ) 在判别 1 类模式时不起作用。 这里 d ji dij
如：对一个三类问题，如果 d12 ( X ) 0 、d13 ( X ) 0
d12 ( X ) 0
x2
d 21 0 d 23 0
d23 ( X ) 0
2
问模式 X [4,3]t 属于哪类？
d12 ( X ) 0
5
x2
d23 ( X ) 0
解：计算得 d12 ( X ) 2,
d13 ( X ) 1, d23 ( X ) 1
《线性判别分析LDA》PPT课件
类别的原始数据，现在要求将数据从二维降维到一维。直接投影
到x1轴或者x2轴，不同类别之间 会有重复，导致分类效果下降。
右图映射到的直线就是用LDA方法计算得到的，可以看到，红色类
别和绿色类别在映射之后之间的距离是最大的，而且每个类别内
部点的离散程度是最小的（或者说聚集程度是最大的）。
5
2021/3/3
6
2021/3/3
LDA
要说明白LDA，首先得弄明白线性分类器(Linear Classifier)
：因为LDA是一种线性分类器。对于K-分类的一个分类问题，
会有K个线性函数：
权向量（weight vector） 法向量（normal vector）
阈值（threshold） 偏置（bias）
当满足条件：对于所有的j，都有Yk > Yj,的时候，我们就说x 属于类别k。对于每一个分类，都有一个公式去算一个分值， 在所有的公式得到的分值中，找一个最大的，就是所属的分类 。
12
2021/3/3
么么么么方面 Sds绝对是假的
LDA
我们定义一个投影前的各类别分散程度的矩阵，这个矩阵看起 来有一点麻烦，其实意思是，如果某一个分类的输入点集Di里 面的点距离这个分类的中心店mi越近，则Si里面元素的值就越 小，如果分类的点都紧紧地围绕着mi，则Si里面的元素值越更 接近0.
7
2021/3/3
LDA
上式实际上就是一种投影，是将一个高维的点投影到一条高维 的直线上，LDA最求的目标是，给出一个标注了类别的数据集， 投影到了一条直线之后，能够使得点尽量的按类别区分开，当 k=2即二分类问题的时候，如下图所示：
红色的方形的点为0类的原始点、蓝色的方形点为1类的原始点，经过 原点的那条线就是投影的直线，从图上可以清楚的看到，红色的点和 蓝色的点被原点明显的分开了，这个数据只是随便画的，如果在高维 8的情况下，看起来会更好一点。下面我来推导一下二分类LDA问题的2021公/3/3 式：
第三章 线性与非线性判别函数ppt课件
编辑版pppt
3
——
知识点
非 参 数 分有 类监 方督 法学 的习 基方 本法 原 理
MSE 准则
定义误差向量 e=Ya-b： 定义平方误差准则函数Js(a):
N
Js(a)e2Y ab2 (aTyib i)2
i 1
最小二乘近似解（MSE解）：
a*argminJs(a)
a
MSE方法的思想：对每个样本，设定一个“理想”的 判别函数输出值，以最小平方误差为准则求最优权向 量
编辑版pppt
Fisher准则
非线性分析器的扩
线
线性分析器
展——分段线性
性
分 析 器
感知准则函数 线性分析器
多层感知器
支持向量机 的基本原理
特性映射方法实现 非线性方法分析器
近邻法
改进的近邻法
编辑版pppt
4
基本概念
感知器 准则
感知器：Perceptron，Rosenblatt，50d/20thc 线性可分性：训练样本集中的两类样本在特征空间
w(k)
wT(k)x(k)0
w(k)x(k) 其它
批量样本修正法与单样本修正法 • 单样本修正法：样本集视为不 断重复出现的序列，逐个样本 检查，修正权向量
• 批量样本修正法：样本成批或 y3
全部检查后，修正权向量
编辑版pppt
感知器 准则
y1
19
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
非常困难。只能根据样本进行估计。
第三章 线性判别函数 郝红卫
3
引
解决的思路： • 迎难而上
言
– 参数估计：假定密度函数是种分布，即分布形式已知但参数
未知，通过训练样本估计分布的参数
比如，假定分布为正态，可以利用样本估计其均值和方差。 – 非参数方法：分布的形式未知，直接通过样本估计密度函数
的形式和参数
其中 xp： r：
是x在H上的投影向量 是x到H的垂直距离
w/||w||： 是w方向上的单位向量
第三章 线性判别函数 郝红卫
14
线性判别函数和决策面
代入g (x) ：
g (x) w t (x p r
w ) w0 || w ||
t w w t w x p w0 r || w || r || w ||
gj(x) ，则拒识。 这样得到的分类器称为“线性机器”(linear machine)。
线性机器把特征空间分成c个决策区域，当x在Ri中时， gi(x)具有最大 值。 如果Ri和Ri是相邻的，则它们的分界就是超平面H的一部分，其 定义为gi(x) = gj(x) 。
由于当x在R1中时，g (x) 为正，所以法向量是指向R1的，故称R1中的x在H的正
侧，称R2中的x在H的负侧。
第三章 线性判别函数 郝红卫
12
线性判别函数和决策面
判别函数g (x)是特征空间中某点到超平面距离的一种代数度量。如图所示：
第三章 线性判别函数 郝红卫
13
线性判别函数和决策面
可以将x表示成
• 通过训练样本确定其参数：找出使训练样本错误率最小的
参数——最优化方法
第三章 线性判别函数 郝红卫 7
引
言
设计线性分类器的主要步骤：
• 根据需求确定准则函数，使准则函数的值反映分类器的性 能（如错误率），其极值解对应最优决策
• 用最优化技术求出准则函数的极值解
• 将该极值解代入线性判别函数的表达式中，完成分类器的
或写作：
g (x ) r || w ||
第三章 线性判别函数 郝红卫 15
线性判别函数和决策面
若x为原点，则 g(x) = w0 因此原点到超平面H的距离为
r0 = w0 / ||w||
总之，利用线性判别函数进行分类，就是用一个超平面把特征空间分割成 两个决策区域。
超平面的方向由权向量w确定。
• 在实际中，我们通常只能得到有限数目的样本 • 因此，分类器的设计过程可以分为两步：
– 利用样本集估计先验概率和类条件概率密度函数 – 将估计值代入贝叶斯公式，完成分类器设计
第三章 线性判别函数 郝红卫
2
ห้องสมุดไป่ตู้
引
• 先验概率的估计：
比较容易。
言
比如，癌细胞识别中，可以根据细胞病理检查 的统计结果得到正常与异常的大致比例。 • 密度函数的估计：
超平面的位置由阈值权w0确定。 判别函数正比于x到超平面的代数距离（带正负号）。 当x在超平面正侧时， g(x) >0 ；在负侧时， g(x) <0 。
第三章 线性判别函数 郝红卫
16
线性判别函数和决策面
• 多类情况
– 可以把c类问题看做c个两类问题，其中第i个问题是用线 性判别函数把属于1类的点与不属于1类的点分开 – 可以用c(c-1)/2个线性判别函数，把样本分成c个类别， 每个线性判别函数只对其中的两个类别分类。 两种方法都会产生无法确定其类别的区域，如图所示：
• 另辟蹊径
第三章 线性判别函数 郝红卫 4
引
言
• 在对正态分布下贝叶斯决策理论的讨论中，我们
看到，在正态假设下，可以得到一些简单方便的
判别函数。如：最小距离，线性判别函数。
• 我们可以绕过对密度的估计，直接得到判别函数 • 在所有的判别函数中，最简单的是线性判别函数
第三章 线性判别函数 郝红卫 5
10
线性判别函数和决策面
第三章 线性判别函数 郝红卫
11
线性判别函数和决策面
方程 g (x)=0 定义了一个决策面，它将分属两类的样本分开。假设x1和x2都在 决策面H上，则有： wtx1+w0 = wtx2+w0 wt(x1-x2)=0 这表明，w和超平面H上任一向量正交，即w是H的法向量。 超平面H将特征空间分成两部分，即对1类的决策域R1和对2类的决策域R2。
第三章 线性判别函数 郝红卫
9
线性判别函数和决策面
• 通常，我们需要设计c个判别函数，分别与c个类别相对应 • 先来看两类的情况： Decide 1 if g(x) > 0 and 2 if g(x) < 0 ↓ Decide 1 if wtx > -w0 and 2 otherwise
第三章 线性判别函数 郝红卫
第三章 线性判别函数
• 3.1 引言
• 3.2 线性判别函数和决策面 • 3.3 广义线性判别函数
• 3.4 两类线性可分情况
• 3.5 梯度下降算法
• 3.6 感知准则函数最小化
• 3.7 松弛算法 • 3.8 最小平方误差方法
第三章 线性判别函数 郝红卫 1
引
验概率
言
• 贝叶斯公式中需要知道类条件概率密度函数和先
引
线性判别函数的优点： • 特定条件下为最优
言
正态、独立、等方差，可以通过对特征的选择来达到 • 相对简单，容易实现 牺牲精度，享受简便——性能和代价的折中
• 是复杂方法的基础
线性判别函数中的基本方法可以推广到非线性判别函数中
第三章 线性判别函数 郝红卫 6
引
思路：
言
• 假定判别函数的形式已知：线性判别函数 • 未知的是判别函数的参数 • 参数由样本约束：合适的参数将使错误率最小
第三章 线性判别函数 郝红卫
17
线性判别函数和决策面
第三章 线性判别函数 郝红卫
18
线性判别函数和决策面
我们可以定义c个判别函数
t g ( xw ) x w i = 1 , . . . , c i i i 0
如果对于所有的j i 有gi(x) > gj(x)，则把 x 归为 i 类；如果gi(x) =
设计
第三章 线性判别函数 郝红卫
8
线性判别函数和决策面
• 线性判别函数是x各分量的线性组合： g(x) = wtx + w0
其中
x = (x1, x2, …, xd)t 是d维特征向量 w = (w1, w2, …, wd)t 是d维权向量（weight vector） w0 为常数，称为偏置 （bias）或阈值权（threshold weight）