Fisher线性判别

3·4 Fisher线性判别

多维 Þ Fisher变换 Þ 利于分类的一维

对于线性判别函数

( 3-4-1)

可以认为是矢量在以为方向的轴上的投影的倍。这里，

视作特征空间中的以为分量的一个维矢量

希望所求的使投影后，同类模式密聚，不同类模式相距较远。

求权矢量Þ 求满足上述目标的投影轴的方向和在一维空间中确定判别规则。

从另一方面讲，也是降维，特征提取与选择等问题的需要。（R.A.Fisher，1936）

下面我们用表示待求的。

图 (3-4-1) 二维模式向一维空间投影示意图

（1）Fisher准则函数

对两类问题，设给定维训练模式，其中有个和个模式分属

类和类。为方便，各类的模式又可分别记为和，于是，各类模式均值矢量为

( 3-4-2)

各类类内离差阵和总的类内离差阵分别为

( 3-4-3)

( 3-4-4)

我们取类间离差阵为

( 3-4-5)

作变换，维矢量在以矢量为方向的轴上进行投影

( 3-4-6)

变换后在一维空间中各类模式的均值为

( 3-4-7)

类内离差度和总的类内离差度为

( 3-4-8)

( 3-4-9)

类间离差度为

( 3-4-10)

我们希望经投影后，类内离差度越小越好，类间离差度越大越好，根据这个目标作准则函数

( 3-4-11)

称之为Fisher准则函数。我们的目标是，求使最大。

（2）Fisher变换

将标量对矢量微分并令其为零矢量，注意到的分子、分母均为标量，利用二次型关于矢量微分的公式可得

( 3-4-12)

令

可得

当时，通常是非奇异的，于是有

( 3-4-13)

上式表明是矩阵相应于本征值的本征矢量。对于两类问题，的秩为1，因此

只有一个非零本征值，它所对应的本征矢量称为Fisher最佳鉴别矢量。由式( 3-4-13)有

( 3-4-14)

上式右边后两项因子的乘积为一标量，令其为，于是可得

式中为一标量因子。这个标量因子不改变轴的方向，可以取为1,于是有

( 3-4-15)

此时的是使Fisher准则函数取最大值时的解，即是维空间到一维空间投影轴的最佳方向，

( 3-4-16)

称为Fisher变换函数。至此可以说解决了将维模式的分类转变为一维模式分类的问题。（3）Fisher判别规则

由于变换后的模式是一维的，因此判别界面实际上是各类模式所在轴上的一个点。可以根据训练模式确定一个阈值，Fisher判别规则为

( 3-4-17)

判别阈值可取两个类心在方向上轴的投影的连线的中点作为阈值，即

( 3-4-18)

容易得出

( 3-4-19)

显然，这里是和连线的中点。

当考虑类的先验概率时，、应取下面的定义

( 3-4-20)

( 3-4-21)

、可由训练模式估计

( 3-4-22)

这种情况下，应取以类的频率为权值的两类中心的加权算术平均作为阈值，即

( 3-4-23)

易得

( 3-4-24)

这里的是和连线上以频率为比例的内分点。

由上可知，和是等价的。从而可得Fisher线性判别函数为

( 3-4-25)

Fisher判别规则为

( 3-4-26)

我们取第一种门限，可以写出具体的判别规则如下：

( 3-4-27)

由上可知，在使取最大的条件下线性判别函数权矢量以及判别门限的确定即Fisher判

别只需要一、二阶矩(或它们的估计)。可以证明，当训练模式数足够大时，在使取最大的目标下，Fisher线性判别与正态等协方差阵情况下的Bayes判决是等价的。

上述处理问题的思想也可以应用于多类问题。