fisher判别法

实验1 Fisher 线性判别实验

一、实验目的

应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher 的方法，实际上涉及维数压缩。

如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能变得混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher 法要解决的基本问题。这个投影变换就是我们寻求的解向量*

w

本实验通过编制程序体会Fisher 线性判别的基本思路，理解线性判别的基本思想，掌握Fisher 线性判别问题的实质。

二、实验原理

1．线性投影与Fisher 准则函数

各类在d 维特征空间里的样本均值向量：

∑∈=

i

k X x k

i

i x

n M 1

，2,1=i (4.5-2)

通过变换w 映射到一维特征空间后，各类的平均值为：

∑∈=

i

k Y y k

i

i y

n m 1，2,1=i (4.5-3)

映射后，各类样本“类内离散度”定义为：

22

()k i

i k i y Y S y m ∈=

-∑，2,1=i (4.5-4)

显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher 准则函数：

2

122

2

12

||()F m m J w s s -=+ (4.5-5) 使F J 最大的解*

w 就是最佳解向量，也就是Fisher 的线性判别式。

2．求解*

w

从)(w J F 的表达式可知，它并非w 的显函数，必须进一步变换。 已知：∑∈=

i

k Y y k

i i y

n m 1，2,1=i , 依次代入(4.5-1)和(4.5-2)，有：

i T

X x k i

T k X x T i

i M w

x n w x w n m i

k i k ===

∑∑∈∈)1(

1，2,1=i (4.5-6)

所以：2

212

212

21||)(||||||||M M w M w M w m m T

T

T

-=-=-

w S w w M M M M w b T T T =--=))((2121 (4.5-7) 其中：T b M M M M S ))((2121--= (4.5-8)

b S 是原d 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，b S 越大越容易区分。

将(4.5-6)i T

i M w m =和(4.5-2)∑∈=

i

k X x k

i

i x

n M 1代入(4.5-4)2

i S 式中：

∑∈-=

i

k X x i T k

T i M w x

w S 22)(

∑∈⋅--⋅

=i

k X x T i k i k

T w M x M x

w ))((

w S w i T = (4.5-9)

其中：T i X x k i k

i M x M x

S i

k ))((--=

∑=，2,1=i (4.5-10)

因此：w S w w S S w S S w T T =+=+)(212

221 (4.5-11)

显然：21S S S w += (4.5-12)

i S 称为原d 维特征空间里，样本“类内离散度”矩阵。 w S 是样本“类内总离散度”矩阵。

为了便于分类，显然i S 越小越好，也就是w S 越小越好。 将上述的所有推导结果代入)(w J F 表达式： 可以得到：

)(211

*

M M S w w -=-λγ

其中，λ

γ是一个比例因子，不影响*

w 的方向，可以删除，从而得到最后解：

)(211

*

M M S w w -=- (4.5-18)

*w 就使)(w J F 取得最大值，*w 可使样本由d 维空间向一维空间映射，其投影方向最好。

)(211

*M M S w w -=-是一个Fisher 线性判断式。

这个向量指出了相对于Fisher 准则函数最好的投影线方向。

3. Fisher 算法步骤

由Fisher 线性判别式)(211

*

M M S w w -=-求解向量*

w 的步骤： ① 把来自两类21/w w 的训练样本集X 分成1w 和2w 两个子集1X 和2X 。 ② 由∑∈=i

k X x k

i

i x

n M 1

，2,1=i ，计算i M 。

③ 由T i X x k i k

i M x M x

S i

k ))((--=

∑=计算各类的类内离散度矩阵i S ，2,1=i 。

④ 计算类内总离散度矩阵21S S S w +=。 ⑤ 计算w S 的逆矩阵1

-w

S 。

⑥ 由)(211

*

M M S w w -=-求解*

w 。 4．算法优缺点分析

优点：（1）一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。

（2）Fisher 方法可直接求解权向量*

w ；

（3）Fisher 的线性判别式不仅适用于确定性模式分类器的训练，而且对于随机模式也是适用的，Fisher 还可以进一步推广到多类问题中去

缺点：

（1）如果21M M =，0*

=w ，则样本线性不可分； 21M M ≠，未必线性可分； w S 不可逆，未必不可分。

（2）对线性不可分的情况，Fisher 方法无法确定分类