Fisher判别

1 X nt
t
1 X j , t 1,...,k j 1
nt
每个总体的数据投影后均为一元数据。对这k组一元数据进行一元方差分 析，其组间平方和为：
B0 nt aX -aX
t t 1
k


2
k a nt X t -X X t -X a i 1
二、多个总体
首先取判别效率最大的 1的判别函数u1 X a1' X。
’ i K个总体的均值在 a1上的投影为u1i a1 X , i 1,2,...,k，
对待判别样本X，计算其在a1上的投影，若存在唯一 i1 , 使 u1 X u1i1 ˆi
1
min
u1 X u1j ˆj
X x ,...,x
t i t i1

t ip
, t 1,2,...,k; i 1,...,n
t

a a1 ,...,a p 为p维空间的任意向量，
u X aX 为X向以a为法线方向上的投影。 上述k个组中的p元数据投影为：
1 1 k k G1 : aX1 ,...,aX n ;..., G : a X ,..., a X 1 k 1 nk
根据极值的必要条件 0 a
2 Ba 2 Aa 2 Ba 2 Aa aBa aAaaBa 0 2 2 a aAa aAa aAa aAa aAa 2 Ba 2Aa 即 0， aAa aAa Ba Aa， ABa a
即为AB的最大特征根， a为对应的特征向量。 记AB的1 2 ... r 0，对应特征向量a1 , a2 ,...,ar， 于是可以构造 r个判别函数ut X at X，， 1,2， ，r



aBa
X t 和X分别为 Gt t 1,...,k ，的样样本均值和总样 均值，并记
1 k nt t X X j n t 1 j 1
组间离差阵B nt X t -X X t -X
i 1
k nt
k




t j t
合并的组内离差平方和 为A0 aX - aX
j 1, 2 ,..., k
则判X G1
如果有t个总体，使其与 u1 X 的距离相等且最小，再 利用判别函数
' u2 X a2 X来判断归属。
用T表示这t个总体的序号集，若在t个总体中，有唯一i2，使
u2 X u2i2 ˆi
2
min
j T
u2 X u2j ˆj
则判X G2
若第二个判别函数仍不能确定，再利用第三个判别函数。，直到确定了每个样本的 归属。
t 1 j1

2
k nt a nt X tj - X t X tj - X t a t 1 j1



aAa
因此，若k个总体的均值有显著差异，则比值
aBa ˆ a 应充分大。转化为求该比值的最大值。 aAa
百度文库
线性判别函数的求法
Fisher判别法
基本思想：通过将多维数据投影到某一 方向上，使得投影后类与类之间尽可能 的分开，然后再选择合适的判别准则。 费歇尔判别法就是要找一个由p个变量 组成的线性函数，使得各类内点的函数 值尽可能接近，而不同类之间的函数值 尽可能的远离
设从总体 Gt t 1,...,k 分别抽取p元样本如下：


2
ni 1 i i i i a ( X j X )( X j X ) a ni 1 j 1
Fisher判别准则
当u 1 u 2，若u X u （或u ），则判X G1 若u X u （或u ），则判X G2 若u X u （或u ），则X待判。 当u 1 u 2，若u X u （或u ），则判X G2 若u X u （或u ），则判X G1 若u X u （或u ），则X待判。
判别能力：pl
λ1
λ
i 1
r
，l 1,2， ，r
i m
累计判别能力： pm pl
i 1
m
λ λ
i 1 i 1 r
i
i
如果m个判别函数的累计判别能力达到所要求的值（比如90%），则认为m 个判别函数就够了。
Fisher判别准则 一、两个总体
当仅仅有两个总 时， B的秩为1，A1 B的非零特征值只有一个 记为，对应特征向量记为 a, 则线性判别函数为 u X aX
建立了判别函数，还要确定临界值才能给出判别准则。即判别函数的均值为
u 1 aX 1 , u 2 aX 2 1 1 临界值可取为u u 1 u 2 aX 1 aX 2 2 2 ˆ1u 1 ˆ 2u 2 也可取临界值u ˆ1 ˆ2




1 ni i i ˆi u u j ni 1 j 1