判别分析(2)费希尔判别

（4.14） ）
两总体的Fisher判别法 判别法 两总体的
β 在式（ 无关， 在式（4.14）中， 与 j 无关，只对方程组的解起共同扩 ） 大倍数作用，对判别函数来讲没有影响， 大倍数作用，对判别函数来讲没有影响，故可令 β = 1 ， 于是得
, c ,L , s11 c1 + s12 c 2 +cL + sc1m c m = d 1 s 21 c1 + s 22 c 2 + L + s 2 m c m = d 2 M L M M M s m 1 c1 + s m 2 c 2 + L + s mm c m = d m
1
∑(c x
i =1
+ L+ cm xAim − c1 xA1 − L− cm xAm) + ∑(c1 xBi1 + L+ cm xBim − c1 xB1 − L− cm xBm)2 Ai1
2 i =1
nb
（4.7） ） 显然式（ 显然式（4.7）又可表为 ）
max I (c1 , c 2 , L , c m )
Fisher判别 判别
Fisher判别 判别
Fisher判别 判别
费希尔判别的基本思想是投影（或降维）
Fisher方法是要找到一个(或一组)投 影轴w使得样本投影到该空间后能 在保证方差最小的情况下，将不同 类的样本很好的分开。并将度量类 别均值之间差别的量称为类间方差 (或类间散布矩阵);而度量这些均值 周围方差的量称为类内方差(或类内 散布矩阵)。Fisher判决的目标就是: 寻找一个或一组投影轴，能够在最 小化类内散布的同时最大化类间布。
） ( i = 1,2, L , na )（4.3） 的重心， 的重心，记为 （4.4） ）
y( X )平面上投影点 y ai ( i = 1,2, L , na )
ya =
1 ( y a 1 + L + y ana ) = c1 x A1 + L + c m x Am na
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
Q = [ y a − y b ]2 对于式（ ），令 对于式（4.7），令 ），
F = ∑ ( y ai − y a ) + ∑ ( y bi − y b ) 2
2 i =1 i =1 na nb
则 I=
Q F
∂I ∂ Q ( )= = ∂c j ∂ c j F F ∂Q ∂F −Q ∂c j ∂c j F2 =0
Fisher判别 判别
内容：
1、建立判别准则； 2、建立判别函数 3、回代样本； 4、估计回代的错误率； 5、判别新的样本。
Fisher判别 判别
y 是线性函数， 由于 ( X ) 是线性函数，一般可将 y( X )表示为
（4.2） ） 对于线性函数 y( X ) ，它的几何表示就是空间中 的一条直线或平面，或超平面， 的一条直线或平面，或超平面，如果我们把两 B 看成空间的两个点集， 总体 A、 看成空间的两个点集，该平面所起的 B 分开， 作用就是尽可能将空间两个点集 A 、 分开，如 所示。 图4.1所示。 所示
m ∂Q = 2( ∑ c j d j ) ⋅ d j ∂c j j =1
m
m
对式（4.10），有 有 对式 对式（4.11），有 ， 对式
( j = 1,2,L , m )
（4.12） ） (4.13) )
m ∂F = 2∑ c l s il ∂c j j =1
将式（4.12）、式（4.13）代入式 、 代入式（4.9），有 将式 代入式 ，
2 y g ( X ) = c1 x1 + c 2 x 2 + c 3
两总体的Fisher判别法 判别法 两总体的
B 设已知两总体 A 和 B ，通过分析研究在 A、 两总体中分别提取了 m 个特征量 x1 , x 2 , L , x m ， B B 次试验， 然后对A 、 两总体分别作na、nb次试验，得 A、 两总体的试验观测数据如下： 两总体的试验观测数据如下：
x A 11 x A 21 M x An a 1 x A 12 x A 22 M x An a 2 L L L L x A1m x A2m M x An a m x B 11 x B 21 M x Bn b 1 x B 12 x B 22 M x Bn b 2 L L L L x B 1m x B 2m M x Bn b m
第四章判别分析 Fisher判别 判别
Fisher判别 判别
在应用多元统计方法解决分类问题时，问题之一就是维数问题 维数问题。在 维数问题 低维空间里解析上或计算上行得通的方法，在高维空间里往往行不通。 因此，降低维数有时就成为处理实际问题的关键。 可以考虑把d维空间的样本投影到一条直线上，形成一维空间，这 在数学上是容易办到的。然而，即使样本在d维空间里形成若干紧凑的 d 相互分得开的集群，若把它们投影到一条任意的直线上，也可能使几类 样本混在一起而变得无法识别。但在一般情况下，总可以找到某个方向， 使在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实 际情况找到这条最好的、最易于分类的投影线。这就是Fisher法则所要 解决的基本问题。
bi
( i = 1,2, L , nb )
b
以及 y( X )平面上投影点 y (i = 1,2,L, n ) 为 y b = c1 x B1 + L + c m x Bm
（4.5） ） 的重心， 的重心，记 （4.6） ）
两总体的Fisher判别法 判别法 两总体的
其中， 其中，
x Bi 1 = nb
判别准则函数的矩阵形式
判别准则函数的矩阵形式
判别函数的显著性检验 判别函数数学模型的建立是在假定两组试验数 据取自不同的总体， 据取自不同的总体，但是如果两组试验数据的各 特征变量的平均值差异不显著， 特征变量的平均值差异不显著，从而所建的判别 函数数学模型就没有价值。为此， 函数数学模型就没有价值。为此，需要检验两总 体是否有显著差异。 体是否有显著差异。 检验所用的标准是以马氏（ 检验所用的标准是以马氏（Mahalanobis） ） D2距离为基础所构成的统计量： 距离为基础所构成的统计量：
两总体的Fisher判别法 判别法 两总体的
其中， 其中，S 即
jl
= ∑ ( x Aij − x Aj )( x Ail − x Al ) + ∑ ( x Bij − x Bj )( x Bil − x Bl )
i =1 i =1
na
nb
F = ∑ ∑ c j c l s jl
j =1 l =1
y( X ) = c1 x 1 + c 2 x 2 + L + c m x m
Fisher判别 判别
要选择一个正确的投影方向， 要选择一个正确的投影方向， 正确的投影方向 使同类样品点沿该方向在直 上的投影点尽可能集中， 线 上的投影点尽可能集中， 不同类样品点尽可能分开， 不同类样品点尽可能分开， 这就是费歇提出的关于未知 样品归属于两类总体的模型 形成思想。 形成思想。
两总体的Fisher判别法 判别法 两总体的
m 1 m 2( ∑ c j d j )d j = 2∑ c l s jl I j =1 l =1
令 有 亦即
β=
∑c d
l =1 l
m
l
I
m
βd j = ∑ c l s jl
l =1
( j = 1,2,L , m )
s11 c1 + s12 c 2 + L + s1m c m = βd 1 s 21 c1 + s 22 c 2 + L + s 2 m c m = βd 2 M L M M M s m 1 c1 + s m 2 c 2 + L + s mm c m = βd m
m
a b
Q = [ y a − y b ] = [∑ c j x Aj − ∑ c j x Bj ]2
2
j =1 j
m
m
j
]2
（4.10） ）
= ∑ [∑ c j ( x Aij − x Aj )] + ∑ [∑ c j ( x Bij − x Bj )]2
2 i =1 na j =1 i =1 j =1 m m ∑ c j ( x Aij − x Aj ) ⋅ ∑ c l ( x Ail − x Al ) = ∑ l =1 i =1 j =1 nb m m ∑ c j ( x Bij − x Bj ) ⋅ ∑ c l ( x Bil − x Bl ) + ∑ i =1 j =1 l =1 m m na nb
(4.8) ) （4.9） ）
1 ∂Q ∂F = I ∂c j ∂c j
( j = 1,2,L , m )
两总体的Fisher判别法 判别法 两总体的
对于 j =1 j =1 d j = x Aj − x Bj Q = [∑ c d 令 ，则 n n 2 F = ∑ [ y ai − y a ] + ∑ [ y bi − y b ]2 对于 i =1 i =1
1 2 m
（4.15） ） 解线性方程组式（ ），可求得判别函数系数 解线性方程组式（4.15），可求得判别函数系数 ）， B c1 , c 2 ,L, c m 。于是建立起两总体 A 、 的判别分析数学 模型， 模型，即为 y( X ) = c1 x1 + c 2 x 2 + L + c m x m （4.16） ）
F =[ na nb n + nb − m − 1 2 ][ a ]D ~ F ( m , na + nb − m − 1) ( na + nb )(na + nb − 2) m