数理统计14第十四讲 判别分析

X G2 .
由于函数
W (X) a (X )
T
是 X 的线性函数，故称W ( X ) 为 X 的线性判别
函数，称 a为判别系数。
在实际应用中，参数 1 , 2 及V 往往是未知的，
此时需要根据收集到的样本资料对参数作出估
计，然后将其相应的估计值代入线性判别函数
W ( X ) 中。下面就给出参数的估计。
C ( j / i ) 0, i , j 1,2,, m
当然也可用矩阵表示，即
C11 C 21 C C m1
C12 C 22 Cm2
C1m 其中 C 2 m C ii C ( i / i ) 0, Cij C ( j / i ), i , j 1 , 2 , , m . C mm
T
其中判别系数为
ˆ 1 ( a V ˆ1 ˆ2 )
注：距离判别法没有要求知道总体的分布。
两个总体协方差阵不等的情形： 设两个总体 G1和G2 的协方差阵为V1和 V2 ， 且 V1 V2 , 所有的参数均已知，这时就直接用样 品到总体的马氏距离来判别，即判别规则为 当 D ( X , G1 ) D ( X , G2 ) 时， X G1 ;
R ( R1 , R2 ) 具有如下形式
注：从 W ( x )的表达式可知Bayes判别函数与
距离判别函数完全相同，只是临界值有所不 1 同， 当先验概率 q1 q2 ，即任取一个样 2 品 X ， 它等可能地来自总体 G1 或 G2， 且错判 损失 C12 C21 时， 有 d 0, 这说明在种情况 下Bayes判别与距离判别等价。 其它情形下两 者并不等价。
ˆ
ˆ1 ˆ2
2
V 的估计为
ˆ V
1 ( S1 S2 ) n1 n2 2
其中 S1 ( X k X )( X k X )
S 2 (Yk Y )(Yk Y )
k 1
n1
T
k 1 n2
T
故当参数均未知时，判别函数为
ˆ) W (X) a (X
总体的相互独立的样本来估计这些参数，即 1 n 1 n ˆ1 X X k ˆ 2 Y Yk n1 k 1 n2 k 1 n 1 1 T ˆ V1 S1 ( X k X )( X k X ) n1 1 n1 1 k 1
1
2
1
n 1 1 T ˆ V2 S2 (Yk Y )(Yk Y ) n2 1 n2 1 k 1 将这些估计值代入上述判别法即可进行判别。
第十四讲 判别分析
一、距离判别 二、Bayes判别 三、Fisher判别
一、距离判别
（一） 马氏距离 定义18.1 设 X 和 Y 是总体G 中抽取的样品，G 的均值和协方差阵分别为 和V (V 0), 称
( X Y )T V 1 ( X Y )
为 X 与 Y 之间的马氏距离，记为 D( X ,Y )，即
D ( X , Gi ) ( X i ) Vi ( X i ), i 1,, m
2 T 1
若存在某个 k 使得
D ( X , Gk ) min{ D ( X , Gi )}
2 2 1 i m
成立，则判别 X Gk。
同样地当总体的参数是未知的时，应先利 用来自 m 个总体的相互独立的样本给出所有未 知参数的估计，再利用上述判别法进行判别。 对同协方差阵的情形，可以由 m 个样本给
定理18.3 设总体 G1和G2 分别服从协方差阵相 同的正态分布 N p ( 1 ,V )和N p ( 2 ,V )，且V 0. 则当参数 1 , 2及V 均已知时， Bayes判别法
R1 x : W ( x ) d R2 x : W ( x ) d T 1 1 2 其中 W ( x ) ( x ) V ( 1 2 ), , 2 C 21q2 d ln K , K . C12q1
C12q1 f1 ( x ) C21q2 f 2 ( x )
若该不等式成立，则判定 X G1 ; 否则，判定
X G2 .
如果总体 G1和G2 分别服从协方差阵相同的
正态分布 N p ( 1 ,V )和N p ( 2 ,V )， 则Bayes判别
法有更简便的形式，依定理形式给出如下。
ˆ 出的 V 估计V 1 ni m i 1
m
Si , i 1
m
具体判别过程
不再赘述。
二、Bayes判别
（一） Bayes判别法的基本概念
设有 m 个总体 G1 , G2 ,, Gm，其概率密度分
别为 f1 ( x ), f 2 ( x ),, f m ( x ), 且是互不相同的。
P ( j / i , R ) 或 Pij ( R )， 即
Pij ( R) P ( j / i , R)
i , j 1,2,, m , i j .
f i ( x )dx , R
j
这时 P ( i / i , R ) 表示正确判别的概率，即
Pii ( R ) P ( i / i , R )
损失函数矩阵为 C . 则Bayes判别法 R ( R1 , R2 )
具有如下形式
R1 x : C12 q1 f1 ( x ) C 21q2 f 2 ( x ) R2 x : C12 q1 f1 ( x ) C 21q2 f 2 ( x )
在实际使用Bayes判别法时，并不需要求出 集合 R1 , 而只要将需判别的样品 X 代入
个总体发生的概率为 q1 , q2 ,, qm , 所以通过判别
规则 R 来进行判别所造成的总平均损失为
g ( R ) qi r ( i , R )
qi C ( j / i ) P ( j / i , R )
i 1 m
m i 1 m j 1
m
qi C i Fra Baidu biblioteki ( R )T
进一步假设已知 m 个总体各自发生的概率为
q1 , q2 ,, qm , 这个已知的概率称为先验概率，它
可以由经验给出，也可以由收集到的历史资料
确定。 定义损失函数 C ( j / i )， 表示将本来属 于 Gi 的样品错判为属于G j 所造成的损失， 规 定 C ( i / i ) 0. 显然应有
i 1
Bayes方法的原理是寻求使平均损失达到 最小的规则或一种划分 R ( R1 , R2 ,, Rm ), 并将
这种规则或划分称为Bayes判别法。
（二） 两个总体的判别
定理18.2 设有两个总体 G1 , G2 , 其密度函数分
别为 f1 ( x ), f 2 ( x ), 两个总体的先验概率为q1 , q2 ,
( X 2 )T V 1 ( X 2 ) ( X 1 )T V 1 ( X 1 )
X V X 2 X V 2 2 V 2
T 1 T 1 T 1
X V X 2 X V 1 V 1 1
T 1 T 1 T 1
2 X V ( 1 2 ) 2 V 2 V 1 1
定理18.1 当参数 1 , 2 及V 已知时，判别准则
是： 当 a ( X ) 0时，判定 X G1；否则， 1 2 1 判定 X G2 ，其中 a V ( 1 2 )， . 2
T
证明 因为
D 2 ( X , G2 ) D 2 ( X , G1 )
m
f i ( x )dx , i 1,, m R
i
注意这里的积分是 p 重积分。 因此有
Pij ( R ) 1, i 1,2,, m . j 1
这样在判别规则 R下， 错判来自总体 Gi 的个
体所造成的平均损失为
r (i , R) C ( j / i ) P ( j / i , R) j 1 , j i
2 2
当 D 2 ( X , G1 ) D 2 ( X , G2 ) 时， X G2 .
其中 D 2 ( X , G1 ) ( X 1 )T V11 ( X 1 )
D 2 ( X , G2 ) ( X 2 )T V21 ( X 2 )
当参数 1 , 2 ,V1及V2未知时，需用来自两个
m j 1 m
m
C ( j / i ) P ( j / i , R) C ij Pij ( R ) C i Pi ( R )T
j 1
其中 C i 表示损失矩阵的第 i 行元素， 而 Pi ( R )
表示矩阵 P ( R) ( Pij ( R)) 的第 i 行元素。 由于每
D( X , Z ) D( X , Y ) D(Y , Z ).
（二） 两个总体的判别 设有两个总体为 G1和 G2，对于给定的样品 X , 需要判断它来自哪个总体？ 判别的规则是：当 D 2 ( X , G1 ) D 2 ( X , G2 ) 时， 判定 X G1；否则判定 X G2。 两个总体协方差阵相同的情形：
由于一个判别规则实质上是就是对 p 维空间
R 划分成 m 个互不相交的部分 R1 , R2 ,, Rm，
p
即满足 和
m i 1
Ri R j , i , j 1,2,, m , i j .
p
Ri R
. 故为了方便起见，可简记一个
判别规则为 R ( R1 , R2 ,, Rm ), 那么将属于 Gi 的样品判为属于 G j的（错判概率）概率记为
2
通常为了初略了解所建立的判别方法的 误判率，需进行回报判别，即对已给的两个样 本逐个进行判别，可以计算出回报误判率。若 回报的误判率较大，则说明所建立的判别规则 不适用，分析其原因，重新建立恰当的判别规 则。
注：回报的误判率并不是错判概率，一般情形
下，前者比后者小，这种衡量标准仅供参考。
（三） 多个总体的判别 设有 m 个总体： G1 , G2 ,, Gm , 其均值和 协方差阵分别为 1 , 2 ,, m 及 V1 ,V2 ,,Vm , 且 所有的 Vi 0 。 当这些参数都已知时，计算
当参数 1 , 2及V 均已知时， 定理18.3中的 Bayes判别法的所产生的错判概率为 d 2 P12 ( R ) P ( 2 / 1, R ) d 2 P21 ( R ) P (1 / 2, R ) 1 T 1 其中 ( 1 2 ) V ( 1 2 ).
设 X 1 , X 2 ,, X n 是来自总体 G1的样本，
1
Y1 ,Y2 ,,Yn 是来自总体G2的样本， 且两样本相
2
互独立，则样本平均值
1 n ˆ1 X X k n1 k 1
1
1 n ˆ 2 Y Yk n2 k 1
2
分别是总体均值 1 和2 的无偏估计。 这样 的估计可取为
T 1 T 1 T 1
2 X TV 1 ( 1 2 ) ( 1 2 )T V 1 ( 1 2 )
2( X ) V ( 1 2 )
T 1
令 W ( X ) ( X )T V 1 ( 1 2 ) a T ( X ), 有 D 2 ( X , G2 ) D 2 ( X , G1 ) 2W ( X ), 所以当 W ( X ) 0时，判定 X G1；否则判定
D( X , Y ) ( X Y ) V ( X Y )
T 1
称
D( X , G ) ( X ) V ( X )
T 1
为 X 与总体 G 的马氏距离， 容易证明D( X ,Y )满足距离的三条基本公里： （1）非负性： D( X ,Y ) 0, 且当且仅当 X Y 时， D( X ,Y ) 0; （2）自反性： D( X ,Y ) D(Y , X ); （3）三角不等式： 对任意三个点 X ,Y 及 Z 有