多元统计分析第4章作业题选讲

x x1 , x2 ,, x p 的少数几个线性组合（称为判别式或
典型变量）
x , y2 a 2 x , , y r a r x y1 a1
（一般r明显小于p）来代替原始的p 个变量x1,x2, ⋯,xp ， 以达到降维的目的，并根据这r 个判别式y1,y2, ⋯,yr对样品 观的几何图形上区别各总体。
多元统计分析
第4章 判别分析） 4.1 判别分析和聚类分析有何区别？ 答：判别分析是根据一定的判别准则，判定一个样本归属于 哪一类。具体而言，设有n个样本，对每个样本测得p项指标 （变量）的数据，已知每个样本属于k个类别（或总体）中 的某一类，通过找出一个最优的划分，使得不同类别的样本 尽可能地区别开，并判别该样本属于哪个总体。聚类分析是 分析如何对样品（或变量）进行量化分类的问题。在聚类之 前，我们并不知道总体，而是通过一次次的聚类，使相近的 样品（或变量）聚合形成总体。通俗来讲，判别分析是在已 知有多少类及是什么类的情况下进行分类，而聚类分析是在 不知道类的情况下进行分类。

i 1 i i 1
r
s
i
达到了一个较高的比例(如75%~95%)，则可采用这r个判别式做
判别。
判别规则为： x l , 若 y j ylj min y j yij
2 r r 2 j 1 1i k j 1
yij t j xi ,xi = 其中，
多元统计分析
②多个总体的距离判别问题

设有k个组π1,π2,⋯,πk，它们的均值分别是μ1,μ2,⋯,μk，协方差
矩阵分别是Σ1(>0),Σ2(>0),⋯,Σk(>0)，x到总体πi的平方马氏距 离为 d 2 x, x μ Σ 1 x μ , i 1, 2,, k
多元统计分析
解：由已知可得，
1 (1) 1 6 2 4 (2) x x 2 2 2 1 0.5
^
4 3 1 9 3 1 =S p 27 3 4 3 9 ^ ^ ^ ^ 1 9 3 4 1 1 a 1 2 27 3 4 3 0 x1 4 ^ ^ x 1 1 x 4 记x , 则W ( x) a x 1 1 x 0 x 2 2 2 6 6 当x , 则W ( x) 6 4=2 0 ,所以，x 属于总体G1. 0 0
k
k
使ECM达到最小的判别规则：
k
l 1 l i
x l , 若 q j f j x C l | j min q j f j x C i | j
j 1 j l 1i k j 1 j i
k
多元统计分析
4.4 简述费希尔判别法的基本思想和方法。 费希尔判别的基本思想是投影（或降维）：用p 维向量
P Gi | x
qi fi x
q f x
i 1 i i
k
, i 1, 2,, k
最大后验概率准则采用如下的判别规则：
x l , 若P l | x max P i | x
1i k
多元统计分析
2. 平均误判损失最小准则
C l | i P x Gi , x Rl ECM E C l i
则
多元统计分析
x G1 , 若d 2 x, G1 d 2 x, G2 2 2 x G , 若 d x , G d 1 x, G2 2 2 2 待判， 若 d x , G = d 1 x, G2 d 2 x, x μ Σ 1 x μ , i 1,2.
f1 x c 1| 2 p2 x 1 , 若 f 2 x c 2 |1 p1 x , 若 f1 x c 1| 2 p2 2 f 2 x c 2 |1 p1
多元统计分析
c 1| 2 e c 1| 2 p2 1 p2 0.5 1 = =1， = 4 3， 3; p1 0.5 c 2 |1 e c 2 |1 p1 e e
f1 (x), f2 (x),, f k (x) ，假设k个总体出现的概率分别为：
q1 , q2 ,,q k ， qi 0
，
q
i 1
k
i
1 。
多元统计分析
将本来属于总体 Gi 的样品错判到总体 G j 时造成的损 失为 C ( j | i ) ， i, j 1,2, , k 。 1. 最大后验概率准则 x属于总体Gi的后验概率为
1 ni
r
x ，i=1,2,⋯,k 。
j 1 ij
2 r 2
ni
该判别规则也可表达为：
j 1 1i k
x l , 若 t j x xl min t j x xi
j 1
多元统计分析
4.5 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。
多元统计分析
（1）判别式的求法
第一步 计算样本组间离差阵和组内离差阵
多元统计分析
第二步 求特征值和特征向量 求矩阵E
− 1 B（或B − 1 E
）的特征值和对应的单位特征向量。
设全部非零特征值依次为λ 1≥λ 2≥⋯≥λ s>0，其中，非零特 征值个数：s≤min(k −1,p) 相应的特征向量依次记为t1,t2,⋯,ts（标准化为ti′Spti=1, i=1,2,⋯,s），称y1=t1′x为第一判别式，y2=t2′x为第二判 别式。一般地，称yi=ti′x为第i判别式，i=1,2,⋯,s。

i


1 令 W x a x μ ，其中 μ 2 μ1 μ2

i


i

a Σ 1 μ1 μ2 ，则上述判别规则可简化为：
x G1 , 若W x 0 x G2 , 若W x 0 待判， 若W x =0
3 当x 时， 5 f1 x = f2 x f1 x
1 exp 9(3 2) 2 2(3 2)(5 6) (5 6) 2 3 16 =e 4 1 exp 9(3 4) 2 2(3 4)(5 2) (5 2) 2 16

多元统计分析
f2 ( X ) 1 1 exp X 2 1 X 2 2 2 1 1
1 9 1 1 8 8 x1 4 exp x1 4, x 2 2 1 1 x 2 2 2 8 2 8 8 1 1 2 2 exp 9( x1 4) 2( x1 4)( x 2 2) ( x 2 2) 2 8 16 根据最小平均误判代价准则：
多元统计分析
第4章 判别分析） 4.2 简述距离判别法的基本思想和方法。 答：距离判别的基本思想是计算样品与各个总体之间的距离 （通常是马氏距离），把样品判别为样品到总体距离最小的 总体。距离判别问题分为①两个总体的距离判别问题和②多 个总体的距离判别问题。。 ①两个总体的距离判别问题 设有协方差矩阵∑相等的两个总体G1和G2，其均值分别是1 和2，对于一个新的样品X，要判断它来自哪个总体。计算 新样品X到两个总体的马氏距离d2（X，G1）和d2（X，G2），
1i k
多元统计分析
多元统计分析
4.3 简述贝叶斯判别法的基本思想和方法。 进行贝叶斯判别，通常有两大准则，一是依据后验概率最 大准则；二是依据平均误判损失最小准则；同时要求已知： （1）总体的概率密度函数； （2）各总体出现的先验概率； （3）各误判损失。
设k个总 G1 , G2 ,,G k 的概率密度函数分别为
判别规则为
x l , 若d 2 x, l min d 2 x, i
1i k
i
i
i
i
若Σ1=Σ2=⋯=Σk=Σ，则上述判别规则可作进一步简化。
d2(x,πi)=(x−μi)′Σ−1(x−μi)=x′Σ−1x−2μi′Σ−1x+μi′Σ−1μi =x′Σ−1x−2(Ii′x+ci) 1 1 1 I Σ μ , c μ Σ μi , i 1, 2, , k ，判别规则简化为 其中 i i i i 2 x l , 若I lx cl max I ix ci
（略）
4.6 设有两个二元总体G1和G2，从中分别抽取样本计算得
(1) 4 3 6 (2) 2 样本协方差阵： 到样本均值： S p＝ , x ＝ , x ＝ , 3 9 2 1 假设两总体协方差矩阵相等，试用距离判别法建立判别函数
6 和判别规则。 并判别样品 x＝ 0 应属于哪个总体？
i 1 l 1
k
k
C l | i P x Rl | x Gi P x Gi
i 1 l 1 k k
k
k
C l | i P l | i qi qi C l | i P l | i
i 1 l 1 i 1
^ 1
1
多元统计分析
4.7 设有两正态总体G1和G2，且已知总体均值向量和总体 协方差阵分别为： 2 4 1 1 1＝ , 2＝ , 1 =2 =＝ , 6 2 1 9


两总体的先验概率为： q1 q2 0.5 ，
4 C 2 1 e , C 1 2 e ，试用贝叶斯判别法 误判损失为：