多元统计复习题-附答案

复习题原文：答案：４.2试述判别分析的实质。

４.3 简述距离判别法的基本思想和方法。

4.4简述贝叶斯判别法的基本思想和方法。

４.5 简述费希尔判别法的基本思想和方法。

４.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。

4.２试述判别分析的实质。

答:判别分析就是希望利用已经测得的变量数据,找出一种判别函数,使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。

设Ｒ１，R２，…,Rk是p维空间R p的ｋ个子集,如果它们互不相交,且它们的和集为R p，则称R1，R2⋯R p为R p的一个划分。

判别分析问题实质上就是在某种意义上,以最优的性质对p维空间R p 构造一个“划分”,这个“划分”就构成了一个判别规则。

4.3 简述距离判别法的基本思想和方法。

答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。

其基本思想都是分别计算样本与各个总体的距离（马氏距离）,将距离近的判别为一类。

①两个总体的距离判别问题设有协方差矩阵∑相等的两个总体G 1和G ２,其均值分别是μ1和μ 2,对于一个新的样品X ，要判断它来自哪个总体。

计算新样品Ｘ到两个总体的马氏距离D ２（X,Ｇ1)和D 2(X ，Ｇ2）,则X ∈G 1 ，D 2(Ｘ，G １）≤ D 2（X ，G 2)Ｘ ∈G 2 ，D 2（X ，G １）> D ２（X ，G 2， 具体分析,2212(,)(,)D G D G -X X111122111111111222*********()()()()2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2()22()2()---''=-++-'+⎛⎫=--- ⎪⎝⎭''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为X ∈G 1 ，W(X)≥0 X ∈G 2 ,W(X)<0②多个总体的判别问题。

设有k 个总体k G G G ,,,21 ,其均值和协方差矩阵分别是和k ΣΣΣ,,,21 ，且ΣΣΣΣ====k 21。

计算样本到每个总体的马氏距离，到哪个总体的距离最小就属于哪个总体。

具体分析，21(,)()()D G ααα-'=--X X μΣX μ111122()C ααααα----'''=-+''=-+X ΣX μΣX μΣμX ΣX I X取ααμΣI 1-=,αααμΣμ121-'-=C ,k ,,2,1 =α。

可以取线性判别函数为()W C ααα'=+X I X ， k ,,2,1 =α 相应的判别规则为i G ∈X 若 1()max()i kW C ααα≤≤'=+X I X4.4 简述贝叶斯判别法的基本思想和方法。

基本思想:设k 个总体，其各自的分布密度函数)(,),(),(21x x x k f f f ,假设k 个总体各自出现的概率分别为k q q q ,,,21 ,0≥i q ，11=∑=ki iq。

设将本来属于i G 总体的样品错判到总体j G 时造成的损失为)|(i j C ，。

设k 个总体相应的p 维样本空间为 ),,,(21k R R R R =。

在规则R 下，将属于的样品错判为j G 的概率为x x d f R i j P jR i )(),|(⎰= j i kj i ≠=,,2,1,则这种判别规则下样品错判后所造成的平均损失为∑==kj R i j P i j C R i r 1)],|()|([)|( k i ,,2,1 =k μμμ,,,21 k G G G ,,,21 k j i ,,2,1, =k G G G ,,,21 i G则用规则R 来进行判别所造成的总平均损失为∑==ki i R i r q R g 1),()(∑∑===k i kj i R i j P i j C q 11),|()|(贝叶斯判别法则，就是要选择一种划分,使总平均损失)(R g 达到极小。

基本方法:∑∑===k i kj i R i j P i j C q R g 11),|()|()(x x d f i j C q ki kj R i i j∑∑⎰===11)()|(∑⎰∑===k j R ki i i jd f i j C q 11))()|((x x令1(|)()()k iiji q C j i f h ==∑x x ，则 ∑⎰==kj R j j d h R g 1)()(x x若有另一划分),,,(**2*1*kR R R R =，∑⎰==kj R j jd h R g 1**)()(x x则在两种划分下的总平均损失之差为∑∑⎰==⋂-=-k i kj R R j i ji d h h R g R g 11**)]()([)()(x x x因为在i R 上)()(x x j i h h ≤对一切j 成立，故上式小于或等于零,是贝叶斯判别的解。

从而得到的划分),,,(21k R R R R =为1{|()min ()}i i j j kR h h ≤≤==x x x k i ,,2,1 =4.5 简述费希尔判别法的基本思想和方法。

答：基本思想:从k 个总体中抽取具有p 个指标的样品观测数据,借助方差分析的思想构造一个线性判别函数 1122()p p U u X u X u X '=+++=X u X 系数),,,(21'=p u u u u 可使得总体之间区别最大,而使每个总体内部的离差最小。

将新样品的p 个指标值代入线性判别函数式中求出()U X 值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。

４.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。

答:① 费希尔判别与距离判别对判别变量的分布类型无要求。

二者只是要求有各类母体的两阶矩存在。

而贝叶斯判别必须知道判别变量的分布类型。

因此前两者相对来说较为简单。

② 当ｋ=２时，若Σ1=Σ2=Σ则费希尔判别与距离判别等价。

当判别变量服从正态分布时，二者与贝叶斯判别也等价。

③ 当Σ1≠Σ2时,费希尔判别用Σ1+Σ2作为共同协差阵,实际看成等协差阵,此与距离判别、贝叶斯判别不同。

④ 距离判别可以看为贝叶斯判别的特殊情形。

贝叶斯判别的判别规则是 X ∈G 1 ，W(X ）≥lndX ∈G 2 ,W(X ）<ｌｎd 距离判别的判别规则是 X ∈G 1 ,Ｗ（Ｘ)≥0 Ｘ ∈G 2 ，W （X)<０二者的区别在于阈值点。

当21q q =，)1|2()2|1(C C =时，1=d，0ln =d 。

二者完全相同。

k R R R ,,,214.7 设有两个二元总体G 1和G 2 ,从中分别抽取样本计算得到 X ̅(1)=(51), X ̅(2)=(3−2)，S p =(5.8 2.12.17.6) 假设Σ1=Σ2,试用距离判别法建立判别函数和判别规则。

样品Ｘ=(6，０)’应属于哪个总体?解：μ̂1=X ̅(1)=(51) ，μ̂2=X ̅(2)=(3−2) , μ̅̂＝μ̂1+μ̂22＝(4−0.5) W p =α’(x −μ̅)=(x −μ̅)′Σ−1(μ1−μ2)(x −μ̅)′=(6,0)−(4,0.5)=(2,0.5)Σ−1=13967(7.6−2.1−2.1 5.8) (μ1−μ2)=(2,3)′ W p =(2,0.5)13967(7.6−2.1−2.1 5.8)(23)=24.439.67>0 ∴ X ∈G 1即样品Ｘ属于总体G 15.１ 判别分析和聚类分析有何区别? 5.2 试述系统聚类的基本思想。

5．３ 对样品和变量进行聚类分析时, 所构造的统计量分别是什么?简要说明为什么这样构造5.5试述Ｋ均值法与系统聚类法的异同。

５．1 判别分析和聚类分析有何区别?答：即根据一定的判别准则,判定一个样本归属于哪一类。

具体而言，设有n 个样本，对每个样本测得p 项指标(变量)的数据，已知每个样本属于k 个类别(或总体）中的某一类,通过找出一个最优的划分，使得不同类别的样本尽可能地区别开,并判别该样本属于哪个总体。

聚类分析是分析如何对样品(或变量)进行量化分类的问题。

在聚类之前，我们并不知道总体,而是通过一次次的聚类,使相近的样品(或变量）聚合形成总体。

通俗来讲,判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。

5．２ 试述系统聚类的基本思想。

答：系统聚类的基本思想是:距离相近的样品(或变量）先聚成类，距离相远的后聚成类，过程一直进行下去,每个样品（或变量）总能聚到合适的类中。

5.3 对样品和变量进行聚类分析时， 所构造的统计量分别是什么？简要说明为什么这样构造?答：对样品进行聚类分析时，用距离来测定样品之间的相似程度。

因为我们把n 个样本看作p 维空间的n 个点。

点之间的距离即可代表样品间的相似度。

常用的距离为 (一)闵可夫斯基距离：1/1()()pq qij ik jk k d q X X ==-∑q 取不同值，分为 (1)绝对距离（1q =）1(1)pij ik jk k d X X ==-∑(2)欧氏距离（2q =）21/21(2)()pij ik jk k d X X ==-∑（3）切比雪夫距离(q =∞)1()max ij ik jkk pd X X ≤≤∞=-（二）马氏距离 ﻩ（三）兰氏距离对变量的相似性,我们更多地要了解变量的变化趋势或变化方向,因此用相关性进行衡量。

将变量看作p 维空间的向量，一般用（一)夹角余弦(二）相关系数５.５试述K 均值法与系统聚类法的异同。

答:相同：K —均值法和系统聚类法一样，都是以距离的远近亲疏为标准进行聚类的。

不同：系统聚类对不同的类数产生一系列的聚类结果，而Ｋ—均值法只能产生指定类数的聚类结果。

具体类数的确定,离不开实践经验的积累；有时也可以借助系统聚类法以一部分样品为对象进行聚类,其结果作为K —均值法确定类数的参考。

6.1 试述主成分分析的基本思想。

21()()()ij i j i j d M -'=--X X ΣX X 11()p ik jkij k ik jk X X d L p X X =-=+∑cos pik jkij X X θ=∑()()pik i jk j ij X X X X r --=∑6.2 主成分分析的作用体现在何处？6．3 简述主成分分析中累积贡献率的具体含义。