多元统计复习题附答案

复习题

原文：

答案：

4.2 试述判别分析的实质。

4.3 简述距离判别法的基本思想和方法。

4.4 简述贝叶斯判别法的基本思想和方法。

4.5 简述费希尔判别法的基本思想和方法。

4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。

4.2 试述判别分析的实质。

答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk是p维空间R p的k个子集，如果它们互不相交，且它

们的和集为，则称为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p 维空间构造一个“划分”，这个“划分”就构成了一个判别规则。

4.3 简述距离判别法的基本思想和方法。

答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。 ①两个总体的距离判别问题

设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是μ1和μ 2，对于一个新的样品X ，要判断它来自哪个总体。计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2（X ，G 2），则

X ，D

2

（X ，G 1）D 2（X ，G 2）

X ，D

2

（X ，G 1）> D 2（X ，G 2，

具体分析，

2212(,)(,)

D G D G -X X

111122111111

111222111

211122

()()()()2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2()

22()2()

---''=-++-'

+⎛⎫=--- ⎪⎝⎭''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为

X ，W(X)

X ，W(X)<0

②多个总体的判别问题。

设有k 个总体k G G G ,,,21 ，其均值和协方差矩阵分别是k μμμ,,,21 和k ΣΣΣ,,,21 ，且

ΣΣΣΣ====k 21。计算样本到每个总体的马氏距离，到哪个总体的距离最小就属于哪个总体。

具体分析，21(,)()()D G ααα-'=--X X μΣX μ

1111

22()C α

ααα

α----'''=-+''=-+X ΣX μΣX μΣμX ΣX I X

取ααμΣI 1-=，αααμΣμ1

2

1-'-=C ，k ,,2,1 =α。

可以取线性判别函数为

()W C αα

α'=+X I X ， k ,,2,1 =α 相应的判别规则为i G ∈X 若 1()max()i k

W C α

αα≤≤'=+X I X

4.4 简述贝叶斯判别法的基本思想和方法。

基本思想：设k 个总体k G G G ,,,21 ，其各自的分布密度函数)(,),(),(21x x x k f f f ，假设k 个总体各自出现的概率分别为k q q q ,,,21 ，0≥i q ，

11

=∑=k

i i

q

。设将本来属于i G 总体的样品错判到总体j G 时造成的损失为)|(i j C ，

k j i ,,2,1, =。

设k 个总体k G G G ,,,21 相应的p 维样本空间为 ),,,(21k R R R R =。 在规则R 下，将属于i G 的样品错判为j G 的概率为

x x d f R i j P j

R i )(),|(⎰= j i k

j i ≠=,,2,1,

则这种判别规则下样品错判后所造成的平均损失为

∑==k

j R i j P i j C R i r 1

)],|()|([)|( k i ,,2,1 =

则用规则R 来进行判别所造成的总平均损失为

∑==k

i i R i r q R g 1

),()(

∑∑===k i k

j i R i j P i j C q 1

1

),|()|(

贝叶斯判别法则，就是要选择一种划分k R R R ,,,21 ，使总平均损失)(R g 达到极小。 基本方法：∑∑===

k i k

j i R i j P i j C q R g 1

1),|()|()(

x x d f i j C q k

i k

j R i i j

∑∑⎰===1

1

)()|(

∑⎰∑===k j R k

i i i j

d f i j C q 1

1

))()|((x x

令

1

(|)()()k i

i

j

i q C j i f h ==∑x x ，则 ∑⎰

==k

j R j j

d h R g 1

)()(x x

若有另一划分),,,(**2*1*

k

R R R R =，∑⎰

==k

j R j j

d h R g 1

*

*)()(x x

则在两种划分下的总平均损失之差为

∑∑⎰

==⋂-=-k i k

j R R j i j

i d h h R g R g 11

*

*)]()([)()(x x x

因为在i R 上)()(x x j i h h ≤对一切j 成立，故上式小于或等于零，是贝叶斯判别的解。 从而得到的划分

)

,,,(21k R R R R =为

1{|()min ()}

i i j j k

R h h ≤≤==x x x k i ,,2,1 =

4.5 简述费希尔判别法的基本思想和方法。

答：基本思想：从k 个总体中抽取具有p 个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数

1122()p p U u X u X u X '=+++=X u X

系数),,,(21'=p u u u u 可使得总体之间区别最大，而使每个总体部的离差最小。将新样品的p 个指标值代入线性判别函数式中求出()U X 值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。

4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。

答：① 费希尔判别与距离判别对判别变量的分布类型无要求。二者只是要求有各类母体的两阶矩存在。而贝叶斯判别必须知道判别变量的分布类型。因此前两者相对来说较为简单。 ② 当k=2时，若则费希尔判别与距离判别等价。当判别变量服从正态分布时，二者与贝叶斯判别也

等价。

③ 当时，费希尔判别用作为共同协差阵，实际看成等协差阵，此与距离判别、贝叶斯判别不

同。

④ 距离判别可以看为贝叶斯判别的特殊情形。贝叶斯判别的判别规则是 X

，W(X)