应用统计方法课件 6-1

第六章 判 别 分 析

判别分析就是在已知要判别的类型和数目的情况下，根据样品的各种特性来判断该样品属于哪一种类型。用统计语言来说，就是已知k 个总体12,,

,k πππ，它们的分布函数分别为12(),(),,()k F x F x F x ，其中)(x F i 为m 维分布函数，k i ≤≤1，对给定的一个样品，要判断它来自哪个总体。

Discriminate analysis

第六章判别分析贝

叶

斯

判别费歇判别距离判别

§1 贝叶斯（Bayes ）判别

Bayes 判别分析的标志是：凡用到先验概率（信息）的方法统称为Bayes 判别分析。 损失函数：已知)(x p i 为总体i π的密度函数，样品来自i π的先验概率为i q ，属于j π被误判为i π的损失称为损失函数，记作)|(j i C 。

希望所给的准则误判概率越小越好，更确切的说，误判带来的平均损失越小越好。显然，平均损失最小的准则是最优的，贝叶斯判别恰恰是这样一种准则。

一、两个总体判别

设1π、2π为两个m 维总体，其分布密度分别为)(1x p 、)(2x p 。),,(21'=m x x x x 一样品，它只可能来自1π和2π，且来自1π的概率为1q ,且来自2π的概率为2q （1q +2q =1）。1q 、2q 通常称为先验概率。 为了判断),,(21'=m x x x x 属于哪个总体，我们按某种方式将m 维空间m R 分成两部分1R 和2R ，

且m R R R =21 ，φ=21R R ，记),(21R R =R 为空间m

R 的一个分划（有时也称为判别）。即},|,{212121φ===R R R R R R R R m

m

由R 规定的判别准则如下：

如果x 落在1R 内，则判其来自总体1π； 如果x 落在2R 内，则判其来自总体2π。 给定分划的损失函数及平均损失

设)2|1(C 为样品x 来自总体2π而误判为总体

1π的损失，

这一误判的概率记为),2|1(R P ， 其中R ),(21R R =； )1|2(C 为样品x 来自总体1π而误判为总体2π的损失，误判的概率记为),1|2(R P 。 于是有 ),1|2(R P ⎰=2

)(1R d P x x （6-1）

),2|1(R P ⎰=1

)(2R d P x x （6-2）

积分（6-1）、（6-2）为m 重积分。

1π 2

π

o

λ

o 判别R ),(21R R =的平均损失定义为

)1|2(),(121C q R R g =),1|2(R P +2q )2|1(C ),2|1(R P （6-3） 所谓Bayes 判别就是使平均损失),(21R R g 达最小的判别。

定理6-1 使平均损失),(21R R g 达最小的Bayes 判别为

⎭

⎬⎫⎩⎨⎧≥=12211)1|2()2|1()()(:q C q C P P R x x x ⎭

⎬⎫⎩⎨⎧<=12212)1|2()2|1()()(:q C q C P P R x x x （6-4） 证明：设),(21R R =R 由（6-4）给出，),(*2*1*R R =R 为m R 的任一划分，即 m R R R =*2*1 ，φ=*2*1R R 。

)1|2(),(121C q R R g =),1|2(R P +2q )2|1(C ,2|1(P )R

)1|2(1C q =⎰2)(1R d P x x +2q )

2|1(C ⎰1

)(2R d P x

x

)1|2(),(121C q R R g =⎰2)(1R d P x x +2q )

2|1(C ⎰1)(2R d P x x )1|2(1C q =)

)()((*12*2211⎰⎰+R R R R d P d P x x x x +2q )2|1(C )

)()((*11*2

122⎰⎰+R R R R d P d P x x x x 同理 )1|2(),(1*2*1C q R R g =)

)()((1*22

*211⎰⎰+R R R R d P d P x x x x +2q )2|1(C )

)()((1*12*122⎰⎰+R R R R d P d P x x x x 于是

),(),(*2*121R R g R R g -

⎰-=2*1))()2|1()()1|2((2211R R d P C q P C q x x x ⎰-+1

*2))()1|2()()2|1((1122R R d P C q P C q x

x x

由式（6-4）知，

2q )2|1(C -)(2x P 0)()1|2(11≤x P C q ，当1R x ∈； 0)()2|1()()1|2(2211≤-x x P C q P C q ， 当2R x ∈。 因此0),(),(*2*121≤-R R g R R g ，即),(),(*2*121R R g R R g ≤，

故),(21R R R =为贝叶斯判别。在实际问题中，损失)1|2(C 、)2|1(C 往往不容易给出，这时常取=)1|2(C 1)2|1(=C 。

推论6-1 如果1)1|2(=C ，1)2|1(=C 则贝叶斯判别为

)}()(:{22111x x x P q P q R ≥=

)}()(:{22112x x x P q P q R <= （6-5）

将（6-4）、（6-5）所规定的判别准则修改为 ⎪⎪⎪⎩

⎪⎪⎪⎨⎧=<∈>∈12211221212211)1|2()2|1()()(,)1|2()2|1()()(,)1|2()2|1()()(,q C q C P P q C q C P P q C q C P P x x x x x x x x 如果待判如果如果ππ （6-6） ⎪⎩⎪⎨⎧=<∈>∈)()(,)()(,)()(,22112211222111x P q P q x P q P q x P q P q x x x x x 如果待判如果如果ππ （6-7）