判别分析-贝叶斯判别

i 1 k
然后比较其大小，选取其中最小的，则判定样 品属于该总体。 下面在k=2的情形下，计算作为例子，我们讨论。
ECM ( D 1 , D 2 ) q 1C ( 2 / 1) f 1 ( x ) dx q 2 C (1 / 2 ) f 2 ( x ) dx
D2 D1
q 1C ( 2 / 1)
f1 ( x ) f2 (x)

q 2 C ( 2 / 1) q 1 C (1 / 2 )
令
W (x)
1

2
(1 2 )
1 2
2
不妨设 1
2
，则当
x
时， X GA
P(X 2 ) P(X 2 2 P(X 2 2
1 2
2
2) )
1 2
2
P(
X 2 2


1 2
2
)
1 (
1 2
R D1
f 1 ( x ) dx q 2 C (1 / 2 ) f 2 ( x )dx
D1
q 1 C ( 2 / 1) q 1C ( 2 / 1) f 1 ( x ) dx
D1
q 2 C (1 / 2 ) f 2 ( x ) dx
D1
q 1C ( 2 / 1) [ q 2 C (1 / 2 ) f 2 ( x ) q 1 C ( 2 / 1) f 1 ( x )] dx
2
)
当两总体靠得比较近时，即两总体的均值
差异较小时，无论用何种判别方法，判错的概
率都比较大，这时的判别分析也是没有意义的， 因此只有当两总体的均值有明显差异时，进行 判别分析才有意义，为此，要对两总体的均值 差异性进行检验.
练习：P211:5-1
贝叶斯判别法
一 、标准的Bayes判别 办公室新来了一个雇员小王，小王是好人还是坏 人大家都在猜测。按人们主观意识，一个人是好人或 坏人的概率均为0.5。坏人总是要做坏事，好人总是 做好事，偶尔也会做一件坏事，一般好人做好事的概 率为0.9，坏人做好事的概率为0.2，一天，小王做了 一件好事，小王是好人的概率有多大，你现在把小王 判为何种人。
p ( j / i) P ( X D j / Gi )

D
j
f i ( x ) dx
i j
C(j/i)表示相应错判所造成的损失。 则平均错判损失为：
ECM q i C ( j / i ) P ( j / i )
i 1 ji k
使ECM最小的分划，是Bayes判别分析的解。
D1
由此可见，被积函数在D1是负数时，可使ECM
最小，则有分划
D 1 x | q 2 C (1 / 2 ) f 2 ( x ) q 1C ( 2 / 1) f 1 ( x ) 0
q 2 C (1 / 2 ) f 2 ( x ) q 1C ( 2 / 1) f 1 ( x ) 0
1
1
3、当总体的协方差未知时，用样本的离差阵代替，
步骤如下：
（1）分别计算各组的离差矩阵 A1 和 A 2；
（2）计算
ˆ A1 A 2 n1 n 2 2
（3）计算类的均值
（4）计算
1, 2
1 2
2

1
ˆ 1 , 1 2 ,
判别函数的系数
（5）计算
(1 2 )
判别函数的常数项（
1 2
2
1 ） (1 2 )
（6）生成判别函数，将检验样本代入，判类。
多总体的距离判别法
设有 k 个 m元总体 G1 ,, Gk ，分别有均值向量 i和协方 差阵 i，对任给的 m元样品 X，判断它来自哪个总体 计算
X 到 k 个总体的马氏距离，比较后，把 X
1)
。
D1，D2，… ，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，判
X D i i 1, 2 , 3 , , k
关键的问题是寻找D1，D2，… ，Dk分划，这 个分划应该使平均错判率最小。
【定义】（平均错判损失）
用 p ( j / i ) 表示将来自总体Gi的样品错判到总体 Gj的条件概率。
P (Gi | x0 ) qi f i ( x0 ) q j f j ( x0 ) ql f l ( x0 ) q j f j ( x0 ) max
1i k
判别规则
P (Gl | x0 )
qi f i ( x0 ) q j f j ( x0 )
则 x0判给 Gl ，在正态的假定下， i (x)为正态分布的 f 密度函数。
其中
1 2
2
( 1 2 ) ( a1 , a 2 , , a p )
1
如果W（y） 0，则G1 G2，y G1 , 相反则y G2
因此有
y G1 ， 如W（y） 0， y G2 ， 如W（y） 0。
2、当总体的协方差已知，但不相等
1
1 2
(i) 1 (i) (x μ )Σ (x μ )
(i) 1 (i) [2 ln qi ( x μ )Σ (x μ )] 2
令
(i) 1 (i) Fi ( x) 2 ln qi (x μ )Σ (x μ )
2 ln qi x' Σ x μ ' Σ x x' Σ μ μ ' Σ μ
1 2
μ Σ μ μ Σ x
(i) (i)

1
(i)

1
完全成为距离判别法 。
二、 考虑错判损失的Bayes判别分析
设有总体 Gi (i 1,2,, k ) ， Gi具有概率密度函
数 f i (x)。并且根据以往的统计分析，知道 Gi 出现
的概率为 qi ，( q1 q k
下面讨论总体服从正态分布的情形
ql f l ( x0 ) max qi f i ( x0 ),
1i k
则x0 判给 Gl。
1 2 (x
(i)
若 fi ( x)
1 ( 2 i )
1 2
exp[
) i ( x
(i) 1
1
(i)
)]
则 , qi fi ( x ) qi
P ( 好人 / 做好事）
P 好人 P 做好事 / 好人

P 好人 P ( 做好事 / 好人 ) P ( 坏人 ) P ( 做好事 / 坏人 )

0 .5 0 .9 0 .5 0 .9 0 .5 0 .2
P ( 坏人 / 做好事）
0 . 82

P 坏人 P 做好事 / 坏人
1 ( 2 i )
1 2
exp[
1 2
(x
(i) ) i ( x )]
上式两边取对数
ln q i 1 2 ln 2 1 2
ln( q i f i ( x ))
ln | i |
1 2
(x
(i)
) i ( x
1
(i)
)
去掉与i无关的项，等价的判别函数为：
(i) (i) (i)
1

1
1
令
mi (x) ln qi μ Σ μ μ Σ x 2
(i)
1
(i)
1
(i)
1
问题转化为若 ml ( x) max[mi ( x)]，则判 1i k 当先验概率相等，即 q1 qk
1 k
x Gl
。
时
有
mi (x)
y G1 ， 如d 2 y，G1 d 2 y，G2 ， 2 2 y G2 ， 如d y，G2 d y，G1
判别函数：
W (y ) (y ) (y ）
a1 ( y1 1 ) a p ( y p p ) α y α μ
P ( Bi | A) P ( A | Bi ) P ( Bi ) P ( A | Bi ) P ( Bi )
设有总体 Gi (i 1,2,, k ) ， Gi 具有概率密度函
数 f i (x) 。并且根据以往的统计分析，知道 Gi出现的概 率为 qi 。即当样本 x0 发生时，求 x0 属于某类的概率。 由贝叶斯公式计算后验概率，有：
z i ( x ) ln q i
1 2
ln | i |
1 2
(x
(i)
) i ( x
1
(i)
)
问题转化为若
Z l ( x) max[ Z i ( x)]，则判 x Gl
1i k
。
当协方差阵相等时
即1 k
判别函数退化为
zi ( x) ln qi

P 好人 P ( 做好事 / 好人 ) P ( 坏人 ) P ( 做好事 / 坏人 )

0 .5 0 .2 0 .5 0 .9 0 .5 0 .2
0 . 18
距离判别简单直观，很实用，但是距离判别 的方法把总体等同看待，没有考虑到总体会以不 同的概率(先验概率)出现，也没有考虑误判之后 所造成的损失的差异。 一个好的判别方法，既要考虑到各个总体出 现的先验概率，又要考虑到错判造成的损失，贝 叶斯(Bayes)判别就具有这些优点，其判别效果 更加理想，应用也更广泛。 贝叶斯公式是一个我们熟知的公式
距离判别法
判别准则：对于任给一次观测值，若它与第 i 类 的重心距离最近，就认为它来自于第 i 类。
马氏距离
d ( X , Y ) ( X Y ) ( X Y )
2 1
d ( X , G) ( X ) ( X )
2
1Байду номын сангаас
两总体的距离判别
1、协方差相等
先考虑两个总体的情况，设有两个协差阵相同 的p维正态总体 G1和 G2，对给定的样本Y，判别一个 样本Y到底是来自哪一个总体，一个最直观的想法是 计算Y到两个总体的距离。我们用马氏距离来指定判 别规则，有：
判归给
距离最小的那个总体，若
d l ( X ) min { d i ( X )}
i 2 2
则 X Gl
错判概率
由上面的分析可以看出，马氏距离判别法是合理的，但是这并 不意谓着不会发生误判。 设两总体 G A， GB 分别服从 其线性判别函数为：
W ( x ) 2 ( x )'
其中
第五章
判别分析
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象
用某种方法已经分成若干类的情况下，确定新的样
品的观测数据属于那一类的统计分析方法。
判别准则：
用于衡量新样品与各已知组别接近程度的思路原则。
判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。 按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。
(i) (i) (i)
1
1
1
1
(i)
令
P ( x) 2 ln qi 2μ Σ x μ Σ μ i
(i)
1
(i)
1
(i)
问题转化为若 Pl ( x) min[ Pi ( x)] ，则判 x Gl 。
1i k
P (x) 2(ln qi μ Σ μ μ Σ x) i 2
y G1 ， 如d 2 y，G1 d 2 y，G2 ， 2 2 y G2 ， 如d y，G2 d y，G1
d ( y , G2 ) d ( y , G1 )
2 2
( y 2 ) 2 ( y 2 ) ( y 1 )1 ( y 1 )
【定理】 若总体G1，G2，，Gk的先验概率为
q i , i 1, 2 , 3 , , k
且相应的密度函数为 f 划分的贝叶斯解为
i
( x ) ，损失为C ( j / i ) 时，
D i x | h i ( x ) min h j ( x ) ,
1 j k


i 1, 2 , 3 , , k
其中
h j ( x ) q iC ( j / i ) f i ( x )
i 1
k
含义是：当抽取了一个未知总体的样品值x， 要判别它属于哪个总体，只要先计算出k个按先验概 率加权的误判平均损失
h j ( x ) q iC ( j / i ) f i ( x )