Bayes基本思想与判别分析

2．两个正态总体Bayes判别
设总体 G1,G2 服从正态分布 Gj ~ N(μ, Σ j ), 密度
f
j
(x)
(2
Leabharlann Baidu
1 )p/2 |
Σ
j
|1/ 2
exp{
1 2
(x
μ
j
)T
Σ
1 j
(x
μ
j
)}
看大小
pjfj(x )exp pj {ln lfjn (x )}
e x 1 2 { ( x p μ j) T Σ j1 ( x μ j) l|n Σ j|-l2 p n j} ( 2 / )2 p
d
2 j
(x)
(x μ j )T
Σj1(x μ j )
ln
|
Σ
j
|
-2 ln
pj
,
j
1,2
马氏平方距离
协方差阵/先验 概率相等,即为 距离判别准则
（2）两个总体协方差矩阵相等情形
总体 G j
~
N (μ j , Σ) ,
密度
f j (x)
1
(2 ) p/2 | Σ |1/2
exp{
1 2
(x
先验概率取 p1 p2 或 p j n j / n
误判率
x1, x2,, xn1 和 y1, y2 ,, yn2 来 自 G1, G2 全 体 训 练 样 本． N1, N2 -- G1, G2 样品被误判个数
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
一般准则
x G1, p1 f1(x) p2 f2 (x) x G2, p1 f1(x) p2 f2 (x)
样本Bayes判别准则
协方差矩阵不相等的Bayes判别准则
xx G G12,,ddˆˆ1122((xx))ddˆˆ2222((xx))
---广义平方距离准则
d ˆ 2 j( x ) ( x x (j)) j1 S ( x x (j)) l|S n j| 2 lp n j
协方差矩阵相等的Bayes判别准则
xx G G12,,
当w1(x)w2(x) 当w1(x)w2(x)
xx G G12,,ddˆˆ1122((xx))ddˆˆ2222((xx))
w j(x ) (x (j)) S 1 x 1 2(x (j))T S 1 x (j) ln p j d ˆ2 j(x ) (x μ j ) S 1 (x μ j ) 2 ln p j
Bayes 判别准则：
P(Gi
|
x)
max j
P(x
|
Gj
) ，判
x
Gi
注意：先验概率取法
(1)
无信息可用:取
p j 相等(2)
按样品比例分配: p j
nj n
1 基本思想 2 两个总体的Bayes判别 3 多总体的Bayes判别
1.一般讨论
4.3.2 两个总体的Bayes判别
G1, G2 — p 维总体，密度 f1(x), f2 (x) ，各总体先验概率 p1 P(G1), p2 P(G2 ) ， p1 p2 1.
μ
j
)T
Σ
1
(x
μ
j
)}
广义平方距离：
d
2 j
(x)
(x μ
j )T
Σ1(x μ j )
2 ln
pj
ln| Σ|
d 2 2 (x )-d 1 2 (x ) （ 2w 1 (x ) w 2 (x )）
wj (x)
(μ j )T
Σ1x
1 2
(μ
j
)T
Σ1μ j ) ln
pj
后验概率准则：xx G G12,,dd1122((xx))dd2222((xx)) xx G G12,,w w11((xx))w w22((xx))
k
max j
P(x
|
G
j
)
,判
x
Gi
p j P(x | Gj ))
j 1
后验概率
先验概率
P( Ai
|
B)
P( Ai B) P(B)
P( Ai )P(B | Ai )
k
---Bayes(逆概)公式
P( Aj )P(B | Aj )
j 1
贝叶斯判别准则
寻找空间 Rp {(x1, x2,, xp )T | xk R} 最优划分： R p R1R2 Rp , RiRj , i j
若两类蠓虫协方差矩阵相等，假设总体Apf和Af均服从正 态分布，用Bayes判别法判别三个蠓虫属于哪一类？ (1.24,1.8)，(1.28,1.84)，（1.4，2.04）
mn
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
样品 x (x1, x2,, xp )T 属于 G1, G2 的后验概率为
P(G1 | x)
p1 f1(x) p1 f1(x) p2 f2 (x)
，P(G2 | x)
p2 f2 (x) p1 f1(x) p2 f2 (x)
两个总体的Bayes判别准则
x G1, P(G1 | x) P(G2 | x) p1 f1(x) p2 f2 (x) x G2, P(G1 | x) P(G2 | x) p1 f1(x) p2 f2 (x)
4.3.1 Bayes判别的基本思想
G1, G2 ,, Gk — p 维总体，密度 f j (x) ，各总体先验概率
k
p j P(G j ) ， Pj 1 ，样品 x (x1, x2,, xp )T G? j 1
将待判样品x判属给后验概率最大的总体
P(Gi | x)
pi P(x | Gi )
exp 1 2{d2j(x)}/(2)p/2
大小相反
（1）两个总体协方差矩阵不相等的情形
Bayes判别准则化为广义距离准则
xG1, xG2,
d12(x)d22(x) d12(x)d22(x)
xx
G1, G2 ,
P(G1 | x) P(G2 | x) P(G1 | x) P(G2 | x)
广义平方距离：
Bayes的基本思想和 判别分析
Bayes的基本思想和判别 分析
1 基本思想 2 两个总体的Bayes判别 3 多总体的Bayes判别
4.3.1Bayes判别基本思想
距离判别只要求知道总体数字特征，不涉 及总体的分布函数，当参数和协方差未知 时，就用样本均值和协方差矩阵来估计。 距离判别方法简单实用，但没有考虑到每 个总体出现的机会大小，即先验概率，没 有考虑到错判的损失。贝叶斯判别法正是 为了解决这两个问题提出的判别分析方法