4.3-贝叶斯判别分析

R p R1R2 Rp , RiRj , i j
Bayes 判别准则：
P(Gi
|
x)
max j
P(x
|
Gj
) ，判
x
Gi
注意：先验概率取法
(1)
无信息可用:取 p j 相等(2)
按样品比例分配:
pj
nj n
4
1 基本思想 2 两个总体的Bayes判别 3 多总体的Bayes判别
1.一般讨论
dˆ12 dˆ12
(x) (x)
dˆ22 dˆ22
(x) (x)
---广义平方距离准则
dˆ
2 j
(x)
(x
x(
j) )Sj1(x x(
j) )
ln
|
Sj
|
2ln
pj
协方差矩阵相等的Bayes判别准则
x x
G1 G2
, ,
当 w1(x) w2 (x) 当w1(x) w2 (x)
x
G1,
广义平方距离：
d
2 j
(x)
(x μ j )T
Σj1(x μ j )
ln
|
Σj
|
-2 ln
pj
,
j
1,2
马氏平方距离
协方差阵/先验 概率相等,即为 距离判别准则
（2）两个总体协方差矩阵相等情形
总体 G j
~
N (μ j , Σ) ,
密度
f j (x)
1
(2 ) p/2 | Σ |1/2
exp{
Σ
1 j
(x
μ
j)
ln
|
Σj
|
-2 ln
p j}/(2
p
)2
exp{
1 2
d
2 j
(x)}/(2
)
p
/
2
大小相反
7
（1）两个总体协方差矩阵不相等的情形
Bayes判别准则化为广义距离准则
x
G1
,
x G2,
d12 d12
(x) (x)
d22 (x) d22 (x)
x G1, x G2,
P(G1 | x) P(G2 | x) P(G1 | x) P(G2 | x)
2．两个正态总体Bayes判别
设总体 G1,G2 服从正态分布 Gj ~ N(μ, Σ j ), 密度
f
j
(x)
(2
1 )p/2 |
Σ
j
|1/ 2
exp{
1 2
(x
μ
j
)T
Σ
1 j
(x
μ
j
)}
看大小
p j f j (x) exp{ln p j ln f j (x)}
exp
12{(x
μቤተ መጻሕፍቲ ባይዱ
j )T
若两类蠓虫协方差矩阵相等，假设总体Apf和Af均服从正 态分布，用Bayes判别法判别三个蠓虫属于哪一类？ (1.24,1.8)，(1.28,1.84)，（1.4，2.04）
4.3.1 Bayes判别的基本思想
G1, G2 ,, Gk — p 维总体，密度 f j (x) ，各总体先验概率
k
p j P(G j ) ， Pj 1 ，样品 x (x1, x2,, xp )T G? j 1
将待判样品x判属给后验概率最大的总体
P(Gi | x)
pi P(x | Gi )
d12
(x)
d
2 2
(x)
x G1, x G2,
w1 (x) w1 (x)
w2 (x) w2 (x)
一般准则
x G1, p1 f1(x) p2 f2 (x) x G2, p1 f1(x) p2 f2 (x)
9
样本Bayes判别准则
协方差矩阵不相等的Bayes判别准则
x x
G1, G2 ,
k
max j
P(x
|
G
j
)
,判
x
Gi
p j P(x | Gj ))
j 1
后验概率
先验概率
P( Ai
|
B)
P( Ai B) P(B)
P( Ai )P(B | Ai )
k
---Bayes(逆概)公式
P( Aj )P(B | Aj )
j 1
3
贝叶斯判别准则
寻找空间 Rp {(x1, x2,, xp )T | xk R} 最优划分：
4.3 Bayes判别分析
1 基本思想 2 两个总体的Bayes判别 3 多总体的Bayes判别
4.3.1Bayes判别基本思想
距离判别只要求知道总体数字特征，不涉 及总体的分布函数，当参数和协方差未知 时，就用样本均值和协方差矩阵来估计。 距离判别方法简单实用，但没有考虑到每 个总体出现的机会大小，即先验概率，没 有考虑到错判的损失。贝叶斯判别法正是 为了解决这两个问题提出的判别分析方法
，P(G2 | x)
p2 f2 (x) p1 f1(x) p2 f2 (x)
两个总体的Bayes判别准则
x G1, P(G1 | x) P(G2 | x) p1 f1(x) p2 f2 (x) x G2, P(G1 | x) P(G2 | x) p1 f1(x) p2 f2 (x)
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
mn
11
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
1 2
(x
μ
j
)T
Σ
1
(x
μ
j
)}
广义平方距离：
d
2 j
(x)
(x μ j )T
Σ1(x μ j ) 2ln
pj
ln
|
Σ|
d
2 2
(x)
-
d12
(x)
（2 w1
(x)
w2
(x)）
wj (x)
(μ j )T
Σ1x
1 2
(μ
j
)T
Σ1μ j ) ln
pj
后验概率准则：x G1,
x G2,
d12 (x) d22 (x)
x G2,
dˆ12 dˆ12
(x) (x)
dˆ22 dˆ22
(x) (x)
wj (x)
(x( j) )S1x
1 2
(x( j) )T
S1x( j)
ln
pj
dˆ
2 j
(x)
(x
μj)S1(x
μj )
2ln
pj
先验概率取 p1 p2 或 p j n j / n
误判率
x1, x2,, xn1 和 y1, y2,, yn2 来 自 G1, G2 全 体 训 练 样 本． N1, N2 -- G1, G2 样品被误判个数
4.3.2 两个总体的Bayes判别
G1, G2 — p 维总体，密度 f1(x), f2 (x) ，各总体先验概率 p1 P(G1), p2 P(G2 ) ， p1 p2 1.
样品 x (x1, x2,, xp )T 属于 G1, G2 的后验概率为
P(G1 | x)
p1 f1(x) p1 f1(x) p2 f2 (x)