判别分析-贝叶斯判别ppt课件

ql
fl
(x0
)

max
1ik
qi
fi
(x0
),
则x0判给 Gl。
若fi
(x)

(2
1 i
)1
2
exp[
1 2
(
x


(i)
)i
1 ( x


(i)
)]
则,
qi
fi
(
x)

qi
(2
1 i
)1
2
exp[ wenku.baidu.com
1 2
(
x


(i
)
)i
1
(
x


(i)
)]
上式两边取对数 ln(qi fi (x))
当协方差阵相等时
即1 k
判别函数退化为
zi (x) ln qi
1 (x μ(i) )Σ1(x μ(i) ) 2


1 [2 ln 2
qi
(x

μ(i)
)Σ 1 (x

μ(i) )]
令 Fi (x) 2ln qi (x μ(i) )Σ1(x μ(i))
因此有
y y

G1 ， G2 ，
如W（y） 如W（y）
0， 0。
2、当总体的协方差已知，但不相等
y G1， 如d 2 y，G1 d 2 y，G2 ，
y

G2
，
如d 2 y，G2 d 2 y，G1
d 2 (y,G2 ) d 2 (y,G1)
D1 x | q2C(1/ 2) f2 (x) q1C(2 /1) f1(x) 0
q2C(1/ 2) f2 (x) q1C(2 /1) f1(x) 0
f1(x) q2C(2 /1) f2 (x) q1C(1/ 2)
令 W (x) f1(x)
f2 ( x)
d q2C(1/ 2) q1C(2 /1)

ln
qi

1 ln 2
2

1 ln 2
| i
|

1 2
(
x


(i)
)i1
(
x


(i
)
)
去掉与i无关的项，等价的判别函数为：
zi (x)

ln
qi

1 2
ln
|
i
|

1 2
(
x


(i
)
)i1
(
x


(i
)
)
问题转化为若
Zl
(
x)

max[Z
1ik
i
(
x)]，则判
x Gl 。
Bayes判别准则为：
x G1 若v(x) d x G2 若v(x) d
特别地，若C(
j
/
i)

1 0
i j i j
k
hj (x) qiC( j / i) fi (x) i 1
k
hj (x) qi fi (x) i j
k
hj (x) qi fi (x) q j f j (x) i 1
N (0,22 ) N (3,12 ) N (2,0.52 )
按广义平方距离准则判断样品 x 2.5 应判
x

Gl
。
Pi (x)

2(ln
qi

1 μ Σ μ (i) 1 (i) 2

μ (i) Σ 1x)
令
mi (x)

ln
qi

1 μ Σ μ (i) 1 (i) 2

μ(i)Σ1x
问题转化为若 ml (x) m1iaxk [mi (x)]，则判 x Gl 。
当先验概率相等，即
hj
(x)

k

qi
fi
(x)

q
j
f
j
(x)越小
q j f j (x)越大
i 1
ql fl (x) max qi fi (x),
1ik
则 x判给Gl 。与标准Bayes判别等价
广义平方距离法
当错判C概(率j / i)

1 0
i j i j
定义样品X到总体Gi的广义平方距离为： Di2(X ) di2(X ) g1(i) g2(i), i 1,k
D1，D2，… ，Dk是R(p)的一个分划，判别法则为：
当样品X落入Di时，判 X Di i 1,2,3,,k
关键的问题是寻找D1，D2，… ，Dk分划，这 个分划应该使平均错判率最小。
【定义】（平均错判损失）
用 p( j / i) 表示将来自总体Gi的样品错判到总体 Gj的条件概率。
p( j / i) P( X Dj / Gi ) fi (x)dx i j
P(好人 / 做好事）

P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)

0.5 0.9
0.82
0.5 0.9 0.5 0.2
P(坏人 / 做好事）

P坏人P做好事 / 坏人 P好人P(做好事 / 好人) P(坏人)P(做好事
判别函数：
W (y) (y ) (y ）
a1( y1 1) ap ( yp p ) αy αμ
其中 1 2
2
1(1 2 ) (a1, a2,, ap )
如果W（y） 0，则G1 G2，y G1,相反则y G2
按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。
距离判别法
判别准则：对于任给一次观测值，若它与第 i 类 的重心距离最近，就认为它来自于第 i 类。
马氏距离
d 2 ( X ,Y ) ( X Y )1( X Y ) d 2 ( X ,G) ( X )1( X )

)' 1 2
(1

2
)
其中 1 2
2
不妨设 1 2 ，则当 x 时， X GA
P(X 2 )

P(X 2
2

1
2
2

2 )

P(X 2

2

1
2
2
)
P( X 2 2 1 2 )

2
1 (1 2 ) 2
然后比较其大小，选取其中最小的，则判定样 品属于该总体。
下面在k=2的情形下，计算作为例子，我们讨论。
ECM (D1, D2 )
q1C(2 /1) f1(x)dx q2C(1/ 2) f2 (x)dx
D2
D1
q1C(2 /1) f1(x)dx q2C(1/ 2) f2(x)dx
Dj
C(j/i)表示相应错判所造成的损失。
则平均错判损失为：
k
ECM qi C( j / i)P( j / i) i1 ji
使ECM最小的分划，是Bayes判别分析的解。
【定理】
若总体G1，G2，，Gk的先验概率为
qi ,i 1,2,3,,k
且相应的密度函数为fi (x)，损失为C( j / i)时，
两总体的距离判别
1、协方差相等
先考虑两个总体的情况，设有两个协差阵相同
的p维正态总体 G1和 G2，对给定的样本Y，判别一个
样本Y到底是来自哪一个总体，一个最直观的想法是 计算Y到两个总体的距离。我们用马氏距离来指定判 别规则，有：
y y

G1 ， G2 ，
如d 2 y，G1 d 2 y，G2 ， 如d 2 y，G2 d 2 y，G1
其中
g1 (i)

ln | Si 0，
|,
若各组的协方差阵i不全相等， 若各组的协方差阵i全相等；
g2
(i)

2ln 0，
|
qi
|,
若先验概率不全相等， 若先验概率全相等；
判别准则：
判X Gl , 当Dl2(X ) Di2(X )时(l i,i 1,, k)
练习：设三个总体 G1,G2 ,G3 的分布分别为
q1 qk
1 k
时
有 mi (x) 1 μ Σ μ (i) 1 (i) μ(i)Σ1x 2
完全成为距离判别法 。
二、 考虑错判损失的Bayes判别分析 设有总体 Gi (i 1,2,, k) ，Gi具有概率密度函
数 fi (x)。并且根据以往的统计分析，知道 Gi 出现 的概率为 qi，(q1 qk 1) 。
计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
则 X Gl
dl 2 ( X ) miin{di2 ( X )}
错判概率
由上面的分析可以看出，马氏距离判别法是合理的，但是这并 不意谓着不会发生误判。
设两总体
G
，
A
GB
分别服从
其线性判别函数为：
W
(x)

2(x
第五章 判别分析
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象 用某种方法已经分成若干类的情况下，确定新的样 品的观测数据属于那一类的统计分析方法。
判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。
判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。
划分的贝叶斯解为
Di

x
|
hi
(x)

min
1 jk
hj
(x)
,
i 1,2,3,, k
其中
k
hj (x) qiC( j / i) fi (x)
i 1
含义是：当抽取了一个未知总体的样品值x， 要判别它属于哪个总体，只要先计算出k个按先验概 率加权的误判平均损失
k
hj (x) qiC( j / i) fi (x) i 1
贝叶斯公式是一个我们熟知的公式
P(Bi
|
A)

P( A | Bi )P(Bi ) P( A | Bi )P(Bi )
设有总体 Gi (i 1,2,, k) ， Gi 具有概率密度函 数 fi (x) 。并且根据以往的统计分析，知道 Gi出现的概 率为qi 。即当样本 x0 发生时，求 x0属于某类的概率。 由贝叶斯公式计算后验概率，有：
R D1
D1
q1C(2 /1) q1C(2 /1) f1(x)dx
D1
q2C(1/ 2) f2 (x)dx
D1
q1C(2 /1) [q2C(1/ 2) f2 (x) q1C(2 /1) f1(x)]dx
D1
由此可见，被积函数在D1是负数时，可使ECM 最小，则有分划
/
坏人)

0.5 0.2
0.18
0.5 0.9 0.5 0.2
距离判别简单直观，很实用，但是距离判别 的方法把总体等同看待，没有考虑到总体会以不 同的概率(先验概率)出现，也没有考虑误判之后 所造成的损失的差异。
一个好的判别方法，既要考虑到各个总体出 现的先验概率，又要考虑到错判造成的损失，贝 叶斯(Bayes)判别就具有这些优点，其判别效果 更加理想，应用也更广泛。
(y 2 )21(y 2 ) (y 1)11(y 1)
3、当总体的协方差未知时，用样本的离差阵代替，
步骤如下：
（1）分别计算各组的离差矩阵 A1和 A2；
（2）计算 ˆ A1 A2
n1 n2 2
（3）计算类的均值 1, 2
（4）计算
2 ln qi x' Σ1x μ(i) ' Σ1x x' Σ1μ(i) μ(i) ' Σ μ 1 (i)
令 Pi (x) 2 ln qi 2μ(i)Σ1x μ Σ μ (i) 1 (i)
问题转化为若
Pl (x)

min[
1ik
Pi
(
x)]
，则判
当两总体靠得比较近时，即两总体的均值 差异较小时，无论用何种判别方法，判错的概 率都比较大，这时的判别分析也是没有意义的， 因此只有当两总体的均值有明显差异时，进行 判别分析才有意义，为此，要对两总体的均值 差异性进行检验.
练习：P211:5-1
贝叶斯判别法
一 、标准的Bayes判别
办公室新来了一个雇员小王，小王是好人还是坏 人大家都在猜测。按人们主观意识，一个人是好人或 坏人的概率均为0.5。坏人总是要做坏事，好人总是 做好事，偶尔也会做一件坏事，一般好人做好事的概 率为0.9，坏人做好事的概率为0.2，一天，小王做了 一件好事，小王是好人的概率有多大，你现在把小王 判为何种人。
P(Gi
|
x0 )

qi fi (x0 ) q j f j (x0 )
判别规则
P(Gl
|
x0 )

ql fl (x0 ) q j f j (x0 )
max
1ik
qi fi (x0 ) q j f j (x0 )
则 x0判给Gl，在正态的假定下，fi (x)为正态分布的 密度函数。
下面讨论总体服从正态分布的情形
ˆ
1,
1


2
,
1
2

2
（5）计算 判别函数的系数 1(1 2 )
判别函数的常数项（
1
2
2）
1 ( 1

2
)
（6）生成判别函数，将检验样本代入，判类。
多总体的距离判别法
设有 k 个 m元总体G1,,Gk ，分别有均值向量 i和协方
差阵 i，对任给的m元样品 X，判断它来自哪个总体