判别分析-贝叶斯判别完整版.ppt

贝叶斯公式是一个我们熟知的公式
P(Bi
|
A)
P( A | Bi )P(Bi ) P(优A选| Bi )P(Bi )
15
设有总体 Gi (i 1,2,,k) ， Gi 具有概率密度函 数 fi (x) 。并且根据以往的统计分析，知道 Gi出现的概 率为qi 。即当样本 x0 发生时，求 x0属于某类的概率。 由贝叶斯公式计算后验概率，有：
优选
13
P(好人 / 做好事）
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.9
0.82
0.5 0.9 0.5 0.2
P(坏人 / 做好事）
P坏人P做好事 / 坏人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.2
0.18
步骤如下：
（1）分别计算各组的离差矩阵A1和A2；
（2）计算 ˆ A1 A2
n1 n2 2
（3）计算类的均值 1, 2
（4）计算
ˆ 1,
1
2
,
1
2
2
（5）计算 判别函数的系数 1(1 2 )
判别函数的常数项（
1
2
2）
1 ( 1
2
)
（6）生成判别函数，将检验样本代入，判类。
优选
8
多总体的距离判别法
设有
k
个
m元总体G1,,Gk ，分别有均值向量
和协方
i
差阵 i，对任给的m元样品 X，判断它来自哪个总体
计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
dl 2 ( X ) miin{di2 ( X )}
则 X Gl
优选
9
错判概率
由上面的分析可以看出，马氏距离判别法是合理的，但是这并 不意谓着不会发生误判。
设两总体 GA， GB 分别服从 其线性判别函数为：
W
(x)
2(x
)'
1
2
(1
2
)
其中 1 2
2
不妨设 1 2 ，则当 x 时， X GA
优选
10
P(X 2 )
P(X 2
2
1
2
2
2 )
P(X 2
2
1
2
2
)
P( X 2 2 1 2 )
2
1 (1 2 ) 2
优选
11
当两总体靠得比较近时，即两总体的均值 差异较小时，无论用何种判别方法，判错的概 率都比较大，这时的判别分析也是没有意义的， 因此只有当两总体的均值有明显差异时，进行 判别分析才有意义，为此，要对两总体的均值 差异性进行检验.
P(Gi
|
x0 )
qi fi (x0 ) q j f j (x0 )
判别规则
P(Gl
|
x0 )
ql fl (x0 ) q j f j (x0 )
max
1ik
qi fi (x0 ) q j f j (x0 )
则 x0判给Gl，在正态的假定下，fi (x)为正态分布的 密度函数。
优选
16
下面讨论总体服从正态分布的情形
先考虑两个总体的情况，设有两个协差阵相同
的p维正态总体 G1和 G2，对给定的样本Y，判别一个
样本Y到底是来自哪一个总体，一个最直观的想法是 计算Y到两个总体的距离。我们用马氏距离来指定判 别规则，有：
y G1， 如d 2 y，G1 d 2 y，G2 ，
y
G2
，
如d 2 y，G2 d 2 y，G1
练习：P211:5-1
优选
12
贝叶斯判别法
一 、标准的Bayes判别
办公室新来了一个雇员小王，小王是好人还是坏 人大家都在猜测。按人们主观意识，一个人是好人或 坏人的概率均为0.5。坏人总是要做坏事，好人总是 做好事，偶尔也会做一件坏事，一般好人做好事的概 率为0.9，坏人做好事的概率为0.2，一天，小王做了 一件好事，小王是好人的概率有多大，你现在把小王 判为何种人。
第五章 判别分析
优选
1
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象 用某种方法已经分成若干类的情况下，确定新的样 品的观测数据属于那一类的统计分析方法。
优选
2
判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。
判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。
ql
fl
(x0
)
max
1ik
qi
fi
(x0 ),
则x0判给 Gl。
若fi
(x)
(2
1 i
)1
2
exp[
1 2
Hale Waihona Puke (x(i)
)i
1 ( x
(i)
)]
则,
qi
fi
(
x)
qi
(2
1 i
)1
2
exp[
1 2
(
x
(i)
)i 1 ( x
(i)
)]
上式两边取对数 ln(qi fi (x))
ln
qi
1 ln 2
2
1 ln 2
| i
|
1 2
(
x
(i)
)i1
(
x
(i)
)
优选
17
去掉与i无关的项，等价的判别函数为：
zi (x)
ln
qi
1 2
ln
|
i
|
1 2
(
x
(i)
)i1
(
x
(i
)
)
问题转化为若 Zl (x) m1iaxk [Zi (x)]，则判 x Gl 。
0.5 0.9 0.5 0.2 优选
14
距离判别简单直观，很实用，但是距离判别 的方法把总体等同看待，没有考虑到总体会以不 同的概率(先验概率)出现，也没有考虑误判之后 所造成的损失的差异。
一个好的判别方法，既要考虑到各个总体出 现的先验概率，又要考虑到错判造成的损失，贝 叶斯(Bayes)判别就具有这些优点，其判别效果 更加理想，应用也更广泛。
按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。
优选
3
距离判别法
判别准则：对于任给一次观测值，若它与第 i 类 的重心距离最近，就认为它来自于第 i 类。
马氏距离
d 2 (X ,Y ) (X Y )1(X Y ) d 2 (X ,G) (X )1(X )
优选
4
两总体的距离判别
1、协方差相等
优选
5
判别函数：
W (y) (y ) (y ）
a1( y1 1) ap ( yp p ) αy αμ
其中 1 2
2
1(1 2 ) (a1, a2,, ap )
如果W（y） 0，则G1 G2，y G1,相反则y G2
因此有
y y
G1 ， G2 ，
如W（y） 如W（y）
0， 0。
优选
6
2、当总体的协方差已知，但不相等
y y
G1 ， G2 ，
如d 2 y，G1 d 2 y，G2 ， 如d 2 y，G2 d 2 y，G1
d 2 (y,G2 ) d 2 (y,G1)
(y 2 )21(y 2 ) (y 1)11(y 1)
优选
7
3、当总体的协方差未知时，用样本的离差阵代替，