判别分析-贝叶斯判别
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
上式两边取对数
ln(qi f i ( x))
1 1 1 (i ) 1 (i ) ln qi ln 2 ln | i | ( x ) i ( x ) 2 2 2
去掉与i无关的项，等价的判别函数为：
1 1 (i ) 1 (i ) ( x ) ( x ) ln q ln | | zi ( x ) i i i 2 2
1
1i k
(i)
(i)
问题转化为若 Pl ( x) min[ Pi ( x)] ，则判 x Gl 。
1 (i) 1 (i) Pi (x) 2(ln qi μ Σ μ μ(i) Σ 1x) 2
令
1 (i) 1 (i) mi (x) ln qi μ Σ μ μ(i) Σ 1x 2
h j (x) qiC ( j / i ) f i (x)
i 1 k
然后比较其大小，选取其中最小的，则判定样 品属于该总体。 下面在k=2的情形下，计算作为例子，我们讨论。
ECM ( D1 , D2 ) q1C (2 / 1) f1 ( x)dx q2C (1/ 2) f 2 ( x)dx
下面讨论总体服从正态分布的情形
ql f l ( x0 ) max qi f i ( x0 ), 则x0 判给 Gl。 1i k
1 1 1 (i ) (i ) 若f i ( x) exp[ ( x ) ( x )] i 12 (2 i ) 2
1 1 1 (i ) (i ) 则, qi f i ( x) qi exp[ ( x ) i ( x )] 12 (2 i ) 2
设有总体 Gi (i 1,2,, k ) ， Gi具有概率密度函
数 f i ( x)。并且根据以往的统计分析，知道 Gi 出现 的概率为 qi ，(q1 qk 1) 。
D1，D2，… ，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，判
X Di i 1,2,3,, k
qi fi ( x0 ) P(Gi | x0 ) q j f j ( x0 )
判别规则
ql fl ( x0 ) qi f i ( x0 ) P(Gl | x0 ) max q j f j ( x0 ) 1ik q j f j ( x0 )
则 x0判给 Gl ，在正态的假定下， f i ( x)为正态分布的 密度函数。
判别函数：
W (y ) (y ) (y ）
a1 ( y1 1 ) a p ( y p p ) αy αμ
其中
1 2
2
( 1 2 ) (a1 , a2 ,, a p )
1
如果W（y） 0，则G1 G2，y G1 , 相反则y G2
[ Z i ( x)]，则判 x Gl 。 问题转化为若 Z l ( x) max 1i k
当协方差阵相等时
即1 k
判别函数退化为
1 zi ( x) ln qi (x μ (i) )Σ 1 (x μ (i) ) 2 1 (i) 1 (i) [2 ln qi (x μ )Σ (x μ )] 2
0.5 0.2 0.18 0.5 0.9 0.5 0.2
距离判别简单直观，很实用，但是距离判别 的方法把总体等同看待，没有考虑到总体会以不 同的概率(先验概率)出现，也没有考虑误判之后 所造成的损失的差异。 一个好的判别方法，既要考虑到各个总体出 现的先验概率，又要考虑到错判造成的损失，贝 叶斯 (Bayes) 判别就具有这些优点，其判别效果 更加理想，应用也更广泛。 贝叶斯公式是一个我们熟知的公式
D1
由此可见，被积函数在D1是负数时，可使ECM
最小，则有分划
D1 x | q2C(1 / 2) f 2 ( x) q1C(2 / 1) f1 ( x) 0
q2C (1/ 2) f 2 ( x) q1C (2 / 1) f1 ( x) 0
f1 ( x) q2C (2 / 1) f 2 ( x) q1C (1 / 2)
d 2 (y, G2 ) d 2 (y, G1 )
1 1 (y 2 ) 2 (y 2 ) (y 1 ) 1 (y 1 )
3、当总体的协方差未知时，用样本的离差阵代替，
步骤如下：
（1）分别计算各组的离差矩阵 A1 和A2；
（2）计算
A1 A2 ˆ n1 n2 2 （3）计算类的均值 1, 2 1 2 1 ˆ , , （4）计算 1 2 2
0， y G1 ， 如W（y） 0。 y G2 ， 如W（y）
因此有
2、当总体的协方差已知，但不相等
2 2 y，G2 ， y G ， 如 d y ， G d 1 1 2 2 y，G1 y G ， 如 d y ， G d 2 2
第五章
判别分析
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象
用某种方法已经分成若干类的情况下，确定新的样
品的观测数据属于那一类的统计分析方法。
判别准则：
用于衡量新样品与各已知组别接近程度的思路原则。
判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。 按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。
Di x | hi (x) min h j (x) ,
1 j k
i 1,2,3,, k
其中 h j (x) qiC ( j / i ) fi (x)
i 1
k
含义是：当抽取了一个未知总体的样品值x， 要判别它属于哪个总体，只要先计算出k个按先验概 率加权的误判平均损失
令
f1 ( x) W ( x) f 2 ( x)
q2C (1 / 2) d q1C (2 / 1)
x G1 x G2 若 v( x) d 若 v( x) d
1 ( 1 2 ) （5）计算 判别函数的系数
判别函数的常数项（ 1
2
2
1 ( 1 2 ) ）
（6）生成判别函数，将检验样本代入，判类。
多总体的距离判别法
设有 k 个 m元总体 G1 ,, Gk ，分别有均值向量 i和协方 差阵 i，对任给的 m元样品 X，判断它来自哪个总体 计算 X 到 k 个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
D2 D1
q1C (2 / 1) f1 ( x)dx q2C (1/ 2) f 2 ( x)dx
R D1 D1
q1C (2 / 1) q1C (2 / 1) f1 ( x)dx
D1
q2C (1 / 2) f 2 ( x)dx
D1
q1C (2 / 1) [q2C (1 / 2) f 2 ( x) q1C (2 / 1) f1 ( x)]dx
当两总体靠得比较近时，即两总体的均值
差异较小时，无论用何种判别方法，判错的概
率都比较大，这时的判别分析也是没有意义的， 因此只有当两总体的均值有明显差异时，进行 判别分析才有意义，为此，要对两总体的均值 差异性进行检验.
练习：P211:5-1
贝叶斯判别法
一 、标准的Bayes判别 办公室新来了一个雇员小王，小王是好人还是坏 人大家都在猜测。按人们主观意识，一个人是好人或 坏人的概率均为0.5。坏人总是要做坏事，好人总是 做好事，偶尔也会做一件坏事，一般好人做好事的概 率为0.9，坏人做好事的概率为0.2，一天，小王做了 一件好事，小王是好人的概率有多大，你现在把小王 判为何种人。
P(好人 / 做好事）ቤተ መጻሕፍቲ ባይዱ
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人) P(做好事 / 坏人)
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P(坏人 / 做好事）
P坏人P做好事 / 坏人 P好人P(做好事 / 好人) P(坏人) P(做好事 / 坏人)
关键的问题是寻找D1，D2，… ，Dk分划，这 个分划应该使平均错判率最小。
【定义】（平均错判损失）
用 p( j / i ) 表示将来自总体Gi的样品错判到总体 Gj的条件概率。
p( j / i) P( X D j / Gi )
Dj
f ( x)dx
i
i j
C(j/i)表示相应错判所造成的损失。 则平均错判损失为：
距离判别法
判别准则：对于任给一次观测值，若它与第 i 类 的重心距离最近，就认为它来自于第 i 类。
马氏距离
d 2 ( X , Y ) ( X Y ) 1 ( X Y )
d 2 ( X , G) ( X ) 1 ( X )
两总体的距离判别
1、协方差相等
P( A | Bi ) P( Bi ) P( Bi | A) P( A | Bi ) P( Bi )
设有总体 Gi (i 1,2,, k ) ， Gi 具有概率密度函
数 f i ( x) 。并且根据以往的统计分析，知道 Gi出现的概 率为 qi 。即当样本 x0 发生时，求 x0 属于某类的概率。 由贝叶斯公式计算后验概率，有：
不妨设 1 2 ，则当 x 时， X GA
P( X 2 ) P( X 2 2
1 2
2 1 2 P( X 2 2 ) 2
2 )
X 2 2 1 2 P( ) 2
1 (
1 2 ) 2
d l ( X ) min{d i ( X )}
i 2 2
则 X Gl
错判概率
由上面的分析可以看出，马氏距离判别法是合理的，但是这并 不意谓着不会发生误判。 设两总体 G A， GB 分别服从 其线性判别函数为：
W ( x) 2( x )'
其中
1
1 2
2
2
( 1 2 )
[mi ( x)]，则判 x Gl 。 问题转化为若 ml ( x) max 1i k
1 当先验概率相等，即 q1 qk 时 k
有
mi ( x) 1 μ (i) Σ 1μ (i) μ (i)Σ 1x
2
完全成为距离判别法 。
二、 考虑错判损失的Bayes判别分析
令
Fi ( x) 2 ln qi (x μ(i) )Σ1 (x μ(i) )
2 ln qi x' Σ1x μ(i) ' Σ1x x' Σ1μ(i) μ(i) ' Σ1μ(i)
令
Pi ( x) 2 ln qi 2μ Σ x μ Σ 1μ(i)
ECM qi C ( j / i ) P( j / i )
i 1 j i
k
使ECM最小的分划，是Bayes判别分析的解。
【定理】 若总体G1，G2，，Gk的先验概率为
qi , i 1,2,3,, k
且相应的密度函数为 fi ( x)，损失为C ( j / i)时， 划分的贝叶斯解为
先考虑两个总体的情况，设有两个协差阵 相同 的p维正态总体 G1和 G2，对给定的样本Y ，判别一个 样本Y到底是来自哪一个总体，一个最直观的想法是 计算Y到两个总体的距离。我们用马氏距离来指定判 别规则，有：
2 2 y，G2 ， y G ， 如 d y ， G d 1 1 2 2 y，G1 y G ， 如 d y ， G d 2 2
ln(qi f i ( x))
1 1 1 (i ) 1 (i ) ln qi ln 2 ln | i | ( x ) i ( x ) 2 2 2
去掉与i无关的项，等价的判别函数为：
1 1 (i ) 1 (i ) ( x ) ( x ) ln q ln | | zi ( x ) i i i 2 2
1
1i k
(i)
(i)
问题转化为若 Pl ( x) min[ Pi ( x)] ，则判 x Gl 。
1 (i) 1 (i) Pi (x) 2(ln qi μ Σ μ μ(i) Σ 1x) 2
令
1 (i) 1 (i) mi (x) ln qi μ Σ μ μ(i) Σ 1x 2
h j (x) qiC ( j / i ) f i (x)
i 1 k
然后比较其大小，选取其中最小的，则判定样 品属于该总体。 下面在k=2的情形下，计算作为例子，我们讨论。
ECM ( D1 , D2 ) q1C (2 / 1) f1 ( x)dx q2C (1/ 2) f 2 ( x)dx
下面讨论总体服从正态分布的情形
ql f l ( x0 ) max qi f i ( x0 ), 则x0 判给 Gl。 1i k
1 1 1 (i ) (i ) 若f i ( x) exp[ ( x ) ( x )] i 12 (2 i ) 2
1 1 1 (i ) (i ) 则, qi f i ( x) qi exp[ ( x ) i ( x )] 12 (2 i ) 2
设有总体 Gi (i 1,2,, k ) ， Gi具有概率密度函
数 f i ( x)。并且根据以往的统计分析，知道 Gi 出现 的概率为 qi ，(q1 qk 1) 。
D1，D2，… ，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，判
X Di i 1,2,3,, k
qi fi ( x0 ) P(Gi | x0 ) q j f j ( x0 )
判别规则
ql fl ( x0 ) qi f i ( x0 ) P(Gl | x0 ) max q j f j ( x0 ) 1ik q j f j ( x0 )
则 x0判给 Gl ，在正态的假定下， f i ( x)为正态分布的 密度函数。
判别函数：
W (y ) (y ) (y ）
a1 ( y1 1 ) a p ( y p p ) αy αμ
其中
1 2
2
( 1 2 ) (a1 , a2 ,, a p )
1
如果W（y） 0，则G1 G2，y G1 , 相反则y G2
[ Z i ( x)]，则判 x Gl 。 问题转化为若 Z l ( x) max 1i k
当协方差阵相等时
即1 k
判别函数退化为
1 zi ( x) ln qi (x μ (i) )Σ 1 (x μ (i) ) 2 1 (i) 1 (i) [2 ln qi (x μ )Σ (x μ )] 2
0.5 0.2 0.18 0.5 0.9 0.5 0.2
距离判别简单直观，很实用，但是距离判别 的方法把总体等同看待，没有考虑到总体会以不 同的概率(先验概率)出现，也没有考虑误判之后 所造成的损失的差异。 一个好的判别方法，既要考虑到各个总体出 现的先验概率，又要考虑到错判造成的损失，贝 叶斯 (Bayes) 判别就具有这些优点，其判别效果 更加理想，应用也更广泛。 贝叶斯公式是一个我们熟知的公式
D1
由此可见，被积函数在D1是负数时，可使ECM
最小，则有分划
D1 x | q2C(1 / 2) f 2 ( x) q1C(2 / 1) f1 ( x) 0
q2C (1/ 2) f 2 ( x) q1C (2 / 1) f1 ( x) 0
f1 ( x) q2C (2 / 1) f 2 ( x) q1C (1 / 2)
d 2 (y, G2 ) d 2 (y, G1 )
1 1 (y 2 ) 2 (y 2 ) (y 1 ) 1 (y 1 )
3、当总体的协方差未知时，用样本的离差阵代替，
步骤如下：
（1）分别计算各组的离差矩阵 A1 和A2；
（2）计算
A1 A2 ˆ n1 n2 2 （3）计算类的均值 1, 2 1 2 1 ˆ , , （4）计算 1 2 2
0， y G1 ， 如W（y） 0。 y G2 ， 如W（y）
因此有
2、当总体的协方差已知，但不相等
2 2 y，G2 ， y G ， 如 d y ， G d 1 1 2 2 y，G1 y G ， 如 d y ， G d 2 2
第五章
判别分析
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象
用某种方法已经分成若干类的情况下，确定新的样
品的观测数据属于那一类的统计分析方法。
判别准则：
用于衡量新样品与各已知组别接近程度的思路原则。
判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。 按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。
Di x | hi (x) min h j (x) ,
1 j k
i 1,2,3,, k
其中 h j (x) qiC ( j / i ) fi (x)
i 1
k
含义是：当抽取了一个未知总体的样品值x， 要判别它属于哪个总体，只要先计算出k个按先验概 率加权的误判平均损失
令
f1 ( x) W ( x) f 2 ( x)
q2C (1 / 2) d q1C (2 / 1)
x G1 x G2 若 v( x) d 若 v( x) d
1 ( 1 2 ) （5）计算 判别函数的系数
判别函数的常数项（ 1
2
2
1 ( 1 2 ) ）
（6）生成判别函数，将检验样本代入，判类。
多总体的距离判别法
设有 k 个 m元总体 G1 ,, Gk ，分别有均值向量 i和协方 差阵 i，对任给的 m元样品 X，判断它来自哪个总体 计算 X 到 k 个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
D2 D1
q1C (2 / 1) f1 ( x)dx q2C (1/ 2) f 2 ( x)dx
R D1 D1
q1C (2 / 1) q1C (2 / 1) f1 ( x)dx
D1
q2C (1 / 2) f 2 ( x)dx
D1
q1C (2 / 1) [q2C (1 / 2) f 2 ( x) q1C (2 / 1) f1 ( x)]dx
当两总体靠得比较近时，即两总体的均值
差异较小时，无论用何种判别方法，判错的概
率都比较大，这时的判别分析也是没有意义的， 因此只有当两总体的均值有明显差异时，进行 判别分析才有意义，为此，要对两总体的均值 差异性进行检验.
练习：P211:5-1
贝叶斯判别法
一 、标准的Bayes判别 办公室新来了一个雇员小王，小王是好人还是坏 人大家都在猜测。按人们主观意识，一个人是好人或 坏人的概率均为0.5。坏人总是要做坏事，好人总是 做好事，偶尔也会做一件坏事，一般好人做好事的概 率为0.9，坏人做好事的概率为0.2，一天，小王做了 一件好事，小王是好人的概率有多大，你现在把小王 判为何种人。
P(好人 / 做好事）ቤተ መጻሕፍቲ ባይዱ
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人) P(做好事 / 坏人)
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P(坏人 / 做好事）
P坏人P做好事 / 坏人 P好人P(做好事 / 好人) P(坏人) P(做好事 / 坏人)
关键的问题是寻找D1，D2，… ，Dk分划，这 个分划应该使平均错判率最小。
【定义】（平均错判损失）
用 p( j / i ) 表示将来自总体Gi的样品错判到总体 Gj的条件概率。
p( j / i) P( X D j / Gi )
Dj
f ( x)dx
i
i j
C(j/i)表示相应错判所造成的损失。 则平均错判损失为：
距离判别法
判别准则：对于任给一次观测值，若它与第 i 类 的重心距离最近，就认为它来自于第 i 类。
马氏距离
d 2 ( X , Y ) ( X Y ) 1 ( X Y )
d 2 ( X , G) ( X ) 1 ( X )
两总体的距离判别
1、协方差相等
P( A | Bi ) P( Bi ) P( Bi | A) P( A | Bi ) P( Bi )
设有总体 Gi (i 1,2,, k ) ， Gi 具有概率密度函
数 f i ( x) 。并且根据以往的统计分析，知道 Gi出现的概 率为 qi 。即当样本 x0 发生时，求 x0 属于某类的概率。 由贝叶斯公式计算后验概率，有：
不妨设 1 2 ，则当 x 时， X GA
P( X 2 ) P( X 2 2
1 2
2 1 2 P( X 2 2 ) 2
2 )
X 2 2 1 2 P( ) 2
1 (
1 2 ) 2
d l ( X ) min{d i ( X )}
i 2 2
则 X Gl
错判概率
由上面的分析可以看出，马氏距离判别法是合理的，但是这并 不意谓着不会发生误判。 设两总体 G A， GB 分别服从 其线性判别函数为：
W ( x) 2( x )'
其中
1
1 2
2
2
( 1 2 )
[mi ( x)]，则判 x Gl 。 问题转化为若 ml ( x) max 1i k
1 当先验概率相等，即 q1 qk 时 k
有
mi ( x) 1 μ (i) Σ 1μ (i) μ (i)Σ 1x
2
完全成为距离判别法 。
二、 考虑错判损失的Bayes判别分析
令
Fi ( x) 2 ln qi (x μ(i) )Σ1 (x μ(i) )
2 ln qi x' Σ1x μ(i) ' Σ1x x' Σ1μ(i) μ(i) ' Σ1μ(i)
令
Pi ( x) 2 ln qi 2μ Σ x μ Σ 1μ(i)
ECM qi C ( j / i ) P( j / i )
i 1 j i
k
使ECM最小的分划，是Bayes判别分析的解。
【定理】 若总体G1，G2，，Gk的先验概率为
qi , i 1,2,3,, k
且相应的密度函数为 fi ( x)，损失为C ( j / i)时， 划分的贝叶斯解为
先考虑两个总体的情况，设有两个协差阵 相同 的p维正态总体 G1和 G2，对给定的样本Y ，判别一个 样本Y到底是来自哪一个总体，一个最直观的想法是 计算Y到两个总体的距离。我们用马氏距离来指定判 别规则，有：
2 2 y，G2 ， y G ， 如 d y ， G d 1 1 2 2 y，G1 y G ， 如 d y ， G d 2 2