第七讲 统计分类(二)--贝叶斯分类器h

11 0, 12 6, 21 1, 22 0
由上例中计算出的后验 概率：P (1 x) 0.818, P ( 2 x) 0.182 条件风险：R (1 x) 1 j P ( j x) 12 P( 2 x) 1.092
j 1 2
R ( 2 x) 21 P (1 x) 0.818 因为R(1 x) R ( 2 x) x 异常细胞,因决策1类风险大。 因12＝6较大，决策损失起决定 作用。

统计学以数据为研究内容，但仅仅收集数 据，决不构成统计学研究的全部。

统计学是面对不确定情况寻求决策、制定 方法的一门科学
人力、财力、时间等的限制，只有部分或 少量数据，要推断所有数据的的特征 PR中的分类问题是根据识别对象特征的观 测值，将其分到相应的类别中去。


一、贝叶斯分类原理：
1、贝叶斯公式及其意义：
p( x i ) p( x j )
ij＝
P( j ) P( i )
则最大似然比贝叶斯分类的判别规则可以表达为： 若 Lij>θij，则x ∈ ωk ，i、j=1,2,….c,

p(x)为全概率密度，可由全概率公式计算得到。
以细胞识别为例：

细胞切片的显微图像经过一定的预处理后，抽取出d个特 征。每一细胞可用一个d维的特征向量x表示。希望根据x 的值分到正常类ω1或异常类ω2中去。 假定可以得到Pr（ω1）、Pr（ω2），[Pr（ω1）+ Pr （ω2） =1] ,和p(x|ω1)、p(x|ω2) 。 如果只有先验概率，那么合理的选择是把x分到Pr（ω1 ）、 Pr（ω2）大的一类中去。一般由于Pr（ω1）>Pr（ω2）， 这样就把所有的细胞分到了正常的一类。失去了意义。
r 1 r 2
当 P ω x P ω x
• 令t是两类的分界面，当x是一维时，即x轴上的一点。
Pre
P ω x px d x P ω x px d x px ω P ω d x px ω P ω d x P ω px ω d x P ω px ω d x Prω2 ε 2 Prω1 ε1
2、作为统计判别问题的模式识别：
以两类分类问题来讨论： 设有两个类别ω1 和ω2 ，理想情况， ω1 和ω2 决定了特征 空间中的两个决策区域。
•确定性分类： 我们任取一个样本x，当它位于ω1 的决策区域时，我们判 别x ∈ω1 ；当它位于ω2的决策区域时，我们判别x ∈ω1 。也 可以说：当x位于ω1 的决策区域时，它属于ω1 的概率为1，属 于ω2的概率为0。 •随机性统计分类： 如我们任取一个样本x，当它位于ω1 的决策区域时，它属 于ω1 的概率为小于1，属于ω2 的概率大于0，确定性分类问题 就变成了依照概率判决规则进行决策的统计判别问题。
5 贝叶斯分类
p(x|ω1)
p(ω1)
估计密度
函数 p(x|ωi)
p(x|ω2)


p(ω2)
x
i=1，
2,…，M
p(x|ωM)
p(ωM)
最大 值选 择器
判别
结果
贝叶斯分类器
…

贝叶斯分类的前提
要决策分类的类别数是一定的。 各类别总体的概率分布是一定的。

二、几种贝叶斯分类判别规则：
1、最小错误率贝叶斯分类：
i 1 j i j i M
1 P( i x) 后验概率 R( i x)最小，就相当于 ( i x)最大， P 这时便得到最小错误率 分类器。
2、最小风险贝叶斯分类：
例：已知正常细胞先验 概率为P (1 ) 0.9, 异常为P ( 2 ) 0.1, 从类条件概率密度分布 曲线上查的P ( x i ) 0.2, P( x i ) 0.4，
为评估分类错误的风险，引入以下概念： •行动αi：表示把模式x判决为ωi类的一次动作。
•损失函数λij=λ(αi|ωj)：表示模式x本来属于ωj类错 判为ωi所受损失
•条件平均风险（也叫条件期望损失）：对未知x采取一 个判决行动αi(x)所冒的风险（或所付出的代价）
R i x E i j i j P j x , i 1,2,...,a.(a M )
第二类和第四类属于分类错误。 •显然，第四类错误带来的损失大于第二类错误带来的损失。
地震预报
预报为有震，要作准备，要付出代价，但地震没有发生； 预报为无震，但地震发生了，要遭受损失。
细胞识别
将正常划为异常，给病人增加精神负担，造成恐慌； 将异常划为正常，漏诊，耽误早期诊断和治疗。
2、最小风险贝叶斯分类：
若有c个分类，若取得样本的特征向量x的条件下， 某个类对应的后验概率后验概率P(ωk|x)最大，则判别x ∈ωk发生错误分类的可能性最小，因此，以下判别规则 称为最小错误率贝叶斯分类：
若wenku.baidu.com
P(ωk|x)＝max｛ P(ωj|x) ｝，
j＝1,2,……c
则
x ∈ ωk
1、最小错误率贝叶斯分类
例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细 胞x，先从类条件概率密度分布曲线上查到： P(x/ ω 1)=0.2， P(x/ ω 2)=0.4 解：该细胞属于正常细胞还是异常细胞，先计算后验概率
Prt e A B C
Prt e A B C D
∴ t应是错误率最小的分界点，相应的规则也是错误率最 小。
• 对于多类情况，最小错误率决策规则为：
若 或若
Pr ωi x max Pr ωj x ，则
j 1，， ，c 2


x ωi
Prωi px ωi max Prωj px ωj
,j=1,2,….c,j≠k;
P(k ) p(x k ) > P( j ) p(x j ) ,j=1,2,….c,j≠k; p( x k ) P ( j ) > ,j=1,2,….c,j≠k; p( x j ) P ( k )
3、最大似然比贝叶斯分类：
定义：
似然比 L ij＝ 判别阈值
P( ABk ) P( Bk ) p( A Bk ) n P( Bk A) p( A) P( Bi ) p( A Bi )
i 1
P(Bk|A)是事件A发生时事件Bk发生的条件概率； P(Bk)是事件Bk发生的概率； p(A|Bk)是事件Bk发生时事件A发生的条件概率密度； p(A)是事件A发生的条件概率密度； •贝叶斯公式表达了两个相关事件在先后发生时的推理关系
t t r 2 r 1 t
2 r 2 1 r 1 t
r
2
2
r
1
1
R1
R2
• 要使Pr（e）是最小的，可从两个思路看： 1. 要使Pre Pre x px d x最小，使对每个x，Pr（e|x）都 要最小。所以取后验概率最大的。
2. 假如将分界面移到tt’点
Rai x 2 a ，ω P ω x ，i 1，， ，m
i j r j j 1
3. 从得到的m个条件风险中，选最小的。 即 若 Rak x min Rai x ，则采用决策 ak 。
i 1，， ，m 2
2、最小风险贝叶斯分类：
•最小风险贝叶斯判别规则：
若R k x min R i x , 则x k
i 1, 2 ,..., c
0, i j时 用0 1函数 : ( j j ) ij 1, i j时 R( i x) ( i j ) P( j x) ij P( j x) P( j x)
3、最大似然比贝叶斯分类：
在最小错误率贝叶斯分类中， P(ωk|x)＝max｛ P(ωj|x) ｝，则 x ∈ ωk
j＝1,2,……c
则有： P(ωk|x)> P(ωj|x),j=1,2,….c,j≠k; 即
P( k ) p( x k ) p( x )
>
P( j ) p( x j ) p( x )
4、后验概率的获得：
后验概率是无法直接得到的，因此需要根据推理计 算，由已知的概率分布情况获得。
根据贝叶斯公式可得：
P( j x)
P( j ) p( x j )
P( j ) p(x j )
i 1
n

P( j ) p( x j ) p( x )
其中： p(x| ω j)为类ω j所确定的决策区域中，特征向量x出现 的概率密度，称为类条件概率密度，又称为似然函数。
M j 1


• 对于实际问题，最小风险的贝叶斯决策可按如下步 骤进行：
1. 根据Pr（ωj），p(x|ωj)，j=1，2，…，c，以及给出 的x，计算后验概率
Pr ωj x

c
p x ωj Prωj
px ωi Prωi
c i 1
，j 1，， ，c 2
2. 计算条件风险
统计模式识别（二）
贝叶斯分类器
内容


贝叶斯分类的基本原理
最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类 正态分布中的贝叶斯分类
回顾：

线性分类器设计思路 梯度下降法 感知器法
哈哈统计
有一个从没带过小孩的统计学家，因为妻子 出门勉强答应照看三个年幼好动的孩子。妻子回 家时，他交出一张纸条，写的是： “擦眼泪11次；系鞋带15次；给每个孩子吹 玩具气球各5次,累计15次；每个气球的平均寿命 10秒钟；警告孩子不要横穿马路26次；孩子坚持 要穿马路26次；我还要再过这样的星期六0次”。 统计学真的这样呆板吗？仅仅收集数据，整理 分析，累加平均…


• 如果有细胞的观测信息，那么可以改进决策的方法。为了 简单起见，假定 x 是一维的特征（如胞核的总光强度）。 p(x|ω1)和p(x|ω2)已知：
• 利用贝叶斯公式：
Pr ωi x

p x ωi Prωi
px ωi Prωi
2 i 1
• 得到的 Pr （ωi|x ） 称为状态（正常、异常）的后验概率。 上述的贝叶斯公式，通过观测到的x，把先验概率转换为后 验概率。
j 1，， ，c 2
则
x ωi
x ωi
2、最小风险贝叶斯分类：
最小错误率贝叶斯分类只考虑分类错误的概率最小，但 是，每次分类错误带来的损失是不一样的，例如： •要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中 可能出现以下情况： •第一类，判对(正常→正常) λ11 ；第二类，判错(正 常→肺病) λ21 ； •第三类，判对(肺病→肺病) λ22；第四类，判错(肺病 →正常) λ12 。
下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。 • 证明：错误率是对所有x的平均错误率Pr（e）
Pre Pr e x px d x


• 两类时的条件错误概率为：
Pr ω1 x Pr e x Pr ω2 x


当 Pr ω2 x Pr ω1 x
P(1 x) P( x 1 ) P(1 ) 0.2 0.9 0.818 0.2 0.9 0.4 0.1
P( x
j 1
2
j
) P( j )
P( 2 x) 1 P(1 x) 0.182,因为P(1 x) P( 2 x), x 1属正常细胞。 因为P(1 ) P( 2 ), 所以先验概率起很大作 . 用
3、先验概率和后验概率：
•先验概率： 根据大量样本情况的统计，在整个特征空间中，任取 一个特征向量x，它属于类ωj 的概率为 P(ωj),也就是说， 在样本集中，属于类ωj 的样本数量于总样本数量的比值为 P(ωj)。我们称P(ωj)为先验概率。 显然，有： P(ω1)＋P(ω2)＋…… ＋P(ωc)＝1 •后验概率： 当我们获得了某个样本的特征向量x，则在x条件下样 本属于类ωj的概率P(ωj|x)称为后验概率。 后验概率就是我们要做统计判别的依据。