模式识别统计决策理论PPT课件

15
似然比检验
y4 2
ω1
l y e 2 y10 2
1
e2
ω2
上式两边取对数，再乘以－2，有
ω1
yபைடு நூலகம் 4 2
y 10 2
0
ω2
ω1
∴
y
7
ω2
• 原因是Pr[ω1]= Pr[ω2]，且分布形式相同，又对称， 只是均值有区别 分界点在两均值的中点
y=7，可以由 py ω1 Prω1 py ω2 P确rω定2 。
∴ 应把x归为ω1类，不是完全正确，但错误 率最小。
.北京工业大学计算机学院®
14
例2：假定一维测量（特征）值y的类条件密
度函数为：
p y ω1
1
y4 2
e2
2
p y ω2
1
y10 2
e2
2
而且Pr[ω1]= Pr[ω2]。画出两类的概率密度
曲线并求分类规则。
解：
.北京工业大学计算机学院®
• 如果只有先验概率，那么合理的选择是把x
分到Pr[ω1]、Pr[ω2]大的一类中去。一般 由于Pr[ω1]>Pr[ω2]，这样就把所有的细胞
分到了正常的一类。失去了意义。
.北京工业大学计算机学院®
9
• 如果有细胞的观测信息，那么可以改进决策
的方法。为了简单起见，假定x是一维的特
征（如胞核的总光强度）。p(x|ω1)和 p(x|ω2)已知：
Pr ω1 x
Pr
ω2
x
ω2 • 后面要证明这个决策规则是错误率最小的。
.北京工业大学计算机学院®
11
• 上面的贝叶斯决策规则还可以表示成以下几 种形式：
x ω 1) 若 Pr ωi x max Pr ωj x ，则
i
j 1,2
2) 若 Prωip x ωi max Pr ωjp x ωj ，则 j 1,2 x ωi
.北京工业大学计算机学院®
12
3) 若
lx
px ω1 px ω2
Prω2 Prω1
，则
ω1 x
ω2
似然比 似然函数 阈值 是假设检验
4) 取 lx 的负对数，有
hx
lnlx
lnpx
ω1
lnpx
ω2
ln
Prω1 Prω2
ω1
则: x
ω2
.北京工业大学计算机学院®
13
例1：某一地区的统计资料，Pr[ω1]=0.9（正 常），Pr[ω2]=0.1（异常），有一待识别细
第二章 统计决策理论
.北京工业大学计算机学院®
1
这一章要讨论：
• 最小错误率贝叶斯决策 • 最小风险贝叶斯决策 • Neyman－Pearson决策（在限定一类错误
率的条件下，使另一类错误率最小的两 类决策问题） • 最小最大决策 • 序贯决策（Sequential Decision）
.北京工业大学计算机学院®
2
关于统计学的一个笑话：
有一个从没带过小孩的统计学家，因为妻 子出门勉强答应照看三个年幼好动的孩 子。妻子回家时，他交出一张纸条，写 的是：
“擦眼泪11次；系鞋带15次；给每个孩子 吹玩具气球各5次,累计15次；每个气球的 平均寿命10秒钟；警告孩子不要横穿马 路26次；孩子坚持要穿马路26次；我还 要再过这样的星期六0次”。
• 利用贝叶斯公式： px ωi Pr ωi Pr ωi x 2 px ωiPrωi
i 1
.北京工业大学计算机学院®
10
• 得到的Pr[ωi|x] 称为状态（正常、异常）
的后验概率。上述的贝叶斯公式，通过观测 到的x，把先验概率转换为后验概率。
• 这时，基于错误率最小的贝叶斯决策规则为： ω1
• py ωi Pr ωi ，i 1，2 构成一个判别函数。
.北京工业大学计算机学院®
16
• 下面证明上述基于最小错误率的贝叶斯规则
胞，其观测值为x，从类条件概率密度曲线上
查出，p(x|ω1)=0.2，p(x|ω2)=0.4。
解：利用贝叶斯公式（2），有
Prω1p x ω1 0.9 0.2 0.18
Prω2p x ω2 0.1 0.4 0.04
∴
Pr ω1 x 0.18 0.818
0.18 0.04
Pr ω2 x 1 0.818 0.182
• 下面我们介绍几种最常用、也是最基本 的统计决策方法。这些方法是以后各种 模式分类方法的基础。
.北京工业大学计算机学院®
5
2.2 几种常用的决策方法
2.2.1 贝叶斯决策
• 问题：假定要识别的物理对象x有d个特征， x所1，有x的2，特…征，向x量d，构记成作了x=d[维x1特，征x2空，间…。，假xd]定T， 这2，些…待，识c，别并的且对每象个来类自别c个出类现别的，先ω验i，概i=率1， Pc已[ω知i]和。类条件概率密度p(x|ωi) ，i=1，2，…，
• 不可能不犯错误，因为样本是随机的… • 我们希望所使用的分类规则，能使错误
率达到最小。
.北京工业大学计算机学院®
8
• 以细胞识别为例：
• 细胞切片的显微图像经过一定的预处理后， 抽取出d个特征。每一细胞可用一个d维的特 征向量x表示。希望根据x的值分到正常类ω1 或异常类ω2中去。
• 假定可以得到Pr[ω1]、Pr[ω2] （Pr [ω1]+ Pr [ω2]=1） ,和p(x|ω1)、p(x|ω2) 。
• 统计学真的这样呆板吗？仅仅收集数据，
整理分析，累.加北京工平业大均学计…算机学院®
3
• 统计学以数据为研究内容，但仅仅收集 数据，决不构成统计学研究的全部。
• 统计学是面对不确定情况寻求决策、制 定方法的一门科学
• 人力、财力、时间等的限制，只有部分 或少量数据，要推断所有数据的的特征
• 不同于叙述统计，要推断统计
.北京工业大学计算机学院®
6
• 如果观察到一个样本 xˆ xˆ1，xˆ 2， ，xˆd T ，
那么把 xˆ 分到哪一类去才是合理的呢？
• 这是这一章要解决的问题。
• 下面先介绍基于 决策。
最小错误率 和最小风险 的贝叶斯
.北京工业大学计算机学院®
7
一. 最小错误率贝叶斯决策
• 在模式分类问题中，人们希望尽量减小 分类的错误。
• 抽样、试验设计、估计、假设检验、回 归分析…..等推断方法
.北京工业大学计算机学院®
4
2.1 引言
• 统计理论要解决的是从数据中做出一些 推断、它为解决随机观测事件的决策过 程 提供了理论基础。
• PR中的分类问题是根据识别对象特征的 观测值，将其分到相应的类别中去。
• 而统计决策理论是模式分类的主要理论 和工具之一。