模式识别第三讲-统计决策理论PPT课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
▪ 细胞识别
将正常划为异常人，增给加病精神负担恐，慌造；
将异常划为正常，，耽漏误诊早期诊断。和治
.
17
• 要考虑行动的后果、行动的风险。
• 采取的决定称为决策或行动。决策可以 为分到某一个类别， 或“拒绝”等。假 设一共有m个决策。
• 每个决策或行动都有一定的代价或损失。
• 损失函数 ai，ωj表示真实状态为 ωj ，采
Pr ω2 x
来自百度文库
ω2
• 后面要证明这个决策规则是错误率最小的。
.
8
• 上面的贝叶斯决策规则还可以表示成以下几 种形式：
1) 若 P rω ixmP arω xjx，则 xωi j1,2
2) 若 P rω ipx ω i mP r a ω jx px ω j ，则 j 1 ,2 xωi
Pre Prexpxdx
.
15
• 对于多类情况，最小错误率决策规则为：
若 P rω ixmaP rx ω jx，则 xωi j 1， 2， ， c
或若
P r ω ip x ω imP a r ω jx p x ω j j 1 ， 2 ， ， c
则 xωi
• g jx P rω jx ， j 1 ， 2 ， ， c
称为判别函数（discriminant function）。
.
16
二. 最小风险贝叶斯决策
• 在实际工作中，有时仅考虑错误率最小是不 够的。
• 要引入比错误率更广泛的概念—风险、损失。
▪ 地震预报
预报为有震，， 要要 作付 准出 备代价没 ，有 但发 地
预报为无震，生 但了 地， 震要 发遭受损失。
解：利用贝叶斯公式，有
P r ω 1 p x ω 1 0 .9 0 .2 0 .18
P r ω 2 p x ω 2 0 .1 0 .4 0 .04
∴
Prω1x 0.18 0.818 0.18 0.04
P rω 2x 1 0 .81 0 .1 882
∴ 应把x归为ω1类，不是完全正确，但错误
• 证明：错误率是对所有x的平均错误率Pr[e]
Pre Prexpxdx
• 两类时的条件错误概率为：
P rex P rω 1x P rω 2x
当 P rω 2xP rω 1x 当 P rω 1xP rω 2x
.
14
对每个x，因为决策为后验概率最大的类别，
Pr[e|x]为最小。因此错误率 最小。
第二章 统计决策理论
.
1
2.1 引言
• PR中的分类问题是根据识别对象特征的观测值， 将其分到相应的类别中去。
• 统计决策理论是模式分类的主要理论和工具。
• 这一章要讨论： • 最小错误率贝叶斯决策 • 最小风险贝叶斯决策
.
2
2.2 贝叶斯决策
• 问题：假定要识别的物理对象x有d个特征， x所1，有x的2，特…征，向xd量，构记成作了x=d[维x1特，征x2空，间…。，假xd]T， 定这些待识别的对象来自c个类别，ωi， i=1，2，…，c，并且每个类别出现的先验 概率P[ωi]和类条件概率密度p(x|ωi) ，i=1， 2，…，c已知。
.
9
3) 若 lxppxxω ω12 P Prrω ω12，则
x
ω1 ω2
称为似然比
4) 取 lx 的负对数，有
h x lln x lp n x ω 1 lp n x ω 2 l n P P r r ω ω 1 2 ω1 则: x ω2
.
10
例1：某一地区的统计资料，Pr[ω1]=0.9（正 常），Pr[ω2]=0.1（异常），有一待识别细 胞，其观测值为x，从类条件概率密度曲线上 查出，p(x|ω1)=0.2，p(x|ω2)=0.4。
ω1
y 42
y 102
0
ω2
ω1
∴
y
7
ω2
• 原因是Pr[ω1]= Pr[ω2]，且分布形式相同，又对 称，只是均值有区别 分界点在两均值的中
点 y=7，可以由 p y ω 1 P r ω 1 p y ω 2 P r ω 2 确定。
• pyωiPrωi，i 1，2构成一个判别函数。
.
13
• 下面证明上述基于最小错误率的贝叶斯规则 是错误率最小的。
取行动为ai 时的损失。
.
18
• 对于给定的x，采取决策ai时的条件损失或
条件风险为：
c
Raix ai， ω jP rω jx， i1， 2， ， m
率最小。
.
11
例2：假定一维测量（特征）值y的类条件密
度函数为：
p yω1
1
y42
e2
2
pyω2
1
y102
e2
2
而且Pr[ω1]= Pr[ω2]。画出两类的概率密度
曲线并求分类规则。
解：
.
12
似然比检验
y4 2
ω1
e 2
ly
y 10 2
1
e2
ω2
上式两边取对数，再乘以－2，有
率达到最小。
.
5
• 以细胞识别为例：
• 细胞切片的显微图像经过一定的预处理后，
抽取出d个特征。每一细胞可用一个d维的特 征向量x表示。希望根据x的值分到正常类
ω1或异常类ω2中去。
• 假定可以得到Pr[ω1]、Pr[ω2] （Pr [ω1]+ Pr [ω2]=1） ,和p(x|ω1)、p(x|ω2) 。
p(x|2)
p(x|1)
• 利用贝叶斯公式： pxωiPrωi Pr ωi x 2 pxωiPrωi
i1
.
7
• 得到的Pr[ωi|x] 称为状态（正常、异常）
的后验概率。上述的贝叶斯公式，通过观测
到的x，把先验概率转换为后验概率。
• 这时，基于错误率最小的贝叶斯决策规则为：
ω1
Pr ω1 x
• 如果只有先验概率，那么合理的选择是把x
分到Pr[ω1]、Pr[ω2]大的一类中去。一般 由于Pr[ω1]>Pr[ω2]，这样就把所有的细胞
分到了正常的一类。失去了意义。
.
6
• 如果有细胞的观测信息，那么可以改进决策
的方法。为了简单起见，假定x是一维的特 征（如胞核的总光强度）。p(x|ω1)和 p(x|ω2)已知：
.
3
• 如果观察到一个样本 x ˆx ˆ1 ， x ˆ2 ， ， x ˆdT ，
那么把 xˆ 分到哪一类去才是合理的呢？
• 这是这一章要解决的问题。
.
4
一. 最小错误率贝叶斯决策
• 在模式分类问题中，人们希望尽量减小 分类的错误。
• 不可能不犯错误，因为样本是随机的… • 我们希望所使用的分类规则，能使错误
将正常划为异常人，增给加病精神负担恐，慌造；
将异常划为正常，，耽漏误诊早期诊断。和治
.
17
• 要考虑行动的后果、行动的风险。
• 采取的决定称为决策或行动。决策可以 为分到某一个类别， 或“拒绝”等。假 设一共有m个决策。
• 每个决策或行动都有一定的代价或损失。
• 损失函数 ai，ωj表示真实状态为 ωj ，采
Pr ω2 x
来自百度文库
ω2
• 后面要证明这个决策规则是错误率最小的。
.
8
• 上面的贝叶斯决策规则还可以表示成以下几 种形式：
1) 若 P rω ixmP arω xjx，则 xωi j1,2
2) 若 P rω ipx ω i mP r a ω jx px ω j ，则 j 1 ,2 xωi
Pre Prexpxdx
.
15
• 对于多类情况，最小错误率决策规则为：
若 P rω ixmaP rx ω jx，则 xωi j 1， 2， ， c
或若
P r ω ip x ω imP a r ω jx p x ω j j 1 ， 2 ， ， c
则 xωi
• g jx P rω jx ， j 1 ， 2 ， ， c
称为判别函数（discriminant function）。
.
16
二. 最小风险贝叶斯决策
• 在实际工作中，有时仅考虑错误率最小是不 够的。
• 要引入比错误率更广泛的概念—风险、损失。
▪ 地震预报
预报为有震，， 要要 作付 准出 备代价没 ，有 但发 地
预报为无震，生 但了 地， 震要 发遭受损失。
解：利用贝叶斯公式，有
P r ω 1 p x ω 1 0 .9 0 .2 0 .18
P r ω 2 p x ω 2 0 .1 0 .4 0 .04
∴
Prω1x 0.18 0.818 0.18 0.04
P rω 2x 1 0 .81 0 .1 882
∴ 应把x归为ω1类，不是完全正确，但错误
• 证明：错误率是对所有x的平均错误率Pr[e]
Pre Prexpxdx
• 两类时的条件错误概率为：
P rex P rω 1x P rω 2x
当 P rω 2xP rω 1x 当 P rω 1xP rω 2x
.
14
对每个x，因为决策为后验概率最大的类别，
Pr[e|x]为最小。因此错误率 最小。
第二章 统计决策理论
.
1
2.1 引言
• PR中的分类问题是根据识别对象特征的观测值， 将其分到相应的类别中去。
• 统计决策理论是模式分类的主要理论和工具。
• 这一章要讨论： • 最小错误率贝叶斯决策 • 最小风险贝叶斯决策
.
2
2.2 贝叶斯决策
• 问题：假定要识别的物理对象x有d个特征， x所1，有x的2，特…征，向xd量，构记成作了x=d[维x1特，征x2空，间…。，假xd]T， 定这些待识别的对象来自c个类别，ωi， i=1，2，…，c，并且每个类别出现的先验 概率P[ωi]和类条件概率密度p(x|ωi) ，i=1， 2，…，c已知。
.
9
3) 若 lxppxxω ω12 P Prrω ω12，则
x
ω1 ω2
称为似然比
4) 取 lx 的负对数，有
h x lln x lp n x ω 1 lp n x ω 2 l n P P r r ω ω 1 2 ω1 则: x ω2
.
10
例1：某一地区的统计资料，Pr[ω1]=0.9（正 常），Pr[ω2]=0.1（异常），有一待识别细 胞，其观测值为x，从类条件概率密度曲线上 查出，p(x|ω1)=0.2，p(x|ω2)=0.4。
ω1
y 42
y 102
0
ω2
ω1
∴
y
7
ω2
• 原因是Pr[ω1]= Pr[ω2]，且分布形式相同，又对 称，只是均值有区别 分界点在两均值的中
点 y=7，可以由 p y ω 1 P r ω 1 p y ω 2 P r ω 2 确定。
• pyωiPrωi，i 1，2构成一个判别函数。
.
13
• 下面证明上述基于最小错误率的贝叶斯规则 是错误率最小的。
取行动为ai 时的损失。
.
18
• 对于给定的x，采取决策ai时的条件损失或
条件风险为：
c
Raix ai， ω jP rω jx， i1， 2， ， m
率最小。
.
11
例2：假定一维测量（特征）值y的类条件密
度函数为：
p yω1
1
y42
e2
2
pyω2
1
y102
e2
2
而且Pr[ω1]= Pr[ω2]。画出两类的概率密度
曲线并求分类规则。
解：
.
12
似然比检验
y4 2
ω1
e 2
ly
y 10 2
1
e2
ω2
上式两边取对数，再乘以－2，有
率达到最小。
.
5
• 以细胞识别为例：
• 细胞切片的显微图像经过一定的预处理后，
抽取出d个特征。每一细胞可用一个d维的特 征向量x表示。希望根据x的值分到正常类
ω1或异常类ω2中去。
• 假定可以得到Pr[ω1]、Pr[ω2] （Pr [ω1]+ Pr [ω2]=1） ,和p(x|ω1)、p(x|ω2) 。
p(x|2)
p(x|1)
• 利用贝叶斯公式： pxωiPrωi Pr ωi x 2 pxωiPrωi
i1
.
7
• 得到的Pr[ωi|x] 称为状态（正常、异常）
的后验概率。上述的贝叶斯公式，通过观测
到的x，把先验概率转换为后验概率。
• 这时，基于错误率最小的贝叶斯决策规则为：
ω1
Pr ω1 x
• 如果只有先验概率，那么合理的选择是把x
分到Pr[ω1]、Pr[ω2]大的一类中去。一般 由于Pr[ω1]>Pr[ω2]，这样就把所有的细胞
分到了正常的一类。失去了意义。
.
6
• 如果有细胞的观测信息，那么可以改进决策
的方法。为了简单起见，假定x是一维的特 征（如胞核的总光强度）。p(x|ω1)和 p(x|ω2)已知：
.
3
• 如果观察到一个样本 x ˆx ˆ1 ， x ˆ2 ， ， x ˆdT ，
那么把 xˆ 分到哪一类去才是合理的呢？
• 这是这一章要解决的问题。
.
4
一. 最小错误率贝叶斯决策
• 在模式分类问题中，人们希望尽量减小 分类的错误。
• 不可能不犯错误，因为样本是随机的… • 我们希望所使用的分类规则，能使错误