第二章贝叶斯决策理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
贝叶斯公式：
P(i | x)
p(x | i )P(i ) p(x | j )P(j )
j
第2章 贝叶斯决策理论 5
2020年6月2日星期二
2.1 最小错误概率的Bayes决策
在模式识别问题中，感兴趣的往往是尽量减小分类错误 的概率。为此，我们可以建立一个能得到最小错误率的 决策方法。看一个简单的例子。 假设某工厂生产两种大小，外形都相同的螺丝钉，一种 是铜的，一种是铁的。两种产品混在一起，要求对它们 自动分类。分两种情况讨论： （1）先验概率已知； （2）先验概率和条件概率密度函数均已知。
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2020年6月2日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
P(1 x) Pwk.baidu.com2 x)
2
决策错误的条件概率（随机变量 x 的函数）：
第2章 贝叶斯决策理论 6
2020年6月2日星期二
先验概率已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 )
它们反映了我们在下一个样品出现前对它的类别可能性 的先验知识，称这种先于事件的概率为先验概率。
合理的决策规则：
P(1) P(1)
P(2 P(2
) )
1 2
决策错误的概率：
第2章 贝叶斯决策理论 13
2020年6月2日星期二
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2,L ,5 j 1, 2,L ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
第2章 贝叶斯决策理论 3
2020年6月2日星期二
先验概率：根据大量统计确定某类事物出现的比例， 类条件概率密度函数：同一类事物的各个属性都
有一定的变化范围，在这些变化范围内的分布概率 用一种函数形式表示，则称为类条件概率密度函数。 这种分布密度只对同一类事物而言，与其它类事物 没有关系。为了强调是同一类事物内部，因此这种 分布密度函数往往表示成条件概率的形式。如P(X|男 生)， P(X|女生)。
2020年6月2日星期二
平均错误概率
P(e) P(e x)p(x)dx
从式可知，如果对每次观察到的特征值 x ， P(e 1) 是
尽可能小的话，则上式的积分必定是尽可能小的这就证 实了最小错误率的Bayes决策法则。下面从理论上给予 证明。以两类模式为例。
第2章 贝叶斯决策理论 10
2020年6月2日星期二
第2章 贝叶斯决策理论 4
2020年6月2日星期二
后验概率：一个具体事物属于某种类别的概率，例
如一个学生用特征向量x表示，它是男性或女性的概 率表示成P(男生|x)和P(女生|x)，这就是后验概率。 由于一个学生只可能为两个性别之一，因此有P(男 生|x)+P(女生|x)=1的约束，这一点是与类分布密度函 数不同的。后验概率与先验概率也不同，后验概率 涉及一个具体事物，而先验概率是泛指一类事物， 因此P(男生|x)和P(男生)是两个不同的概念。
P(e)min[P(1), P(2 )]
第2章 贝叶斯决策理论 7
2020年6月2日星期二
先验概率和条件概率密度函数均已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 ) 铁螺丝出现的概率—— P( x 1) 铜螺丝出现的概率—— P( x 2 )
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
2020年6月2日星期二
把样本x分到哪一类最合理？解决该问题的理论基 础之一是统计决策理论
决策：是从样本空间S，到决策空间Θ的一个映射， 表示为D: S --> Θ
评价决策有多种标准，对于同一个问题，采用不同 的标准会得到不同意义下“最优”的决策。
Bayes决策常用的准则
最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则
p( x 1)P(1)
A
p( x 2 )P(2 )
R1
H
p(x 2 )P(2 ) dx
R1
R2
p( x 1)P(1) dx
R2
第2章 贝叶斯决策理论 12
2020年6月2日星期二
2.2 最小风险的Bayes决策
在上一节我们介绍了最小错误率的Bayes决策， 并且证明了应用这种决策法则时，平均错误概率 是最小的。但实际上有时需要考虑一个比错误率 更为广泛的概念——风险，举例说明。毋庸置疑， 任何风险都会带来一定损失。看一个一般的决策 表。
P(e
x
)
P(1 P(2
x) x)
2 1
模式特征 x是一个随机变量，在应用Bayes法则时，每当
观察到一个模式时，得到特征 x ，就可利用后验概率作
出分类的决策，同时也会带来一定的错误概率。若观察
到大量的模式，对它们作出决策的平均错误概率 P(e) 应 是 P(e x) 的数学期望。
第2章 贝叶斯决策理论 9
2020年6月2日星期二
2.0 基本概念
两个条件： – 各类别总体的概率分布是已知的 – 要决策的类别数是一定的
待识别对象有d种特征测量值，每种特征值都是一 个随机变量，组成d维随机向量
x x1, x2,L , xd T x Rd
d种特征的所有取值范围构成d维特征空间
第2章 贝叶斯决策理论 2
把分类器看做将特征空间分割成决策区域的装置
P(e) P(xR2 ,1)P(xR1,2 ) P(xR2 1)P(1)P(xR1 2 )P(2 )
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e)P(2 )P2 (e)
第2章 贝叶斯决策理论 11
2020年6月2日星期二
2020年6月2日星期二
第2章 贝叶斯决策理论
2.0 基本概念 2.1 最小错误概率的Bayes决策 2.2 最小风险的Bayes决策 2.3 Neyman-Pearson决策 2.4 Bayes估计和Bayes学习 2.5 正态分布时的Bayes决策法则 2.6 离散情况的Bayes决策
第2章 贝叶斯决策理论 1
P(i | x)
p(x | i )P(i ) p(x | j )P(j )
j
第2章 贝叶斯决策理论 5
2020年6月2日星期二
2.1 最小错误概率的Bayes决策
在模式识别问题中，感兴趣的往往是尽量减小分类错误 的概率。为此，我们可以建立一个能得到最小错误率的 决策方法。看一个简单的例子。 假设某工厂生产两种大小，外形都相同的螺丝钉，一种 是铜的，一种是铁的。两种产品混在一起，要求对它们 自动分类。分两种情况讨论： （1）先验概率已知； （2）先验概率和条件概率密度函数均已知。
P( j
x)
p( x j )P( j )
2
p( x j )P( j )
j1
第2章 贝叶斯决策理论 8
2020年6月2日星期二
对待分类模式的特征我们得到一个观察值 x ， 合理的决 策规则：
P(1 x) P(2 x) 1
P(1 x) Pwk.baidu.com2 x)
2
决策错误的条件概率（随机变量 x 的函数）：
第2章 贝叶斯决策理论 6
2020年6月2日星期二
先验概率已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 )
它们反映了我们在下一个样品出现前对它的类别可能性 的先验知识，称这种先于事件的概率为先验概率。
合理的决策规则：
P(1) P(1)
P(2 P(2
) )
1 2
决策错误的概率：
第2章 贝叶斯决策理论 13
2020年6月2日星期二
x ——观察或测量到的 d 维模式特征向量；
1 , 2 , 3 , 4 , 5 ——状态或模式类空间
1 , 2 , 3 , 4, 5 ——决策空间
(i , j ) i 1, 2,L ,5 j 1, 2,L ,5 ——损失函数，表 示真实状态为 j 而所采取的决策为 i 时所带来的某种
第2章 贝叶斯决策理论 3
2020年6月2日星期二
先验概率：根据大量统计确定某类事物出现的比例， 类条件概率密度函数：同一类事物的各个属性都
有一定的变化范围，在这些变化范围内的分布概率 用一种函数形式表示，则称为类条件概率密度函数。 这种分布密度只对同一类事物而言，与其它类事物 没有关系。为了强调是同一类事物内部，因此这种 分布密度函数往往表示成条件概率的形式。如P(X|男 生)， P(X|女生)。
2020年6月2日星期二
平均错误概率
P(e) P(e x)p(x)dx
从式可知，如果对每次观察到的特征值 x ， P(e 1) 是
尽可能小的话，则上式的积分必定是尽可能小的这就证 实了最小错误率的Bayes决策法则。下面从理论上给予 证明。以两类模式为例。
第2章 贝叶斯决策理论 10
2020年6月2日星期二
第2章 贝叶斯决策理论 4
2020年6月2日星期二
后验概率：一个具体事物属于某种类别的概率，例
如一个学生用特征向量x表示，它是男性或女性的概 率表示成P(男生|x)和P(女生|x)，这就是后验概率。 由于一个学生只可能为两个性别之一，因此有P(男 生|x)+P(女生|x)=1的约束，这一点是与类分布密度函 数不同的。后验概率与先验概率也不同，后验概率 涉及一个具体事物，而先验概率是泛指一类事物， 因此P(男生|x)和P(男生)是两个不同的概念。
P(e)min[P(1), P(2 )]
第2章 贝叶斯决策理论 7
2020年6月2日星期二
先验概率和条件概率密度函数均已知
铁螺丝出现的概率—— P(1) 铜螺丝出现的概率—— P(2 ) 铁螺丝出现的概率—— P( x 1) 铜螺丝出现的概率—— P( x 2 )
x ——螺丝背光源照射后反射光的亮度特征 求取后验概率：
2020年6月2日星期二
把样本x分到哪一类最合理？解决该问题的理论基 础之一是统计决策理论
决策：是从样本空间S，到决策空间Θ的一个映射， 表示为D: S --> Θ
评价决策有多种标准，对于同一个问题，采用不同 的标准会得到不同意义下“最优”的决策。
Bayes决策常用的准则
最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大决策准则
p( x 1)P(1)
A
p( x 2 )P(2 )
R1
H
p(x 2 )P(2 ) dx
R1
R2
p( x 1)P(1) dx
R2
第2章 贝叶斯决策理论 12
2020年6月2日星期二
2.2 最小风险的Bayes决策
在上一节我们介绍了最小错误率的Bayes决策， 并且证明了应用这种决策法则时，平均错误概率 是最小的。但实际上有时需要考虑一个比错误率 更为广泛的概念——风险，举例说明。毋庸置疑， 任何风险都会带来一定损失。看一个一般的决策 表。
P(e
x
)
P(1 P(2
x) x)
2 1
模式特征 x是一个随机变量，在应用Bayes法则时，每当
观察到一个模式时，得到特征 x ，就可利用后验概率作
出分类的决策，同时也会带来一定的错误概率。若观察
到大量的模式，对它们作出决策的平均错误概率 P(e) 应 是 P(e x) 的数学期望。
第2章 贝叶斯决策理论 9
2020年6月2日星期二
2.0 基本概念
两个条件： – 各类别总体的概率分布是已知的 – 要决策的类别数是一定的
待识别对象有d种特征测量值，每种特征值都是一 个随机变量，组成d维随机向量
x x1, x2,L , xd T x Rd
d种特征的所有取值范围构成d维特征空间
第2章 贝叶斯决策理论 2
把分类器看做将特征空间分割成决策区域的装置
P(e) P(xR2 ,1)P(xR1,2 ) P(xR2 1)P(1)P(xR1 2 )P(2 )
p(x 1)P(1)dx p(x 2 )P(2 )dx
R2
R1
P(1)P1(e)P(2 )P2 (e)
第2章 贝叶斯决策理论 11
2020年6月2日星期二
2020年6月2日星期二
第2章 贝叶斯决策理论
2.0 基本概念 2.1 最小错误概率的Bayes决策 2.2 最小风险的Bayes决策 2.3 Neyman-Pearson决策 2.4 Bayes估计和Bayes学习 2.5 正态分布时的Bayes决策法则 2.6 离散情况的Bayes决策
第2章 贝叶斯决策理论 1