贝叶斯决策理论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
j 1
c
3最小风险的贝叶斯决策
用决策论的术语来表达，一个预期的损失称为风险 R(i | x) 称为条件风险 (conditional risk) 我们可以选择使条件风险最小化的行动来使预期的损失最小 化 下面来说明贝叶斯决策是一种最优的决策方式
3最小风险的贝叶斯决策
一般的判决规则是一个函数 (x) ，它告诉我们对于每次观 测应该采取哪个行动 总风险可以表示为
值的类条件分布p(x|ωi)，i=1,2 问题：对某个样本x，x∈ ω1? x∈ ω2？
在识别分类问题中，人们往往希望尽量减少分类的
错误，从这样的要求出发，利用概率论中的贝叶斯 公式，就能得出使错误率最小的分类规则。
2最小错误率的贝叶斯决策
根据贝叶斯决策理论 若 x使得 P(1|x) > P(2|x) ，则我们自然会做出真实类 别1的判决 若 x使 P(2|x) > P(1|x) ，则我们更倾向于选择2 据此规则进行一次判决的错误概率：
3最小风险的贝叶斯决策
除了知道最小错误贝叶斯决策也需要的先验概率 和类条件概率外，损失函数的确定往往也是一个 难题
与最小错误贝叶斯决策的关系
差别在于是否考虑风险，即错误损失 最小风险决策可看作加权形式的最小错误决 策，加权值即损失函数取特定形式时二者可 能等价，如损失函数取0-1形式
3最小风险的贝叶斯决策
1
1 2
0 1
2
6 0
保守态度（延误病情损失严重）
3最小风险的贝叶斯决策
解：先根据贝叶斯公式计算出后验概率
P(w1 | x) 0.818 P(w2 | x) 0.192
再计算出条件风险
R(1 / x) 12 P(2 / x) 0.182 R( 2 / x) 21 P(1 / x) 5 0.818 4.09 R( 2 / x) R(1 / x) 采取行动1， 即判断x为1类。
1 引言
后验概率：一个具体事物属于某种类别的概率， 例如一个学生用特征向量x表示，它是男性或女 性的概率表示成P(男生|x)和P(女生|x)，这就是 后验概率。由于一个学生只可能为两个性别之一， 因此有P(男生|x)+P(女生|x)=1的约束，这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同，后验概率涉及一个具体事物，而先验概 率是泛指一类事物，因此P(男生|x)和P(男生)是 两个不同的概念。
基本假设：
问题可以用概率的形式来描述 所有相关概率值已知
1 引言
先验概率：根据大量统计确定某类事物出现的比例。 比如在学校中，一个学生是男生的先验概率为0.9， 而为女生的概率是0.1，这两类概率是互相制约的， 它们的总和为1。 类条件概率密度函数：同一类事物的各个属性都有 一定的变化范围，在其变化范围内的分布概率用一 种函数形式表示，则称为类条件概率密度函数。这 种分布密度只对同一类事物而言，与其它类事物没 有关系。为了强调是同一类事物内部，因此这种分 布密度函数表示成条件概率的形式。例如x表示某一 个学生的身高，则男生身高的概率密度表示成P(x| 男生)，女生身高表示成P(x|女生)，这两者之间没 有任何关系。
3最小风险的贝叶斯决策
例题：
假设在某个局部地区细胞识别中正常和异常两类的先验概
率分别为0.9和0.1，现有一待识别的细胞，其观察值为x，从
类条件概率密度分布曲线上查得
p( x / 1 ) 0.2
p( x / 2 ) 0.4
3最小风险的贝叶斯决策
在上述条件的基础上，利用下面的决策表，按最小风险贝 叶斯决策进行分类。
“宁可错杀一千，也不放走一个”
3最小风险的贝叶斯决策
假定我们观测到某个特定的模式 x 并将采取行动 i ，如果真
实的类别为 j , 则由定义知我们将有损失 (i | j).
由于 P(j | x) 代表类别是 j 的概率，因此与行动i相关联的
损失为：
R(i | x) (i | j ) P( j | x)
贝叶斯决策的广泛应用 1、医学方面：医疗诊断 2、经济方面：产品规划 3、工业方面：探矿工程 4、军事方面：情报分析 5、其他：人脸识别问题、图像标注问题、 垃圾邮件的过滤问题等等
4贝叶斯决策的评价
优点：
（1）贝叶斯决策能对信息的价值或是否需要采集新的信 息做出科学的判断。 （2）它能对调查结果的可能性加以数量化的评价，而不 是像一般的决策方法那样，对调查结果或者是完全相信，或 者是完全不相信。 （3）如果说任何调查结果都不可能完全准确，先验知识 或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙 地将这两种信息有机地结合起来了。 （4）它可以在决策过程中根据具体情况下不断地使用， 使决策逐步完善和更加科学。
P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然，对于某个给定的x，采用上述规则可以使错误概率最
小。 问题是，这一规则能够使得平均错误概率最小吗？
2最小错误率的贝叶斯决策
平均错误概率：
P(error) P(error, x)dx P(error | x) p( x)dx
4贝叶斯决策的评价
局限性：
（1）它需要的数据多，分析计算比较复杂，特别在解决 复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人不太相信，这 也妨碍了贝叶斯决策方法的推广使用。
“最优” 即希望所设计的系统在性能
上最优。是指对某一种设计原则讲的，这种 原则称为准则。使这些准则达到最优，如最 小错误率准则，基于最小风险准则等。
1 引言
基本思想：
基于概率和决策代价进行分类决策 一般已知类条件概率密度参数表达式和先验 概率，再利用贝叶斯公式转换成后验概率， 最后根据后验概率大小进行决策分类。
c
p(x | i ) P(i )
p(x | ) P( )
j 1 j j
c
i 1,
,c
R(i | x) (i | j ) P( j | x) ， i = 1,…,a • 计算风险： j 1
• 决策：
R(k | x) min R(i | x)
i 1, , a
1 引言
而贝叶斯公式就是将三者联系在了一起 贝叶斯公式
P( j | x)
p( x | j ) P( j ) p ( x)
其中，在两类情况下：
p( x) p( x | j ) P( j )
j 1
2
2最小错误率的贝叶斯决策
以两类分类问题为例：已知先验分布P(ωi)和观测
R R( (x) | x) p (x)dx
显然，如果对于每个x 我们都选择 小，则总风险将被最小化
(x) 使得
R(i | 源自文库)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出：
3最小风险的贝叶斯决策
步骤
• 计算后验概率： P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理？理论基础之一是统 计决策理论。 决策：是从样本空间S，到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下，对部分 未知的状态用主观概率估计，然后用贝叶 斯公式对发生概率进行修正，最后再利用 期望值和修正概率做出最优决策。
1 引言
如果对于每个 x 我们都能保证P(error|x)尽量小，则上述积分 值也必然最小 这种规则强调了后验 概率的重要性
3最小风险的贝叶斯决策
问题的提出：风险的概念 风险与损失紧密相连，如病情诊断、商品销售 等问题 日常生活中的风险选择，所谓是否去冒险 最小风险贝叶斯决策考虑各种错误造成损失不同而 提出的一种决策规则
c
3最小风险的贝叶斯决策
用决策论的术语来表达，一个预期的损失称为风险 R(i | x) 称为条件风险 (conditional risk) 我们可以选择使条件风险最小化的行动来使预期的损失最小 化 下面来说明贝叶斯决策是一种最优的决策方式
3最小风险的贝叶斯决策
一般的判决规则是一个函数 (x) ，它告诉我们对于每次观 测应该采取哪个行动 总风险可以表示为
值的类条件分布p(x|ωi)，i=1,2 问题：对某个样本x，x∈ ω1? x∈ ω2？
在识别分类问题中，人们往往希望尽量减少分类的
错误，从这样的要求出发，利用概率论中的贝叶斯 公式，就能得出使错误率最小的分类规则。
2最小错误率的贝叶斯决策
根据贝叶斯决策理论 若 x使得 P(1|x) > P(2|x) ，则我们自然会做出真实类 别1的判决 若 x使 P(2|x) > P(1|x) ，则我们更倾向于选择2 据此规则进行一次判决的错误概率：
3最小风险的贝叶斯决策
除了知道最小错误贝叶斯决策也需要的先验概率 和类条件概率外，损失函数的确定往往也是一个 难题
与最小错误贝叶斯决策的关系
差别在于是否考虑风险，即错误损失 最小风险决策可看作加权形式的最小错误决 策，加权值即损失函数取特定形式时二者可 能等价，如损失函数取0-1形式
3最小风险的贝叶斯决策
1
1 2
0 1
2
6 0
保守态度（延误病情损失严重）
3最小风险的贝叶斯决策
解：先根据贝叶斯公式计算出后验概率
P(w1 | x) 0.818 P(w2 | x) 0.192
再计算出条件风险
R(1 / x) 12 P(2 / x) 0.182 R( 2 / x) 21 P(1 / x) 5 0.818 4.09 R( 2 / x) R(1 / x) 采取行动1， 即判断x为1类。
1 引言
后验概率：一个具体事物属于某种类别的概率， 例如一个学生用特征向量x表示，它是男性或女 性的概率表示成P(男生|x)和P(女生|x)，这就是 后验概率。由于一个学生只可能为两个性别之一， 因此有P(男生|x)+P(女生|x)=1的约束，这一点是 与类分布密度函数不同的。后验概率与先验概率 也不同，后验概率涉及一个具体事物，而先验概 率是泛指一类事物，因此P(男生|x)和P(男生)是 两个不同的概念。
基本假设：
问题可以用概率的形式来描述 所有相关概率值已知
1 引言
先验概率：根据大量统计确定某类事物出现的比例。 比如在学校中，一个学生是男生的先验概率为0.9， 而为女生的概率是0.1，这两类概率是互相制约的， 它们的总和为1。 类条件概率密度函数：同一类事物的各个属性都有 一定的变化范围，在其变化范围内的分布概率用一 种函数形式表示，则称为类条件概率密度函数。这 种分布密度只对同一类事物而言，与其它类事物没 有关系。为了强调是同一类事物内部，因此这种分 布密度函数表示成条件概率的形式。例如x表示某一 个学生的身高，则男生身高的概率密度表示成P(x| 男生)，女生身高表示成P(x|女生)，这两者之间没 有任何关系。
3最小风险的贝叶斯决策
例题：
假设在某个局部地区细胞识别中正常和异常两类的先验概
率分别为0.9和0.1，现有一待识别的细胞，其观察值为x，从
类条件概率密度分布曲线上查得
p( x / 1 ) 0.2
p( x / 2 ) 0.4
3最小风险的贝叶斯决策
在上述条件的基础上，利用下面的决策表，按最小风险贝 叶斯决策进行分类。
“宁可错杀一千，也不放走一个”
3最小风险的贝叶斯决策
假定我们观测到某个特定的模式 x 并将采取行动 i ，如果真
实的类别为 j , 则由定义知我们将有损失 (i | j).
由于 P(j | x) 代表类别是 j 的概率，因此与行动i相关联的
损失为：
R(i | x) (i | j ) P( j | x)
贝叶斯决策的广泛应用 1、医学方面：医疗诊断 2、经济方面：产品规划 3、工业方面：探矿工程 4、军事方面：情报分析 5、其他：人脸识别问题、图像标注问题、 垃圾邮件的过滤问题等等
4贝叶斯决策的评价
优点：
（1）贝叶斯决策能对信息的价值或是否需要采集新的信 息做出科学的判断。 （2）它能对调查结果的可能性加以数量化的评价，而不 是像一般的决策方法那样，对调查结果或者是完全相信，或 者是完全不相信。 （3）如果说任何调查结果都不可能完全准确，先验知识 或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙 地将这两种信息有机地结合起来了。 （4）它可以在决策过程中根据具体情况下不断地使用， 使决策逐步完善和更加科学。
P(1 | x) if we decide 2 P(error | x) P( 2 | x) if we decide1
显然，对于某个给定的x，采用上述规则可以使错误概率最
小。 问题是，这一规则能够使得平均错误概率最小吗？
2最小错误率的贝叶斯决策
平均错误概率：
P(error) P(error, x)dx P(error | x) p( x)dx
4贝叶斯决策的评价
局限性：
（1）它需要的数据多，分析计算比较复杂，特别在解决 复杂问题时，这个矛盾就更为突出。 （2）有些数据必须使用主观概率，有些人不太相信，这 也妨碍了贝叶斯决策方法的推广使用。
“最优” 即希望所设计的系统在性能
上最优。是指对某一种设计原则讲的，这种 原则称为准则。使这些准则达到最优，如最 小错误率准则，基于最小风险准则等。
1 引言
基本思想：
基于概率和决策代价进行分类决策 一般已知类条件概率密度参数表达式和先验 概率，再利用贝叶斯公式转换成后验概率， 最后根据后验概率大小进行决策分类。
c
p(x | i ) P(i )
p(x | ) P( )
j 1 j j
c
i 1,
,c
R(i | x) (i | j ) P( j | x) ， i = 1,…,a • 计算风险： j 1
• 决策：
R(k | x) min R(i | x)
i 1, , a
1 引言
而贝叶斯公式就是将三者联系在了一起 贝叶斯公式
P( j | x)
p( x | j ) P( j ) p ( x)
其中，在两类情况下：
p( x) p( x | j ) P( j )
j 1
2
2最小错误率的贝叶斯决策
以两类分类问题为例：已知先验分布P(ωi)和观测
R R( (x) | x) p (x)dx
显然，如果对于每个x 我们都选择 小，则总风险将被最小化
(x) 使得
R(i | 源自文库)
最
3最小风险的贝叶斯决策
相关数学表达
3最小风险的贝叶斯决策
一般损失函数可由决策表给出：
3最小风险的贝叶斯决策
步骤
• 计算后验概率： P(i | x)
贝叶斯决策理论
2014年12月15日
1 引言
把x分到哪一类最合理？理论基础之一是统 计决策理论。 决策：是从样本空间S，到决策空间Θ的一 个映射 贝叶斯决策就是在不完全情报下，对部分 未知的状态用主观概率估计，然后用贝叶 斯公式对发生概率进行修正，最后再利用 期望值和修正概率做出最优决策。
1 引言
如果对于每个 x 我们都能保证P(error|x)尽量小，则上述积分 值也必然最小 这种规则强调了后验 概率的重要性
3最小风险的贝叶斯决策
问题的提出：风险的概念 风险与损失紧密相连，如病情诊断、商品销售 等问题 日常生活中的风险选择，所谓是否去冒险 最小风险贝叶斯决策考虑各种错误造成损失不同而 提出的一种决策规则