管理决策理论：贝叶斯法则
第四章 贝叶斯决策
高校师资
解 先计算做地震试验好与不好的概率； 高校师资 做地震试验好的概率（全概公式） P(F)=P（O）P(F∣O )＋P(D)P(F∣D ) =0.5×0.9＋0.5×0.2=0.55 做地震试验不好的概率 P(U)= P（O）P( U∣O)＋P(D) P(U∣D) =0.5×0.1＋0.5×0.8=0.45
由表中还可知：气象站发出天气好预报的概率Ｐ（e1）是0.66，气象站 发出天气坏预报的概率Ｐ（ e2 ）是0.34。
29
（3）后验预分析 为了帮助决策，我们利用以上分析的结果，画出本例的决策树图（参 见图3）。
9 月施工 400 3 10 月施工 不买情报 9 月施工 479.82 1 购买情报 预报天气好 (0.66) 479.82 2 预报天气坏 （0.34） 0 5 727 4 10 月施工 -235.25 9 月施工 8 10 月施工 天气好（0.1765） 天气坏（0.8235） 727 8 天气好（0.818） 天气坏（0.182） 1000 -500 0 1000 -500 0
26
（2）后验概率估计 设气象站发出的预报为，其结果无非是以下两种：天气好，天气坏。 则预报的准确率就是似然度。按照前面介绍过的估计后验概率的方法 ，可分别列出两种预报结果的后验概率计算表。
表 9-8 气象站发出天气好预报的后验概率的计算 P(θ j ) ⋅ P( e1 / θ j ) 后验概率 似然度 天气状况 先验概率 P( e1 / θ j ) P (θ j / e1 ) θj P(θj) 天气好θ1 天气坏θ2 0.6 0.4 1.0 0.9 0.3 0.54 0.12 0.66 0．818 0．182
17
例如，某地发生了一个案件，怀疑对象有 甲、乙、丙三人. 在不了解案情细节(事件B) 偏小 之前，侦破人员根据过去 丙 乙 甲 的前科，对他们作案的可 P(A1) P(A2) P(A3) 能性有一个估计，设为 但在知道案情细 节后, 这个估计 就有了变化.
第2章_贝叶斯决策
R1
R1
21 p 1 p x 1 dx 22 p 2 p x 2 dx
R2
R2
11 p 1 (1 p x 1 dx) 21 p 1 p x 1 dx 12 (1 p 1 ) p x 2 dx
R2
R2
R1
22(1 p 1 )(1 p x 2 dx)
R1
最小最大决策准则
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2, , xd T x Rd 为d维特征向量。
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
管理决策理论：贝叶斯法则
管理决策理论：贝叶斯法则什么是贝叶斯法则贝叶斯的统计学中有一个基本的工具叫贝叶斯法则、也称为贝叶斯公式，尽管它是一个数学公式，但其原理毋需数字也可明了。
如果你看到一个人总是做一些好事，则那个人多半会是一个好人。
这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。
用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。
贝叶斯法则又被称为贝叶斯定理、贝叶斯规则是概率统计中的应用所观察到的现象对有关概率分布的主观判断（即先验概率）进行修正的标准方法。
所谓贝叶斯法则，是指当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。
但行为经济学家发现，人们在决策过程中往往并不遵循贝叶斯规律，而是给予最近发生的事件和最新的经验以更多的权值，在决策和做出判断时过分看重近期的事件。
面对复杂而笼统的问题，人们往往走捷径，依据可能性而非根据概率来决策。
这种对经典模型的系统性偏离称为“偏差”。
由于心理偏差的存在，投资者在决策判断时并非绝对理性，会行为偏差，进而影响资本市场上价格的变动。
但长期以来，由于缺乏有力的替代工具，经济学家不得不在分析中坚持贝叶斯法则。
贝叶斯法则的原理通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯法则就是这种关系的陈述。
作为一个规范的原理，贝叶斯法则对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。
一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯法则。
贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。
Pr（A|B）= Pr（B|A）Pr（A）/Pr（B）∝L（A|B）Pr（A）其中L（A|B）是在B发生的情况下A发生的可能性。
贝叶斯决策规则
贝叶斯决策规则贝叶斯决策规则（Bayesian Decision Rule）是一种统计学方法，用于处理决策问题。
在这个规则中，我们考虑不同的随机变量和由它们生成的概率分布，进而对不同的决策进行评估。
这种方法被广泛应用于多个学科领域，包括医疗、金融和工程等。
贝叶斯决策规则的核心思想是将决策过程转化为概率论问题。
它将不同的决策视为可能性函数，然后将相关的观察结果作为输入，从而推导出每个决策的后验概率。
具体来说，这个规则包含三个核心组成部分：先验概率、条件概率和似然函数。
先验概率指的是在考虑任何新信息之前已知的概率信息。
条件概率指的是在特定的条件下，某些事件发生的概率。
似然函数指的是给定某些数据的条件下，某一假设成立的概率。
这些概率信息可以通过数据收集和分析来获取。
在实际应用中，贝叶斯决策规则通常用于分类问题。
假设我们有一个输入变量 X，它具有不同的取值，表示每个输入的特征。
我们还有一个类别变量 Y，它可能取值为 A 或者 B 两种。
我们需要根据输入变量的取值对类别变量进行预测。
首先，我们需要估计每个类别的先验概率，即假设输入变量 X 不存在时，每个类别的出现概率。
接着，我们需要为每个输入值估计一个条件概率，即在已知 X 的取值的情况下，每个类别出现的概率。
这个概率可以通过计算训练数据集中每个类别的频率来获得。
最后，我们需要计算出每个类别的后验概率，即在已知 X 的取值的情况下，每个类别出现的概率。
这个概率可以通过将先验概率和条件概率相乘，然后除以规范化常数来获得。
贝叶斯决策规则的优点是它提供了一种基于统计学的方法来处理决策问题。
它可以适应数据的变化，因为它不需要事先指定任何假说或模型。
此外，贝叶斯决策规则可以有效地进行处理和解释，因为它提供了可视化结果，并且结果可解释性高。
与其他决策方法相比，贝叶斯决策规则对数据的要求较少，可以在小数据集上产生令人满意的结果。
总之，贝叶斯决策规则是一种强大的工具，可以应用于各种领域，用于解决决策问题。
贝叶斯决策理论
g(x)
判别计算
阈值单元
决策
贝叶斯决策理论
2.3 正态分布时的统计决策
重点分析正态分布情况下统计决策的原因是： ①正态分布在物理上是合理的、广泛的 ②正态分布 数学表达上简捷，如一维情况下只
有均值和方差两个参数，因而易于分析
贝叶斯决策理论
贝叶斯决策理论
目标：所采取的一系列决策行动应该使期 望风险达到最小
手段：如果在采取每一个决策时，都使其 条件风险最小，则对所有的 x 作决策时， 其期望风险也必然达到最小
决策：最小风险Bayes决策
贝叶斯决策理论
最小风险Bayes决策规则：
其中
采取决策
贝叶斯决策理论
最小风险Bayes决策的步骤
2.2.6 分类器设计
要点： • 判别函数 • 决策面（分类面） • 分类器设计
贝叶斯决策理论
决策面（分类面）
对于 c 类分类问题，按照决策规则可以把 d 维特 征空间分成 c 个决策域，我们将划分决策域的 边界面称为决策面（分类面）
贝叶斯决策理论
判别函数
用于表达决策规则的某些函数，则称为判别 函数
E{ xi xj } = E{ xi } E{ xj }
贝叶斯决策理论
相互独立
成立
成立？？ 多元正态分布的任
不相关
意两个分量成立！
贝叶斯决策理论
说明：正态分布中不相关意味着协方差矩阵
是对角矩阵
并且有
贝叶斯决策理论
④边缘分布(对变量进行积分)和条件分布(固定变 量)的正态性
⑤线性变换的正态性
y=Ax A为线性变换的非奇异矩阵。若 x 为正态分布，
贝叶斯决策规则 PPT
• 已知
• 计算
• 由于 得癌症
，根据贝叶斯决策规则，该病人没有
如何确定概率？
• 应用贝叶斯决策规则，需已知如下概率
p(x | i ) P(i )
• 对于某个具体问题，常常需要通过实验统计相对 频率，或者利用概率密度估计技术来确定如上概 率
例子
• 问题：
• 在某大学校园内，根据轿车车身高度判断其价格是否超 过5万美元？
• 对任意给定的特征x，如果判决规则 选择的的行动
能够最小化条件风险
，那么总风险将最小化
• 贝叶斯决策规则：对所有i=1,2,…,a，计算条件风险
，选择行动 使得条件风险
最小化
贝叶斯决策得到的最小总风险被称为贝叶斯风险，表示为R*
两类分类问题
• 行动
• ：判决为类别 • ：判决为类别
• 损失
•
• 条件风险
• 先来看两类情况
• 条件误差概率
• 平均误差概率
• 在贝叶斯决策中，对每一个x，P(error | x)都能被最小 化，因此P(error)被最小化。
贝叶斯决策的最优性
• 对问题作如下泛化：
• 允许多类情况； • 允许其他行为而不仅仅是判定类别； • 引入更一般的损失函数来替代误差概率。
• 损失函数
贝叶斯决策的特例
• 特例1
• 均匀先验概率：
• 决策仅仅依赖于 p(x | i )
从样本中观察到 x的情况下，
如果 P(x | j ) P(x | i ),i j， 则预测该模式为 j
贝叶斯决策的特例
• 特例2
• 相同的类条件概率密度函数：
• 决策仅仅依赖于先验概率
如果 P( j ) P(i ),i j ，则预测模式为 j
决策分析贝叶斯决策
天数
3 9 15 3
频率
0.1 0.3 0.5 0.1
由这些资料可以确定未来任何一天的销售量(即自 然状态)的概率分布。
2
先验分布例子: 用某一段时间内每批产品所包含的不合格品数目，来估
计该产品不合格品率的概率分布； 用过去历年秋季广州市火灾的次数，来估计明年秋季火
灾次数的概率分布。
3.主观的先验分布
=2000×0.3+0×0.7=600(元)
故决策方案δ 1（x）的贝叶斯风险为 B（δ 1）= P(θ 1, δ 1) P(θ =θ 1)+ P(θ 2, δ 1) P(θ =θ 2) =300×1/2+600×1/2=450（元）
决策方案δ 2（x）的贝叶斯风险 R(θ1, δ 2（合）) =R(θ1, a2) =1500 R(θ1, δ 2（不）) =R(θ1, a1) =0 R(θ2, δ 2（合）) =R(θ2, a2) =0 R(θ2, δ 2（不）) =R(θ2, a1) =2000
P2
0.160.5
0.432
0.160.5 0.210.5
P2
|
合.不
P合.不|
P合.不|2 P2 1P1 P合.不|
2
P2
0.210.5
0.568
0.160.5 0.210.5
因此，应判断此时设备不正常
11
情况5：可以抽出的两件产品皆为不合格品，即X=“不·不”，
21
若抽取两件产品来补充情报信息，这时决策方案共有 八个，分别记为δ1，δ2，δ3，δ4，δ5，δ6，δ7，δ8，各个决 策方案的风险值和贝叶斯风险见表5-4：
表5-4 状态θ
贝叶斯法则公式
贝叶斯法则公式贝叶斯法则公式是一个用于计算概率的数学公式，其背后的理论基础是贝叶斯统计学。
贝叶斯法则公式在各种领域都有广泛的应用，例如医学、金融、机器学习等。
贝叶斯法则公式的形式如下：P(A|B) = P(B|A) * P(A) / P(B)其中，P(A|B) 表示在 B 发生的条件下 A 发生的概率，P(B|A) 表示在 A 发生的条件下 B 发生的概率，P(A) 表示 A 发生的概率，P(B) 表示 B 发生的概率。
贝叶斯法则公式的核心思想是在已知某些证据的情况下，更新我们对某个假设的概率。
例如，在医学诊断中，医生可能会根据病人的症状和检查结果，来更新对某种疾病的诊断概率。
贝叶斯法则公式的应用非常广泛，下面我们将介绍一些具体的例子。
医学诊断在医学诊断中，贝叶斯法则公式可以用于计算疾病的概率。
例如，假设有一个患者出现了发热、咳嗽和喉咙痛的症状，我们想知道他是否患上了流感。
我们可以根据已知的数据来计算患上流感的概率。
假设患上流感的概率为 P(流感)，发热、咳嗽和喉咙痛的概率分别为 P(发热)、P(咳嗽) 和 P(喉咙痛)，而发热、咳嗽和喉咙痛同时出现的概率为 P(发热, 咳嗽, 喉咙痛)。
根据贝叶斯法则公式，我们可以得到：P(流感|发热, 咳嗽, 喉咙痛) = P(发热, 咳嗽, 喉咙痛|流感) * P(流感) / P(发热, 咳嗽, 喉咙痛)其中，P(发热, 咳嗽, 喉咙痛|流感) 表示在患有流感的情况下，出现发热、咳嗽和喉咙痛的概率，可以通过历史数据来估计；P(流感) 表示患有流感的先验概率，可以通过流行病学调查来估计；P(发热, 咳嗽, 喉咙痛) 表示出现发热、咳嗽和喉咙痛的概率，可以通过历史数据来估计。
金融风险管理在金融风险管理中，贝叶斯法则公式可以用于计算风险的概率。
例如，假设我们想知道一个投资组合的收益率在下一个月内是否会超过某个阈值。
我们可以根据已知的数据来计算超过阈值的概率。
假设超过阈值的概率为 P(超过阈值)，投资组合的历史收益率符合正态分布，其均值为μ，标准差为σ。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
管理决策理论：贝叶斯法则
什么是贝叶斯法则
贝叶斯的统计学中有一个基本的工具叫贝叶斯法则、也称为贝叶斯公式，尽管它是一个数学公式，但其原理毋需数字也可明了。
如果你看到一个人总是做一些好事，则那个人多半会是一个好人。
这就是说，当你不能准确知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。
用数学语言表达就是：支持某项属性的事件发生得愈多，则该属性成立的可能性就愈大。
贝叶斯法则又被称为贝叶斯定理、贝叶斯规则是概
率统计中的应用所观察到的现象对有关概率分布的主观判
断（即先验概率）进行修正的标准方法。
所谓贝叶斯法则，是指当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。
但行为经济学家发现，人们在决策过程中往往并不
遵循贝叶斯规律，而是给予最近发生的事件和最新的经验以更多的权值，在决策和做出判断时过分看重近期的事件。
面对复杂而笼统的问题，人们往往走捷径，依据可能性而非根据概率来决策。
这种对经典模型的系统性偏离称为“偏差”。
由于心理偏差的存在，投资者在决策判断时并非绝对理性，会行为偏差，进而影响资本市场上价格的变动。
但长期以来，由于缺乏有力的替代工具，经济学家不得不在分析中坚持贝叶斯法则。
贝叶斯法则的原理
通常，事件A在事件b（发生）的条件下的概率，与事件b在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯法则就是这种关系的陈述。
作为一个规范的原理，贝叶斯法则对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。
一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯法则。
贝叶斯法则是关于随机事件A和b的条件概率和边缘概率的。
pr（A|b）=pr（b|A）pr（A）/pr（b）L（A|b）pr （A）
其中L（A|b）是在b发生的情况下A发生的可能性。
在贝叶斯法则中，每个名词都有约定俗成的名称：pr（A）是A的先验概率或边缘概率。
之所以称为"先验"是
因为它不考虑任何b方面的因素。
pr（A|b）是已知b发生后A的条件概率，也由于得自b的取值而被称作A的后验概率。
pr（b|A）是已知A发生后b的条件概率，也由于得自A 的取值而被称作b的后验概率。
pr（b）是b的先验概率或边缘概率，也作标准化常量（normalizedconstant）。
按这些术语，bayes法则可表述为：后验概率=（相似度*先验概率）/标准化常量也就是说，后验概率与先验概率和相似度的乘积成正比。
另外，比例pr（b|A）/pr（b）也有时被称作标准相似度（standardisedlikelihood），bayes法则可表述为：后验概率=标准相似度*先验概率
贝叶斯法则的举例分析
可以将贝叶斯法则的分析思路表达如下。
挑战者b不知道原垄断者A是属于高阻挠成本类型还是低阻挠成本类型，但b知道，如果A属于高阻挠成本类型，b进入市场时A进行阻挠的概率是20％（此时A为了保持垄断带来的高利润，不计成本地拼命阻挠）；如果A属于低阻挠成本类型，b进入市场时A进行阻挠的概率是100％.博弈开始时，b认为A属于高阻挠成本企业的概率为70％，因此，b估计自己在进入市场时，受到A阻挠的概率为：0.7×0.2+0.3×1=0.440.44是在b给定A所属类型的先验概率下，A可能采取阻挠行为的概率。
当b进入市场时，A确实进行阻挠。
使用贝叶斯法则，根据阻挠这一可以观察到的行为，b认为A属于高阻挠成本企业的概率变成A属于高成本企业的概率=0.7（A属于高成本企业的先验概率）×0.2（高成本企业对新进入市场的企业进行阻挠的概率）÷0.44=0.32根据这一新的概率，b估计自己在进入市场时，受到A阻挠的概率为：0.32×0.2+0.68×1=0.744如果b再一次进入市场时，A又进行了阻挠。
使用贝叶斯法则，根据再次阻挠这一可观察到的行为，b认为A属于高阻挠成本企业的概率变成A属于高成本企业的概率=0.32（A属于高成本企业的先验概率）×0.2（高成本企业
对新进入市场的企业进行阻挠的概率）÷0.744=0.086这样，根据A一次又一次的阻挠行为，b对A所属类型的判断逐步
发生变化，越来越倾向于将A判断为低阻挠成本企业了。
以上例子表明，在不完全信息动态博弈中，参与人
所采取的行为具有传递信息的作用。
尽管A企业有可能是高成本企业，但A企业连续进行的市场进入阻挠，给b企业以A企业是低阻挠成本企业的印象，从而使得b企业停止了进
入地市场的行动。
应该指出的是，传递信息的行为是需要成本的。
假
如这种行为没有成本，谁都可以效仿，那么，这种行为就达不到传递信息的目的。
只有在行为需要相当大的成本，因而别人不敢轻易效仿时，这种行为才能起到传递信息的作用。
传递信息所支付的成本是由信息的不完全性造成的。
但不能因此就说不完全信息就一定是坏事。
研究表明，在重复次数有限的囚徒困境博弈中，不完全信息可以导致博弈双方的合作。
理由是：当信息不完全时，参与人为了获得合作
带来的长期利益，不愿过早暴露自己的本性。
这就是说，在一种长期的关系中，一个人干好事还是干坏事，常常不取决于他的本性是好是坏，而在很大程度上取决于其他人在多大程度上认为他是好人。
如果其他人不知道自己的真实面目，一个坏人也会为了掩盖自己而在相当长的时期内做好事。