贝叶斯决策
贝叶斯决策
● 贝叶斯决策的缺点
-贝叶斯决策有可能延误决策的最佳时间； - 贝叶斯决策成本相对较高，针对具体问题必须权衡利弊。
● 先验分析
- 决策者根据各种自然状态及其概率、各种备选方案与自然 状态的损益值，对备选方案作出抉择的过程，称之为先验 分析。 - 当时间、人力和物力不允许收集更完备的信息时，决策者 往往选择这类方法进行决策（如确定型决策、非确定型决 策和风险型决策等）
- 后验分析与预后验分析的差别 预后验分析阶段实际并未进行调查研究和收集资料，提出 的问题是：如果去进行调查研究，可能取得多大的期望收益？ 后验分析阶段是在已实施调查研究并获得实际调查结果的 基础上，对先验概率进行修正并据此作出决策。 ● 案例一 某公司要研制开发一种新款手机，面临的挑战主要来自这种 新款手机的销路和竞争者的状况。经过必要的风险评估后， 该公司认为：当新产品销路好时，开发新产品可盈利8万元， 不开发新产品而继续生产老产品，则会因为其他竞争者开发 新产品而使得老产品滞销，公司可能因此亏损4万元；当新产 品销路不好时，开发新产品可能亏损3万元，不开发新产品就 有可能用更多的资金生产老产品，可盈利10万元；另外，该 公司认为新产品销路好的概率为0.6，销路不好的概率为0.4.
- 常规型预后验分析要解决的问题是：如果试验，应采取什 么行动策略。
-两种预后验分析得出的结论是一致的。 ● 后验分析 - 运用新信息并修正先验概率的过程称为后验分析。
- 即 根据预后验分析，如果认为收集信息、进行调查研究是 值得的，就应该决定去从事这项工作。而一旦取得了新信息， 决策者就结合这些新信息进行分析，计算各种方案的期望损 益值，选择最佳的行动方案。
贝叶斯估计与贝叶斯决策的概念
贝叶斯估计与贝叶斯决策的概念贝叶斯估计和贝叶斯决策是概率论中重要的两个概念，它们在处理不确定性问题和统计推断中扮演着重要角色。
本文将介绍贝叶斯估计和贝叶斯决策的概念、原理以及应用。
一、贝叶斯估计贝叶斯估计是指在给定观测数据的条件下，利用贝叶斯定理来估计未知参数的方法。
在贝叶斯估计中，我们引入了先验概率和似然函数，并通过贝叶斯定理来更新我们对参数的估计。
贝叶斯估计的基本原理可以用以下公式表示：P(θ|X) = P(X|θ) * P(θ) / P(X)其中，P(θ|X) 表示在给定观测数据 X 的条件下，参数θ 的后验概率；P(X|θ) 是参数θ 给定观测数据 X 的似然函数；P(θ) 是参数θ 的先验概率；P(X) 是观测数据的边缘概率。
在贝叶斯估计中，先验概率可以通过领域知识或历史数据来确定，而似然函数则可以通过对观测数据的建模来获得。
通过不断地更新先验概率，我们可以得到后验概率，并将其作为参数的估计值。
贝叶斯估计在许多领域都有广泛的应用，例如机器学习、统计推断、信号处理等。
它能够有效地利用已知信息和数据，对未知参数进行准确的估计。
二、贝叶斯决策贝叶斯决策是一种基于贝叶斯准则的决策方法，它在已知观测数据的条件下，寻找一个决策规则来使得期望损失最小化。
贝叶斯决策的目标是选择一个最优的决策，使得在给定观测数据的条件下，使得期望损失最小。
贝叶斯决策的基本原理可以用以下公式表示：d* = argminΣL(d, a) * P(a|X)其中，d* 是最优决策，ΣL(d, a) 是决策 d 对于观测数据 X 情况下的期望损失，P(a|X) 是在观测数据 X 条件下决策 a 的后验概率。
贝叶斯决策需要利用先验概率和条件概率来对可能的决策进行评估，并选择最优的决策。
它能够充分考虑不确定性和风险，从而在决策问题中展现出优越性。
贝叶斯决策在许多实际问题中都有广泛的应用，例如医学诊断、金融风险评估、无人驾驶等。
通过考虑不确定性和风险，贝叶斯决策可以帮助我们做出最优的决策，提高决策的准确性和效果。
第2章_贝叶斯决策
R1
R1
21 p 1 p x 1 dx 22 p 2 p x 2 dx
R2
R2
11 p 1 (1 p x 1 dx) 21 p 1 p x 1 dx 12 (1 p 1 ) p x 2 dx
R2
R2
R1
22(1 p 1 )(1 p x 2 dx)
R1
最小最大决策准则
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2, , xd T x Rd 为d维特征向量。
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
贝叶斯决策
一、什么是贝叶斯决策在以上所述的一般风险性决策问题中，自然状态的概率是作为已知条件给出的。
但是，在现实经济生活中，事先给出的各种状态的概率（又称为先验概率）常常是不准确的。
因此，需要通过进一步的试验和调查，收集补充信息，并利用补充信息，对原来估计的概率进行修订，从而求得更接近实际的新概率（利用补充信息修订的概率又称为后验概率）。
所谓贝叶斯决策，就是利用补充信息，根据概率计算中的贝叶斯公式来估计后验概率，并在此基础上对备选方案进行评价和选择的一种决策方法。
利用贝叶斯决策方法，可以将先验的信息和补充的信息结合在一起进行分析与判断，从而提高了决策的可靠性。
同时，利用该方法，还可以对信息的价值以及是否需要采集新的补充信息作出科学的判断。
二、贝叶斯公式与后验概率的估计设某种状态θj的先验概率为P(θj)，通过调查获得的补充信息为e k ,θj给定时，e k的条件概率（似然度）为，则在给定信息e k的条件下,θj 的条件概率即后验概率可用以下贝叶斯公式计算：(9.14)【例9-10】某空调机生产厂家拟向另一电子元件厂购买某种电子元器件，根据过去的经验,该电子元件厂产品发生不同次品率的概率分布如表9-5第二栏所示。
但据说，该厂的产品质量最近有所提高。
现从市场上该电子元件厂出售的该种元器件中，随机抽取了10件，结果未发现次品。
试根据这一信息，对以往元器件厂次品率的概率分布进行修正。
解：以往的概率分布可视为先验概率。
在各种不同次品率给定条件下，抽查10件发生0件次品(发生0件为)的概率近似地服从于二项分布，其似然度可按以下方式计算：(9.15)在Excel 中，利用BINOMDIST函数可以方便地计算二项分布的概率。
表9-5的第3栏，给出了按照上式计算的结果。
将似然度代入贝叶斯公式（9.4）式，可求得不同状态下的后验概率,结果如表9-5中最后一栏（第5栏）所示。
例如，次品率为0.05状态的后验概率为：从表中结果可以看出：由于实际抽查的次品率为0,因此，次品率为0.05这种状态的后验概率大于先验概率，而次品率为0.15和 0.20这两种状态的后验概率小于先验概率。
第四章 贝叶斯决策
第四章贝叶斯决策决策的科学化就是90%的信息加上10%的判断，信息必须要全面、准确、及时，否则就会造成决策的失误，只有最大限度地获取信息和利用信息，才能最大限度地提高决策的正确性。
在风险型决策中，假设各个结局R的发生概率是已知的，一j总是根据历史经验，统计资般Pj料由决策者估计的，又称为“先验概率”。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●某水利工程公司拟对大江截流的施工工期做出决策。
可供选择的方案有两种：一是在9月份施工；二是在10月份施工。
●假定其他条件都具备，影响截流的唯一因素是天气与水文状况。
10月份的天气与水文状况肯定可以保证截流成功。
而9月份的天气水文状况有两种可能。
如果天气好，上游没有洪水，9月底前截流成功，可使整个工程的工期提前，从而能比10月施工增加利润1000万元；如果天气坏，上游出现洪水，截流失败，则比10月施工增加500万元的损失。
●根据以往经验，9月份天气好的可能性是0.6，天气坏的可能性是0.4。
●是否应在9月份施工？为该公司选择合适的行动方案。
●先验概率，即前述给出的自然状态出现的概率只是一种比较粗糙地调研而获得的自然状态的概率分布。
●解：（1）先验分析根据题意可列出该问题的收益矩阵表：E(Q(a 1))＝1000×0.6－500×0.4＝400万元；E(Q(a 2))＝0表1 收益矩阵表j θ：天气状况 天气好 天气坏先验概率P(j θ)0.6 0.4 方案9月施工 a 1 10月施工 a 2 1000 －500 0 0●【例】某水利工程公司拟对大江截流的施工工期做出决策。
贝叶斯决策
超曲面。相邻的两个类别在决策面上的判别函数
值是相等的。如果ωi和ωj是相邻的，则分割它们 的决策面就应为
– di(x)=dj(x) 或 di(x)-dj(x)=0 – 对于两类问题，决策面方程：
– P(x|ω1)P(ω1)-P(x|ω2)P(ω2)=0
§2.2 基于贝叶斯公式的几种判别规则
一、基于最小风险的贝叶斯决策
ωi所受损失。因为这是错误判决，故损失最大。
表示：在决策论中，常以决策表表示各种 情况下的决策损失。
状态
ω
ω
…ω
…ω
损失
1
2
j
m
决策
α1
…
…
α2
…
…
…
…
αi
…
…
…
…
αα
…
…
2.风险R（期望损失）：
对未知x采取判决行动α(x)所付出的代价（损耗）
➢行动αi：表示把模式x判决为ωi类的一次动作。
➢条件风险：
密度，考虑误判的损失代价。决策应是统计意义
上使由于误判而蒙受的损失最小。
–
如果在采取每一个决策或行动时，都使
其条件风险最小，则对所有的x作出决策时，其期
望风险也必然最小。（条件平均损失最小的判决
也必然使总的平均损失最小。）
–5.最小风险贝叶斯决策规则
–如果 ：
–6.判决实施步骤：
–（1）在已知P(ωj),P(x|ωj),j=1,2,…m，并给出待 识别的x的情况下，根据贝叶斯公式计算出后验概
决策表很不容易，往往要根据所研究的具体问题， 分析错误决策造成损失的严重程度来确定。
–7.错误率最小的贝叶斯决策规则与风险最小的贝 叶斯决策规则的联系 – 在采用0-1损失函数时，最小风险贝叶斯决 策就等价于最小错误率贝叶斯决策。
贝叶斯决策理论
第二章 贝叶斯决策理论
➢ 如果将一个“－“样品错分为”＋“类所造成的损失要比将” ＋“分成”－“类严重。
➢ 偏向使对”－“类样品的错分类进一步减少，可以使总的损 失最小，那么B直线就可能比A直线更适合作为分界线。
12
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 分类器参数的选择或者学习过程得到的结果取决于 设计者选择什么样的准则函数。
概率密度函数 P(X | 1) 是正常药品的属性分布，概率密度函数
P(X | 2 ) 是异常药品的属性分布。
24
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
在工程上的许多问题中，统计数据往往满足正态分 布规律。
正态分布简单，分析简单，参量少，是一种适宜 的数学模型。
如果采用正态密度函数作为类条件概率密度的函数 形式，则函数内的参数（如期望和方差）是未知的， 那么问题就变成了如何利用大量样品对这些参数进行 估计。
➢ 不同准则函数的最优解对应不同的学习结果，得到 性能不同的分类器。
13
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
➢ 错分类往往难以避免，这种可能性可用 P(i | X ) 表 示。
➢ 如何做出合理的判决就是Bayes决策所要讨论的问题。
➢ 其中最有代表性的是:
基于错误率的Bayes决策 基于最小风险的Bayes决策
05
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
例：某制药厂生产的药品检验识别 目的：说明Bayes决策所要解决的问题！！
06
2.1 Bayes决策的基本概念
第二章 贝叶斯决策理论
如图4-1所示，正常药品“＋“，异常药品”-”。 识别的目的是要依据X向量将药品划分为两类。
现代信息决策方法-贝叶斯决策
现代信息决策方法-贝叶斯决策现代信息决策方法之一是贝叶斯决策。
贝叶斯决策是一种基于贝叶斯定理的决策方法，通过对已知信息进行概率分析，来推断未知事件发生的概率，从而作出决策。
贝叶斯决策的核心是贝叶斯定理，该定理描述了在已知一些先验信息的情况下，如何更新这些信息以获得更准确的概率估计。
具体而言，贝叶斯定理表示：在已知事件A发生的条件下，事件B发生的概率P(B|A)，等于事件B和A同时发生的概率P(A∩B)除以事件A发生的概率P(A)，即P(B|A) =P(A∩B)/P(A)。
贝叶斯决策就是利用贝叶斯定理来计算未知事件发生的概率，并做出相应决策。
贝叶斯决策方法在信息处理、机器学习、人工智能等领域有着广泛的应用。
在信息处理方面，贝叶斯决策能够通过对已有数据进行概率统计，进而推导出未知数据的概率分布，从而实现对信息的分类、预测等处理。
在机器学习方面，贝叶斯决策可用于构建分类模型，通过对已有的训练数据进行学习，来预测未知数据的分类。
在人工智能方面，贝叶斯决策可以帮助智能系统根据已知信息进行推理，从而做出相应的决策。
贝叶斯决策方法的一大优势是能够充分利用先验信息进行推断。
在实际应用中，我们往往会在进行决策之前收集一些相关信息，这些信息就可以作为先验信息输入到贝叶斯决策模型中，从而对未知事件进行概率分析。
贝叶斯决策的另一个优势是可以不断更新决策结果。
通过动态地更新概率分布，贝叶斯决策可以根据新的信息进行迭代，进而修正之前的决策结果，使决策结果更加准确。
然而，贝叶斯决策方法也存在一些局限性。
首先，贝叶斯决策方法需要预先设定概率模型和参数，这对于某些复杂问题来说可能会存在困难。
其次，贝叶斯决策方法假设先验信息和似然函数是已知的，但在实际应用中，这些信息往往是未知的，需要通过数据分析或专家知识来估计。
最后，贝叶斯决策方法对数据的假设是独立同分布的，但在实际问题中，数据通常存在一定的相关性，这可能会导致贝叶斯决策的结果不准确。
第五章贝叶斯决策
例5.15某工厂准备生产一种新产品，产量可以采取
小批、中批、大批三种行动，分别记为 a1, a2 , a3
市场销售可为畅销、一般、滞销三种状态，分别记
为1,2 ,3 。前三种行动在不同市场状态下可获利
润如下(单位：万元)：
a1 a2 a3
10 50 100 1
Q
9
40
30
2
6 20 60 3
绝。
(4)在 上定义了一个损失函数 L( , a)
则说一个贝叶斯决策问题给定了。
5.2 后验风险准则
一.后验风险 把损失函数对后验分布的期望称为后验风险，记为 R(a x)，即
R(a x) E xL( , a) i LL((,ia,)a)xi，x,为为连离续散的的
例5.3 某工厂的产品每100件装成一箱运交顾客，
的差称为抽样信息期望值，记为
EVSI E L，a Exr E xr L， xr
例5.16 一机器制造厂的某一零件由某街道厂生产，每批
1000只，其次品率 的概率分布如下所示：
0.02 0.05 0.10
0.45 0.30 0.15
机器制造厂在整机装配时，若发现零件是次品，必 须更换，每换一只，由街道厂赔偿损失费2.2元，但 也可以在送装之前采取全部检查的办法，使每批零 件的次品率降为1％，但街道厂必须支付检查费0.1 元。现街道厂面临如下两个行动的选择的问题：
望，并称为后验EVPI期望值，即
后验EVPI期望值 Exr E xr L， xr
一般说来，抽样信息的获得总会增加决策者对状态的了解，
从而期望损失会减少，这个减少的量就称为抽样信息期望
值，记为EVSI
定义5.4 在一个贝叶斯决策问题中 a是先验期
第二章贝叶斯决策理论
第二章 贝叶斯决策理论
2.2 几种 常用旳决策规则
• 基于最小错误率旳贝叶斯决策 • 基于最小风险旳贝叶斯决策 • 分类器设计
2
2.2.1 基于最小错误率旳贝叶斯决策
在模式分类问题中，基于尽量降低分类旳错 误旳要求，利用概率论中旳贝叶斯公式，可得出 使错误率为最小旳分类规则，称之为基于最小错 误率旳贝叶斯决策。
11 0,
12 6
21 1,
22 0
根据例2.1旳计算成果可知后验概率为
P(1 | x) 0.818,
P(2 | x) 0.182
再按式（2-15）计算出条件风险 2 R(1 | x) 1 j P( j | x) 12P(2 | x) 1.092 j 1
R(2 | x) 21P(1 | x) 0.818 由于R(1 | x) R(2 | x)
c
c
R(i | x) (i , j )P( j | x) P( j | x)
(2 19)
j 1
j 1
ji
c
P( j
j 1
| x)
表达对x采用决策 i旳条件错误概率。
ji
26
• 所以在0-1损失函数时，使
R( k
|
x)
min
i 1,,c
R(i
|
x)
旳最小风险贝叶斯决策就等价于
c
c
j1
P( j
(i ,
j
)
10,,ii
j, j,
i, j 1,2,, c
(2 18)
25
• 式中假定对于c类只有c个决策，即不考虑“拒绝”旳
情况。式（2-18）中(i , j ) 是对于正确决策（即i=j）
贝叶斯决策分析
1.全概率公式
全概率公式：
p H
p( H /
j 1
n
j)
p( j ) ( j ) 0) （公式1） (p
2
2.贝叶斯公式：
p i / H
p ( H / i ) p ( i ) p(H )
p ( H / i ) p ( i )
4
P(Hi/θj) H1 H2
θ1 0.95 0.05
θ2 0.10 0.90
试根据市场咨询分析结果，该公司经营该产品应如何决策？ 解：设该公司经营高科技产品有两个行动方案，即经营方案 （a1）、不经营方案（a2）。该产品的市场销售有两种状态， 即畅销（θ1）、滞销（θ2）。状态变量的先验分布为 P(θ1)=0.8，P(θ2)=0.2 据题意，该公司的收益矩阵为
17
2）预验分析 由全概率公式
p H i
p( H
j 1
n
i
/ j ) p( j )
得：
p ( H 1 ) 0 .6 p ( H 2 ) 0 .3 p ( H ) 0 .1 3
（二）贝叶斯决策的基本方法
1.几个概念的含义
★状态变量
指将研究的对象可能处于的状态视为变量。如上面例1中 的市场销售的两种状态，即畅销（θ1）、滞销（θ2）。
★先验分布
指根据历年的资料所获得的状态变量的概率分布。
11
★补充信息（信息值）
指通过市场调查分析所获取的补充信息，用已发生的随 机事件H或已取值的随机变量τ表示，称H或τ为信息值。
★信息值的可靠程度
用在状态变量θ的条件下，信息值H的条件分布p(H/θ) 表示。
贝叶斯决策方法
max（ E（A1）、 E（A2）） = E（A1） = 34.15 （万元） 即 A*=A1，新产品投产。
（2）后验分析
修正先验概率，现已知P(x),P(z/x)，利 用贝叶斯公式，计算P(x / z)。
1
2
3
s1
0 .3 0 0 .1 5 0 .0 5
s2
0 .0 9 0 .1 2 0 .0 9
s3
0 .0 2 0 .0 8 0 .1 0
0 .4 1 0 .3 5 0 .2 4
S
P (s/ )= p ( /s)/ p ( ,s)
1
2
3
S 1 0 .7 3 1 7 0 .4 2 8 6 0 .2 0 8 3
-70
20 S1(0.5)
钻井
7 S2(0.3) 50 S3(0.2) 200
20 3
0 不钻井 -40 S1(0.7317)
-80
不勘探
8 S2(0.2195) 40
22.5
-10 钻井
S3(0.0488) 190
-10
决 策1
4 1 =0.41 22.9
不钻井 钻井
22.9 S1(0.4286) 9 S2(0.3428)
（1）进行贝叶斯决策；
（2）计算出补充情报价值与全 情报价值；
（3）用决策树表示决策过程。
解：（1）求后验概率P（Si/j）
s
P (s)
P ( /s)
1
2
3
s1 0 .5 0 .6 0 .3 0 .1