贝叶斯决策方法综述
贝叶斯决策的思路
贝叶斯决策的思路贝叶斯决策是一种基于贝叶斯定理的决策方法，它通过对先验概率和条件概率进行统计推断，从而得出最优的决策结果。
它在众多领域中得到广泛应用，如医学诊断、金融风险评估、自然语言处理等。
一、贝叶斯决策的基本原理贝叶斯决策的核心是贝叶斯定理，它是一种用于更新概率估计的方法。
贝叶斯定理表达了在已知某些观测结果的情况下，对未知参数的概率分布进行修正的方式。
贝叶斯决策利用贝叶斯定理，将先验概率和条件概率结合起来，计算最优的后验概率，从而进行决策。
二、贝叶斯决策的步骤贝叶斯决策的步骤可以概括为以下几个方面：1. 定义决策空间：首先需要定义决策空间，即所有可能的决策结果。
2. 收集样本数据：根据实际问题，我们需要收集一定数量的样本数据，用于计算先验概率和条件概率。
3. 计算先验概率：根据收集到的样本数据，计算每个决策结果的先验概率，即在没有任何观测结果的情况下，每个决策结果发生的概率。
4. 计算条件概率：根据收集到的样本数据，计算每个观测结果在各个决策结果下的条件概率，即在已知决策结果的情况下，每个观测结果发生的概率。
5. 计算后验概率：利用贝叶斯定理，将先验概率和条件概率结合起来，计算每个决策结果的后验概率，即在已知观测结果的情况下，每个决策结果发生的概率。
6. 选择最优决策：根据计算得到的后验概率，选择概率最大的决策结果作为最优决策。
三、贝叶斯决策的优点贝叶斯决策具有以下几个优点：1. 能够充分利用先验知识：贝叶斯决策能够将已有的先验知识充分利用，从而提高决策的准确性。
2. 能够进行不确定性推理：贝叶斯决策能够处理不确定性问题，通过计算后验概率，对不同决策结果进行评估和比较，从而得出最优决策。
3. 能够进行灵活的决策更新：贝叶斯决策能够根据新的观测结果，更新先验概率和条件概率，从而进行灵活的决策更新。
四、贝叶斯决策的应用领域贝叶斯决策在众多领域中得到广泛应用，如医学诊断、金融风险评估、自然语言处理等。
贝叶斯决策方法
max（ E（A1）、 E（A2）） = E（A1） = 34.15 （万元） 即 A*=A1，新产品投产。
（2）后验分析
修正先验概率，现已知P(x),P(z/x)，利 用贝叶斯公式，计算P(x / z)。
1
2
3
s1
0 .3 0 0 .1 5 0 .0 5
s2
0 .0 9 0 .1 2 0 .0 9
s3
0 .0 2 0 .0 8 0 .1 0
0 .4 1 0 .3 5 0 .2 4
S
P (s/ )= p ( /s)/ p ( ,s)
1
2
3
S 1 0 .7 3 1 7 0 .4 2 8 6 0 .2 0 8 3
-70
20 S1(0.5)
钻井
7 S2(0.3) 50 S3(0.2) 200
20 3
0 不钻井 -40 S1(0.7317)
-80
不勘探
8 S2(0.2195) 40
22.5
-10 钻井
S3(0.0488) 190
-10
决 策1
4 1 =0.41 22.9
不钻井 钻井
22.9 S1(0.4286) 9 S2(0.3428)
（1）进行贝叶斯决策；
（2）计算出补充情报价值与全 情报价值；
（3）用决策树表示决策过程。
解：（1）求后验概率P（Si/j）
s
P (s)
P ( /s)
1
2
3
s1 0 .5 0 .6 0 .3 0 .1
贝叶斯决策方法综述
贝叶斯决策方法综述一、决策问题决策就是对一件事情要做出决定，它与推断的差别在于是否涉及后果。
统计学家在作推断时是按统计理论进行的，很少或根本不考虑推断结论在使用后的损失，而决策者在使用推断结果做决策时必须与得失联系在一起考虑。
能给他带来利润的他就使用，使他遭受损失的就不会被采用，度量得失的尺度就是损失函数。
著名统计学家A.Wald（1902-1950）在20世纪40年代引入了损失函数的概念，指的是由于决策失误导致的损失值。
损失函数与决策环境密切相关，因此从实际问题中归纳出合适的损失函数是决策成败关键。
把损失函数加入贝叶斯推断就形成贝叶斯决策论，而损失函数被称为贝叶斯统计中的第四种信息。
决策分析是一般分四个步骤：1）形成决策问题，包括提出方案和确定目标;2）判断自然状态及其概率;3）拟定多个可行方案;4）评价方案并做出选择。
常用的决策分析技术有：确定型情况下的决策分析、风险型情况下的决策分析及不确定型情况下的决策分析。
（1）确定型情况下的决策分析。
确定型决策问题的主要特征有四方面：一是只有一个状态，二是有决策者希望达到的一个明确的目标，三是存在着可供决策者选择的两个或两个以上的方案，四是不同方案在该状态下的收益值是清楚的。
确定型决策分析技术包括用微分法求极大值和数学规划等方法。
（2）风险型情况下的决策分析。
这类决策问题与确定型决策只在第一点特征上有所区别，即在风险型决策问题中，未来可能的状态不只一种，究竟出现哪种状态不能事先肯定，只知道各种状态出现的可能性大小（如概率、频率、比例或权等）。
常用的风险型决策分析技术有期望值法和决策树法。
期望值法是根据各可行方案在各自然状态下收益值的概率平均值的大小，决定各方案的取舍。
决策树法有利于决策人员使决策问题形象化，把各种可以更换的方案、可能出现的状态、可能性大小及产生的后果等，简单地绘制在一张图上，以便计算、研究与分析，同时还可以随时补充。
（3）不确定型情况下的决策分析。
贝叶斯决策
贝叶斯决策法概述决策的分类有很多种，如果按环境划分，决策可以分为确定型、不确定型和风险型三大类，其中风险型决策是最常见的类型。
风险型决策的主要特点是具有状态发生的不确定性。
决策者面临着几种可能的状态和相应的后果，且对这些状态和后果得不到充分可靠的有关未来环境的信息，只能依据“过去的信息或经验”去预测每种状态和后果可能出现的概率，在这种情况下，决策者根据确定的决策函数计算出项目在不同状态下的函数值，然后再结合概率求出相应的期望值，此值就是对未来可能出现的平均状况的估计，决策者可以依此期望值的大小做出决策行为。
常见的决策函数主要有成本函数、收益函数、效用函数。
前面两种函数是从货币因素考虑的，而后者是从非货币因素考虑的。
这种以期望值为标准的分析法是决策者在处理风险型问题时常常使用的方法，贝叶斯决策法是最常见的以期望为标准的分析方法。
它是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
贝叶斯决策法举例表1为某百货商场过去200天关于商品B的日销售量纪录，商品B的进价为200元／f牛，售价为600元／f牛，如果当天销售不完，余下全部报废，求该商品的最佳日订货量a* ，及相应的期望收益金额EMV * 和EVPI。
由表1可知，该商场商品B的销售状态空间为θ={θ1，θ1，θ1，θ1，θ1}={5，6，7，8，9}，这些状态发生的概率也可以推测出来，见表2。
根据此状态空间，决策者的决策空间为A={a1，a1，a1，a1，a1}={5，6，7，8，9}。
当商场的销售量为θi，而进货量为ai时，商场的条件收益为：而相应的期望收益为EPij = CPij * PI，表3即为此例的贝叶斯决策法收益表：从经济角度看当日订货量等于日销售量时，商场没有因为多定货或少定货而造成的机会损失，因此获得的收益最大，所以此例理论上的最大利润为EPC=2,720元。
贝叶斯决策
= 45.1万元
由例11-12已知先验EVPI为50万元。因此有： VAI（e3）= 50 – 45.1=4.9万元
(2)利用表11-5的资料和（11.19）式。可得： P（e3）＝ P ( j ) P ( e 3 / j ) ＝0.1853
j 1 n
(3)按照类似的方法，可以求得下表和EVAI EVAI= VAI ( e ) P ( e ) ＝17.36万元 表11-9 补充信息价值期望值计算
四、完全信息价值
完全信息，是指在进行决策时，对于所有可能出现的自然状态都 可以提供完全确切的情报。
完全信息的价值，可以由掌握完全信息前后，所采取的不同行动 方案的收益值的差额来表示。其期望值的计算公式如下： EVPI ＝ E[ Q(ai,θj )- Q(a*,θj )] ＝ P ( j )[ Q(ai,θj )- (a*,θj )]
P(
j
/ e1 )
j
2
（4）计算后验完全信息价值
表11-14 气象站发出天气好预报的后验完全信息价值计算
状态：天气状况 天气好 天气坏
P (
j
后验概率 / e1 ) )
0.818
0.182
Max Q (ai,θ Q (a*,θ
j
1000
0
j
)
1000
-500
完全信息价值
0
500
后验EVPI（e1）＝0×0.818＋500×0.182＝91
设某种状态θj的先验概率为P(θj)，通过调查获得的补充信息为
ek ,θj 给定时ek的条件概率为 ， P ( e / )则在给定信息ek的条件 下,θj的条件概率即后验概率可用以下公式计算：
贝叶斯方法估计推断决策
贝叶斯方法估计推断决策引言在数据分析与决策中，贝叶斯方法是一种基于概率统计的推理与决策方法。
贝叶斯方法通过给定观察到的数据，结合先验知识或假设，计算后验概率分布，从而进行推断与决策。
本文将介绍贝叶斯方法的基本原理、相关公式和应用场景。
贝叶斯方法的基本原理贝叶斯方法的基本原理可以用贝叶斯定理来表示。
贝叶斯定理是一种条件概率的计算方法，可以用来更新先验概率分布。
$$ P(A|B) = \\frac{{P(B|A) \\cdot P(A)}}{{P(B)}} $$其中，P(A|B)表示在已知事件 B 发生的条件下事件 A 发生的概率，P(B|A)表示在已知事件 A 发生的条件下事件 B 发生的概率，P(A)和P(B)分别表示事件 A和事件 B 的先验概率。
贝叶斯方法通过计算先验概率和条件概率，可以得到后验概率分布，从而进行推断和决策。
贝叶斯方法的基本步骤包括：确定先验分布，计算似然函数，计算后验概率分布，进行推断与决策。
贝叶斯方法的相关公式贝叶斯定理的推导贝叶斯定理可以通过联合概率的定义和条件概率的定义推导得到。
假设事件 A 和事件 B 是两个相互独立的事件，其联合概率可以表示为 $P(A, B) = P(A) \\cdot P(B)$。
根据条件概率的定义，$P(A|B) = \\frac{{P(A, B)}}{{P(B)}}$，代入联合概率的表达式可以得到 $P(A|B) = \\frac{{P(A) \\cdot P(B)}}{{P(B)}}$。
同样地，根据条件概率的定义，$P(B|A) = \\frac{{P(A, B)}}{{P(A)}}$，代入联合概率的表达式可以得到 $P(B|A) = \\frac{{P(A) \\cdot P(B)}}{{P(A)}}$。
由两个等式可得 $P(A|B) = \\frac{{P(B|A) \\cdot P(A)}}{{P(B)}}$，即贝叶斯定理。
朴素贝叶斯分类器朴素贝叶斯分类器是贝叶斯方法的一种应用，常用于文本分类等任务。
现代信息决策方法贝叶斯决策
❖
17、儿童是中心，教育的措施便围绕 他们而 组织起 来。202 1/6/142 021/6/1 42021/ 6/14202 1/6/14
14, 2021
❖ 1、Genius only means hard-working all one's life. (Mendeleyer, Russian Chemist)
似然矩阵
假定得到市场调查表的费用为0.6万元，试问： （1）补充信息（市场调查表）价值多少？ （2）如何决策可以使利润期望值最大？ 解：第一步，验前分析。该厂生产新产品有两种方案，即生 产方案 (a1 ) 、不生产方案 (a2 ) ，产品市场有三种状态，即好(1 ) 、
中( 2 )、坏 ( 3 )，状态的先验概率为
❖ 4、All that you do, do with your might; things done by halves are never done right. ----R.H. Stoddard, American poet做一切事都应尽力而为，半途而废永远不行 5.26.20215.26.202108:3008:3008:30:5708:30:57
❖ 3、Patience is bitter, but its fruit is sweet. (Jean Jacques Rousseau , French thinker)忍耐是痛苦的，但它的果实是甜蜜的。 08:305.26.202108:305.26.202108:3008:30:575.26.202108:305.26.2021
取得最大利润期望值的最优策略是进行市场调查，如果调 查结果是新产品销路好或中等，则进行生产，否则就不生产。
第三步，验后分析。
➢ 综上所述，如果市场调查费用不超过1.56万元， 就应该进行市场调查，从而使企业新产品开发决策 取得较好的经济效益。如果市场调查费用超过1.56 万元，就不应该进行市场调查。
决策分析贝叶斯决策
天数
3 9 15 3
频率
0.1 0.3 0.5 0.1
由这些资料可以确定未来任何一天的销售量(即自 然状态)的概率分布。
2
先验分布例子: 用某一段时间内每批产品所包含的不合格品数目，来估
计该产品不合格品率的概率分布； 用过去历年秋季广州市火灾的次数，来估计明年秋季火
灾次数的概率分布。
3.主观的先验分布
=2000×0.3+0×0.7=600(元)
故决策方案δ 1（x）的贝叶斯风险为 B（δ 1）= P(θ 1, δ 1) P(θ =θ 1)+ P(θ 2, δ 1) P(θ =θ 2) =300×1/2+600×1/2=450（元）
决策方案δ 2（x）的贝叶斯风险 R(θ1, δ 2（合）) =R(θ1, a2) =1500 R(θ1, δ 2（不）) =R(θ1, a1) =0 R(θ2, δ 2（合）) =R(θ2, a2) =0 R(θ2, δ 2（不）) =R(θ2, a1) =2000
P2
0.160.5
0.432
0.160.5 0.210.5
P2
|
合.不
P合.不|
P合.不|2 P2 1P1 P合.不|
2
P2
0.210.5
0.568
0.160.5 0.210.5
因此，应判断此时设备不正常
11
情况5：可以抽出的两件产品皆为不合格品，即X=“不·不”，
21
若抽取两件产品来补充情报信息，这时决策方案共有 八个，分别记为δ1，δ2，δ3，δ4，δ5，δ6，δ7，δ8，各个决 策方案的风险值和贝叶斯风险见表5-4：
表5-4 状态θ
决策分析第4章-贝叶斯决策分析方法
H ( X ) pi log pi
i 1
可证明，当p1 = p2= … = pn = 1/n时，H(X) = logn最大，此 时，随机变量X的不确定性最大，随着H(X)的减小，X的 不确定性减低，当X是确定量时，信息熵为0
信息量可以定义为“获得信息前后的信息熵之差” 信息熵(information entropy)的概念是信息论创始人香农
均为0.25
方案a1的收益期望值为：750/4 方案a2的收益期望值为：180/4 方案a3的收益期望值为：350/4
所以最佳方案为a1Biblioteka 17回顾：损失值和损失矩阵
损失值：指由于决策者不知道实际上将发生哪一种自然状 态，致使所做的决策不是实际最优的决策所带来的损失
损失值函数：r(a, θ)，表示自然状态θ下采用方案a带来的 机会损失
4
目录
1 贝叶斯定理回顾 2 行动函数和贝叶斯风险 3 贝叶斯决策分析方法 4 获得情报信息的途径
5 情报的价值及后验预分析
5
条件概率
6
贝叶斯定理
k=1,2,…,n
7
贝叶斯定理的例子
p(x |2 ) C142 0.38 0.74
p(x |1) C142 0.34 0.78
8
分析及结论
r (2 ) R(2, ) p( ) 50.4 * 0.1 38.8* 0.15 49.6 * 0.25 55* 0.5 50.76 显然，行动规则2的贝叶斯风险较小！ 30
小结
行动规则
情报信息
损失矩阵
得到采取某种行 动方案的概率
得到特定行动 规则和自然状 态条件下的决
策风险
得到采取某种 行动规则的贝
如果自然条件为θ2（200万桶油井）
贝叶斯决策分析课件
02 先验概率与似然函数
先验概率
先验概率
在贝叶斯决策分析中，先验概率是指根据历史数据或其他 信息，对某个事件或状态发生的可能性进行的估计。
确定先验概率的方法
确定先验概率的方法包括主观概率法、历史数据法、专家 评估法等。这些方法根据不同的情况和数据来源，对事件 或状态的可能性进行评估。
先验概率的特点
降维与特征选择
通过贝叶斯方法进行特征选择和降维，提高机器 学习模型的性能。
贝叶斯决策分析在金融风险管理中的应用
风险评估
利用贝叶斯方法评估金融风险，如市场风险、信用风险等。
信贷风险评估
通过构建贝叶斯网络模型，对信贷申请人的风险进行评估。
投资组合优化
利用贝叶斯方法优化投资组合，实现风险与收益的平衡。
贝叶斯决策分析在医疗诊断中的应用
率。
后验概率的应用场景
01
02
03
04
后验概率在决策分析中有着广 泛的应用，尤其是在处理不确 定性和主观概率的情况下。
在预测模型中，后验概率可以 用于预测未来的事件或结果。
在分类问题中，后验概率可以 用于确定某个样本属于某个类
别的概率。
在机器学习中，后验概率可以 用于确定某个模型或算法的准
确性和可靠性。
赖关系。
贝叶斯网络构建
根据领域知识和数据，构建贝叶 斯网络结构，确定节点和有向边
。
贝叶斯网络推理
利用贝叶斯网络进行概率推理， 计算特定条件下某变量的概率值
。
贝叶斯决策分析在机器学习中的应用
分类问题
利用贝叶斯分类器对数据进行分类，如朴素贝叶 斯分类器。
聚类问题
将贝叶斯方法应用于聚类分析，如高斯混合模型 。
模式识别-Bayes决策方法精品文档76页
Applied Pattern Recognition CSE616
14
最小错误概率的Bayes决策
鲑鱼
鲈鱼
类概率密度来源来统计直方图
Applied Pattern Recognition CSE616
15
最小错误概率的Bayes决策
• 一维二类情况
则后验概率
P(/x)P(x/1)P(1)
1
P(x)
同理可得
P(/x)P(x/2)P(2)
2
P(x)
其中
P ( x ) P ( x /) P () P ( x /) P ()
1
1
2
2
Applied Pattern Recognition CSE616
R1
R2
x
错误概率 P e R 1 P ( x /2 ) P (2 ) d R 2 P x ( x /1 ) P (1 ) dx
Applied Pattern Recognition CSE616
18
最小错误概率的Bayes决策
• 错误概率最小？
P ( x / 1 ) P (1 )
c P() 1
i1
i
• 类概率密度P( X / ωi )
P(X/i)d x1
Applied Pattern Recognition CSE616
5
Bayes决策方法
• 根据考虑问题的角度
Bayes决策法
最小错误概率的 Bayes决策法
最小风险的 Bayes决策法
Applied Pattern Recognition CSE616
贝叶斯方法(估计,推断,决策)
p ( x1 , L , xn ,θ ) π (θ x1 ,L, xn ) = p ( x1 , L, xn ) = p ( x1 , L, xn θ )π (θ )
∫ p( x ,L, x
1
n
θ )π (θ )dθ
这就是贝叶斯公式的密度函数形式， 这就是贝叶斯公式的密度函数形式，其中 π (θ x1 ,L , xn )称为θ的后验密度函数，或 称为θ的后验密度函数， 后验分布。 后验分布。而
பைடு நூலகம்
p ( x1 , L , xn ,θ ) = p ( x1 , L , xn θ )π (θ )
在这个联合密度函数中。 在这个联合密度函数中。当样本 X 1 , L , X n 给定之后，未知的仅是参数θ 给定之后，未知的仅是参数θ了，我们关心的是样本 给定后， 的条件密度函数，依据密度的计算公式， 给定后，θ的条件密度函数，依据密度的计算公式， 容易获得这个条件密度函数
贝叶斯统计学首先要想方设法先去寻求θ的先验 分布。先验分布的确定大致可分以下几步： 第一步，选一个适应面较广的分布族作先验分布族， 使它在数学处理上方便一些，这里我们选用β分布 族
Γ(a + b) a 1 π (θ ) = θ (1 θ )b 1 ,0 ≤ θ ≤ 1, a < 0, b > 0 Γ(a )Γ(b)
1 x n
Γ ( n + 2) π (θ x) = θ x (1 θ ) n x ,0 < θ < 1 Γ( x + 1)Γ(n x + 1)
即
θ X ~ Be( x + 1, n x + 1)
拉普拉斯计算过这个概率,研究男婴的诞生 比例是否大于0.5?如抽了251527个男婴,女婴 241945个
现代信息决策方法-贝叶斯决策
现代信息决策方法-贝叶斯决策现代信息决策方法之一是贝叶斯决策。
贝叶斯决策是一种基于贝叶斯定理的决策方法，通过对已知信息进行概率分析，来推断未知事件发生的概率，从而作出决策。
贝叶斯决策的核心是贝叶斯定理，该定理描述了在已知一些先验信息的情况下，如何更新这些信息以获得更准确的概率估计。
具体而言，贝叶斯定理表示：在已知事件A发生的条件下，事件B发生的概率P(B|A)，等于事件B和A同时发生的概率P(A∩B)除以事件A发生的概率P(A)，即P(B|A) =P(A∩B)/P(A)。
贝叶斯决策就是利用贝叶斯定理来计算未知事件发生的概率，并做出相应决策。
贝叶斯决策方法在信息处理、机器学习、人工智能等领域有着广泛的应用。
在信息处理方面，贝叶斯决策能够通过对已有数据进行概率统计，进而推导出未知数据的概率分布，从而实现对信息的分类、预测等处理。
在机器学习方面，贝叶斯决策可用于构建分类模型，通过对已有的训练数据进行学习，来预测未知数据的分类。
在人工智能方面，贝叶斯决策可以帮助智能系统根据已知信息进行推理，从而做出相应的决策。
贝叶斯决策方法的一大优势是能够充分利用先验信息进行推断。
在实际应用中，我们往往会在进行决策之前收集一些相关信息，这些信息就可以作为先验信息输入到贝叶斯决策模型中，从而对未知事件进行概率分析。
贝叶斯决策的另一个优势是可以不断更新决策结果。
通过动态地更新概率分布，贝叶斯决策可以根据新的信息进行迭代，进而修正之前的决策结果，使决策结果更加准确。
然而，贝叶斯决策方法也存在一些局限性。
首先，贝叶斯决策方法需要预先设定概率模型和参数，这对于某些复杂问题来说可能会存在困难。
其次，贝叶斯决策方法假设先验信息和似然函数是已知的，但在实际应用中，这些信息往往是未知的，需要通过数据分析或专家知识来估计。
最后，贝叶斯决策方法对数据的假设是独立同分布的，但在实际问题中，数据通常存在一定的相关性，这可能会导致贝叶斯决策的结果不准确。
第5章 贝叶斯决策分析
p(H1 /n )
p(
H
2
/
n
)
p(Hm /n )
5.1.2 贝叶斯决策的基本方法
利去用修市正场状调态查 变获 量取θ的的先补验充分信布息，值即H依i 或据τ似 然分布矩阵所提供的充分信息，用贝叶 斯公式求出在信息值H或τ发生的条件下， 状态变量θ的条件分布 p(θ/H)。 先验概率—p(θ) ：由以往的数据分析得 到的概率； 后验概率—p(θ/H)：在得到信息之后， 重新加以修正的概率。
品。
即：
aopt＝ a1
E 为不作市场调查的期望收益。
例5.1
2、预验分析：由全概率公式
n
pHi p(Hi / j ) p( j ) j1
得：
p( p(
H H
1 2
) )
0.95 0.05
00..91 00..28 00..2728
例5.1
再由贝叶斯公式：
p j / Hi
例5.2
2、预验分析：由全概率公式
n
pHi p(Hi / j ) p( j )
得：
j1
p( H 1
)
0.6
0.2
0.2 0.3
0.32
p(H2 ) 0.3 0.5 0.2 0.4 0.35
p(H3 ) 0.1 0.3 0.6 0.3 0.33
例5.2
2、预验分析：
2
2
p( H 2 )
0.35
p(3 / H 2 )
p( H 2 / 3 ) p(3 )
p( H 2 )
0.2 0.3 0.1715 0.35
p(1 / H 3 )
p( H 3 /1 ) p(1 )
贝叶斯决策方法
• 2）计算各广告效果的边际概率P（ai）
– 给定各种市场需求量发生概率P（Si）为独立 （先验）概率； – 在不同市场需求条件下各项广告宣传效果的概 率为条件概率P（ai / Si） – 计算联合概率P（Si）* P（ai / Si），进而计算 各广告效果的边际概率P（ai） – 计算后验概率P（Si / ai），即各宣传效果下进 行生产时，各市场需求情况的条件概率P（Si / ai）。
n 个事件的贝叶斯定理为：
假定存在一个完整的和互斥的事件 A1 , A2 ,, An ,
Ai中的某一个出现是事件B 发生的必要条件，那么n
个事件的贝叶斯公式为：
P( A1 / B)
P( A1 ) P( B / A1 ) P( A1 ) P( B / A1 ) P( A2 ) P( B / A2 ) P( An ) P( B / An )
应用后验概率进行决策分析(1)
• 某工厂生产某种产品，预计市场上有好、中、低 三种需求情况； 每种需求情况发生的可能性如表 1 所示的状态概率P（Si）。每种需要情况发生下， 可以获得的利润依次为15万（盈利）、1万（盈 利）和 -6万（亏损）。 • 现在首先考虑：为了生产和推销此产品， 决策是 否进行广告宣传 • 如果要广告宣传，广告宣传的投资为0.6万，广告 效果为好、中、低三种情况。 • 根据长期经营积累的资料，在各种不同市场需求 情况下，每种宣传效果的发生概率如表2所示。
0.09 P(S2 ) P(a3 / S2 )
0.045 P(S3 ) P(a1 / S3 )
0.0625+0.135+0.0675 =0.265
P(a2 / s3)=0.15 P(a3 / s3)=0.75
贝叶斯决策分析
1.全概率公式
全概率公式：
p H
p( H /
j 1
n
j)
p( j ) ( j ) 0) （公式1） (p
2
2.贝叶斯公式：
p i / H
p ( H / i ) p ( i ) p(H )
p ( H / i ) p ( i )
4
P(Hi/θj) H1 H2
θ1 0.95 0.05
θ2 0.10 0.90
试根据市场咨询分析结果，该公司经营该产品应如何决策？ 解：设该公司经营高科技产品有两个行动方案，即经营方案 （a1）、不经营方案（a2）。该产品的市场销售有两种状态， 即畅销（θ1）、滞销（θ2）。状态变量的先验分布为 P(θ1)=0.8，P(θ2)=0.2 据题意，该公司的收益矩阵为
17
2）预验分析 由全概率公式
p H i
p( H
j 1
n
i
/ j ) p( j )
得：
p ( H 1 ) 0 .6 p ( H 2 ) 0 .3 p ( H ) 0 .1 3
（二）贝叶斯决策的基本方法
1.几个概念的含义
★状态变量
指将研究的对象可能处于的状态视为变量。如上面例1中 的市场销售的两种状态，即畅销（θ1）、滞销（θ2）。
★先验分布
指根据历年的资料所获得的状态变量的概率分布。
11
★补充信息（信息值）
指通过市场调查分析所获取的补充信息，用已发生的随 机事件H或已取值的随机变量τ表示，称H或τ为信息值。
★信息值的可靠程度
用在状态变量θ的条件下，信息值H的条件分布p(H/θ) 表示。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
贝叶斯决策方法综述
一、决策问题
决策就是对一件事情要做出决定，它与推断的差别在于是否涉及后果。
统计学家在作推断时是按统计理论进行的，很少或根本不考虑推断结论在使用后的损失，而决策者在使用推断结果做决策时必须与得失联系在一起考虑。
能给他带来利润的他就使用，使他遭受损失的就不会被采用，度量得失的尺度就是损失函数。
著名统计学家A.Wald（1902-1950）在20世纪40年代引入了损失函数的概念，指的是由于决策失误导致的损失值。
损失函数与决策环境密切相关，因此从实际问题中归纳出合适的损失函数是决策成败关键。
把损失函数加入贝叶斯推断就形成贝叶斯决策论，而损失函数被称为贝叶斯统计中的第四种信息。
决策分析是一般分四个步骤：1）形成决策问题，包括提出方案和确定目标;2）判断自然状态及其概率;3）拟定多个可行方案;4）评价方案并做出选择。
常用的决策分析技术有：确定型情况下的决策分析、风险型情况下的决策分析及不确定型情况下的决策分析。
（1）确定型情况下的决策分析。
确定型决策问题的主要特征有四方面：一是只有一个状态，二是有决策者希望达到的一个明确的目标，三是存在着可供决策者选择的两个或两个以上的方案，四是不同方案在该状态下的收益值是清楚的。
确定型决策分析技术包括用微分法求极大值和数学规划等方法。
（2）风险型情况下的决策分析。
这类决策问题与确定型决策只在第一点特征上有所区别，即在风险型决策问题中，未来可能的状态不只一种，究竟出现哪种状态不能事先肯定，只知道各种状态出现的可能性大小（如概率、频率、比例或权等）。
常用的风险型决策分析技术有期望值法和决策树法。
期望值法是根据各可行方案在各自然状态下收益值的概率平均值的大小，决定各方案的取舍。
决策树法有利于决策人员使决策问题形象化，把各种可以更换的方案、可能出现的状态、可能性大小及产生的后果等，简单地绘制在一张图上，以便计算、研究与分析，同时还可以随时补充。
（3）不确定型情况下的决策分析。
如果不只有一个状态，各状态出现的可能性大小又不确定，便称为不确定型决策问题。
常用的决策分析方法有：
a）乐观准则。
比较乐观的决策者愿意争取一切机会获得最好结果。
决策步骤是从每个方案中选一个最大收益值，再从这些最大收益值中选一个最大值，该最大值对应的方案便是入选方案。
b）悲观准则。
比较悲观的决策者总是小心谨慎，从最坏结果着想。
决策步骤是先从各方案中选一个最小收益值，再从这些最小收益值中选出一个最大收益值，其对应方案便是最优方案。
这是在各种最不利的情况下找出一个最有利的方案.
c）等可能性准则。
决策者对于状态信息毫无所知，所以对它们一视同仁，即认为它们出现的可能性大小相等。
于是这样就可按风险型情况下的方法進行决策。
二、贝叶斯决策
风险型决策方法是通过预测各种状态可能发生的先验概率，采用期望值标准或最大可能性标准来选择最佳决策方案。
这样决策具有一定的风险，因为先验概率是根据历史经验或者主观判断得到的，没有经过实验验证。
为了减少这种风险，需要准确掌握并且估计这些先验概率。
得到较准确信息的方法有科学的实验、调查、统计分析等，利用得到的信息修正先验概率，并据此确定各个方案的期望损益值，拟定出可供选择的决策方案，这种方法就是贝叶斯决策方法。
一个完整的贝叶斯决策过程包括数据分析、概率模型的构造、先验信息和效应函数的假设及最后的决策。
贝叶斯决策的基本方法是将关于未知参数的先验信息与样本信息综合，根据贝叶斯定理，得出后验信息，再利用后验信息去推断未知参数。
完整的贝叶斯决策过程有以下步骤：
（1）进行预后验分析。
由于先验概率是根据经验或者历史资料得到的，缺乏一定的时效性。
预后验分析则是再搜集和分析追加信息的分析过程。
通过预后验分析来决定是否值得搜集补充资料以及从这些资料中可能得到的结果和如何决定最优决策。
（2）搜集补充资料，取得条件概率包含历史概率和逻辑概率，对历史概率加以检验，辨明其是否适合计算后验概率。
（3）计算后验概率。
用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率，最后用贝叶斯定理计算后验概率。
（4）用得到的后验概率进行决策分析。
实际运用中，会遇到包含多个阶段的信息搜集和数值计算的过程，即包含一系列的先验分析和预后验分析、采集新的信息、做出后验分析和决策，这个过程称为序贯分析。
三、贝叶斯决策在实际中的应用
前文中首先对贝叶斯思想的起源和发展做了比较详细的介绍，又阐述了贝叶斯理论和方法。
迄今为止，该理论已经广泛应用于诸多领域，并且逐步发展成为诸多的交叉学科，涵盖生物医学、经济金融、商业决断、工程学、法律、语言学以及心理学等学科与行业。
甚至可以说，现在已经很难找到一个领域不存在某种
水平的贝叶斯工具了。
在统计学领域内，贝叶斯理论及方法已经渗透到诸多的方面，包括生物统计、神经网络、决策分析与决策论、试验设计、经验贝叶斯、信息论、缺失数据、非参数统计和函数估计、序贯分析等等。
四、贝叶斯决策的优点及其局限性
（一）贝叶斯决策的优点。
贝叶斯决策的优点体现在以下几个方面：
（1）提供了一个进一步研究的科学方法。
即它能对信息的价值或是否需要采集新的信息作出科学的判断。
（2）它能对调查结果加以数量化的评价，而不是像一般的决策方法那样对调查结果完全相信或者完全不相信。
（二）贝叶斯决策的局限性。
贝叶斯决策方法也有其局限性：
（1）它所需要的数据多，分析计算比较复杂。
（2）有些数据必须使用主观概率，置信度不高，妨碍了贝叶斯决策方法的推广使用。
五、贝叶斯方法应用展望
贝叶斯方法在经济学、管理学、情报学、心理学以及哲学等学科领域都有其重要的应用。
与贝叶斯有关的方法、推理、预测、决策，以及在企业、金融、银行、市场等领域的应用都是是贝叶斯理论研究的重点关注领域。
Gibbs抽样和MCMC模拟成为目前贝叶斯领域的主流方法和研究热点。
用贝叶斯方法进行估计、推理、预测及网络分析，博弈、决策和分类等分析问题提供了新的研究视角。
贝叶斯方法对企业风险、金融、管理方面的推理、预测等实证分析研究，以及模型参数的分布是我国现阶段贝叶斯领域的研究热点。
应该说，中国贝叶斯理论及应用研究的空间依然很广阔。