贝叶斯统计决策
贝叶斯决策的思路
贝叶斯决策的思路贝叶斯决策是一种基于贝叶斯定理的决策方法，它通过对先验概率和条件概率进行统计推断，从而得出最优的决策结果。
它在众多领域中得到广泛应用，如医学诊断、金融风险评估、自然语言处理等。
一、贝叶斯决策的基本原理贝叶斯决策的核心是贝叶斯定理，它是一种用于更新概率估计的方法。
贝叶斯定理表达了在已知某些观测结果的情况下，对未知参数的概率分布进行修正的方式。
贝叶斯决策利用贝叶斯定理，将先验概率和条件概率结合起来，计算最优的后验概率，从而进行决策。
二、贝叶斯决策的步骤贝叶斯决策的步骤可以概括为以下几个方面：1. 定义决策空间：首先需要定义决策空间，即所有可能的决策结果。
2. 收集样本数据：根据实际问题，我们需要收集一定数量的样本数据，用于计算先验概率和条件概率。
3. 计算先验概率：根据收集到的样本数据，计算每个决策结果的先验概率，即在没有任何观测结果的情况下，每个决策结果发生的概率。
4. 计算条件概率：根据收集到的样本数据，计算每个观测结果在各个决策结果下的条件概率，即在已知决策结果的情况下，每个观测结果发生的概率。
5. 计算后验概率：利用贝叶斯定理，将先验概率和条件概率结合起来，计算每个决策结果的后验概率，即在已知观测结果的情况下，每个决策结果发生的概率。
6. 选择最优决策：根据计算得到的后验概率，选择概率最大的决策结果作为最优决策。
三、贝叶斯决策的优点贝叶斯决策具有以下几个优点：1. 能够充分利用先验知识：贝叶斯决策能够将已有的先验知识充分利用，从而提高决策的准确性。
2. 能够进行不确定性推理：贝叶斯决策能够处理不确定性问题，通过计算后验概率，对不同决策结果进行评估和比较，从而得出最优决策。
3. 能够进行灵活的决策更新：贝叶斯决策能够根据新的观测结果，更新先验概率和条件概率，从而进行灵活的决策更新。
四、贝叶斯决策的应用领域贝叶斯决策在众多领域中得到广泛应用，如医学诊断、金融风险评估、自然语言处理等。
统计学中的贝叶斯统计和决策理论
统计学中的贝叶斯统计和决策理论统计学是研究数据收集、分析和解释的学科，而贝叶斯统计和决策理论是统计学中的两个重要分支。
贝叶斯统计理论是一种基于贝叶斯定理的统计推断方法，而决策理论则关注如何在面对风险或不确定性时做出最佳决策。
一、贝叶斯统计1. 贝叶斯理论的基本思想贝叶斯统计理论是以英国数学家Thomas Bayes的名字命名的，其基本思想是通过先验知识和新收集的数据来进行参数估计。
与传统频率统计不同，贝叶斯统计将概率看作是描述人们对不确定性的信念，通过更新这些信念来进行推理。
2. 先验概率和后验概率在贝叶斯统计中，先验概率是在考虑新数据之前已经拥有的关于参数的概率分布。
随着新数据的不断积累，我们可以更新先验概率，得到后验概率，从而更加准确地估计参数的值。
3. 贝叶斯公式贝叶斯公式是贝叶斯统计的核心公式。
根据贝叶斯公式，我们可以计算参数的后验概率，从而基于数据来更新我们对参数的估计。
4. 贝叶斯推断的优点和应用贝叶斯统计有一些独特的优点。
首先，它允许我们将先验知识与数据结合，从而得到更加准确的推断。
此外，贝叶斯统计还可以通过使用先验概率来处理缺乏数据的情况。
贝叶斯统计在各个领域中都有广泛的应用，包括医学诊断、金融风险评估和机器学习等。
二、决策理论1. 决策理论的基本概念决策理论是研究在面对不确定性和风险时如何做出最佳决策的学科。
决策问题涉及到选择行动和评估不同行动的后果。
决策理论包括概率理论、效用理论和风险管理等概念。
2. 概率理论在决策中的应用概率理论是决策理论中的一项重要概念，它用于描述事件发生的可能性。
决策者可以使用概率理论来估计不同决策的结果，并在不确定性下做出合理的决策。
3. 效用理论和决策权衡效用理论是决策理论中的另一个关键概念，它描述了个体对不同结果的偏好程度。
根据效用理论，决策者可以根据结果的效用来评估不同决策的价值，并选择效用最大化的决策。
4. 风险管理和决策优化决策理论还涉及到风险管理和决策优化。
贝叶斯决策理论与统计判决方法
Bayes法则－最大后验概率准则
对于两类1， 2问题，直观地，可以根据后验概率做判决：
若 p(ω1|xr ) p(ω2|xr ) 则 xr 1 若 p(ω1|xr ) p(ω2|xr ) 则 xr 2
根 P(据iB)和ay条e件s公概式率，密后度验概p率( xr
p(i / i )
r / x) 可由类i的先验概率
会骗人的测谎仪
从计算结果来看，94%的检测都是错误的。问题出在哪里呢？
问题在于先验概率P(L)。
普通人群对于测试的撒谎率是很低的，因此测谎仪的结果并不能告诉你 一个普通人是否撒了谎。
然而，如果这一检验用于罪犯（嫌疑犯），由于罪犯对于特定问题说谎 的概率很高（也许是不得不撒谎，比如警察问：你有没有干坏事？罪犯 的回答是：嗯，这个么，也许，大概，可能，是这样的……），假设 P(L)= 0.5，这时我们可以得到P(L|T)=0.86，这个概率还是可以 接受的。
则 xr 1 则 xr 2
或改写为l12 l12来自p( p( p( p(
x| x| x | x |
1 2
1 2
) ) ) )
P(2 ) P(1 )
P(2 ) P(1 )
12 12
则 x1 则 x2
l12称为似然比（likelihood ratio），12称为似然比的判决阀值。
原则：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是 来自ω2类的概率大。
几种常用的决策规则
这里将讨论几种常用的决策规则。不同的决策规则反映了分类器设计者 的不同考虑，对决策结果有不同的影响。其中最有代表性的是基于最小 错误率的贝叶斯决策与基于最小风险的贝叶斯决策，下面分别加以讨 论。
“概率论”有关概念复习
统计学中的贝叶斯统计与决策理论
统计学中的贝叶斯统计与决策理论统计学中的贝叶斯统计学是一种基于贝叶斯公式和概率论原理的统计推断方法。
它与传统的频率主义统计学方法相比，具有许多独特的优势。
本文将介绍贝叶斯统计学的基本原理、应用领域以及与决策理论的关系。
一、贝叶斯统计学的基本原理贝叶斯统计学是由英国数学家托马斯·贝叶斯提出的，它基于概率论的贝叶斯公式：P(A|B) = P(B|A) * P(A) / P(B)，其中P(A|B)表示在给定B发生的条件下A发生的概率，P(B|A)表示在给定A发生的条件下B 发生的概率，P(A)和P(B)分别表示A和B分别发生的概率。
贝叶斯统计学的基本原理是根据已有的先验知识和新的观测数据，通过不断更新概率分布来得出对未知参数的后验概率分布。
通过贝叶斯公式，可以将观测数据与已有知识相结合，得出对未知参数的概率分布，从而进行推断和预测。
二、贝叶斯统计学的应用领域贝叶斯统计学广泛应用于各个领域，包括医学、金融、生物学、工程学等。
其应用主要体现在以下几个方面：1. 参数估计：贝叶斯统计学通过考虑先验信息，对参数进行估计。
与传统的频率主义统计学方法相比，贝叶斯统计学能够更好地利用已有的知识，提供更准确的参数估计。
2. 假设检验：贝叶斯统计学提供了一种新的方法来进行假设检验。
通过计算后验概率与先验概率的比值，可以得到对不同假设的相对支持程度，从而在决策时提供更全面的信息。
3. 预测分析：贝叶斯统计学通过更新概率分布，可以对未来的事件进行预测。
这使得贝叶斯统计学在金融风险预测、天气预报等领域有着广泛的应用。
三、贝叶斯统计学与决策理论的关系贝叶斯统计学与决策理论密切相关。
决策理论主要研究如何在不确定情况下做出最优决策。
而贝叶斯统计学可以为决策提供一个统一的框架，通过计算不同决策的后验概率，从而选择概率最大的决策。
在贝叶斯决策理论中，需要考虑多个可能的决策结果以及每个决策结果的概率。
通过使用贝叶斯统计学中的贝叶斯公式，可以将观测数据与已有知识相结合，计算每个决策结果的后验概率，从而选择概率最大的决策。
第2章_贝叶斯决策
R1
R1
21 p 1 p x 1 dx 22 p 2 p x 2 dx
R2
R2
11 p 1 (1 p x 1 dx) 21 p 1 p x 1 dx 12 (1 p 1 ) p x 2 dx
R2
R2
R1
22(1 p 1 )(1 p x 2 dx)
R1
最小最大决策准则
Neyman-Pearson准则
❖ 对两分类问题，错误率可以写为：
Pe p x R1, x 2 p x R2, x 1
p x | 2 p2 dx p x | 1 p1 dx
R1
R2
p x | 2 dx p2 p x | 1 dx p1
R1
R2
p2 e p2 p1 e p1
策即为最小风险贝叶斯决策
最小风险准则
最小风险准则
❖ 对于贝叶斯最小风险决策，如果损失函数为“01损失”，即取如下的形式：
i wj
0, 1,
for i j ; i, j 1,
for i j
,c
那么，条件风险为：
c
R i x i j P j x P j x 1 P i x
❖ 贝叶斯决策的两个要求
各个类别的总体概率分布 (先验概率和类条件概 率密度) 是已知的
要决策分类的类别数是一定的
引言
❖ 在连续情况下，假设对要识别的物理对象有d种特征
观察量x1,x2,…xd，这些特征的所有可能的取值范围 构成了d维特征空间。
❖ 称向量 x x1, x2, , xd T x Rd 为d维特征向量。
p 2 p 1
似然比公式
最小错误率准则
❖ 特例1：
最小错误率准则
统计决策与贝叶斯估计
统计决策与贝叶斯估计
一、统计决策
统计决策理论是指从统计上分析和评估各种可能的决策结果，取得最佳决策并做出正确的选择。
是将统计学和模型评估与管理决策整合使用的一种科学技术。
统计决策理论(SDT)是一种决策理论，其基本思想是应用统计学方法来分析和评估管理决策的决策潜力，以及各种可行决策结果的后果，从而使得经理能够从最优的角度决策，实现企业的最佳管理效果。
SDT有三个主要特点：
1、科学性：统计决策理论是以科学的方式来分析经济管理决策，使用统计学、经济学、模型评估等方法。
2、系统性：它充分考虑决策要素之间的关系，通过逻辑推理运用现代决策理论，系统地分析和评估决策内容，按照各种可行决策的潜力和可能性，从而使管理者能够选择最佳决策方案。
3、决策性：取决于决策者的主观能力，经过深入的分析评估后，最后从几种可行的决策中，根据客观情况，选择最有利的方案。
贝叶斯估计是一种概率模型，是用来估计未知参数的概率分布，它可以利用已经观察到的数据来改变我们对未知参数的概率的看法，并且可以进一步用来作出预测，从而进行概率预测。
贝叶斯方法(估计,推断,决策)
x)
n x
,
x
0,1,, n.
最后在给出X=x的条件下，θ的后验密度为
( x) p(x, )
(a b n) ax1(1 )bnx1,0 x 1
p(x) (a x)(b n x)
显然这个后验分布仍然是β分布，它的两个参数分别 是a+x和b+n-x。我们选后验期望作为的贝叶斯估计， 则θ的贝叶斯估计为
如下两个方程来确定a与b。
0.1 ( )d
0
0.5 ( )d
0
0.1, 0.5.
假如的信息较为丰富，譬如对此产品经常进行抽 样检查，每次都对废品率作出一个估计，把这些 估计值看作的一些观察值，再经过整理，可用一 个分布去拟合它。
假如关于的信息较少，甚至没有什么有用的先验信 息，那可以用区间（0，1）上的均匀分布（a=b=1 情况）。用均匀分布意味着我们对的各种取值是 “同等对待的”，是“机会均等的”。贝叶斯本人 认为，当你对参数θ的认识除了在有限区间（c，d） 之外，其它毫无所知时，就可用区间（c，d）上的 均匀分布作为θ的先验分布。这个看法被后人称之 为“贝叶斯假设”。
这就是贝叶斯公式的密度函数形式，其中
( x1,, xn )称为θ的后验密度函数，或
后验分布。而
p(x1,, xn ) p(x1,, xn ) ( )d
是样本的边际分布，或称样本 X1,, X n 的无条件分布，它的积分区域就是参数θ的取值范围， 随具体情况而定。
前面的分析总结如下：人们根据先验信息对参数θ 已有一个认识，这个认识就是先验分布π（θ）。 通过试验，获得样本。从而对θ的先验分布进行调 整，调整的方法就是使用上面的贝叶斯公式，调整 的结果就是后验分布 ( x1,, xn ) 。后验分布是三种 信息的综合。获得后验分布使人们对θ的认识又前 进一步，可看出，获得样本的的效果是把我们对θ 的认识由π（θ）调整到 ( x1,, xn ) 。所以对θ的 统计推断就应建立在后验分布 ( x1,, xn ) 的基础上。
统计决策与贝叶斯推断
?? (? ) p(x ? )d?
?
称? (? x)为? 的后验分布。
?先验风险准则与后验风险准则
定义1： 在给定的统计决策问题中，设 R(? , d) 为决策 函数d(?) 的风险函数，? (? )为? 的先验分布，则平均风 险
B(d) E? [R(? , d)] ? ?R(? ,d)? (? )d? ?
1、一致最优决策准则
定义 设D ? {d(?)}表示定义在样本空间 H 上取值于行
动空间 A 的某一决策函数类，若存在一个决
策函数 d*(?)? D ，使得对任意 d(?)? D ，都有
R(?,d*) ? R(?,d), ? ? ??
则称 d*(?)为决策函数类 D 的一致最小风险决 策函数，或称为一致最优决策函数。
状态集
行动集 行动空间
决策问题的 三个基本要素
损失函数
依统计决策论的观点，对决策有用的信息
先验信息
样本信息
无数据
贝叶斯
（无样本信息） 决策问题 统计决策问题 决策问题
决策问题的分类
一、基本概念
1、损失函数
描述当未知量处于状态 ? 而采取行动 a 时所引 起的损失，记为 L(? , a)
线性损失函数
统计学中有两个主要学派：经典（频率）学派
与贝叶斯学派。经典学派认为? 是未知参数；贝叶 斯学派认为? 是随机变量，应该用一个概率分布去 描述? 的未知状况。这个概率分布在抽样之前就已
存在，它是关于? 的先验信息的概率陈述。这个概 率分布就称为先验分布，用? (? ) 来表示。
? 贝叶斯公式与后验分布
0 ? 1损失函数：
L(? , a) ?
第5章 统计决策与贝叶斯估计
• 例 设X~N(,1), 未知，取先验密度h()1, 显然它不是通常意义下的密度函数，但可以 验证它是一个广义先验密度函数。
先验分布的确定
先验分布的确定方法有： (1) 客观法 以前的资料积累较多，对的先验分布能作 出较准确的统计或估计。在这种情况下， 分布的确定没有渗杂多少人的主观因素， 故称之为客观法。
dD dD
则称d*为参数的极小化极大估计量,也称为 Minimax决策函数.
注：这个使得最大风险达到最小的决策函数，是 考虑到最不利的情况而采取尽可能好的结果，这 样的一种策略，也就是通常所说的从最坏处着想 而争取最好的结果，因而是一种基于稳定而偏于 保守的考虑。
例 设总体X～B(1,p),p={1/2,1/4},样本 容量为1，即X1为样本,D＝ {1/2,1/4},损失 函数L(p,d)由下表给出，试求参数p的
风险函数R( , d ( x)) EL( , d ( x)), 而 R( , d )称为 决策函数当参数取值 时的风险。
例1 设总体服从参数为的泊松分布， >0,选取二次损失函数L(,d)=(d- )2,考 虑的估计量的风险函数 定义 若存在一个决策函数d*(X),使得对 任何决策函数d(X)，都有
n
n
这说明贝努里分布 B(1, p )中 p 的共轭先验分布为 分 布，其后验密度为：
a xi 1 b n xi 1 a b n i 1 i 1 p (1 p ) 0 p 1 n n a xi b n xi h ( p | x) i 1 i 1 0 其它
(3) 同等无知原则
统计贝叶斯方法在决策分析中的应用
统计贝叶斯方法在决策分析中的应用统计贝叶斯方法是一种基于贝叶斯定理的统计推断方法，它在决策分析中具有广泛的应用。
贝叶斯方法的核心理念是将先验信息与观测数据相结合，通过不断迭代更新概率分布，得出对未知参数或未来事件的后验概率分布。
本文将探讨统计贝叶斯方法在决策分析中的应用，并讨论其优势和局限性。
一、贝叶斯决策分析简介贝叶斯决策分析是一种以概率为基础的决策分析方法。
它允许决策者在不确定的环境中，通过将概率模型与决策模型相结合，做出最优的决策。
贝叶斯决策分析通常包括以下几个步骤：1. 收集信息：获取相关的数据和先验知识。
2. 确定决策模型：定义决策变量和目标函数，建立决策模型。
3. 建立概率模型：根据先验知识和观测数据，建立贝叶斯概率模型。
4. 更新概率分布：通过贝叶斯定理，将先验概率分布与新观测数据相结合，得到后验概率分布。
5. 做出决策：根据目标函数，选取后验概率最大的决策。
二、统计贝叶斯方法在决策分析中的应用1. 模式识别：统计贝叶斯方法在模式识别领域被广泛应用。
通过将先验概率和观测数据结合，可以有效地进行图像识别、语音识别等任务。
例如，在人脸识别中，贝叶斯方法可以通过学习先验概率和观测数据，对人脸进行准确的识别和分类。
2. 健康风险评估：统计贝叶斯方法在健康风险评估中非常有用。
通过将患病先验概率和医学检测结果相结合，可以准确地评估一个人的患病风险。
例如，在乳腺癌检测中，贝叶斯方法可以根据乳腺癌的先验概率和乳腺摄影检查结果，对患者的乳腺癌风险进行评估。
3. 金融风险管理：统计贝叶斯方法在金融风险管理领域有着重要的应用。
通过将市场数据和经济指标与先验概率相结合，可以对金融市场的风险进行准确的评估和预测。
例如，在股票市场中，贝叶斯方法可以根据股票的历史数据和市场因素，对未来股票价格的涨跌进行预测。
4. 市场营销决策：统计贝叶斯方法在市场营销决策中的应用也非常广泛。
通过将市场调研数据和消费者行为数据与先验概率相结合，可以对消费者的偏好和购买行为进行准确的分析和预测。
贝叶斯统计在决策分析中的应用
贝叶斯统计在决策分析中的应用在当今这个充满不确定性的世界里，决策分析成为了我们生活和工作中不可或缺的一部分。
从企业的战略规划到个人的日常选择，我们都需要在有限的信息和多种可能性中做出最优的决策。
而贝叶斯统计，作为一种强大的统计工具，为我们提供了一种更科学、更合理的决策分析方法。
在决策分析中，贝叶斯统计可以帮助我们更好地处理不确定性。
让我们以医疗诊断为例。
医生在诊断一位患者是否患有某种疾病时，通常会根据患者的症状、病史等先验信息做出初步判断。
然后，通过各种检查手段（如血液检查、影像学检查等）获取新的信息。
贝叶斯统计可以将这些先验信息和新的检查结果结合起来，计算出患者患有该疾病的概率，从而为医生的诊断和治疗决策提供有力的支持。
再比如，在金融领域，投资者在决定是否投资某只股票时，会考虑公司的财务状况、行业前景等先验信息。
同时，他们也会关注市场的动态、宏观经济数据等新的信息。
利用贝叶斯统计，投资者可以根据这些信息不断更新对股票收益的预期，从而做出更明智的投资决策。
贝叶斯统计在市场营销中也有广泛的应用。
企业在推出新产品之前，往往会对市场需求进行预测。
通过市场调研和历史销售数据等先验信息，企业可以初步估计产品的潜在市场规模。
在产品上市后，通过实际销售数据和消费者反馈等新的信息，企业可以运用贝叶斯统计方法来调整对市场需求的估计，进而优化生产和营销策略。
在风险管理中，贝叶斯统计同样发挥着重要作用。
例如，保险公司在评估某个地区的自然灾害风险时，可以结合该地区的历史灾害数据（先验信息）和最新的气候数据、地质监测数据等（新的信息），运用贝叶斯统计来更准确地估计未来可能的损失，从而制定合理的保险费率和风险防范措施。
贝叶斯统计的优势在于它能够充分利用先验信息，并且可以随着新数据的不断积累进行动态更新和优化。
这使得决策更加具有适应性和灵活性。
然而，贝叶斯统计也并非完美无缺。
在实际应用中，确定合理的先验分布可能会存在一定的主观性。
统计决策与贝叶斯推断概述
对d3， R1, d3 0 0 80001 8000
R2, d3 6000 0 01 0
max
,
d1
max4000,3000
4000
max
,
d
2
max400,1800
下面计算（3）中那些决策函数的贝叶斯风险， 先算X 的边缘分布：
2
m(1) ( j )P{X 1| j} 0.7875 j 1
2
m(2) ( j )P{X 0 | j} 0.2125 j 1
从而，
B(d1) EX [R(d1 | X )] 571.2 0.7875 1412 0.2125 749.87
1
2
0.75 0.25
动 a根1 ，据a先2 的验平分均布风险， ，因可为分这别是算无出数行据动决a策1 问，a题2 的，平所均以损R失 ,，a亦 即L，,行a E L , a1 0 0.75 6000 0.25 1500
E L , a2 8000 0.75 0 0.25 6000
对比上述结果可知，采取行动 a1 为上策，即，收藏家应该买下这幅画。
B(d2 ) 6750.202 B(d3) 1499.782 B(d4 ) 6000.29
由此可见，在贝叶斯风险准则下的最优决策函数仍 是d1(•) ，在两种不同风险准则下得出相同的最优决 策函数，其理论依据是定理6.1.1.
定理6.1.1 对给定的统计决策问题（含给定的先
验分布）和决策函数类 D ，若贝叶斯风险满足条
d D
则称 d* 为决策函数类 D 在贝叶斯（先验）风险准则 下的最优决策函数，简称贝叶斯决策函数或贝叶斯 解。
现代信息决策方法-贝叶斯决策
现代信息决策方法-贝叶斯决策现代信息决策方法之一是贝叶斯决策。
贝叶斯决策是一种基于贝叶斯定理的决策方法，通过对已知信息进行概率分析，来推断未知事件发生的概率，从而作出决策。
贝叶斯决策的核心是贝叶斯定理，该定理描述了在已知一些先验信息的情况下，如何更新这些信息以获得更准确的概率估计。
具体而言，贝叶斯定理表示：在已知事件A发生的条件下，事件B发生的概率P(B|A)，等于事件B和A同时发生的概率P(A∩B)除以事件A发生的概率P(A)，即P(B|A) =P(A∩B)/P(A)。
贝叶斯决策就是利用贝叶斯定理来计算未知事件发生的概率，并做出相应决策。
贝叶斯决策方法在信息处理、机器学习、人工智能等领域有着广泛的应用。
在信息处理方面，贝叶斯决策能够通过对已有数据进行概率统计，进而推导出未知数据的概率分布，从而实现对信息的分类、预测等处理。
在机器学习方面，贝叶斯决策可用于构建分类模型，通过对已有的训练数据进行学习，来预测未知数据的分类。
在人工智能方面，贝叶斯决策可以帮助智能系统根据已知信息进行推理，从而做出相应的决策。
贝叶斯决策方法的一大优势是能够充分利用先验信息进行推断。
在实际应用中，我们往往会在进行决策之前收集一些相关信息，这些信息就可以作为先验信息输入到贝叶斯决策模型中，从而对未知事件进行概率分析。
贝叶斯决策的另一个优势是可以不断更新决策结果。
通过动态地更新概率分布，贝叶斯决策可以根据新的信息进行迭代，进而修正之前的决策结果，使决策结果更加准确。
然而，贝叶斯决策方法也存在一些局限性。
首先，贝叶斯决策方法需要预先设定概率模型和参数，这对于某些复杂问题来说可能会存在困难。
其次，贝叶斯决策方法假设先验信息和似然函数是已知的，但在实际应用中，这些信息往往是未知的，需要通过数据分析或专家知识来估计。
最后，贝叶斯决策方法对数据的假设是独立同分布的，但在实际问题中，数据通常存在一定的相关性，这可能会导致贝叶斯决策的结果不准确。
第五章贝叶斯决策分析
第五章贝叶斯决策分析
贝叶斯决策分析（Bayesian Decision Analysis）是一种基于贝叶斯统计推理的决策方法。
它以数据作为输入，利用贝叶斯统计推理以及现实世界中的模型参数等，建立统计学模型，分析不同决策情况的可能性，最终指导决策者进行最优决策。
贝叶斯决策分析采用了极大似然估计（Maximum Likelihood Estimation）和贝叶斯统计推理（Bayesian Statistical Inference）的方法，从而给出了可行的决策结果。
贝叶斯决策分析模型假设了有一个无穷大的条件概率分布集，即根据历史观测值估计的各种情况及其发生概率。
模型的输入包括现有信息的观测值，如目标对象或数据的性质，环境和模型参数的估计值等，以及决策者的系统目标函数。
这些输入被用来估计条件概率，即感兴趣的决策性问题中每一个状态的发生概率，以及状态特征随时间变化的概率。
有了所有的输入信息之后，贝叶斯决策分析可以给出最优决策，它是针对模型的描述做出的。
例如，一个简单的决策模型可以表示为，有两个观测变量X和Y，每个观测变量有三种状态，共有九种模式（3×3=9）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
叶斯统计决策理论是指综合运用决策科学的基础理论和决策的各种科学方法对投资进行分析决策。
其应用决策科学的一般原理和决策分析的方法研究投资方案的比选问题,从多方面考虑投资效果,并进行科学的分析,从而对投资方案作出决策。
涉及到投资效果的各种评价、评价标准、费用(效益分析)等问题。
投资决策效果的评价问题首要的是对投资效果的含义有正确理解,并进行正确评价。
贝叶斯统计中的两个基本概念是先验分布和后验分布。
①先验分布。
总体分布参数θ的一个概率分布。
贝叶斯学派的根本观点，是认为在关于总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。
他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。
②后验分布。
根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。
因为这个分布是在抽样以后才得到的，故称为后验分布。
贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样本分布。
贝叶斯统计(Bayesian statistics)，推断统计理论的一种。
英国学者贝叶斯在1763年发表的论文《有关机遇问题求解的短论》中提出。
依据获得样本(Xl，X2，…，Xn)之后θ的后验分布π（θ|X1，X2，…，Xn)对总体参数θ作出估计和推断。
它不是由样本分布作出推断。
其理论基础是先验概率和后验分布，即在事件概率时，除样本提供的后验信息外，还会凭借自己主观已有的先验信息来估计事件的概率。
而以R．A．费希尔为首的经典统计理论对事件概率的解释是频率解释，即通过抽取样本，由样本计算出事件的频率，而样本提供的信息完全是客观的，一切推断的结论或决策不允许加入任何主观的先验的信息。
以对神童出现的概率P的估计为例。
按经典统计的做法，完全由样本提供的信息(即后验信息)来估计，认为参数p是一个“值”。
贝叶斯统计的做法是，除样本提供的后验信息外，人类的经验对p 有了一个了解，如p可能取pl与户p2，且取p1的机会很大，取p2机会很小。
先验信息关于参数p的信息是一个“分布”，如P(p=p1)=0．9，P(p=p2)=0．1，即在抽样之前已知道(先验的)p取p1的可能性为0．9。
若不去抽样便要作出推断，自然会取p=p1。
但若抽样后，除非后验信息(即样本提供的信息)包含十分有利于“p—=p2”的支持论据，否则采纳先验的看法“p=p1”。
20世纪50年代后贝叶斯统计得到真正发展，但在发展过程中始终存在着与经典统计之间的争论。
[编辑]贝叶斯统计的历史[1]贝叶斯统计的历史可以上溯到16 世纪。
1713 年，James Bernoulli 意识到在可用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别，他提出一个著名的问题：前者的机理如何能帮助处理后面的推断。
托马斯.贝叶斯（ThomasBayes，1702－1761）是长老会的牧师。
他对这个问题产生浓厚的兴趣，并且对这个问题进行认真的研究，期间，他写了一篇文章来回答Bernoulli 的问题，提出了后来以他的名字命名的公式：贝叶斯公式。
但是，直到贝叶斯死后才由他的朋友Richard Price 在1763 年发表了这篇文章，对Bernoulli 的问题提供了回答。
这篇文章标志着贝叶斯统计的产生。
但贝叶斯统计的思想在开始时并没有得到重视。
后来，Laplace 本人重新发现了贝叶斯公式，而且阐述得比贝叶斯更为清晰。
由于贝叶斯统计对于概率的观点过于主观，与当时的主流统计观点相左，此外也很难应用当时严谨的数学理论解释。
例如贝叶斯统计中的先验概率的观点，一直以来都是贝叶斯统计学派和非贝叶斯统计学派争论的焦点之一。
在历史上，贝叶斯统计长期受到排斥，受到当时主流的数学家们的拒绝。
例如，近代优秀的统计学家R. A. Fisher就是贝叶斯统计的反对者。
然而，随着科学的进步，贝叶斯统计在实际应用上取得的成功慢慢改变了人们的观点。
贝叶斯统计慢慢的受到人们的重视，目前贝叶斯统计已经成为统计学中一门很热门的研究课题。
从贝叶斯为了回答James Bernoulli 的问题而写的那一篇论文，提出著名的贝叶斯统计思想以来，经过几百年的发展，目前关于贝叶斯统计的论文和学术专著有很多。
目前统计界公认比较权威的贝叶斯统计的著作是James O. Berger 的作品：StatisticalDecision theory and Bayesian Analysis。
国内有其中译本：《统计决策论及贝叶斯分析》，它是由贾乃光主译，吴喜之校译，中国统计出版社出版。
[编辑]基本思想贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：★已知类条件概率密度参数表达式和先验概率★利用贝叶斯公式转换成后验概率★根据后验概率大小进行决策分类2公式设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。
对于任一事件x，P(x)>0，如图3理论分析（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。
在现实世界中有时会出现这种情况。
（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法）（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。
在现实世界中有时会出现这种情况。
（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络）（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。
那我们就需要从训练样本集合中来估计概率分布函数的参数。
在现实世界中经常出现这种情况。
（如首先要估计是什么分布，再估计参数。
常见的是非参数估计）（4）只有没有标记类别的训练样本集合。
这是经常发生的情形。
我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。
（这是无监督的学习）（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。
但是，在现实世界中从没有出现过这种情况。
这里是贝叶斯决策理论常用的地方。
问题：假设我们将根据特征矢量x 提供的证据来分类某个物体，那么我们进行分类的标准是什么？decide wj，if（p(wj|x)>p(wi|x)）(i不等于j)应用贝叶斯展开后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，决策规则就是似然率测试规则。
结论：对于任何给定问题，可以通过似然率测试决策规则得到最小的错误概率。
这个错误概率称为贝叶斯错误率，且是所有分类器中可以得到的最好结果。
最小化错误概率的决策规则就是最大化后验概率判据。
4决策判据贝叶斯决策理论方法是统计模式识别中的一个基本方法。
贝叶斯决策判据既考虑了各类参考总体出现的概率大小，又考虑了因误判造成的损失大小，判别能力强。
贝叶斯方法更适用于下列场合：(1) 样本(子样)的数量(容量)不充分大，因而大子样统计理论不适宜的场合。
(2) 试验具有继承性，反映在统计学上就是要具有在试验之前已有先验信息的场合。
用这种方法进行分类时要求两点：第一，要决策分类的参考总体的类别数是一定的。
例如两类参考总体(正常状态Dl和异常状态D2)，或L类参考总体D1，D2，…，DL(如良好、满意、可以、不满意、不允许、……)。
第二，各类参考总体的概率分布是已知的，即每一类参考总体出现的先验概率P(Di)以及各类概率密度函数P(x/Di)是已知的。
显然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。
对于两类故障诊断问题，就相当于在识别前已知正常状态D1的概率P(D1)和异常状态D2的概率P(D2)，它们是由先验知识确定的状态先验概率。
如果不做进一步的仔细观测，仅依靠先验概率去作决策，那么就应给出下列的决策规则：若P(D1)>P(D2)，则做出状态属于D1类的决策；反之，则做出状态属于D2类的决策。
例如，某设备在365天中，有故障是少见的，无故障是经常的，有故障的概率远小于无故障的概率。
因此，若无特别明显的异常状况，就应判断为无故障。
显然，这样做对某一实际的待检状态根本达不到诊断的目的，这是由于只利用先验概率提供的分类信息太少了。
为此，我们还要对系统状态进行状态检测，分析所观测到的信息。
叶斯学派的根本观点，是认为在关于θ的任何统计推断问题中,除了使用样本X所提供的信息外，还必须对θ规定一个先验分布，它是在进行推断时不可或缺的一个要素。
贝叶斯学派把先验分布解释为在抽样前就有的关于θ的先验信息的概率表述，先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。
例如，某甲怀疑自己患有一种疾病A,在就诊时医生对他测了诸如体温、血压等指标,其结果构成样本X。
引进参数θ：有病时,θ=1;无病时,θ=0。
X的分布取决于θ是0还是1,因而知道了X有助于推断θ是否为1。
按传统（频率）学派的观点,医生诊断时,只使用X提供的信息;而按贝叶斯学派观点,则认为只有在规定了一个介于0与1之间的数p作为事件｛θ=1｝的先验概率时，才能对甲是否有病（即θ是否为1）进行推断。
p这个数刻画了本问题的先验分布,且可解释为疾病A 的发病率。
先验分布的规定对推断结果有影响，如在此例中，若疾病A的发病率很小,医生将倾向于只有在样本X显示出很强的证据时,才诊断甲有病。
在这里先验分布的使用看来是合理的，但贝叶斯学派并不是基于“p是发病率”这样一个解释而使用它的，事实上即使对本病的发病率毫无所知，也必须规定这样一个p，否则问题就无法求解。
后验分布根据样本X的分布Pθ及θ的先验分布已知X=x的条件下,θ的条件分布π(θ|x)。
因为这个分布是在抽样以后才得到的，故称为后验分布。
贝叶斯学派认为:这个分布综合了样本X及先验分布π(θ)所提供的有关的信息。
抽样的全部目的，就在于完成由先验分布到后验分布的转换。
如上例,设p=P(θ=1)=0.001,而π(θ=1|x)=0.86,则贝叶斯学派解释为：在某甲的指标量出之前,他患病的可能性定为0.001，而在得到X后,认识发生了变化：其患病的可能性提高为0.86，这一点的实现既与X有关，也离不开先验分布。
计算后验分布的公式本质上就是概率论中著名的1763年的文章的一个重要内容。
推断方法贝叶斯推断方法的关键在于所作出的任何推断都必须也只须根据后验分布π(θ│X),而不能再涉及X的样本分布Pθ。