贝叶斯后验分布例子

为了更好的理解后验分布我们来看一个例子

例1：为提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果上看下属两个部门有两种意见： 1θ：改进生产设备后，高质量产品可占90%

2θ：改进生产设备后，高质量产品可占70%

经理当然希望1θ发生，但根据两部门过去意见被采纳的情况，经理认

为40%第一个部门是可信度的，60%第二个部门是可信度，即随机变量投资结果过θ 的先验分布列为：()%401=θπ；()%602=θπ 这是经理的主管意见，经理不想仅用过去的经验来决策此事，想慎重一些，通过小规模实验，观察其结果后再定。为此做了一项实验，实验结果（记为A ）如下：

A ：试制五个产品，全是高质量产品。

经理很高兴，希望通过这次结果来修正他原来对1θ和2θ的看法。下面

我们分别来求一下1θ和2θ的后验概率。

如今已有了()1θπ和()2θπ.还需要条件概率()1θA P 和()2θA

P ,这可根据二项分布算的，

()590.09.051==θA P ；()168.07.052==θA P

由全概率公式可算的()()()()()337.02211=+=θπθθπθA P A P A P 最后由后验分布公式可求得：

()()()()7.0337.0/236.0/111===A P A P A θπθθπ

()()()()3.0337.0/01.1.0/222===A P A P A θπθθπ

这表明，纪理根据实验A 的信息调整了自己对投资结果的看法，把

对1θ和2θ的信任度由0.4,和0.6分别调整到了0.7和0.3。后者综合了

经理的主观概率和实验结果而获得，要比主观概率更具有吸引力，更贴近当前实际。当然经过实验A 后经理对投资改进质量的兴趣更大了，但如果为了进一步保险起见可以把这次得到的后验分布列再一次作为先验分布在做实验验证，结果将更贴近实际。

从上面这个例子中我们初步体验到了后验的求法，同时也能够看到贝叶斯统计的实用性。贝叶斯统计应用最做的是在决策方面，决策就是对一件事做出决定，它与统计推断的区别在于是否涉及到后果。统计推断依统计理论而进行，很少考虑到推断结果被使用时所带来的利润或造成的损失，这在决策中恰恰是不能忽略的。度量利损得失的尺度就是收益函数与损失函数，把收益函数和损失函数加入到贝叶斯推断就形成了贝叶斯决策论。

在这里首先明确几个概念

状态集{}θ=Θ，其中θ表示自然界（或社会）可能出现的一种状态，所有可能的状态的集合组成状态集。

行动集{}a =A ，其中每一个元素表示人对自然界可能采取的一个行动。

损失函数 ，在一个决策问题中假设状态集为{}θ=Θ，行动集为{}a =A ，定义在A ⨯Θ上的二元函数()a L ,θ称为损失函数，假如它能表示在自然界（或社会）处于状态θ，而人们采取行动a 对人们引起的（经济的）损失。

决策函数：在给定的贝叶斯决策问题中，从样本空间

(){}n x x x 1==χ到行动集A 上的一个映射()x T 称为该决策问题的一个决策函数。

状态集，行动集，损失函数是构成一个决策问题必不可少的三个要素。

风险函数：评价T 的优劣标准用平均损失()T R ,θ,即

()()[]T L E T R ,,θθ=

称()T R ,θ为T 在θ处的风险函数

后验风险：损失函数()a L ,θ对后验分布的期望称为后验风险

决策空间：设随机变量X 的概率函数或概率密度函数为()θ,x f ，其中Ω∈θ未知。对参数θ采取的所有“行动”（估计）组成的集合称为决策空间，记为A ，在一般问题中，A 是实数集且可测。

有了上面的基础，我们就可以讨论贝叶斯估计量了，为了简便起见，在这里假设X 的分布和θ的分布均为连续型。贝叶斯估计的基本思想就是选择一个估计值a ，使得平均损失最小，即使

()[]()()θθπθθd a L a L E ,,+∞

∞-⎰= 最小。

我们知道，后验分布是对先验分布的调整，在获得了一组样本的观测值之后，我们用θ的后验概率密度函数()x θπ代替()θπ，则上式写为：

()[]()()θθπθθd x a L a L E ,,+∞

∞-⎰= 如果对样本的任何一组观测值，令()x T 表示使上式最小的估计值，即()x T a =，则称()x T 为θ的贝叶斯估计量。()x T 满足下式

()[]()[]x a L E a L E /,min ,θθθΩ

∈= 如果损失函数是平方形式，即()()2,T T L -=θ

θ,则其贝叶斯估计量为()()()

θθθπθd X X E X T +∞∞-⎰==

证明：在平方损失函数()()2,T T L -=θθ下，任何一个决策函数的后验风

险为()[]()()T E TE T t t E 2222/θθθ+-=-

此后验分先的最小值仅在()()x E X T θ=达到。 下面看看课本上的例题。

3.5节点估计的优良性