贝叶斯可靠性评估

3、先验均值和先验分位数方法
若能得到先验均值 和先验分布的 p 分位数 p ，则可列 出下列方程
, p ( ) 1 (1 ) 1 d p. 0 ( )( )
用数值方法求解上述方程组，即可得到超参数 , 的
的先验分布取
1, 0 1， ( ) 0, 其他场合。
于是样本 X 与参数 的联合分布为
n x h( x, ) (1 )n x , x 0,1, x
再计算 X 的边际分布
, n,0 1.
1.2 先验分布与后验分布
第二节 常见故障分布下的贝叶斯推断
1. 二项分布的贝叶斯估计 2. 指数分布的贝叶斯估计
1.3 贝叶斯推断
从贝叶斯观点看，后验分布 h( | x) 集总体信息、样本
信息和先验信息于一体，全面描述了参数 的概率分布。
因此有关参数 的点估计、区间估计、假设检验等统计 推断应该从后验分布 一般场合下，这三种贝 h( | x) 按需要提取有关信息。下面 叶斯估计是不同的。当 分别介绍贝叶斯点估计和区间估计。 贝叶斯点估计 后验密度函数对称时， 这三种贝叶斯估计重合， 参数 的点估计可选用后验分布 h( | x) 的某个位置特 譬如后验分布为正态分 征数。常用的有如下三种形式： 布。 1.后验期望 2. 后验中位数 3. 后验众数
在有样本观测值后，应根据联合分布 h( x, ) 对 作出 推断，为此需要把 h( x, ) 作如下分解：
h( x, ) h( | x)m( x) m( x) 中不含 的任何信息。因此能用来对 作出推断的 仅仅是条件分布 h( | x) ，其计算公式为
h( x, ) p( x | ) ( ) h( | x) . m( x) p( x | ) ( )d
ˆ ˆ ( x)，使得 与 U U
ˆ ˆ | x) 1 P( L U
ˆ , ˆ ] 为参数 的可信水平为 1 的贝叶斯可 则称区间 [ L U
信区间，或简称为 的 1 可信区间。
1.3 贝叶斯推断
如满足
ˆ | x) 1 P( L
先验信息
总体信息
样本信息
贝叶斯统计学
贝叶斯学派的最基本的观点是：任一未知量都可看作一个 随机变量，应该用一个概率分布去描述其未知状况。在抽 样前就有关于目标变量的先验信息的概率陈述。这个概率 分布被称为先验分布，简称先验( Prior )。
贝叶斯可靠性评估
第一节 贝叶斯统计简介
1. 贝叶斯的基本出发点 2. 先验分布和后验分布 3. 贝叶斯推断 4. 经验贝叶斯方法
1.2 先验分布与后验分布
12 2 1 ˆ 1 2 ˆ , (1 1 ). 2 2 2 1 2 1
2、先验分位数方法 假如根据先验信息可以确定贝塔分布的两个分位数，则可
利用这两个分位数来确定 , 。譬如用上、下四分位数
U 与L 来确定 , ， U 与L 分别满足如下两个方程
设参数 的后验分布为 h( | x) ， 的贝叶斯估计为 ˆ ，
ˆ )2 的后验期望 则 (
2 ˆ ˆ MSE ( | x) E |x ( ) ,
称为
时，后验均方差即为后验方差，即 ˆ | x) Var ( | x) MSE(
1/ 2 [ Var ( | x )] 其平方根 称为后验标准差。
改写为如下等价形式
h( | x) p( x | ) ( )。
这部分讲一个 例子来说明。
(4)
(4)右端称为后验分布的核，一旦核知道了,后验便知道了, 因此经常通过后验核的计算来简化后验分布的计算。
贝叶斯可靠性评估
第一节 贝叶斯统计简介
1. 贝叶斯的基本出发点 2. 先验分布和后验分布 3. 贝叶斯推断 4. 经验贝叶斯方法
贝叶斯可靠性评估
第一节 贝叶斯统计简介
1. 贝叶斯的基本出发点 2. 先验分布和后验分布 3. 贝叶斯推断 4. 经验贝叶斯方法 1. 二项分布的贝叶斯估计 2. 指数分布的贝叶斯估计
Thomas Bayes (1702 –1761)
第二节 常见故障分布下的贝叶斯推断
把数据(样本)看成是来 自具有一定概率分布的 总体，所研究的对象是 第一节 贝叶斯统计简介 总体分布和总 这个总体而不局限于数 从总体中抽 体所属分布簇 重视先验信息的收 据本身。 根据样本的信 取的样本给 1.1 贝叶斯的基本出发点 集、挖掘和加工， 给出的信息 息来推断总体的特征 出的信息 在抽样之前有关统 并使之数量化，形 计问题的一些信息， 成先验分布，然后 一般说来，先验信 结合样本数据，得 总体信息 样本信息 经典统计学 息主要来源于经验 到分布后验。 和历史资料
斯估计。
注意:评价贝叶斯估计的时候不用“无偏性”????
因为贝叶斯推断是基于后验分布的统计推断，这意味 着只考虑已出现的数据(样本观测值)，而推断与未出现 的数据无关
。
1.3 贝叶斯推断
•贝叶斯区间估计
设参数 的后验分布为 h( | x) ，对给定样本
x 和概
ˆ ˆ ( x) 率 1 (0 1) ，若存在这样的两个统计量 L L
P( A ) P( B | A )
j 1 j j
n
, (i 1, 2,
, n).
(1)
下面通过贝叶斯公式密度形式，介绍贝叶斯方法的一般步 骤： 1. 密度函数记为 p( x | ) ，它表示在随机变量 给定某个 值时，总体指标 X 的条件分布。
1.2 先验分布与后验分布
2. 根据 的先验信息确定 的先验分布 ( ) 。 3.从贝叶斯观点来看，样本 x ( x1 , , xn ) 的产生要分两步: 首先设想从先验分布 ( ) 中产生一个参数 ；第二步在 给定 下，从总体分布 p( x | ) 中产生一个样本 x ( x1 ,
, 的几种常用方法：
1、先验矩方法
若用先验信息能获得成功概率 的若干估计值，记为
1 , ,k ，一般它们可从历史数据整理加工中获得，由此 可计算前两阶先验矩 1和2 ：
Hale Waihona Puke Baidu
1 k 1 k 2 1 i , 2 i . k i 1 k i 1
然后令其分别等于贝塔分布的前两阶矩，解之，可得
(i ), i 1, 2,
例 14.1 设事件 A 的概率为 ，即 ( A) 。为了估计 而作 n 次独立观测，其中事件 A 出现次数为 X ，显 然，X 服从二项分布 B (n, ) ，即
1.2 先验分布与后验分布
n x P( X x | ) (1 )n x , x 0,1, x , n.
ˆ | x) 1 P( U
ˆ 称为 的 1 (单侧)可信下限；相应的满足 则 L
ˆ 称为 的 1 (单侧)可信上限。 则 U
可信区间和可信水平与经典统计的置信区间和置 信水平的区别与联系？
可信区间不止一个，常用的有最大后验密度可信区间与 等尾可信区间等等。

L
0 1
U

( ) 1 (1 ) 1 d 0.25, ( )( ) ( ) 1 (1 ) 1 d 0.25. ( )( )
1.2 先验分布与后验分布
从这两个方程解出 , ，即可确定超参数。
h( x, ) (n 2) h( | x) ( x1)1 (1 )( n x1)1 ,0 1. m( x) ( x 1)(n x 1) 该分布恰好是参数为 x 1 和 n x 1 的贝塔分布，记
为 ( x 1, n x 1) 。
n 1 x m( x) h( x, )d (1 ) n x d 0 x 0 n ( x 1)(n x 1) 1 , x 0,1, (n 2) n 1 x
1
, n.
最后得到 的后验分布
, xn )
该样本发生的概率与如下联合概率函数成正比，
p( x | ) p( xi | )
i 1
n
这个函数常称为似然函数，记为 L( ) 。 4. 样本和参数的联合分布为
1.2 先验分布与后验分布
h( x, ) p( x | ) ( )
5. 现在的任务是要对未知参数 作出统计推断:

(2)
1.2 先验分布与后验分布
这就是贝叶斯公式的密度函数形式。在样本 x 给定下，

的条件分布被称为 的后验分布。
表示。这时后验分布也是离散的， p( x | i ) (i ) h(i | x) , i 1, 2, (3) p( x | j ) ( j )
j
6. 当 是离散随机变量时，先验分布可用先验分布列
第二节 常见故障分布下的贝叶斯推断
1. 二项分布的贝叶斯估计 2. 指数分布的贝叶斯估计
1.2 先验分布与后验分布
贝叶斯公式
贝叶斯公式的事件形式：设事件 A1 , A2 , 并且
n i 1
, An 互不相容，
Ai (必然事件)，则对于任一事件 B ，有
P( Ai | B)
P( Ai ) P( B | Ai )
ˆ 分别为 ˆ 和后验期望估计 率 的后验众数估计 E max
ˆ
max
x 1 x ˆ , E . n2 n
这两个贝叶斯估计是不同的。
估计量的评价
1.3 贝叶斯推断
ˆ对 评价一个贝叶斯估计 ˆ 的好坏，最好的方法是考察
均方差。具体定义如下：
1.3 贝叶斯推断
1.3 贝叶斯推断
例 14.5 为估计不合格品率 ，今从一批产品中随机抽取
n 件，其中 X 不合格品数服从二项分布 B(n, ) 。若取贝
塔分布 ( , ) 作为的先验分布，且超参数 , 已知，则 后验分布仍为贝塔分布 ( x, n x) 。这时不合格品
ˆ
ˆ E( | x) 的后验均方差。当 ˆ 为后验期望估计 E
1.3 贝叶斯推断
ˆ 的后验均方差有如下分解
ˆ | x) Var( | x) ( ˆ ˆ)2. MSE( E
ˆ E( | x)是使后验均方差达 可见， 的后验均值估计 E
到最小的估计，所以实际中常取后验均值作为 的贝叶
1.2 先验分布与后验分布
共轭先验分布
设 是总体分布中的参数(或参数向量)， ( ) 是 的先验
密度函数，假如由抽样信息算得的后验密度函数与 ( ) 有相同的函数形式，则称 ( ) 是 的共轭先验分布。应该
指出，共轭先验分布是对某一分布中的参数而言的。
1.2 先验分布与后验分布
共轭先验分布的优点是计算方便，后验分布的一些参数，
特别是后验均值可得到很好的解释；缺点是有时会出现误 用。
超参数的确定
先验分布中所含的未知参数称为超参数。下面结合贝 塔分布来介绍几种超参数的确定方法。
1.2 先验分布与后验分布
例 14.2 二项分布中成功概率 的共轭先验分布是贝塔
分布 ( , ) ，其中 , 是两个超参数。下面介绍确定
数值解。
1.2 先验分布与后验分布
后验的核
在给定样本分布 p( x | ) 和先验分布 ( ) 后，可用贝叶斯 公式计算 的后验分布
。
h( | x) p( x | ) ( ) / m( x)。
由于 m( x) 不依赖于 ，在计算 的后验分布中仅起到一
个正则化因子的作用。假如把 m( x)省略，把贝叶斯公式