第34节 经验贝叶斯估计讲解

样本，故由这些样本可以对 mG ( x )估计，根据泊松分布特
性可以得到 mG ( x )的估计为
m?G ( x1 , x 2 ,
1 , x n , x ) ? n ? 1{(x1, x 2 ,
,
x
中等于
n
x的个数）?
1}
用m?G ( x1, x2 , , x n , x )代替 mG ( x ), 可得其经验贝叶斯估计量为
?? RG (dn | X 1 , , X n )mG ( x1 , x2 , , xn )dx1dx2 dx n
使得上式达到最小的决策函数为经验贝叶斯决策函数
定义 渐近最优贝叶斯决策函数
设F *为先验分布族，参数 ?的先验分布为 G(? ), 若
对于任何 G(? ) ? F * , 有
lim
n ??
? D f
?{
?t
1
?
t
(1? ? )n? t (1? ? )n? td?
:
n ? 1, 2,
, t ? 0,1, 2,
}
0
显然此共轭分布族为 ? 分布的子族，因而，两点 分布的共轭先验分布族为 ? 分布.
常见共轭先验分布
总体分布
参数
共轭先验分布
二项分布
成功概率p
? 分布? (? ,? )
?? e? x? x dG(? ),
0 x!
( x ? 0,1, 2, ）
对于先验分布 G(? ), 在平方损失下，可求得 ?的
贝叶斯估计为
??
? ? p(? | x )dG( x )
dG( x ) ? E (? | x ) ?
0 ??
?0 p(? | x )dG( x )
? 1 ?? ? x?1e?? dG( x )
B(1,? )的一个样本，试寻求 ?的共轭先验分布？
解 其似然函数为
n
n
? q( x | ? ) ?
n
? xi (1 ? ? )1? xi
? xi
? n ? xi
? ? i?1 i (1 ? ? ) i?1
i?1
? ? nx (1 ? ? )n? nx ? gn (t | ? ) 1,
其中 gn (t | ? ) ? ? t (1? ? )n? t ,选取 f (? ) ? 1，则
? x! 0
? 1 ?? ? xe?? dG( x )
x! 0 ? ( x ? 1)mG ( x ? 1)
mG ( x )
如果先验分布 G(x) 未知，该 如何计算？
2、经验贝叶斯决策函数 当先验分布未知时，如何利用历史资料（经验资
料）( X 1 , X 2 , , X n )T 的信息得到最优贝叶斯估计？ 定义3.11 任何同时依赖于历史样本 ( X 1, X 2 , , X n )T 和当前样本 X 的决策函数 d n ? dn ( X | X 1, , X n )称为 经验贝叶斯决策函数
dn (X | X1, X 2,
,Xn)?
(X
? 1)m?G ( X m?G ( X )
? 1)
Leabharlann Baidu
例3(p110例3.21) 设随机变量 X 的分布密度为
p(x | ? ) ?
? ( x ? ? )2
1e 2
2?
?的先验分布为 G(? ), ? ? (a, b) ? (?? , ?? ).在平方损失下，
非参数经验贝叶斯估计 参数经验贝叶斯估计
一、非参数经验贝叶斯估计
1、问题引入 例1（p109 例3.20) 设随机变量 X 服从泊松分布，
p( x | ? ) ? ? x e? x ,
x!
( x ? 0,1, 2, ;? ? 0）
设参数 ?的先验分布为 G(? ),则X的边缘分布为
? mG ( x ) ?
由这两个例子可以看到，经验贝叶斯估计一方面依赖
贝叶斯估计理论，同时也依赖于非参数估计方法。
二、参数经验贝叶斯估计
定理4.1 设f (? )为任一固定的函数，满足条件
(1) f (? ) ? 0,? ? ? ,
? (2) 0 ? ? gn (t | ? ) f (? )d? ? ?
则
? D f
?{
?
? 的贝叶斯估计为
dG ( x ) ?
x
?
m
' G
(
x
)
mG ( x )
由于密度函数比较难估计，我们可以选用非参数密度
估计法（如核估计，最近邻密度估计），得到 m?G ( x )
于是可以得到 ?的经验贝叶斯估计为
dn (X | X1, X 2,
, Xn)
?
X
?
m?G' ( X m?G ( X
) )
如何计算经验贝叶斯估计 dn ? dn ( X | X 1, , X n )
经验贝叶斯估计 dn ? d n ( X | X 1 , , X n )的计算方法： （1）根据贝叶斯估计风险函数的定义可知 dn ? dn ( X | X1,
, X n )的风险为 RG (dn | X 1, , X n )
gn (t | ? ) f (? ) gn (t | ? ) f (? )d?
:
n ? 1, 2,
}
是共轭先验分布族，其中
n
? q( x | ? ) ? p( xi | ? ) ? gn (t | ? )h( x1, x 2 , , x n )
i?1
例4(p126例4.10) 设( X 1 , X 2 , , X n )T 是来自总体
第3.4节 经验贝叶斯估计
一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计
0、背景与意义
贝叶斯估计存在的问题： 先验分布的确定
如何客观地确定先验分布？
根据历史资料数据（即经验）确定该问题的先 验分布，其对应的贝叶斯估计称为 经验贝叶斯估计 . 该方法是由 Robbins 在1955年提出的.
经验贝叶斯估计分类（共两类）
? ? ? ? [ ? L(? ,dn ( x | x1, x2 , xn ) p( x | ? )dx]dG(? )
注：此结果包含了 X 1, X n , 而X 1, X n为随机变量，
因而，该风险仍包含有随机性，需要对此风险再求 一次期望，即
(2)计算期望，可得
RG* (dn ) ? E ( RG (dn | X 1 , , X n ))
RG* (dn ) ?
RG (dG )
则称dn为渐近最优经验贝叶斯决策函数，若 dn为?的估计
，则dn为渐近最优经验贝叶斯估计 .
例2( 续例 p109 例3.20)
在先验分布 G(? )未知时，如何计算
dG (x ) ?
(x
? 1)mG ( x mG ( x )
? 1)
由于历史样本 X 1, X 2 , X n均是从分布 mG ( x )中抽取的独立