非参数经验贝叶斯估计(课堂PPT)

二、参数经验贝叶斯估计
定理4.1 设 f () 为 任 一 固 定 的 函 数 ， 满 足 条 件
wk.baidu.com
(1)f()0, ,
(2)0 gn(t|)f()d
则
Df {g gn n((tt||))ff(())d: n1,2,L}
是共轭先验分布族，其中
n
q (x| ) p (x i| ) g n (t| )h (x 1 ,x 2 ,L ,x n )
1 xe dG ( x )
x! 0 (x1)mG(x1)
mG(x)
如果先验分布 G(x)未知，该 如何计算？
2、经验贝叶斯决策函数 当先验分布未知时，如何利用历史资料（经验资
料）(X1,X2,L,Xn)T的信息得到最优贝叶斯估计？ 定义3.11 任 何 同 时 依 赖 于 历 史 样 本 ( X 1 , X 2 , L , X n ) T 和 当 前 样 本 X 的 决 策 函 数 d n d n ( X | X 1 , L , X n ) 称 为 经 验 贝 叶 斯 决 策 函 数
对 于 任 何 G () F *,有
lni m RG *(dn)RG(dG)
则 称 d n 为 渐 近 最 优 经 验 贝 叶 斯 决 策 函 数 ， 若 d n 为 的 估 计 ， 则 d n 为 渐 近 最 优 经 验 贝 叶 斯 估 计 .
例2(续例p109例3.20)
在 先 验 分 布 G () 未 知 时 ， 如 何 计 算
其 中 g n ( t |) t( 1 ) n t , 选 取 f () 1 ， 则
m ˆ G ( x 1 ,x 2 ,L ,x n ,x ) n 1 1 { ( x 1 ,x 2 ,L ,x n 中 等 于 x 的 个 数 ） 1 }
用 m ˆ G ( x 1 , x 2 , L , x n , x ) 代 替 m G ( x ) , 可 得 其 经 验 贝 叶 斯 估 计 量 为 dn(X |X 1,X 2,L,X n)(X m 1 ˆ)G m ˆ(G X (X )1 )
如 何 计 算 经 验 贝 叶 斯 估 计 d n d n ( X | X 1 , L , X n )
经 验 贝 叶 斯 估 计 d n d n ( X | X 1 , L , X n ) 的 计 算 方 法 ：
（ 1 ） 根 据 贝 叶 斯 估 计 风 险 函 数 的 定 义 可 知 d n d n (X |X 1 , L ,X n ) 的 风 险 为
i 1
例4(p126例4.10) 设 ( X 1 ,X 2 ,L ,X n ) T 是 来 自 总 体
B(1,)的一个样本，试寻求的共轭先验分布？
解 其似然函数为
n
n
n
q(x| )
xi(1)1xi i 1xii(1)n i 1xi
i 1
n x( 1 ) n n x g n ( t|) g 1 ,
e xx
m G (x )0
d G (), x !
(x 0 ,1 ,2 ,L ）
对 于 先 验 分 布 G (),在 平 方 损 失 下 ， 可 求 得 的
贝 叶 斯 估 计 为
p(| x)dG(x)
dG(x)
E(| x)
0
p(| x)dG(x)
0
1 x1e dG ( x )
x! 0
(2)计 算 期 望 ， 可 得 R G *(d n)E (R G (d n|X 1,L,X n))
R G (d n|X 1,L,X n)m G (x 1,x 2,L,x n)d x 1 d x 2Ld x n
使得上式达到最小的决策函数为经验贝叶斯决策函数
定义 渐近最优贝叶斯决策函数
设 F * 为 先 验 分 布 族 ， 参 数 的 先 验 分 布 为 G ( ) , 若
非参数经验贝叶斯估计 参数经验贝叶斯估计
一、非参数经验贝叶斯估计
1、问题引入 例1（p109例3.20) 设 随 机 变 量 X 服 从 泊 松 分 布 ，
p (x|) xe x, (x0 ,1 ,2 ,L;0 ）
x!
设 参 数 的 先 验 分 布 为 G ( ) , 则 X 的 边 缘 分 布 为
例3(p110例3.21) 设 随 机 变 量 X 的 分 布 密 度 为
p(x|)
1
(x)2
e2
2 的 先 验 分 布 为 G ( ) , ( a , b ) ( , ) . 在 平 方 损 失 下 ，
的 贝 叶 斯 估 计 为
dG(x)
x
mG' (x) mG(x)
由 于 密 度 函 数 比 较 难 估 计 ， 我 们 可 以 选 用 非 参 数 密 度
估 计 法 （ 如 核 估 计 ， 最 近 邻 密 度 估 计 ） ， 得 到 m ˆ G ( x )
于 是 可 以 得 到 的 经 验 贝 叶 斯 估 计 为
dn(X|X1,X2,L,Xn)Xm m ˆˆG G ' ((X X))
由这两个例子可以看到，经验贝叶斯估计一方面依赖
贝叶斯估计理论，同时也依赖于非参数估计方法。
R G (dn|X 1,L,X n)
[ L (,dn(x|x 1,x2,Lxn)p(x|)dx]dG ()
注 ： 此 结 果 包 含 了 X 1 , L X n , 而 X 1 , L X n 为 随 机 变 量 ，
因 而 ， 该 风 险 仍 包 含 有 随 机 性 ， 需 要 对 此 风 险 再 求 一 次 期 望 ， 即
dG(x)(x1m )m G(Gx()x1)
由 于 历 史 样 本 X 1 , X 2 , L X n 均 是 从 分 布 m G ( x ) 中 抽 取 的 独 立 样 本 ， 故 由 这 些 样 本 可 以 对 m G ( x ) 估 计 ， 根 据 泊 松 分 布 特 性 可 以 得 到 m G (x )的 估 计 为
第3.4节 经验贝叶斯估计
一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计
0、背景与意义
贝叶斯估计存在的问题：先验分布的确定
如何客观地确定先验分布？
根据历史资料数据（即经验）确定该问题的先 验分布，其对应的贝叶斯估计称为经验贝叶斯估计. 该方法是由Robbins在1955年提出的.
经验贝叶斯估计分类（共两类）