贝叶斯估计和经典估计的对比研究_彭燕

更小 。
3 经典和贝叶斯的参数区间估计的比较
经典分析 :100 (1 - α) %的置信区间为 (max{xi} α, - 1/ n·max{Xi}) 置信水平为 Pr (max{xi} <θ<α- 1/ n·max{xi} = 1 - α 贝叶斯分析 :由以上先验分布可得 100 (1 - α) %的最高密度区间 ( HPD 区间) 为 (max{xi} α, - 1/ (k + n - 1) ·max{xi}) 置信水平为 : Pr (max{xi} <θ<α- 1/ (k + n - 1) ·max{xi}| X) = 1 - α 由此可见 ,当 K = 1 时 ,经典和贝叶斯的区间估计值相等 。 在贝叶斯的文章中经常选择 K = 1 ,因为它相当于 Jeffreys 先验分布 。在此情况下 ,Jeffreys 先验对尺度 参数来说 ,是标准的非正常先验分布 ,因为它不随参数变化而改变 。 例如 θ, 的改变可以获得标准差 (平均误差)σ,或方差τ=σ2 ,并且由先验分布 π(θ) ∝θ- 1可推出π(σ) ∝σ- 1或π(τ) ∝τ- 1 此外 ,对于一个给定的常数 C ,当 X <θ< Cx 时 π, (θ) ∝θ- 1为非正常先验分布 。 还可看出 K值越大 ,更能反映参数值在先验分布中的作用 ,这就是产生更小的后验 HPD 区间 。
θ> 0) ,其实此分布对于任何实数 k 是不适当的 ,但由于参数θ的后验分布为
π(θ| X) ∝1/θn + k 其中θ≥max{xi}
当 K + n > 1 ,比例常数等于 ( K + n - 1) ·(max{Xi}k + n - 1时 ,此分布是合适的 。 当 K + n > 2 ,得到一个贝叶斯估计量为
2
69. 77
3
69135
4
69
86. 89 84. 56 82. 66 81. 09 79177 78164
水平先验 Jeffreys 先验
置信区间 无偏的估计 最小 MSE 估计
图 2 表示贝叶斯估计和 HPD 区间上限是 K的连续函数 ,并且显示出了相对应的经典估计量 。
图 2 贝叶斯估计和 95 %HPD 区间上限
Key words Classical estimation ;Bayesian estimation ;prior distribution ,HPD interval
1 经典估计
设参数 X1 ,X2 …Xn 在区间[ 0 θ, ]上服从均匀分布 ,则似然函数为 L (θ) = 1/θn ,其中θ≥max{xi} 。θ的极
第 15 卷第 1 期 岳阳师范学院学报 (自然科学版) Vol. 15 No. 1 2002 年 3 月 Journal of Yueyang Normal University (Natural Sciences) Mar. 2002
Abstract This atricle studied the differences and similarities between Classical Estimation and Bayesian Estima2 tion with an example. It concludes that Classical Estimation can be derived from Bayes’theory. In special case ,Classical Estimation is equivalent to Bayes.
图 1 K= 0 时的先验分布与后验分布
注意 ,图 1 中先验分布的高度是任意的 。
第 1 期 彭 燕 :贝叶斯估计和经典估计的对比研究 11
θ的贝叶斯估计为 (11/ 10) ×6414 = 70184 ,95 %的后验 HPD 区间为 (6414 ,0105 - (1/ 11) ×6414) = (6414 ,70184)
贝叶斯估计和经典估计的对比研究
彭 燕 Ξ
(株洲工学院 信息与计算科学系 ,湖南 株洲 412008)
摘 要 :分析和探讨了经典估计和贝叶斯估计的异同 ,并结合一个实例对两种估计进行比较 ,从而得到两种 估计思想统一于贝叶斯定理 ,并在特定场合下相互等价的结论 。
关键词 :经典估计 贝叶斯估计 先验分布 HPD 区间 中图分类号 :O212 文献标识码 :A 文章编号 :1008 —620X(2002) 01 —0009 —03
Classical Estimation versus Bayesian Estimation
PENG Yan
(Department of Information and Compute Science ,Zhuzhou Institute of Technology ,Zhuzhou 412008 ,China)
xi}θ xi}θ-
n n
+ 1dθ + dθ=
n n
-
12·max{ xi}
当 n > 2 时上式成立 。
这样
,贝叶斯分析产生了一个估计量
,此估计量等于预先给定的最大常量
,此常量为n
n +
+m m-
1
,当
n
→
∞时
,
n
n +
+m m-
1
→ (适合于某些
m)
。
事实上 ,我们用贝叶斯定理分析可推出此公式的所有的估计量 。如果考虑先验分布π(θ) ∝1/θk (其中
π(θ| X) ∝ 1/θn 其中θ≥max{xi}
当 n > 1 ,比例常数为 (n - 1) ·(max{xi}) n - 1时后验分布是合适的 。
假定损失函数为二次误差 ,则θ的贝叶斯估计量为
E[θ| X] =
∫∞- ∞θ·π(θ| X) dθ=
∫m∞ax{ ∫m∞ax{
Ξ 收稿日期 :2001 —09 —11 作者简介 :彭燕 (1956 —) ,女 ,株洲工学院信息与计算科学系高级讲师 ,主要研究方向 :数理统计和多媒体教学 。
10 岳阳师范学院学报 (自然科学版) JOURNAL OF YUEYANG NORMAL UNIVERSITY 第 15 卷
③取 k = 1 时 ,得估计量为 n/ (n - 1) ·max{xi} 由此看来 ,似乎贝叶斯估计量毫无顺序 ,然而由先验分布出现的不同经典估计标准可以被看作是一个连续
的估计量 。
在区间 (0 θ, ) 上 K被解释为非均匀分布随机变量 , K值越大 θ, 越小 ,其先验权数越大 ,从而后验估计量
表 1 说明了 K值不同时的贝叶斯估计值 。θ适合于某些 K 值的贝叶斯估计和区间估计 ,且指出了与 经典估计的对应关系 。
表 11 K取不同值时的贝叶斯估计
Bayes 估计
K
(后验平均数)
95 %HPD 区间上限
贝叶斯解释
经典解释
-2
72145
89183
-1
71. 56
0
70. 84
1
70. 25
- 246. [4 ] [ 美 ]B1E1 吉勒特著 1 蔡宣三译 ,运筹学导论[M] ,北京 :机械工业出版社 ,19821 [5 ] 复旦大学编. 概率论第二册数理统计[M] ,北京 :人民教育出版社 ,19791
E[θ| X] =
∫∞- ∞θ·π(θ| X) dθ=
∫m∞ax{ xi}θ- k ∫m∞ax{ xi}θ-
k
n -
+ 1dθ ndθ
=
k+nK+ n -
12·max{
Xi}
注意 : ①当 k = 2 时 ,上式相当于经典估计中方差的无偏估计 ;
②当 k = 3 时 ,上式相当于经典估计中最小均方差 ;
4 实例
设观察数据是 : X = (5. 2 ,5. 6 ,7. 2 ,8. 6 ,11 ,20. 6 ,24. 4 ,40. 4 ,43. 6 ,57. 4 ,61. 2 ,64. 4) 对于θ的先验分布 ,当 k = 0 时所产生的后验分布为π(θ| X) ∝1/θ12 ,其中θ≥64. 4 ,见图 1 。
大似然法估计量为
max{ Xi }
,此时最小方差无偏估计量为n
+ n
1·max{xi}
,而且
,在
C·max{ xi } 的估计量中
,最
小均方差为 :
E[ ( C·max{
Xi}
-
θ) 2 ]
=
n n
+ +
21·max{
xi}
2 贝叶斯估计
如果选择先验分布π(θ) = 1 其中θ> 0 ,则后验分布与似然函数成比例 :
5 结论
我们已经证明了贝叶斯估计包含了由一个连续均匀分布参数的不同估计标准所产生的不同经典估计 量 ,进一步分析了贝叶斯估计和经典估计相同和不同之处 ,这样使得我们更加了解贝叶斯估计的方法和更 充分地理解经典估计的标准 。
பைடு நூலகம்参考文献 :
[1 ] James O. Berger 著. 贾乃光译 ,统计决策论及贝叶斯分析[M] . 中国统计出版社 ,1998 ,159～172. [2 ] 张尧庭 ,陈汉峰编著 1 贝叶斯统计推断[M]1 北京 :中国统计出版社 ,1994178～881 [3 ] Berry ,D. A (1997) ,”Teaching Elementary Bayesian Statistics with Real Applications in science”[J ] ,The American Statistician ,51 ,241