贝叶斯统计学中先验分布的选择方法新探_李勇

)i
( i )m (x | i) i ( | x)
推论: 的可选先验 = { 1 ( ), 2 ( ) }, 对 应的后验分布为 1 ( |x ), 2 ( |x ), 其边缘分布分 别为 m ( x | 1 )、m (x | 2 )。又选择 1、 2 的先验概
率为 1、 2, 且 1 + 2 = 1, 取 的先 验为 ( ) =
0. 154 0. 063
0. 00651 0. 00540
6. 0
x
0
4. 5
6. 0
10
pN m ( x | N ) pcm ( x | c )
0. 066 0. 147
0. 00279 0. 01260
0. 000237 1. 05 10- 8 0. 006580 0. 00224
若 pN = 0. 7, p c = 0. 3, 得:
x
0
4. 5
pN m ( x | N ) pcm ( x | c )
2 = 1。
1m (x | m (x |
1) )
=
(
|x) =
1m ( x | 1 ) m(x | )
1(
| x) +
2m ( x | 2 ) 1m ( x | 1 ) + 2m ( x | 2 )
2(
|x)
=
1m ( x | 1 ) m(x | )
1(
|x) + [1-
1m ( x | 1 ) ] m(x | )
的后验分布为:
( | x) =
1
m (x |
)i
( i )m ( x | i ) i ( | x )
证明: ( | x ) = f (x | ) ( ) f (x | ) ( )d
=
i
( i )m ( x | i ) f ( x | ) i m (x | ) f (x | ) i ( )d
=
1
m(x |
摘 要: 在一个参数的可选先验分布类中选择一个合理先验的问题, 类似于从参数空间中估计一个恰
当参数的问题。因此, 可利用贝叶斯分析的后验分布理论, 先求出参数的后验分布, 再根据后验分布中各个
先验的相对似然选取似然最大的先验为合理先验, 从而建立一个基于参数的后验分布的先验选择方法, 它
也是 ML - 先验的一个拓广。
从上面定理可以看出, 用 ML - II 先验方法来选
择先验, 只限于对可 选先验本身就是 合理的, 且对
其选择的主观概率大体相近时, 才能得出较好的选
择。并不能反映选 择者的主 观信息。而从本文 建
立的选择方法来看, 选择合理先验还与对可选先验
正确性的主观概率有关。同时也说明 ML - II 先验
2(
|x )
= (x ) 1 ( |x ) + [ 1- ( x ) ] 2
( |x)
( x ) = 1m ( x | 1 ) = m(x| )
1+
2m (x | 1m (x |
2) 1)
-1
,
1
+ 2 = 1, 故得证。
68
二、先验的选择方法
由定理 1: 利用似然原理, 可以建立基于参数的
后验分布的先验选择方法。首先给出 (贝叶斯 ) 极
| x ) = (x) N ( | x ) + [ 1- (x ) ] C ( | x), 其
中
(x ) =
1+
pcm pN m
(x (x
| |
c)
-
1
。若
pcm
(x
|
c) >
N)
pN m (x | N )
1, 有
(x) <
1 2
,
则贝叶斯似然合理先验应为
c。Βιβλιοθήκη Baidu
若 pN = 0. 3, p c = 0. 7, 得:
贝叶斯统计学与经典统计学的主 要分歧就在
于先验分布的问题。其中先验分布的 确定与选择 是贝叶斯统计学首要的 基本问题。对 于先验分布 的确定方法, 已经有很多学者的研究成果。但所有 这些确定先验分布的方法都只是提供 了求先验分 布的手段, 而对于先验分布的合理性和准确性缺少 合理选择评价体 系。换句话说, 对于同 一个问题, 不同的人根据不同的经验和规则, 可以得出完全不 同的先验分布, 那么, 对同一个问题, 面对具有多个 先验分布可供选择时, 应 该选择哪一个 更加合理? 这就是先验分布的选择问题。
对于这一问题, 笔者在已发 表文章 (参考文献 [ 1] 、[ 2] 、[ 3] )中阐述了一个观点: 在先验类中选
择一个合理先验的问题, 与在参数空间中估计一个 恰当参数的问题类似, 并提出了一个基于先验的后 验分布的选择方法。本文在此基础上, 进一步提出 了一个基于参数 的贝叶斯先验选 择方法。其 基本 思路是: 设 X ~ f ( x | ), , 参数 的可选先验族
关键词: 先验选择; 后验分布; 贝叶斯似然合理先验
中图分类号: O212. 8
文献标识码: A
文章编号: 1008- 6439( 2007) 05-0067-03
R esearch into m ethod selection of Bayesian Prior distribution
L I Y ong, SUN R ong ( School of M athematics and Statistics, Chongq ing T echnology and Business U niver sity, Chongqing 400067, China) Abstrac t: Se lecting a reasonab le pr ior density in a series o f se lectab le pr ior distr ibutions o f a param eter is sim ilar to estim ating a suitable param e ter from param eter space. F rom this po int, poster ior d istribution o f Bayesian analysis can be used to so lve poster io r d istr ibu tion of a param eter, then reasonable pr ior o fm ax imum like lihood can be se lec ted by depend ing on the re lative like lihood o f each pr ior o f posterior distribution, a pr io r se lection m e thod of posterior d istr ibution based on pa rame ters is estab lished. Th is m ethod also ex tends M L - prio r. K ey word s: pr ior se lection; po ste rio r d istribution; Bayesian L ike lihood R easonab le P rio r
解: ( 1) 设样本数据为 x, 其边缘分布分别为 m
( x | N ) = N ( 0, 3. 19),
+
m (x | c ) = -
1 exp - 1 (x - )2
2
2
1 ( 1+
2)d
下表给出各种 x 的 m ( x | N )、m ( x | c )值:
x
0
4. 5
6. 0
10
m (x | N ) m(x | c )
的后验分布为 ( | x ) =
1
m(x |
)i
( i )m (x
| i ) i ( | x ) 。若存在 0 ( ) , 使得 0 ( ) =
m ax { ( i )m (x | i ) }, 则称先验 0 ( )为 中的贝
i
叶斯似然合理先验。
定理 2: 设参数 的可选先验族 = { i: i ( ) 为 的先验 }, i ( )的先验分布为 ( i )为均匀分 布。则 中的贝叶斯似 然合理先验 就是 M L -
定义 1: 设 X ~ f ( x | ),
, 参数 的可选先
验族 = { i: i ( )为 的先验 }, 对应的后验分布 为 i ( |x ) , 相应的边缘分布为 m ( x | i ) , i ( )的
先验分布为 ( i )。令 ( ) =
( i ) i 作为参
i
数 的先验分布, 相应边缘分布为 m ( x | ), 且参数
先验。
证明: 由于 ( i ) 为均匀分布, 则贝 叶斯似然
合理先验 0 ( ) = m ax { ( i )m ( x | i ) } = ( i )
i
m ax{m ( x | i ) }。
显然, 0 ( )的最值 与 m ax {m ( x | i ) }最 值一
致, 而后者正是 ML - 先验。故得证。
第 17卷第 5期 V o.l 17 No. 5
重庆工商大学学报 (西部论坛 )
J Chongqing T echno l Business U n iv. (W est Fo rum )
2007年 10月 O c.t 2007
贝叶斯统计学中先验分布的选择方法新探*
李 勇, 孙 荣
( 重庆工商大学 数学与统计学院, 重庆 400067)
* 收稿日期: 2007- 07-25 作者简介: 李 勇 ( 1970 孙 荣 ( 1972
), 男, 重庆南川人, 重庆工商大学数学与统计学院, 讲师, 从事统计学理论及应用研究。 ), 男, 重庆工商大学数学与统计学院, 讲师, 从事风 险统计研究。
67
李 勇, 孙 荣: 贝叶斯统计学中先验分布的选择方法新探
大似然的先验选择原理: 设 X ~ f ( x | ), , 参数
的可选先验族 = { i: i ( )为 的先验 }, i ( ) 的先验分布为 ( i ), m ( x | i ) 是 i 的似然函数。 则在数据 x 下的一个合理先验就是选取似然程度与
先验乘积 ( i )m (x | i )最大的那个先验。
选择方法是本文所建立的方法的特殊情形。
三、实例应用
例 1: 设 X ~ N ( , 1),
= ( - , + )。参
数 的先验分布的中位数为 0, 4 分位数 (即 1 / 4分
位点与 3 /4分位点 )为 - 1和 1, 且参数的先验分布
仅限于正态和柯西分布。查表可得参数 的可选先
验 = { c, N }, 其中 N = N ( 0, 2. 19), c = ( 0, 1) (柯西分布 )。下面结合样本数据 x, 根据不同情
李 勇, 孙 荣: 贝叶斯统计学中先验分布的选择方法新探
况对参数的两个可选先验 { c, N }作出合理选择。 ( 1) 根据 M L - 先验法选择合理先验。
( 2) 设选 择 c, N 的 先验分布为 { ( c ),
( N ) }, 其中 ( c ) = p c, ( N ) = pN 。求贝叶斯似 然合理先验。
一、参数的后验分布计算方法
定理 1: 设 X ~ f ( x | ),
, 参数 的可选先
验族 = { i: i ( )为 的先验 }, 对应的后验分布
为 i ( |x ) , 相应的边缘分布为 m ( x | i ) , i ( )的
先验分布为 ( i )。令 ( ) =
( i ) i作为参
i
数 的先验密度, 相应边缘分布为 m ( x | ), 则参数
= { i: i ( )为 的先验 }。先由可选先验 i ( ) 的先 验 分 布 ( i ) 求 出 的 先 验 ( ) =
( i ) i , 再结合数据 x 求出参数 的后验分布
i
( |x ), 最后根据参数 的后验分布 ( |x )中各 个先验 i ( )的相对似然选取似然最大的先验为合 理先验。这样建立的先验选择 方法称为基于 参数 的贝叶斯先验选择方法。
1 1 ( ) + 2 2 ( ), 其边缘分布为 m ( x | ), 则 的后验分布为 [ 4] : ( |x ) = ( x ) 1 ( |x ) + [ 1-
(x ) ] 2 ( | x ), 其 中 ( x ) =
1+
2m ( x | 1m ( x |
2) 1)
-1
,
1+
证明: 由定理 1得:
0. 22 0. 21
0. 0093 0. 0180
0. 00079 3. 5 10- 8 0. 00940 0. 0032
显然, 当 x 较小时, 数据对二 者的支 持度差不
多; 当 x 较大时, c 为 ML- 先验。
( 2) 可得 的先验分布为 ( ) = ( N ) N
( ) + ( c ) c ( ), 由推论 1得其后验分布为: (