贝叶斯统计1.3

x E ( | x ) n n x x (1 ) n n n n E ( | 来自百度文库 ) 1 E ( | x ) ( x )( n x ) Var ( | x ) 2 ( n) ( n 1) n1
2 1
5
二、后验分布的计算
参数 的后验分布为 ( | x ) p( x | ) ( ) / m( x ) 由于m(x)不依赖于 ，在计算的后验分布中仅起到 一个正则化因子的作用。假如把m(x)省略，把贝叶斯 公式改写为如下等价形式
( | x ) p( x | ) ( )
当n与x都较大，且x/n接近某个常数时，有
x E ( | x ) n
1 x x Var ( | x ) 1 n n n
10
注意：1.在贝叶斯统计中，先验分布的选择应以合 理性作为首要原则，计算上的方便与先验的合理性 相比还是第二位的。 2.在考虑到先验的合理性之后，充分发挥共轭先验 分布是常采用的策略。
§1.3 共轭先验分布
一、共轭先验分布 Be( ,β) 例1.2.1中X b(n, )，先验分布为U(0,1),即 Beα (1,1) 后验分布Be (x +1, -x+ +1) Be( α +xn ,β n-x, )其中x为n次独立试验中成功出 现的次数.
定义1.3.1设是总体分布中的参数（或参数向量）， ()是的先验密度函数，假如由抽样信息算得的后验 密度函数与()有相同的函数形式，则称()是的共 轭先验分布。
2 B x 0 2 2 1 1 1 2 , , 其中 1 0 2 2 2 2 2 A 0 1 0 n
3
参数的解释
“正态均值（方差已知）的共轭先验分布是正态分布”的 例子中，其后验均值为
2 0 2 2 1 2 2 x 2 2 x (1 ) , 0 2 0 0 n
后验均值是样本均值和先验均值的加权平均。
在处理正态分布时，方差的倒数发挥着重要的作用，并 1 1 n 1 称其为精度。 1 2 2 2 2. 2
这表明后验均值是在先验均值与样本均值间采取折衷方案。
1
0



4
B x 0 1 1 1 2 1 , 2 2 2 , 0 2 2 A 0 1 0 n
故 ( x) ~ (a xi , n )
i 1 n
.
17






若后验分布( x)与( )属于同一个分布族， 则称该分布族是 的共轭先验分布(族)。 二项分布b(n, )中的成功概率 的共轭先验分布 是贝塔分布Be(α,β)； 泊松分布P( )中的均值 的共轭先验分布是伽玛 分布Ga(,)； 指数分布中均值的倒数 的共轭先验分布是伽玛 分布Ga(,)； 在方差已知时，正态均值 的共轭先验分布是正 态分布N(, 2); 在均值已知时，正态方差 2的共轭先验分布是 倒伽玛分布IGa(,)。 18
6
例1.3.1中正态均值（方差已知）的共轭先验分布是正态 分布 .( | x ) p( x | ) ( ) / m( x ) p( x | ) ( )
n 2 ( xi ) ( )2 1 i 1 1 2 exp [ ] exp [ A 2 B ] 2 2 2 2 2
设X服从伽玛分布Ga(,)，其中>0为形状参数, >0为尺度参数，其密度函数为 1 x p( x , ) x e ,x0 ( ) Y=1/X的密度函数为 1
1 p( y , ) ( ) y
e ,y0
1 n 1 2 p( x | ) exp 2 2 ( xi ) i 1 2 n/ 2 n 1 1 2 2 exp 2 ( xi ) 2 i 1
12
n
倒伽玛分布
2 n
14
这个后验分布的均值可改写为如下的加权平均
1 n ( xi )2 2 i 1 E ( 2 | x ) n 1 2 1 n (1 ) ( xi )2 -1 n i 1 1 , 是 2的共轭先验分布的先验均值， n 1 1 1 n 2 2 ( x ) 是在已知条件下的样本方差。 i n i 1
其中μ,τ2为已知。
2
n
设x=（x1, x2,…,xn）与参数 的联合密度函数为
2 2 ( B / A ) 1 n ( ) 1 1 2 h( x , ) n exp 2 2 ( xi ) 2 2 k2 exp 2 / A i 1 2
注意：共轭先验分布是对某一分布中的参数而言的。
离开指定参数及其所在的分布去谈论共轭先验分布是没 有意义的。
1
例1.3.1正态均值（方差已知）的共轭先验分布是正布. 设x1, x2,…,xn是来自正态分布N(, σ2) 的一组样本观察 值，其中σ2已知。
样本的似然函数为：
1 n 1 2 p( x | ) exp 2 2 ( xi ) i 1 2 取另一正态分布N(μ,τ2)作为正态均值的先验分布，即 2 1 ( ) ( ) exp , 2 2 2
(1.3.5)
其中“∝”表示两边仅差一个常数因子，一个不依赖于 的常数因子。（1.3.5）式右端虽不是正常的密度函数， 但它是后验分布( x）的核，在需要时可以利用适当的 方式计算出后验密度，特别当看出( x)的核就是某常 用分布的核时，不用计算m(x)就可很快恢复所缺常数因 子。 注意：这在共轭先验分布和非共轭先验分布场合都可使用。
x1 ! x2 !...xn !
, t xi
i 1
n
先验密度为 :
1 ( ) exp( ) 有 ( ) a 1 exp( ). ( )
则其后验密度的核为 :
( x) ( ) p( x ) t 1 exp[ ( n ) ]
n1
2 样本x的边际密度函数为 m( x ) h( x , )d k2 A2 1/ 2 ( B / A) 2 exp , 参数 的后验分布为 ( x ) 2/ A A

12
2的正态分布 这是参数为μ1, 和 τ 1
后验均值是样本均值和先验均值的加权平均。
在处理正态分布时，方差的倒数发挥着重要的作用，并 1 1 n 1 称其为精度。 1 2 2 2 2. 2
这表明后验均值是在先验均值与样本均值间采取折衷方案。
1
0



9
例1.3.4在“ 二项分布中的成功概率的共轭先验 分布是贝塔分布”的例中，后验分布Be(α+x,β+n-x) 的均值与方差为
11
四、常用的共轭先验分布
共轭先验分布的选取是由似然函数L()=p(x|)中所 含的因式所决定的，即选与似然函数（的函数) 具有相同的核的分布作为先验分布。 例1.3.5 设x1, x2,…,xn是来自正态分布N(, σ2) 的一个样 本观察值。其中已知，求方差σ2的共轭先验分布 。
样本的似然函数为：
y

这个分布称为倒伽玛分布，记为IGa(,)。 假如取倒伽玛分布为σ2的先验分布，其中参数与 为已知，则其密度函数为
1 ( ) 2 ( )
2

1
e

2
,
13
1 2 p( x ) 2
2
n/ 2
1 ( ) 2 ( )
A( B / A) exp 2 这是参数为μ1, 和τ12的正态分布的核
其中
2 2 2 x B 1 1 1 2 0 1 , 2 2 2 , 0 2 2 A 0 1 0 n
7
例1.3.2 二项分布中的成功概率的共轭先验分布是贝 塔分布。 设总体中X b(n, )，先验分布Be(α,β)，
的后验分布
( | x ) p( x | ) ( ) x (1 )n x 1 (1 ) 1 x 1 (1 ) n x1 , 0 1
这是贝塔分布Be(α+x,β+n-x) 的核.
的后验分布
( n) ( | x ) x 1 (1 ) n x 1 ,0 1. ( x )( n x )
后验均值是样本均值和先验均值的加权平均。
15
常用分布的核
（1）二项分布b(n, ）的核 (2)泊松分布P（λ）的核 （3）贝塔分布Be(α,β)的核 （4）伽玛分布Ga(α,λ)的核
(1 ) x e
x
n x
x 1 (1 x ) 1
x
1 x
e 1 1 x （5）倒伽玛分布IGa(α,λ)的核 e x 2 （6）正态分布N(,σ )的核 ( x )2 exp 2 2
n/ 2

1 exp 2 2
1
e

2
( xi ) i 1
n 2
,
1 2
σ2的后验分布 为
1 1 2 1 ( x ) 2 exp 2 ( xi ) 2 e , 2 i 1 1 n / 2 n 1 1 1 2 2 exp 2 ( xi ) 2 i 1 n n 1 这个分布为倒伽玛分布 IGa( , ( xi )2 ). 2 2 i 1
2 2
2
例：设 X ~ N ( , 2 ) ， ~ N (10,32 ) 。若从正态总体 X 抽
2
得容量为 5 的样本，算得 x 12.1 。
6 2 于是可算得 1 11.93 和 ( 7 ) 。这时正态均值 6 2 的后验分布为正态分布 N (11.93, ( 7 ) ) .
8
三、共轭先验分布的优缺点
共轭先验分布的有两个优点 1.计算方便。 2.共轭先验分布的一些参数可以得到很好的解释。 例1.3.3 “正态均值（方差已知）的共轭先验分布是正态 分布”的例子中，其后验均值为 2
2 0 2 1 2 2 x 2 2 x (1 ) , 0 2 0 0 n
熟悉后验分布的核可以简化后验分布的计算。
16
课堂练习
例 设x1 , x2 ,..., xn ~ iid . p( ), ( ) ~ ( , ), 试确定 ( x).
解：其似然函数为 p( x )
i 1 n
x
i
xi !
exp( )
t exp(n )