贝叶斯讲义 先验分布的确定

计算其样本均值和样本方差，即： n 1 n 1 2 2 ˆ ˆ m x xi , m ( xi x ) n i 1 n 1 i 1 再用样本矩代替边际分布的矩，列出如下方程
| ˆ m E [ ( )]
ˆ ( ) E [ ( )] E [ ( ) m ( )]
当先验分布含有未知参数，譬如π(θ )= π(θ |λ )，那 么边缘分布m(x)依赖于λ，可记为m(x|λ )，这种边缘分 布在寻求后验分布时常遇到。
19
20
21
二、混合分布
(1)混合分布的概念：设随机变量X以概率π 在总体F1 中取值，以概率1-π 在总体F2中取值。若F(x|θ 1)和 F(x|θ 2)分别是这两个总体的分布函数，则X的分布 函数为：F(x)= π F(x |θ 1)+(1-π )F(x|θ 2) 或用密度函数（或概率密度）表示： p(x)= π p(x |θ 1)+ (1-π )p(x|θ 2) 这个分布F(x)称为F(x |θ 1)和F(x|θ 2)的混合分布。 这里的π 和1-π 可以看作一个新随机变量θ 的分布， 即： P(θ =θ 1)=π =π (θ 1)， P(θ =θ 2)=1-π =π (θ 2)

则 ˆ 被称为Ⅱ型极大似然先验，或简称为 ML-Ⅱ先验。 说明：这里将m(x)看成似然函数
25
i 1
26
27
四、先验选择的矩方法





在选择π ∈Г 时，可用矩方法代替极大似然方 法。矩方法应用于当Г有“已知函数形式”。即可 利用先验矩与边缘分布矩之间的关系寻求超参数的 估计。这种方法称为先验选择的矩方法。该方法的 具体步骤是： 1.计算总体分布p(x|θ )的期望μ (θ )和方差 σ 2(θ )，即 μ (θ )=Ex|θ (X)， σ 2(θ )= Ex|θ [X-μ (θ )]2 *Ex|θ 表示用θ 给定下的条件分布p(x|θ )求期望。
基本步骤： 1.把参数空间分成一些小区间； 2.在每个小区间上决定主观概率或依据历史数 据确定其频率； 3.绘制频率直方图； 4.在直方图上作一条光滑曲线，此曲线即为先 验分布()。 例3.6 某药材店记录了吉林人参的每周销售量, 现要寻求每周平均销售量θ的概率分布。
12
二、选定先验密度函数形式再估计其超参数 该方法的要点： （1）根据先验信息选定θ的先验密度函数 π(θ)的形式，如选其共轭先验分布。 （2）当先验分布中含有未知参数（称为超 参数）时，譬如π(θ)= π(θ；α,β)， ˆ使 ˆ， 给出超参数α,β的估计值 ˆ ˆ π(θ； ， )最接近先验信息。
40
(一)位置参数的无信息先验
定理：位置参数族的先验分布可用贝叶斯假设作为无 信息先验分布。 证明：设总体X的密度具有形式p(x-θ)，其样本空间 与参数空间均为实数集。对X作一个平移Y=X+c，则 Y的密度具有形式：p(y-c-θ)，这相当于对参数θ作 一个平移η=θ+c，即Y的密度形式为p(y-η)，它仍 然是位置参数族的成员，且其样本空间与参数空间没 有发生改变。因此θ与η应具有相同的无信息先验分 布。即 π(τ)=π*(τ) 其中π*(τ)为η的无信息先验分布。同时，由变换 η=θ+c可算得η的无信息先验分布为 d * ( ) ( c) ( c) d 比较上述两式就可知道θ的无信息先验分布是常数。 41
28
2.计算边缘密度m(x|λ) 的期望μm(λ) 2 和方差 m ( ) ，其中:
m ( ) E ( X ) xm( x | )dx
x| x
x p ( x | ) ( | )ddx
x

x
xp( x | )dx ( | )d
E x| ( x m ( )) 2 ( | )d
2 2 2 x| x| 2
E ( x m ( ))
E ( x ( ) ( ) m ( ))
2 x|
E ( x ( )) E ( ( ) m ( ))
2 m 2
|
|
2
ˆ ( ˆ , ˆ ) 解此方程组，可得超参数 (1 , 2 )的估计 1 2
ˆ) 从而获得先验分布 ( |
31
例3.13设总体X ~ Exp( )，其密度函数为 x p( x | ) e , x 0， 参数的先验分布取伽玛分布 Ga( , )，其密度函数
5
2.利用专家意见确定主观概率
6
3.向多位专家咨询确定主观概率
7
4.充分利用历史资料，考虑现有信息加以修正
8
注意事项：（1）不管按照什么方法确定的主 观概率必须满足概率的三条公理： ①非负性公理：对任意事件A，0≤P(A)≤1。 ②正则性公理：必然事件的概率为1 ③可列可加性公理：对可列个互不相容的事件A1， A2，…，有
22
(2)混合样本的概念：从混合分布中抽出的样本称为
混合样本。 注：①从混合分布F(x)中抽取一个样品x1，相当于 如下的二次抽样： 第一次:从π(θ)中抽取一个样品θ。 第二次：若θ=θ1，则从F(x |θ1)中再抽一个样品， 这个样品就是x1； 若θ=θ2，则从F(x |θ2)中再抽一个样品，这个样品 就是x1 ②若从混合分布抽取一个容量为n的样本x1,x2,…,xn, 则约有nπ(θ1)个来自F(x |θ1)，约有nπ(θ2)个来自F(x |θ2)。 (3)实例分析:
23
24
三、先验选择的ML-Ⅱ方法
定义：设 { ( | ), } 为所考虑的先 验类，且x=(x1,x2,…,xn)是来自Г 中某一 ˆ ) 满足（对 ˆ ( 分布的样本，若存在 n 观测数据x）： ˆ ) sup m(x | m( xi | )
exp ( x) / 2 I ( ) ( | x) exp ( x) / 2 d
2 2 ( 0, ) 2 2 0
若取后验均值作为θ的估计，则:
43
ˆ E E ( | x) ( | x)d 0
1 ( | , ) e , 0 ( ) 2 ˆ m 和方差 ˆm 现有混合样本的均值 ，试求超参数， 的矩估计。
解：
32
33
34
35
例3.14 设总体X~N(θ ，1)，其中参数θ的先验分 2 布取共轭先验 N ( , ) 。试估计两个参数的值。 解：
P( Ai ) P( Ai )
i 1 i 1


（2）如果发现所确定的主观概率与上述三个公理 及其推出的性质相悖，必须立即修正。直到两者一 致为止。（例3.5）
9
10
§3.2 利用先验信息确定先验分布
一、直方图法 二、选定先验密度函数形式再估计其超参数 三、定分度法与变分度法
11
一、直方图法
38
2.应用贝叶斯假设时所出现的问题
(1)当θ的取值范围为无限区间时，就无法在Θ 上定义一个正常的均匀分布。(例3.15) 定义3.1 设总体X~f(x|θ)，θ∈Θ。若θ的先 验分布π(θ)满足下列条件： ①π(θ)≥0，且 ( )d ②由此决定的后验密度π(θ|x)是正常的密度 函数，则称π(θ)为θ的广义先验密度。 (2)贝叶斯假设不满足变换下的不变性。 (例3.16)
代入上式得：
2 m
( ) ( ( ) m ( ))
|
2
2
() E [ ( )] E [ ( ) m ()]
|
2
30
3.特殊情形:当先验分布中仅含二个超参数时，即
(1 , 2 ),可用混合样本 x ( x1 , x2 ,, xn )
Made Made by bycyh cyh
第三章 先验分布的确定
经济学院统计系:陈耀辉
1
1
第三章
§3.1 §3.2 §3.3 §3.4 §3.5
先验分布的确定
主观概率 利用先验信息确定先验分布 利用边缘分布m(x)确定先验密度 无信息先验分布 多层先验
2
§3.1 主观概率
一、主观概率 1.贝叶斯学派要研究的问题：如何用人们的经 验和过去的历史资料确定概率和先验分布。 2.经典统计确定概率的两种方法： （1）古典方法； （2）频率方法。 3.主观概率的定义：一个事件的概率是人们根 据经验对该事件发生可能性所给出的个人信 念。
42
例3.18 设x是从正态总体N(θ,σ2)抽取的容量为 1的样本，其中σ2已知，θ未知，但知其为正， 试求参数θ的估计。 解：这是一种带约束条件的估计问题，用贝叶 斯方法解决这类问题比较容易。取参数θ的无 信息先验分布为（0，∞）上的均匀分布，即： π（θ）=I（0，∞）（θ） 由此可得后验密度：

13
14
15

说明：如果有两个甚至多个先验分布都满足给定的先 验信息，则要看情况选择：假如这两个先验分布差异 不大，对后验分布影响也不大，则可任选一个；如果 我们面临着两个差异极大的先验分布可供选择时，一 16 定要根据实际情况慎重选择。
三、定分度法与变分度法
基本概念: (1)定分度法:把参数可能取值的区间逐次分 为长度相等的小区间,每次在每个小区间上 请专家给出主观概率. (2)变分度法:该法是把参数可能取值的区间 逐次分为机会相等的两个小区间,这里的分 点由专家确定. 例3.9(自学)
( ) ( | )d E | [ ( )]
29
2 m ( ) E x| [ X m ( )]2
( x m ( )) 2 p( x | ) ( | )ddx
x

其中： x|
x
2 ( x ( )) p( x | )dx ( | )d m
3
二、确定主观概率的方法

1.利用对立事件的比较确定主观概率(例3.1)； 2.利用专家意见确定主观概率(例3.2) ； 3.向多位专家咨询确定主观概率(例3.3) ； 4.充分利用历史资料，考虑现有信息加以修正,才 能得到比较切合实际的主观概率(例3.4) 。
4
1.利用对立事件的比较确定主观概率
36
§3.4无信息先验分布
一、贝叶斯假设 二、位置—尺度参数族的无信息先验
三、用Fisher信息阵确定无信息先验
37
一、贝叶斯假设
1.贝叶斯假设的基本含义 无信息先验分布应选取在θ取值范围内的 均匀分布，即： c, ( ) 0,
这种看法被称为贝叶斯假设。 说明：贝叶斯假设在很多情况下都是合理的。
39
二、位置-尺度参数族的无信息先验




定义：设密度函数中有两个参数μ与σ，且密度具 有下述形式： 1 x p( x； , ) f , (, ) , (0, ) 其中f(x)是一个完全确定的函数，它相应于μ=0， σ=1时的密度，μ称为位置参数，σ称为尺度参数， 这类分布族称为位置-尺度参数族。如正态分布、指 数分布、均匀分布等都属于这一类。 特别σ=1时称为位置参数族，而μ=0时称为尺度 参数族。
17
§3.3 利用边缘分布m(x)确定先验密度
一、边缘分布m(x)
二、混合分布 三、先验选择的ML-II方法
四、先验选择的矩方法
18
一、边缘分布m(x) 设总体X的密度函数为p(x|θ ),它含有未 知参数θ ，若θ 的先验分布选用形式已知的 密度函数π (θ ),则可算得X的边缘分布（即 无条件分布）： 当为连续时 p( x | ) ( )d , m( x) p ( x | ) ( ) ， 当 为离散时