先验分布的确定

24
②若从混合分布抽取一个容量为n的样本 x1,x2,…,xn,则约有nπ(θ1)个来自F(x |θ1)，约 有nπ(θ2)个来自F(x |θ2)。 (3)实例分析:
25
26
三、先验选择的ML-Ⅱ方法 定义：设 { ( | ), } 为所考虑的先 验类，且x=(x1,x2,…,xn)是来自边缘分布 ˆ ) 满足（对观 ˆ ( 中的样本，若存在 n 测数据x）： ˆ ) sup m(x | m( xi | )
8
4.充分利用历史资料，考虑现有信息加以修正
9
注意事项：（1）不管按照什么方法确定的主 观概率必须满足概率的三条公理： ①非负性公理：对任意事件A，0≤P(A)≤1。 ②正则性公理：必然事件的概率为1 ③可列可加性公理：对可列个互不相容的事件A1， A2，…，有
P( Ai ) P( Ai )
5
2.利用专家意见确定主观概率
6
3.向多位专家咨询确定主观概率
7
在座人员根据自己的经验各写了两个数，经理 在计算了两个平均值后，稍加修改，提出自己看 法：在上述两种情况下，本公司新产品畅销率各 为0.9和0.4，这是经理在征求多位专家意见后所 获得的主观概率。另据本公司情报部门报告，外 厂正忙于另一项产品开发，很可能无暇顾及生产 此新产品。经理据此认为，外厂将生产此新产品 的概率为0.3，不生产此产品的概率为0.7. 利用上述四个主观概率，由全概率公式可得本 公司生产此新产品获畅销的概率为 0.9*0.7+0.4*0.3=0.75
41
二、位置-尺度参数族的无信息先验
定义：设密度函数中有两个参数μ与σ，且密度具有 下述形式： 1 x p( x； , ) f , (, ) , (0, ) 其中f(x)是一个完全确定的函数，它相应于μ=0， σ=1时的密度，μ称为位置参数，σ称为尺度参数， 这类分布族称为位置-尺度参数族。如正态分布、指 数分布、均匀分布等都属于这一类。 特别σ=1时称为位置参数族，而μ=0时称为尺度参 数族。
E x| ( x m ( )) 2 ( | )d
2 2 2 x| x| 2
E ( x m ( ))
E ( x ( ) ( ) m ( ))
2 x|
E ( x ( )) E ( ( ) m ( ))
40
2.应用贝叶斯假设时所出现的问题
(1)当θ的取值范围为无限区间时，就无法在Θ 上定义一个正常的均匀分布。 定义3.1 设总体X~f(x|θ)，θ∈Θ。若θ的先 验分布π(θ)满足下列条件： ①π(θ)≥0，且 ( )d ②由此决定的后验密度π(θ|x)是正常的密度函 数，则称π(θ)为θ的广义先验密度。 (2)贝叶斯假设不满足变换下的不变性。
计算其样本均值和样本方差，即： n 1 n 1 2 ˆ m x xi , ˆm ( xi x )2 n i 1 n i 1 再用样本矩代替边际分布的矩，列出如下方程
| ˆ m E [ ( )]
ˆ ( ) E [ ( )] E [ ( ) m ( )]
30
2.计算边缘密度m(x|λ) 的期望μm(λ) 2 和方差 m ( ) ，其中:
m ( ) E ( X ) xm( x | )dx
x| x
x p ( x | ) ( | )ddx
x

x
xp( x | )dx ( | )d
44
例3.18 设x是从正态总体N(θ,σ2)抽取的容量为 1的样本，其中σ2已知，θ未知，但知其为正， 试求参数θ的估计。 解：这是一种带约束条件的估计问题，用贝叶 斯方法解决这类问题比较容易。取参数θ的无 信息先验分布为（0，∞）上的均匀分布，即： π（θ）=I（0，∞）（θ） 由此可得后验密度：
ˆ 被称为Ⅱ型极大似然先验，或简称为ML则 Ⅱ先验。 说明：这里将m(x)看成似然函数
27
i 1
28
29
四、先验选择的矩方法
在选择π ∈Г 时，可用矩方法代替极大似然方法。 矩方法应用于当Г有“已知函数形式”。即可利用 先验矩与边缘分布矩之间的关系寻求超参数的估计。 这种方法称为先验选择的矩方法。该方法的具体步 骤是： 1.计算总体分布p(x|θ )的期望μ (θ )和方差σ 2(θ )， 即 μ (θ )=Ex|θ (X)， σ 2(θ )= Ex|θ [X-μ (θ )]2 Ex|θ 表示用θ 给定下的条件分布p(x|θ )求期望。
18
§3.3 利用边缘分布m(x)确定先验密度
一、边缘分布m(x)
二、混合分布 三、先验选择的ML-II方法
四、先验选择的矩方法
19
一、边缘分布m(x) 设总体X的密度函数为p(x|θ ),它含有未 知参数θ ，若θ 的先验分布选用形式已知的 密度函数π (θ ),则可算得X的边缘分布（即 无条件分布）： 当为连续时 p( x | ) ( )d , m( x) p ( x | ) ( ) ， 当 为离散时
i 1 i 1


（2）如果发现所确定的主观概率与上述三个公理 及其推出的性质相悖，必须立即修正。直到两者一 致为止。（例3.5）
10
11
§3.2 利用先验信息确定先验分布
一、直方图法 二、选定先验密度函数形式再估计其超参数 三、定分度法与变分度法
12
一、直方图法
基本步骤： 1.把参数空间分成一些小区间； 2.在每个小区间上决定主观概率或依据历史数 据确定其频率； 3.绘制频率直方图； 4.在直方图上作一条光滑曲线，此曲线即为先 验分布()。 例3.6 某药材店记录了吉林人参的每周销售量, 现要寻求每周平均销售量θ的概率分布。
1 ( | , ) e , 0 ( ) 2 ˆ m 和方差 ˆm 现有混合样本的均值 ，试求超参数， 的矩估计。
解：
34
35
36
37
例3.14 设总体X~N(θ ，1)，其中参数θ的先验分 2 布取共轭先验 N ( , ) 。试估计两个参数的值。 解：
( ) ( | )d E | [ ( )]
31
2 m ( ) E x| [ X m ( )]2
( x m ( )) 2 p( x | ) ( | )ddx
x

其中： x|
x
2 ( x ( )) p( x | )dx ( | )d m
3
二、确定主观概率的方法

1.利用对立事件的比较确定主观概率(例3.1)； 2.利用专家意见确定主观概率(例3.2) ； 3.向多位专家咨询确定主观概率(例3.3) ； 4.充分利用历史资料，考虑现有信息加以修正,才 能得到比较切合实际的主观概率(例3.4) 。
4
1.利用对立事件的比较确定主观概率
14
15
16

Hale Waihona Puke 说明：如果有两个甚至多个先验分布都满足给定的先 验信息，则要看情况选择：假如这两个先验分布差异 不大，对后验分布影响也不大，则可任选一个；如果 我们面临着两个差异极大的先验分布可供选择时，一 17 定要根据实际情况慎重选择。
三、定分度法与变分度法
基本概念: (1)定分度法:把参数可能取值的区间逐次分 为长度相等的小区间,每次在每个小区间上 请专家给出主观概率. (2)变分度法:该法是把参数可能取值的区间 逐次分为机会相等的两个小区间,这里的分 点由专家确定. 例3.2.3(自学)
2 m 2
|
|
2
解此方程组，可得超参数 (1 , 2 ) 的估计 ˆ) ˆ ( ˆ , ˆ ) 从而获得先验分布 ( |
1 2
33
例3.13设总体X ~ Exp( )，其密度函数为 x p( x | ) e , x 0， 参数的先验分布取伽玛分布 Ga( , )，其密度函数
23
(2)混合样本的概念：从混合分布中抽出的样本称为
混合样本。 注：①从混合分布F(x)中抽取一个样品x1，相当于 如下的二次抽样： 第一次:从π(θ)中抽取一个样品θ。 第二次：若θ=θ1，则从F(x |θ1)中再抽一个样品， 这个样品就是x1； 若θ=θ2，则从F(x |θ2)中再抽一个样品，这个样品 就是x1
38
§3.4 无信息先验分布
一、贝叶斯假设 二、位置—尺度参数族的无信息先验
三、用Fisher信息阵确定无信息先验
39
一、贝叶斯假设
1.贝叶斯假设的基本含义 无信息先验分布应选取在θ(同等无知，无 偏爱）取值范围内的均匀分布，即： c, ( ) 0,
这种看法被称为贝叶斯假设。 说明：贝叶斯假设在很多情况下都是合理的。
当先验分布含有未知参数，譬如π(θ )= π(θ |λ )，那 么边缘分布m(x)依赖于λ，可记为m(x|λ )，这种边缘分 布在寻求后验分布时常遇到。
20
21
22
二、混合分布
(1)混合分布的概念：设随机变量X以概率π 在总体F1 中取值，以概率1-π 在总体F2中取值。若F(x|θ 1)和 F(x|θ 2)分别是这两个总体的分布函数，则X的分布 函数为：F(x)= π F(x |θ 1)+(1-π )F(x|θ 2) 或用密度函数（或概率密度）表示： p(x)= π p(x |θ 1)+ (1-π )p(x|θ 2) 这个分布F(x)称为F(x |θ 1)和F(x|θ 2)的混合分布。 这里的π 和1-π 可以看作一个新随机变量θ 的分布， 即： P(θ =θ 1)=π =π (θ 1)， P(θ =θ 2)=1-π =π (θ 2)
代入上式得：
2 m