先验分布的确定ppt课件可修改全文

该方法的要点： （1）根据先验信息选定θ的先验密度函数
π(θ)的形式，如选其共轭先验分布。 （2）当先验分布中含有未知参数（称为超 参数）时，譬如π(θ)= π(θ；α,β)，
给出超参数α,β的估计值 ˆ， ˆ使 π(θ；ˆ， ˆ)最接近先验信息。
精品课件
14
精品课件
15
精品课件
16
说明：如果有两个甚至多个先验分布都满足给定的先
(3)实例分析:
精品课件
25
精品课件
26
三、先验选择的ML-Ⅱ方法
{ (|), }
x存=定(在x1义,x2：,…设,x满n)是足m(来（x|自对为ˆ)边观ˆ 所缘测s考(u分数ˆ虑 p布n据 的m 中)x）先(的xi：验|样类)本，，且若 i1
则 ˆ被称为Ⅱ型极大似然先验，或简称为ML-
Ⅱ先验。 说明：这里将m(x)看成似然函数
(2)变分度法:该法是把参数可能取值的区间逐 次分为机会相等的两个小区间,这里的分点 由专家确定.
例3.2.3(自学)
精品课件
18
§3.3 利用边缘分布m(x)确定先验密度
一、边缘分布m(x) 二、混合分布 三、先验选择的ML-II方法 四、先验选择的矩方法
精品课件
19
一、边缘分布m(x) 设总体X的密度函数为p(x|θ),它含有未知
2.经典统计确定概率的两种方法：
（1）古典方法； （2）频率方法。
3.主观概率的定义：一个事件的概率是人们根 据经验对该事件发生可能性所给出的个人信 念。
精品课件
3
二、确定主观概率的方法
1.利用对立事件的比较确定主观概率(例3.1)； 2.利用专家意见确定主观概率(例3.2) ； 3.向多位专家咨询确定主观概率(例3.3) ； 4.充分利用历史资料，考虑现有信息加以修正,才
验信息，则要看情况选择：假如这两个先验分布差异
不大，对后验分布影响也不大，则可任选一个；如果
我们面临着两个差异极大的先验分布可供选择时，一
定要根据实际情况慎重选择精。品课件
17
三、定分度法与变分度法
基本概念:
(1)定分度法:把参数可能取值的区间逐次分为 长度相等的小区间,每次在每个小区间上请 专家给出主观概率.
*()d d (c)(c)
比较上述两式就可知道θ的无信息先验分布是常数。
精品课件
43
精品课件
44
例3.18 设x是从正态总体N(θ,σ2)抽取的容量为1 的样本，其中σ2已知，θ未知，但知其为正， 试求参数θ的估计。 解：这是一种带约束条件的估计问题，用贝叶 斯方法解决这类问题比较容易。取参数θ的无 信息先验分布为（0，∞）上的均匀分布，即：
计算其样本均值和样本方差，即：
ˆmx1 ni n1xi, ˆm 21 ni n1(xix)2
再用样本矩代替边际分布的矩，列出如下方程
ˆmE |[()] ˆm 2()E |[2() ]E |[()m ()2]
解此方程组，可得超参数 (1,2)的估计
ˆ(ˆ1,ˆ2) 从而获得先验分布 ( | ˆ)
xxp ( x | )dx ( | )d
( ) ( | )d
E | [ ( )]
精品课件
31
m2 () Ex|[X m()]2
x(xm())2 p(x|)( | )ddx
x(xm())2 p(x|)dx( | )d
其中：
Ex|
(xm())2(
|
)d
Ex| (xm())2
精品课件
27
精品课件
28
精品课件
29
四、先验选择的矩方法
在选择π∈Г时，可用矩方法代替极大似然方法。 矩方法应用于当Г有“已知函数形式”。即可利用 先验矩与边缘分布矩之间的关系寻求超参数的估计。 这种方法称为先验选择的矩方法。该方法的具体步 骤是：
1.计算总体分布p(x|θ)的期望μ(θ)和方差σ2(θ)，即
利用上述四个主观概率，由全概率公式可得本 公司生产此新产品获畅销的概率为
0.9*0.7+0.4*0.3=0.75
精品课件84.充分源自用历史资料，考虑现有信息加以修正精品课件
9
注意事项：（1）不管按照什么方法确定的主观
概率必须满足概率的三条公理：
①非负性公理：对任意事件A，0≤P(A)≤1。
②正则性公理：必然事件的概率为1
p(x)= πp(x |θ1)+ (1-π)p(x|θ2) 这个分布F(x)称为F(x |θ1)和F(x|θ2)的混合分布。 这里的π和1-π可以看作一个新随机变量θ的分布，
即：
P(θ=θ1)=π=π(θ1)， P(θ=θ2)=1-π=π(θ2)
精品课件
23
(2)混合样本的概念：从混合分布中抽出的样本称为
证明：令Y=cX(c>0),同时让参数也作同比例变化，
即定义η=cσ，不难算出Y的密度函数为
1
p 仍y 然属
于尺度参数族。且X与Y的样本空间相同，此时σ的无信息 先验π(σ)与η的无信息先验π*(η)应相同，即：
π(τ)=π*(τ)
另一方面，由变换η=cσ可以得的无信息先验为：
精品课件
47
*() 1
精品课件
20
精品课件
21
精品课件
22
二、混合分布
(1)混合分布的概念：设随机变量X以概率π在总体F1 中取值，以概率1-π在总体F2中取值。若F(x|θ1)和 F(x|θ2)分别是这两个总体的分布函数，则X的分布 函数为：F(x)= πF(x |θ1)+(1-π)F(x|θ2) 或用密度函数（或概率密度）表示：
精品课件
12
一、直方图法
基本步骤：
1.把参数空间分成一些小区间；
2.在每个小区间上决定主观概率或依据历史数 据确定其频率；
3.绘制频率直方图；
4.在直方图上作一条光滑曲线，此曲线即为先 验分布()。
例3.6 某药材店记录了吉林人参的每周销售量, 现要寻求每周平均销售量θ的概率分布。
精品课件
13
二、选定先验密度函数形式再估计其超参数
其中f(x)是一个完全确定的函数，它相应于μ=0， σ=1时的密度，μ称为位置参数，σ称为尺度参数， 这类分布族称为位置-尺度参数族。如正态分布、指 数分布、均匀分布等都属于这一类。
特别σ=1时称为位置参数族，而μ=0时称为尺度参
数族。
精品课件
42
(一)位置参数的无信息先验
定理：位置参数族的先验分布可用贝叶斯假设作为无 信息先验分布。 证明：设总体X的密度具有形式p(x-θ)，其样本空间 与参数空间均为实数集。对X作一个平移Y=X+c，则 Y的密度具有形式：p(y-c-θ)，这相当于对参数θ作 一个平移η=θ+c，即Y的密度形式为p(y-η)，它仍 然是位置参数族的成员，且其样本空间与参数空间没 有发生改变。因此θ与η应具有相同的无信息先验分 布。即 π(τ)=π*(τ) 其中π*(τ)为η的无信息先验分布。同时，由变换 η=θ+c可算得η的无信息先验分布为
精品课件
33
例3.13设总体X~ Exp( )，其密度函数为 p(x |) ex , x 0，
参数的先验分布取伽玛G分a(布 ,)，其密度函数 ( |,) e 1 , 0 ()
现有混合样本的均 ˆm值 和方差ˆm2，试求超参数， 的矩估计。
解：
精品课件
34
精品课件
35
精品课件
36
③可列可加性公理：对可列个互不相容的事件A1，
A2，…，有
P( Ai) P(Ai)
i1
i1
（2）如果发现所确定的主观概率与上述三个公理及 其推出的性质相悖，必须立即修正。直到两者一致 为止。（例3.5）
精品课件
10
精品课件
11
§3.2 利用先验信息确定先验分布
一、直方图法 二、选定先验密度函数形式再估计其超参数 三、定分度法与变分度法
混合样本。 注：①从混合分布F(x)中抽取一个样品x1，相当于
如下的二次抽样： 第一次:从π(θ)中抽取一个样品θ。
第二次：若θ=θ1，则从F(x |θ1)中再抽一个样品， 这个样品就是x1；
若θ=θ2，则从F(x |θ2)中再抽一个样品，这个样 品就是x1
精品课件
24
②若从混合分布抽取一个容量为n的样本 x1,x2,…,xn,则约有nπ(θ1)个来自F(x |θ1)，约 有nπ(θ2)个来自F(x |θ2)。
能得到比较切合实际的主观概率(例3.4) 。
精品课件
4
1.利用对立事件的比较确定主观概率
精品课件
5
2.利用专家意见确定主观概率
精品课件
6
3.向多位专家咨询确定主观概率
精品课件
7
在座人员根据自己的经验各写了两个数，经理 在计算了两个平均值后，稍加修改，提出自己看 法：在上述两种情况下，本公司新产品畅销率各 为0.9和0.4，这是经理在征求多位专家意见后所 获得的主观概率。另据本公司情报部门报告，外 厂正忙于另一项产品开发，很可能无暇顾及生产 此新产品。经理据此认为，外厂将生产此新产品 的概率为0.3，不生产此产品的概率为0.7.
μ(θ)=Ex|θ(X)，
σ2(θ)= Ex|θ[X-μ(θ)]2
Ex|θ表示用θ给定下的条件分布p(x|θ)求期望。
精品课件
30
2.计算边缘密度m(x|λ) 的期望μm(λ)和 方差 m2，(其) 中:
m ( ) E x| ( X )
xm ( x | )dx
x
xx p ( x | ) ( | )ddx
第三章 先验分布的确定
精品课件
11
第三章 先验分布的确定
§3.1 主观概率 §3.2 利用先验信息确定先验分布 §3.3 利用边缘分布m(x)确定先验密度 §3.4 无信息先验分布 §3.5 多层先验
精品课件
2
§3.1 主观概率
一、主观概率
1.贝叶斯学派要研究的问题：如何用人们的经 验和过去的历史资料确定概率和先验分布。
0
( x ) /
(
x
x )e 2 / 2 d
e 2 / 2 d x
x ( 2 ) 1 / 2 exp x 2 / 2 2
1 ( x / )
精品课件
46
(二)尺度参数的无信息先验
定理 设总体X的密度函数具有形式：
p(x； ) 1px, (0, )
则参数σ的无信息先验分布为： π(θ)=1/σ，σ>0
精品课件
37
例3.14 设总体X~N(θ，1)，其中参数θ的先验分
布取共轭先验 N(,。2)试估计两个参数的值。
解：
精品课件
38
§3.4 无信息先验分布
一、贝叶斯假设
二、位置—尺度参数族的无信息先验
三、用Fisher信息阵确定无信息先验
精品课件
39
一、贝叶斯假设
1.贝叶斯假设的基本含义
无信息先验分布应选取在θ(同等无知，无
①π(θ)≥0，且 ()d
②由此决定的后验密度π(θ|x)是正常的密度函 数，则称π(θ)为θ的广义先验密度。
(2)贝叶斯假设不满足变换下的不变性。
精品课件
41
二、位置-尺度参数族的无信息先验
定下义述：形设p 式(x 密：； 度,函) 数 中 1 有f 两x 个参 ,数μ 与( σ，, 且), 密 度(0 具, 有)
参数θ ，若θ的先验分布选用形式已知的密 度函数π(θ),则可算得X的边缘分布（即无条 件分布）：
m(x) p ( xp|(x)|())d(),，
当为连续时 当为离散时
当先验分布含有未知参数，譬如π(θ)= π(θ|λ)，那 么边缘分布m(x)依赖于λ，可记为m(x|λ)，这种边缘分 布在寻求后验分布时常遇到。
偏爱）取值范围(内) 的均0c,, 匀分布，即：
这种看法被称为贝叶斯假设。
说明：贝叶斯假设在很多情况下都是合理的。
精品课件
40
2.应用贝叶斯假设时所出现的问题
(1)当θ的取值范围为无限区间时，就无法在Θ 上定义一个正常的均匀分布。
定义3.1 设总体X~f(x|θ)，θ∈Θ。若θ的先验 分布π(θ)满足下列条件：
Ex| (x() () m())2
Ex|(x())2 Ex|(()m())2
2()(()m())2
代入上式得：
m 2 () E | [2 () E ] | [() m ()2]
精品课件
32
3.特殊情形:当先验分布中仅含二个超参数时，即
(1,2),可用混合样本 x(x1,x2, ,xn)
π（θ）=I（0，∞）（θ） 由此可得后验密度：
(|x)ex(p x)2/22I(0, )() ex(p x)2/22d
0
若取后验均值作为θ的估计，则:
精品课件
45
ˆ E E ( | x )
0
( | x )d
exp
( x ) 2 / 2 2 d
0
exp
( x ) 2 / 2 2 d
c c
比较上述两式得：
()1 取 c (c)11
cc
c
若令π(1)=1，则π(σ)=1/σ，σ>0
它还是一个非正常先验。