ch3先验分布的确定 贝叶斯统计课件

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
MMaaddeebbyyccyyhh
第三章 先验分布的确定
2020/6/17
经济学院统计系:陈耀辉
11
二、确定主观概率的方法
• 1.利用对立事件的比较确定主观概率(例3.1); • 2.利用专家意见确定主观概率(例3.2) ; • 3.向多位专家咨询确定主观概率(例3.3) ; • 4.充分利用历史资料,考虑现有信息加以修正,才
2020/6/17
17
§3.3 利用边缘分布m(x)确定先验密度
一、边缘分布m(x) 二、混合分布 三、先验选择的ML-II方法 四、先验选择的矩方法
2020/6/17
18
一、边缘分布m(x)
设总体X的密度函数为p(x|θ),它含有未 知参数θ ,若θ的先验分布选用形式已知的
密度函数π(θ),则可算得X的边缘分布(即
37
一、贝叶斯假设
1.贝叶斯假设的基本含义
无信息先验分布应选取在θ取值范围内的
均匀分布,即:
()
c, 0,
这种看法被称为贝叶斯假设。
说明:贝叶斯假设在很多情况下都是合理的。
2020/6/17
38
2.应用贝叶斯假设时所出现的问题
(1)当θ的取值范围为无限区间时,就无法在Θ上 定义一个正常的均匀分布。(例3.15)
(|x)ex(p x)2/22I(0, )() ex(p x)2/22d
0
若20取20/6后/17 验均值作为θ的估计,则:
43
ˆ E E ( | x )
( | x )d
0
exp
( x ) 2 / 2 2 d
0
exp
( x ) 2 / 2 2 d
0
( x ) /
能得到比较切合实际的主观概率(例3.4) 。
2020/6/17
4
1.利用对立事件的比较确定主观概率
2020/6/17
5
2.利用专家意见确定主观概率
2020/6/17
6
3.向多位专家咨询确定主观概率
2020/6/17
7
4.充分利用历史资料,考虑现有信息加以修正
2020/6/17
8
注意事项:(1)不管按照什么方法确定的主观
若θ=θ2,则从F(x |θ2)中再抽一个样品,这个样品 就是x1
②若从混合分布抽取一个容量为n的样本x1,x2,…,xn, 则约有nπ(θ1)个来自F(x |θ1),约有nπ(θ2)个来自F(x |θ2)

(3)实例分析:
2020/6/17
23
2020/6/17
24
三、先验选择的ML-Ⅱ方法
定义:设 { (|), 为}所考虑的先验
无条件分布):
m(x) p ( xp|(x)|())d(),,
当为连续时 当为离散时
当先验分布含有未知参数,譬如π(θ)= π(θ|λ),那 么边缘分布m(x)依赖于λ,可记为m(x|λ),这种边缘分 布在寻求后验分布时常遇到。
2020/6/17
19
2020/6/17
20
2020/6/17
21
二、混合分布
4.在直方图上作一条光滑曲线,此曲线即为先 验分布()。
例3.6 某药材店记录了吉林人参的每周销售量, 现要寻求每周平均销售量θ的概率分布。
2020/6/17
12
二、选定先验密度函数形式再估计其超参数
• 该方法的要点:
• (1)根据先验信息选定θ的先验密度函数 π(θ)的形式,如选其共轭先验分布。
2020/6/17
31
例3.13设总体X~ Exp( ),其密度函数为 p(x|) ex , x 0,
参数的先验分布取伽玛G分a(布 ,),其密度函数 ( |,) e 1 , 0 ()
现有混合样本的均 ˆm和 值方差ˆm2,试求超参数, 的矩估计。
解:
2020/6/17
32
2020/6/17
计算其样本均值和样本方差,即:
ˆmx1 ni n 1xi, ˆm 2n1 1i n 1(xix)2
再用样本矩代替边际分布的矩,列出如下方程
ˆmE |[()] ˆm 2()E |[2() ]E |[()m ()2]
解此方程组,可得超参数 (1,2)的估计 ˆ(ˆ1,ˆ2)
从而获得先验分布 ( | ˆ)
2020/6/17
9
2020/6/17
10
§3.2 利用先验信息确定先验分布
一、直方图法 二、选定先验密度函数形式再估计其超参数 三、定分度法与变分度法
2020/6/17
11
一、直方图法
基本步骤:
1.把参数空间分成一些小区间;
2.在每个小区间上决定主观概率或依据历史数 据确定其频率;
3.绘制频率直方图;
• (2)当先验分布中含有未知参数(称为超
• 参数)时,譬如π(θ)= π(θ;α,β),
• 给出超参数α,β的估计值 ,ˆ 使ˆ • π(θ; ,ˆ )最ˆ 接近先验信息。
2020/6/17
13
2020/6/17
14
2020/6/17
15
• 说明:如果有两个甚至多个先验分布都满足给定的先
验信息,则要看情况选择:假如这两个先验分布差异
2020/6/17
45
*() 1
c c
比较上述两式得:
()1 取 c (c)11
cc
c
若令π(1)=1,则π(σ)=1/σ,σ>0 它还是一个非正常先验。
例3.19(p101)
2020/6/17
46
2020/6/17
47
三、用Fisher信息阵确定无信息先验
1.确定无信息先验的更一般方法(Jeffreys(1961)):
(
x
x )e 2 / 2 d
e 2 / 2 d x
x ( 2 ) 1 / 2 exp x 2 / 2 2
1 ( x / )
特例:p100
2020/6/17
44
(二)尺度参数的无信息先验
• 定理 设总体X的密度函数具有形式:

p(x; ) 1px, (0, )
• 则参数σ的无信息先验分布为: π(θ)=1/σ,σ>0
即:
P(θ=θ1)=π=π(θ1), P(θ=θ2)=1-π=π(θ2)
2020/6/17
22
(2)混合样本的概念:从混合分布中抽出的样本称为
混合样本。
注:①从混合分布F(x)中抽取一个样品x1,相当于 如下的二次抽样:
第一次:从π(θ)中抽取一个样品θ。
第二次:若θ=θ1,则从F(x |θ1)中再抽一个样品, 这个样品就是x1;
27
四、先验选择的矩方法
• 在选择π∈Г时,可用矩方法代替极大似然方 法。矩方法应用于当Г有“已知函数形式”。即可
利用先验矩与边缘分布矩之间的关系寻求超参数的
估计。这种方法称为先验选择的矩方法。该方法的 具体步骤是:
• 1.计算总体分布p(x|θ)的期望μ(θ)和方差
• σ2(θ),即

μ(θ)=Ex|θ(X),
不大,对后验分布影响也不大,则可任选一个;如果
我们面临着两个差异极大的先验分布可供选择时,一
定202要0/6根/17 据实际情况慎重选择。
16
三、定分度法与变分度法
基本概念: (1)定分度法:把参数可能取值的区间逐次分为
长度相等的小区间,每次在每个小区间上请 专家给出主观概率. (2)变分度法:该法是把参数可能取值的区间逐 次分为机会相等的两个小区间,这里的分点 由专家确定. 例3.9(自学)
一个平移η=θ+c,即Y的密度形式为p(y-η),它仍
然是位置参数族的成员,且其样本空间与参数空间没
有发生改变。因此θ与η应具有相同的无信息先验分
布。即 π(τ)=π*(τ)
其中π*(τ)为η的无信息先验分布。同时,由变换
η=θ+c可算得η的无信息先验分布为

*()d d (c)(c)
比较2020上/6/1述7 两式就可知道θ的无信息先验分布是常数。41
设x=(x1,x2,…,xn)是来自密度函数p(x|θ)的一个样本,θ 为p维参数向量,则可用Fisher信息阵的平方根作为θ的无信息 先验分布。
(12)写.寻出求样分本布的的对一数般似步然骤函:数:l(|x)ln n p(xi|) nln p(xi|)
2020/6/17
42
例3.18 设x是从正态总体N(θ,σ2)抽取的容量为1 的样本,其中σ2已知,θ未知,但知其为正,试
求参数θ的估计。
解:这是一种带约束条件的估计问题,用贝叶
斯方法解决这类问题比较容易。取参数θ的无
信息先验分布为(0,∞)上的均匀分布,即:
• π(θ)=I(0,∞)(θ) 由此可得后验密度:
xxp ( x | )dx ( | )d
( ) ( | )d
E | [ ( )]
2020/6/17
29
m2 () Ex|[X m()]2
x(xm())2 p(x|)( | )ddx
x(xm())2 p(x|)dx( | )d
其中:
Ex|
(xm())2(
|
)d
Ex| (xm())2
Ex| (x()()m())2
Ex|(x())2 Ex|(()m())2
2()(()m())2
代入上式得:
m 2 () E | [2 () E ] | [() m ()2]
2020/6/17
30
3.特殊情形:当先验分布中仅含二个超参数时,即
(1,2),可用混合样本 x(x1,x2,,xn)

σ2(θ)= Ex|θ[X-μ(θ)]2
• *Ex|θ表示用θ给定下的条件分布p(x|θ)求期望。
2020/6/17
28
2.计算边缘密度m(x|λ) 的期望μm(λ)和方
2 m
(
)差
,其中:
m ( ) E x| ( X )
xm ( x | )dx
x
xx p ( x | ) ( | )ddx
(1)混合分布的概念:设随机变量X以概率π在总体F1 中取值,以概率1-π在总体F2中取值。若F(x|θ1)和 F(x|θ2)分别是这两个总体的分布函数,则X的分布 函数为:F(x)= πF(x |θ1)+(1-π)F(x|θ2) 或用密度函数(或概率密度)表示:
p(x)= πp(x |θ1)+ (1-π)p(x|θ2) 这个分布F(x)称为F(x |θ1)和F(x|θ2)的混合分布。 这里的π和1-π可以看作一个新随机变量θ的分布,
概率必须满足概率的三条公理:
①非负性公理:对任意事件A,0≤P(A)≤1。
②正则性公理:必然事件的概率为1
③可列可加性公理:对可列个互不相容的事件A1,
A2,…,有
P(Ai)P(Ai)
i1
i1
(2)如果发现所确定的主观概率与上述三个公理 及其推出的性质相悖,必须立即修正。直到两者一
致为止。(例3.5)
• 定义:设密度函数中有两个参数μ与σ,且密度具
• 有下述p (x 形; 式,:) 1f x , (, ), (0 , )
• 其中f(x)是一个完全确定的函数,它相应于μ=0,σ=1 时的密度,μ称为位置参数,σ称为尺度参数,这类 分布族称为位置-尺度参数族。如正态分布、指数分 布、均匀分布等都属于这一类。

• 证明:令Y=cX(c>0),同时让参数也作同比例变化,
• 即定义η=cσ,不难算出Y的密度函数为
1
p 仍 y然 属
• 于尺度参数族。且X与Y的样本空间相同,此时σ的无信 息先验π(σ)与η的无信息先验π*(η)应相同,即:

π(τ)=π*(τ)
• 另一方面,由变换η=cσ可以得的无信息先验为:
33
2020/6/17
34
2020/6/17
35
例3.14 设总体X~N(θ,1),其中参数θ的先验分
布取共轭先验 N(,2。)试估计两个参数的值。
解:
2020/6/17
36
§3.4无信息先验分布
一、贝叶斯假设 二、位置—尺度参数族的无信息先验 三、用Fisher信息阵确定无信息先验
2020/6/17
类,且x=(x1,x2,…,xn)是来自Г中某一分 布的样本,若存在 ˆ(ˆ满) 足(对观
测数据x):
n
m(x|ˆ)su p m(xi |)
i1
• 则ˆ 被称为Ⅱ型极大似然先验,或简称为
ML-Ⅱ先验。
说明:这里将m(x)看成似然函数
2020/6/17
25
2020/6/17
26
2020/6/17
• 特别σ=1时称为位置参数族,而μ=0时称为尺度参 数族。
2020/6/17
40
(一)位置参数的无信息先验
定理:位置参数族的先验分布可用贝叶斯假设作为无
信息先验分布。
证明:设总体X的密度具有形式p(x-θ),其样本空间
与参数空间均为实数集。对X作一个平移Y=X+c,则
Y的密度具有形式:p(y-c-θ),这相当于对参数θ作
• 定义3.1 设总体X~f(x|θ),θ∈Θ。若θ的先验 分布π(θ)满足下列条件:
• ①π(θ)≥0,且 ()d
• ②由此决定的后验密度π(θ|x)是正常的密度函 数,则称π(θ)为θ的广义先验密度。
(2)贝叶斯假设不满足变换下的不变性。
(例3.16)
2020/6/17
39பைடு நூலகம்
二、位置-尺度参数族的无信息先验
相关文档
最新文档