第3篇先验分布的确定

3.假如有历史数据，要尽量利用，帮助形成初步概念， 然后再做一些对比修正，再形成个人信念.
注意：1.利用先验信息确定主观概率没有固定模式； 2.主观概率必须满足概率的3条公理.
总结 1.理解主观概率的定义 2.了解主观概率确定的常用方法
§3.2 利用先验信息确定先验分布 在贝叶斯统计方法中关键的一步是确定先验分布。1.
要进一步分析先验信息.先验信息很分散；柯西分布
先验信息较为集中：正态分布
3.两个先验分布都满足给定的先验信息。
（1）如果两个先验分布差别不大，对后验分布的影响 也不大，那可任选一个。
（2）假如面临两个差异较大的先验分布可供选择时， 应慎重选择。因不同的选择对后验分布的影响也会很大.
三、定分度法与变分度法 两种方法的共同点：通过咨询专家获得各种主观概 率，然后经过整理加工可得到累积概率分布曲线.
例3.12 设总体X～N(, σ2) 其中σ2已知。
取另一正态分布N(μπ,τπ2)作为正态均值的先验分布
则可以算得X的边缘分布为N(μπ,τπ2+σ2)
设X 在给定时条件分布为N ( ,
2 ),
(
)
~
N (
,
2
),
则边缘分布m( x
)
~
N (
,
2
2)
n
由 m( X ) m(xi )
i 1
第三章 先验分布的确定
§3.1 主观概率 §3.2 利用先验信息确定先验分布 §3.3 利用边缘分布m(x)确定先验密度 §3.4 无信息先验分布 §3.5 多层先验
概率的公理化定义
定义:设Ω 为一个样本空间， F为Ω的某些子集组成 的一个事件域，如果对任一事件A∈F，定义在F上 一个实值函数P(A)满足下列条件：
•用主观方法确定经验的例子
（1）明天下雨的概率为60%
（2）某新产品在未来市场上畅销的概率为80% （3）我班研究生考取大概为25%
说明：1.主观概率不是随意决定的，而是要求当事人 对所考察的事件有较透彻的了解和丰富的经验，甚至 是这方面的专家。并能对周围信息和历史信息进行仔 细分析，在这个基础上确定的主观概率就能符合实际。 所以应把主观概率与主观臆造，瞎说一通区别开来。
F(x)称为F(x|θ1)和F(x|θ2) 的混合分布。 这里的π和1-π可以看作一个新的随机变量θ的分布，即
P( 1) , P( 2 ) (1 )
F(x) F(x |1) (1 )F(x |2 )
P( 1) , P( 2 ) (1 )
从混合分布F(x)中抽取一个样品x1，相当于如下两个抽样： 第一次，从π(θ) 中抽取一个样品θ。 若θ= θ1，则从F(x|θ1)中再抽一个样品，这个样品就 是x1，若θ=θ2 ，则从F(x|θ2)中再抽一个样品，这个 样品就是x1. 若从混合分布抽取一个容量为n的样本x1, x2,…,xn，那么 其中约有nπ(θ1) 个来自F(x|θ1)，约有nπ(θ2)个来自 F(x|θ2)，这样的样本有时也称为混合样本.
（1)非负性公理：对于每一事件A,有P(A)≥0;
(2)正则性(规范性)公理：P(Ω)=1;
(3)可列可加性(完全可加性)公理:设A1,A2,…是互
不相容的事件,即对于i≠j,AiAj=,i,j=1,2,…,则有
P( Ai ) P(Ai )
i1
i1
则称P（A）为事件A的概率(Probability) ，称三元
总结
• 1.了解直方图法 • 2.选定先验密度函数形式再估计其超参数 • 3.理解定分度法与变分度法
§3.3利用边缘分布m(x)确定先验密度
一、边缘分布m(x)
设总体X的密度函数为p(x|θ),它含有未知参数θ，若θ 的先验分布选用形式已知的密度函数π(θ)，则可算得 X的边缘分布(即无条件分布)
说明：
1.（3.1）式表示的边缘分布m(x)是混合分布的推广
2.当θ为离散随机变量时，m(x)是由有限个或可数个的 密度函数混合而成. 3.当θ为连续随机变量时，m(x)是由无限个不可数的密 度函数混合而成. 4.若从π(θ)抽取一个θ，然后再从p(x|θ)中抽取一个x， 这个x可看作从m(x)抽取的样品。按此过程抽取n个样 品就可获得容量为n的混合样本。
1.把参数空间分成一些小区间.
2.在每个小区间上决定主观概率或依据历史数据确定其 频率.
3.绘制直方图
4.在直方图上做一条光滑的曲线，此曲线就是( ).
注意：这样得到的先验密度常常仅限于有限区间上，有 时使用也不方便。第二种方法更为适用.
二、选定先验密度函数形式再估计其超参数
1.要点
（1）.根据先验信息选定的先验密度函数的形式( ) 。
周平均销售量 的先验分布为N(13.4575,36.0830).
P(20 21) 21 13.4575 20 13.4575
6.0069 6.0069
=0.0350
2.确定超参数的方法（同1.4节） （1）利用先验矩 （2）利用分位数
例3.8 设参数 的取值范围是（-∞，+ ∞ ），若从
mˆ ( x) sup m ( x)
ˆ 被称为类型Ⅱ极大似然函数先验，或称为ML—Ⅱ先验
例混合样本x=(x1, x2,…,xn)，所涉及的先验密度函数形式 已知，未知的仅是其中的超参数，及先验密度函数族可表 示如下：
{ ( | ), }
寻求ML—Ⅱ先验就是寻求这样的λ使得
n
m( x | ˆ) sup m( xi | ) i 1
先验信息可以得知：（1）先验中位数为0；（2）上、 下四分位数为-1和1，即先验的0.25分位数和0.75分 位数为-1和1.
先验分布可能是正态分布或柯西分布。 解：要确定正态分布N(μ,τ2)中的超参数μ,τ2
由（1）得 μ=0
由（2）得
P( 1) 0.75
即
1
0.75
1
0.675
1.481
2.主观概率要受到实践检验，要符合概率的三条公理， 通过实践检验和公理验证，人们会接受其精华，去其 糟粕。
3.主观概率是频率方法和经典方法的一种补充，有了 主观概率至少使人们在频率观点不适用时也能谈论概 率，使用概率和统计方法。
4.主观概率并不反对用频率方法确定概率，但也要看 到它的局限性。
二、确定主观概率的方法 1.用对立事件的比较来确定主观概率（最简单的方法）
2
}求其最大值则可 )
取
d
d
2
[ln
(
2
)]
2(
2
n
2
)
ns2
2(
2
2
)2
0
得
2
S2
2
注意到 : 若S 2
2时
2
S2
2为最大点
而若S 2
2时
2
S2
2
0则取
2
0为最大点
ML2
ˆ ~ N (ˆ ,ˆ2 )
, 其中ˆ
1 n
n i 1
xi
,ˆ2 max{0, S 2 2}.
四、先验选择的矩方法
其中,
m(xi
)
N
(
,
2
2)
于是
m(x )
n i 1
1
1
[2
(
2
2)2
n
exp{ (xi )2 }
n
2(
2
2)
(xi )2
[2
(
2
2)2
exp{
i 1
2(
2
2)
}
[2
(
2
2
)]
n 2
exp{
n
n
(xi x )2
i 1
n
2(
2
2)
}exp{
n(x
2(
2
)2
2
} )
取x
矩方法用于先验密度函数形式π(θ|λ)已知，利用先验矩 与边缘分布矩之间的关系寻求超参数的估计.
定理 设总体分布若p(x|θ)的期望μ(θ)和方差σ2 (θ),假设
分别为Xm ,的m边2 缘分布m(x)的均值与方差，假设以上值都存 在，则
m E ( ) ,
2 m
E
2( )
E ( ) m 2
m(x)
p( x | ) ( )d，为连续时
p( x | ) ( )，为离散时
(3.1)
当先验分布含有未知参数时，譬如π(θ)=π(θ|λ)，那么
边缘分布m(x)依赖于λ，可记为m(x|λ). 例3.10 设总体X～N(, σ2) 其中σ2已知。
取另一正态分布N(μπ,τπ2)作为正态均值的先验分布
（2）.当先验分布中含有未知参数（即超参数）时，给出 超参数的估计值.
注意：方法常用，但也极易误用.因为先验密度(）的函
数形式选用不当将会导致以后推导失误。
例3.7 对周平均销售量 ，选用正态分布N(μ,τ2)作
为先验分布。
ˆ 13.4575,ˆ2 36.0830
周平均销售量 的先验分布为N(13.4575,36.0830).
当总体参数是离散时，即参数空间Θ只含有限个或可
数个点时，可对Θ中每个点确定一个主观概率。
2.当总体参数是连续时，即参数空间Θ是实数轴或其 上某个区间时，要构造一个先验密度( )，就有些困
难了.
当的先验信息足够多时，下面有三个方法可供使用.
直方图法
选定先验密度函数形式再估计其超参数
定分度法与变分度法
一、直方图法
1 n
n i 1
xi
, s2
1 n
n
( xi
i 1
x )2
m(xΒιβλιοθήκη )[2(2