贝叶斯统计ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在一个序列中观测值之间要隔多远才可以 看作是近似独立的。
该链是否近似达到其平稳分布。
16
诊断方法 观察样本路径 观察自相关性图 方差比收敛性诊断
17
（1）观察样本路径 产生多条马尔可夫链，观察样本路径（对多个
初始值产生多个马尔可夫链）
样本路径是一个描述迭代数对应 （m）的实现
图。样本路径有时也称为历史图。如果链的混合不 是很好，那么在很多次迭代中它会取 相同或者相近 的数值。一个好的链能够快速地远离初始值，无论 以何值开始。
33
三 Bayes区间估计
Bayes区间估计
参数θ是随机变量，其后验分布h(θ| x )（x是 样本观测值），θ的可信度为1-α的区间估计满 足
P(L
U
x)
U h(
L
x)d
1
即在得到样本观测值x的条件下，随机变量θ
落入区间[θL ,θU ]的概率是1-α（θL ,θU）样本观测 值x的函数，是确定的量）。
P(L U ) 1
理解为进行了大量重复试验，随机区间 [θL ,θU ]包含常数θ的概率为1-α （θL ,Θu样本x的 函数，是随机变量）。
32
三 Bayes区间估计
经典统计学中，对给定的样本容量n，若进 行多次反复的抽样，得到了众多个不同的 区间，其中每个区间，要么包含θ的真值， 要么不包含θ的真值。
（1）最大后验估计 设θ∈Θ，使后验分布h(θ| x )达到最大
值的点 M称D为θ的最大后验估计，即：
h( MD x) sup h( x)
28
二 参数的Bayes点估计
（2）后验均值估计（后验期望估计）
后验分布h(θ| x )的均值称为θ的后验
均值估计（或后验期望估计），记为，
即：
E
E E( x) h( x)d
x=(x1,x2,…,xn)T 的函数，即
(x) (x1,x2, , xn )
在一般场合下，这三种估计是不同的，
当后验分布h(θ| x )对称时，这三种估计 是相等的。
31
三 Bayes区间估计
经典区间估计
参数θ是未知常数（非随机变量），其置信 度为1-α的区间估计[θL ,θU]满足
样本分布f( x |θ)中未知参数为θ；其中 x=(x1,x2,…,xn)T ；设θ的先验分布为π(θ)。 有Bayes公式， θ的后验分布：
h( x) ( ) f (x ) ( )L(x )
这个后验分布h(θ| x )是进行θ 的Bayes点估 计的出发点。
27
二 参数的Bayes点估计
9
立即更新的Gibbs抽样描（0述） 如下：
（1）选择初始值 （0）。
（2）逐个生成。
（3）增加m,返回第（2）步。
10
11
Metropolis-Hastings抽样
12
13
14
假设数据是N（1,4）的1000个随机数；
0和 0的初值是0和1，用随机移动的正态分布作为建议
分布做法就应该是，0
=
0 0
建议分布为N( 0 ，I)，再由它生成一个随机向量作为 0
1，然后看接受概率a,设先验 ( )为均匀分布，设 p(x,x' )=p（x'，x），则a min(1, ( ' ))
( )
15
三、MCMC方法的收敛性诊断
要多久链才可以不依赖于其初始值以及需 要多久该链能完全挖掘目标分布函数支撑 的信息。
24
一 Bayes统计推断概述
所研究的问题有一个确定的总体，其总体 分布未知或部分未知，通过从该总体中抽 取的样本（观测数据）作出与未知分布有 关的某种结论。
目的：利用问题的基本假定及包含在观测 数据中的信息，作出尽量精确和可靠的结 论。
25
一 Bayes统计推断概述
Bayes推断
26
二 参数的Bayes点估计
18
历史迭代图
不收敛 收敛
19
(2)观察自相关性图 （m）
自相关性图用于描述（m）序列在不同迭代
延迟下的相关性，延迟i的自相关性是指相 距i步的两迭代之间的相关性。具有较差的 性质的链随着迭代延迟的增加会表现出较 慢的自相关衰弱。
20
21
22
23
Bayes Bayes统计推断
Bayes统计推断概述 参数的Bayes点估计 Bayes区间估计 Bayes假设检验
34
三 Bayes区间估计
经典统计学认为，参数可以有一个取值范 围，但本身不具有随机性，因此未知参数 不是一个随机变量，仅是一个未知数而已。
这是经典统计方法与Bayes统计方法的根本 区别之一。
35
三 Bayes区间估计
Beyas等尾可信区间 θL =后验分布h(θ| x )的α/ 2分位数； θU =1 - α/ 2分位数。
MCMC方法
1
一、贝叶斯统计的框架分析
后验分布先验信息 似然函数
困难: 后验分布是复杂的、高维的分布
解决方法:马尔可夫链蒙特卡罗（MCMC）方法
2
目前，MCMC已经成为一种处理复杂统 计问题的特别流行的工具，尤其在经常需 要复杂的高维积分运算的贝叶斯分析领域 更是如此。在那里，高维积分运算主要是 用来求取普通方法无法得到的后验分布密 度。如果合理的定义和实施，MCMC总能得 到一条或几条收敛的马尔可夫链，该马尔 可夫链的极限分布就是所需的后验分布
3
（一）预备知识
4
5
（二）基本思想
6
（三）常用MCMC算法 Gibbs抽样（吉布斯采样算法）
7
8
立即更新的Gibbs抽样
每次迭带的时候 的一些元素已经被跟新了，如果在更
新其他的元素时不使用这些更新后的元素会造成一定程度 的浪费。事实上， Gibbs抽样 可通过在每一步都利用近似 得到的其他元素的值来获得更好的效果。这种方法改进了 练的混合，换句话说，链能更加迅速，更加详尽的搜索目 标分布的支撑空间。
等尾可信区间常被采用，但不是最优的， 最优可信区间的长度应该最短，这只要 把具有最大后验密度函数的点包含在区 间内，而在区间外的点上的后验密度函 数值不超过区间内的后验密度函数值。
29
二 参数的Bayes点估计
（3）后验中位数估计
若 Me是后验分布h(θ| x )的中位数， 则 Me称为θ的后验中位数估计。即若
u0.5 h( x)d 0.5
则后验分布中位数估计
Me u0.5
30
二 参数的Bayes点估计
ห้องสมุดไป่ตู้
以上三种估计统称θ的Bayes估计，记为
或简记B 为 。它们 皆是样本观察值
该链是否近似达到其平稳分布。
16
诊断方法 观察样本路径 观察自相关性图 方差比收敛性诊断
17
（1）观察样本路径 产生多条马尔可夫链，观察样本路径（对多个
初始值产生多个马尔可夫链）
样本路径是一个描述迭代数对应 （m）的实现
图。样本路径有时也称为历史图。如果链的混合不 是很好，那么在很多次迭代中它会取 相同或者相近 的数值。一个好的链能够快速地远离初始值，无论 以何值开始。
33
三 Bayes区间估计
Bayes区间估计
参数θ是随机变量，其后验分布h(θ| x )（x是 样本观测值），θ的可信度为1-α的区间估计满 足
P(L
U
x)
U h(
L
x)d
1
即在得到样本观测值x的条件下，随机变量θ
落入区间[θL ,θU ]的概率是1-α（θL ,θU）样本观测 值x的函数，是确定的量）。
P(L U ) 1
理解为进行了大量重复试验，随机区间 [θL ,θU ]包含常数θ的概率为1-α （θL ,Θu样本x的 函数，是随机变量）。
32
三 Bayes区间估计
经典统计学中，对给定的样本容量n，若进 行多次反复的抽样，得到了众多个不同的 区间，其中每个区间，要么包含θ的真值， 要么不包含θ的真值。
（1）最大后验估计 设θ∈Θ，使后验分布h(θ| x )达到最大
值的点 M称D为θ的最大后验估计，即：
h( MD x) sup h( x)
28
二 参数的Bayes点估计
（2）后验均值估计（后验期望估计）
后验分布h(θ| x )的均值称为θ的后验
均值估计（或后验期望估计），记为，
即：
E
E E( x) h( x)d
x=(x1,x2,…,xn)T 的函数，即
(x) (x1,x2, , xn )
在一般场合下，这三种估计是不同的，
当后验分布h(θ| x )对称时，这三种估计 是相等的。
31
三 Bayes区间估计
经典区间估计
参数θ是未知常数（非随机变量），其置信 度为1-α的区间估计[θL ,θU]满足
样本分布f( x |θ)中未知参数为θ；其中 x=(x1,x2,…,xn)T ；设θ的先验分布为π(θ)。 有Bayes公式， θ的后验分布：
h( x) ( ) f (x ) ( )L(x )
这个后验分布h(θ| x )是进行θ 的Bayes点估 计的出发点。
27
二 参数的Bayes点估计
9
立即更新的Gibbs抽样描（0述） 如下：
（1）选择初始值 （0）。
（2）逐个生成。
（3）增加m,返回第（2）步。
10
11
Metropolis-Hastings抽样
12
13
14
假设数据是N（1,4）的1000个随机数；
0和 0的初值是0和1，用随机移动的正态分布作为建议
分布做法就应该是，0
=
0 0
建议分布为N( 0 ，I)，再由它生成一个随机向量作为 0
1，然后看接受概率a,设先验 ( )为均匀分布，设 p(x,x' )=p（x'，x），则a min(1, ( ' ))
( )
15
三、MCMC方法的收敛性诊断
要多久链才可以不依赖于其初始值以及需 要多久该链能完全挖掘目标分布函数支撑 的信息。
24
一 Bayes统计推断概述
所研究的问题有一个确定的总体，其总体 分布未知或部分未知，通过从该总体中抽 取的样本（观测数据）作出与未知分布有 关的某种结论。
目的：利用问题的基本假定及包含在观测 数据中的信息，作出尽量精确和可靠的结 论。
25
一 Bayes统计推断概述
Bayes推断
26
二 参数的Bayes点估计
18
历史迭代图
不收敛 收敛
19
(2)观察自相关性图 （m）
自相关性图用于描述（m）序列在不同迭代
延迟下的相关性，延迟i的自相关性是指相 距i步的两迭代之间的相关性。具有较差的 性质的链随着迭代延迟的增加会表现出较 慢的自相关衰弱。
20
21
22
23
Bayes Bayes统计推断
Bayes统计推断概述 参数的Bayes点估计 Bayes区间估计 Bayes假设检验
34
三 Bayes区间估计
经典统计学认为，参数可以有一个取值范 围，但本身不具有随机性，因此未知参数 不是一个随机变量，仅是一个未知数而已。
这是经典统计方法与Bayes统计方法的根本 区别之一。
35
三 Bayes区间估计
Beyas等尾可信区间 θL =后验分布h(θ| x )的α/ 2分位数； θU =1 - α/ 2分位数。
MCMC方法
1
一、贝叶斯统计的框架分析
后验分布先验信息 似然函数
困难: 后验分布是复杂的、高维的分布
解决方法:马尔可夫链蒙特卡罗（MCMC）方法
2
目前，MCMC已经成为一种处理复杂统 计问题的特别流行的工具，尤其在经常需 要复杂的高维积分运算的贝叶斯分析领域 更是如此。在那里，高维积分运算主要是 用来求取普通方法无法得到的后验分布密 度。如果合理的定义和实施，MCMC总能得 到一条或几条收敛的马尔可夫链，该马尔 可夫链的极限分布就是所需的后验分布
3
（一）预备知识
4
5
（二）基本思想
6
（三）常用MCMC算法 Gibbs抽样（吉布斯采样算法）
7
8
立即更新的Gibbs抽样
每次迭带的时候 的一些元素已经被跟新了，如果在更
新其他的元素时不使用这些更新后的元素会造成一定程度 的浪费。事实上， Gibbs抽样 可通过在每一步都利用近似 得到的其他元素的值来获得更好的效果。这种方法改进了 练的混合，换句话说，链能更加迅速，更加详尽的搜索目 标分布的支撑空间。
等尾可信区间常被采用，但不是最优的， 最优可信区间的长度应该最短，这只要 把具有最大后验密度函数的点包含在区 间内，而在区间外的点上的后验密度函 数值不超过区间内的后验密度函数值。
29
二 参数的Bayes点估计
（3）后验中位数估计
若 Me是后验分布h(θ| x )的中位数， 则 Me称为θ的后验中位数估计。即若
u0.5 h( x)d 0.5
则后验分布中位数估计
Me u0.5
30
二 参数的Bayes点估计
ห้องสมุดไป่ตู้
以上三种估计统称θ的Bayes估计，记为
或简记B 为 。它们 皆是样本观察值