《贝叶斯统计》PPT课件

一 Bayes统计推断概述

所研究的问题有一个确定的总体，其总体 分布未知或部分未知，通过从该总体中抽 取的样本（观测数据）作出与未知分布有 关的某种结论。
目的：利用问题的基本假定及包含在观测 数据中的信息，作出尽量精确和可靠的结 论。

一 Bayes统计推断概述

Bayes推断
二 参数的Bayes点估计
E E ( x) h( x)d


二 参数的Bayes点估计

（3）后验中位数估计 若 Me是后验分布h(θ| x )的中位数， 则 Me称为θ的后验中位数估计。即若

h( x)d 0.5 则后验分布中位数估计

u0.5
Me u0.5

二 参数的Bayes点估计

（一）预备知识

（二）基本思想

（三）常用MCMC算法 Gibbs抽样（吉布斯采样算法）

立即更新百度文库Gibbs抽样
每次迭带的时候 的一些元素已经被跟新了，如果在更 新其他的元素时不使用这些更新后的元素会造成一定程度 的浪费。事实上， Gibbs抽样 可通过在每一步都利用近似 得到的其他元素的值来获得更好的效果。这种方法改进了 练的混合，换句话说，链能更加迅速，更加详尽的搜索目 标分布的支撑空间。
三 Bayes区间估计

经典区间估计
参数θ是未知常数（非随机变量），其置信 度为1-α的区间估计[θL ,θU]满足
P( L U ) 1
理解为进行了大量重复试验，随机区间 [θL ,θU ]包含常数θ的概率为1-α （θL ,Θu样本x的 函数，是随机变量）。
三 Bayes区间估计
0 ，I)，再由它生成一个随机向量作为 0 1，然后看接受概率a, 设先验 ( )为均匀分布，设
建议分布为N( p(x,x' )=p（x'，x），则a min(1,
( ' ) ) ( )
三、MCMC方法的收敛性诊断

要多久链才可以不依赖于其初始值以及需 要多久该链能完全挖掘目标分布函数支撑 的信息。 在一个序列中观测值之间要隔多远才可以 看作是近似独立的。 该链是否近似达到其平稳分布。
MCMC方法
一、贝叶斯统计的框架分析
后验分布先验信息 似然函数
困难: 后验分布是复杂的、高维的分布
解决方法:马尔可夫链蒙特卡罗（MCMC）方法

目前，MCMC已经成为一种处理复杂统 计问题的特别流行的工具，尤其在经常需 要复杂的高维积分运算的贝叶斯分析领域 更是如此。在那里，高维积分运算主要是 用来求取普通方法无法得到的后验分布密 度。如果合理的定义和实施，MCMC总能得 到一条或几条收敛的马尔可夫链，该马尔 可夫链的极限分布就是所需的后验分布
三 Bayes区间估计

Beyas等尾可信区间 θL =后验分布h(θ| x )的α/ 2分位数；
L U
即在得到样本观测值x的条件下，随机变量θ 落入区间[θL ,θU ]的概率是1-α（θL ,θU）样本观测 值x的函数，是确定的量）。
三 Bayes区间估计


经典统计学认为，参数可以有一个取值范 围，但本身不具有随机性，因此未知参数 不是一个随机变量，仅是一个未知数而已。 这是经典统计方法与Bayes统计方法的根本 区别之一。

立即更新的Gibbs抽样描述如下：
（0）
（1）选择初始值 （2）逐个生成。

（0） 。

（3）增加m,返回第（2）步。

Metropolis-Hastings抽样
假设数据是N（1,4）的1000个随机数；
0和 0的初值是0和1，用随机移动的正态分布作为建议
分布做法就应该是， 0 = 0 0

（m）
历史迭代图
不收敛
收敛
(2)观察自相关性图
（m）
自相关性图用于描述（m） 序列在不同迭代 延迟下的相关性，延迟i的自相关性是指相 距i步的两迭代之间的相关性。具有较差的 性质的链随着迭代延迟的增加会表现出较 慢的自相关衰弱。
Bayes Bayes统计推断


Bayes统计推断概述 参数的Bayes点估计 Bayes区间估计 Bayes假设检验
二 参数的Bayes点估计

（1）最大后验估计
设θ∈Θ，使后验分布h(θ| x )达到最大 值的点 MD 称为θ的最大后验估计，即：
h( MD x) sup h( x)


二 参数的Bayes点估计

（2）后验均值估计（后验期望估计） 后验分布h(θ| x )的均值称为θ的后验 均值估计（或后验期望估计），记为， 即： E

样本分布f( x |θ)中未知参数为θ；其中 T x=(x1,x2,…,xn) ；设θ的先验分布为π(θ)。 有Bayes公式， θ的后验分布：
h( x) ( ) f ( x ) ( ) L( x )

这个后验分布h(θ| x )是进行θ 的Bayes点估 计的出发点。


诊断方法


观察样本路径 观察自相关性图 方差比收敛性诊断
（1）观察样本路径
产生多条马尔可夫链，观察样本路径（对多个 初始值产生多个马尔可夫链）
样本路径是一个描述迭代数对应 的实现 图。样本路径有时也称为历史图。如果链的混合不 是很好，那么在很多次迭代中它会取 相同或者相近 的数值。一个好的链能够快速地远离初始值，无论 以何值开始。

以上三种估计统称θ的Bayes估计，记为 或简记为 。它们皆是样本观察值 B x=(x1,x2,…,xn)T 的函数，即
( x) ( x1 , x 2 ,, xn )




在一般场合下，这三种估计是不同的， 当后验分布h(θ| x )对称时，这三种估计 是相等的。

经典统计学中，对给定的样本容量n，若进 行多次反复的抽样，得到了众多个不同的 区间，其中每个区间，要么包含θ的真值， 要么不包含θ的真值。
三 Bayes区间估计

Bayes区间估计
参数θ是随机变量，其后验分布h(θ| x )（x是 样本观测值），θ的可信度为1-α的区间估计满 足
P( L U x) h( x)d 1