马尔科夫链蒙特卡罗方法的应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
条件后验分布：在数据、其它参数和一定模 型给定的条件下参数的分布。
贝叶斯推断是将先验的思想和数据结合，得 到后验分布，然后基于后验分布进行统计推 断。
贝叶斯分析寻求将关于参数的知识与数据相 结合来作出推断，参数的知识是通过对参数 预先指定一个先验分布表示的，记为 P ( ) 。
.
13
吉布斯抽样
收敛性问题 理论：仅仅指出当迭代次数m充分大时收敛
发生，没有对m的选择提供具体的指导。有 多种检验吉布斯样本收敛性的方法，但没有 哪种方法最好的一致结论。 实际：并不能保证对所有的应用都是收敛的。 必须仔细地执行，以保证没有明显的对收敛 性要求的违背。
.
14
贝叶斯推断——后验分布
是一个马尔科夫过程。它的条件分布函数满足
P( X h | X s , s t) p( X h | X t ),
h t.
如果{X t }是一个离散时间的随机过程，则上式变为
P( X h | X t , X t1, ) P( X h | X t ),
h t.
令 A表 示 的 子 集 ， 则 函 数
Pt ( , h, A) p( X h A | X t ),
称为马尔科夫过程的转移概率函数。
h t.
.
3
马尔科夫链模拟及MCMC方法
马 尔 科 夫 链 模 拟 的 思 想 是 在 上 模 拟 一 个 马 尔 科 夫
过 程 ， 使 它 收 敛 于 平 稳 转 移 分 布 P (|X)。 这 个 分 布 可 以 用 于 考 虑 参 数 向 量 为 和 数 据 为 X 的 推 断 问 题 。
不同的抽样方法导致了不同的MCMC方法,如 Metropolis Hastings方法、Gibbs抽样方法以及各 种复合方法等。
.
5
马尔科夫链模拟及MCMC方法
转移概率矩阵的定义。
定义：对于一个马尔可夫链n:n1 ,2,3, ，
称由状态i经过m步转移到状态j的转移概率 pij (m)为元素，组成的矩阵为转移概率矩阵，
实际中，我们利用一个充分大的n，并且丢掉 吉布斯迭代的前m个随机抽取，建立一个吉
布斯样本，即 ( ), 1 ,m 12 ,m 13 ,m 1 ,(1 ,n2 ,n3 ,n ).
因为前面的迭代从联合分布 f(1,2,3|X,M)中建 立了一个随机样本，所以可以利用它们来作 出统计推断。
.
.
7
马尔科夫链模拟及MCMC方法
Tanner和Wong(1987)以两种方式扩展了EM 算法。 首先：引进迭代模拟的思想——从条件分布中 抽取一个随机数来代替缺失值。 第二：利用数据扩张的概念扩展了EM算法的 应用——在研究的问题中加入一个辅助变量。
.
wk.baidu.com
8
吉布斯抽样
Geman(1984)、Gelfand和Smith(1990) 提出的MCMC方法。
下一步，利用新参数作为初始值，重复前面随机抽取的迭代，可
以完成另一个吉布斯迭代，得到更新的参数1，2、2，2和3，2。重复
前面的迭代m次，得到一系列的随机抽取：
(1，12，13，1), , (1,m2,m3,m ).
.
11
吉布斯抽样
对一个充分大的m，(1,m2,m3,m) 渐近等价于来自 三个参数的联合分布 f(1,2,3|X,M)的一个随 机抽取。
用 P (m )pi(jm )表示。
当一m步=转1移时概的率转矩移阵概，率将矩其阵简为记P 为(1) Ppijp(1 i)j，，简就称是
为转移矩阵。
.
6
马尔科夫链模拟及MCMC方法
考虑“缺失值”的问题。 Dempster，Laird和Rubin(1977)提出EM
算法来解决数据分析时“缺失值”的问题。 M步：如果缺失值是可以得到的，能够利用完 全数据分析的方法来建立一个波动率模型。 E步：给定可以利用的数据及拟合的模型，能 够推导出缺失值的统计分布。
马尔科夫链模拟的关键是构造一个具有指定的平稳转移
分布P(| X)的马尔科夫过程，并且充分长地运行这个模
拟，使得过程当前值的分布与平稳转移分布足够接近。
利用马尔科夫链模拟来得到分布P(| X)的方法称为
MCMC方法。
.
4
马尔科夫链模拟及MCMC方法
MCMC方法的基本思想是:建立一个马尔科夫链
对未知变量进行模拟,当链达到稳态分布时即得 所求的后验分布。随机点来自于分布P( | X),
通过一个三个参数的简单问题来引进吉布斯 抽样的思想。
.
9
吉布斯抽样
将三个参数表示为1、2和3。令X 表示可用的数据集，
M表示接受的模型。现在的目标是要估计这些参数，以便
利用拟合的模型作出推断。假定模型的似然函数很难得到，
但是在给定其他参数下，单个参数的三个条件分布是可以
得到的，即下面三个条件分布已知：
f1(1 |2,3, X, M), f2(2 |3,1, X, M), f3(3 |1,2, X, M),(1) 其中fi (i | ji , X, M)i表示给定数据、模型以及其他两个参 数的条件下，参数i的条件分布。
.
10
吉布斯抽样
令2，0和3，0是2和3的两个任意初始值，则吉布斯抽样过程如下： 1)从f1(1 |2，0,3，0, X , M )中抽取一个随机样本，并将其表示为1，1。 2)从f2 (2 |3，0,1，1, X , M )中抽取一个随机样本，并将其表示为2，1。 3)从f3(3 |1，1,2，1, X , M )中抽取一个随机样本，并将其表示为3，1。 这就完成了一个吉布斯迭代，且参数变为1，1，2，1和3，1。
马尔科夫链蒙特卡罗方法的应用
理论 理论模型 软件介绍 实证分析
孔文涛.吴静怡.赵晨晖.陈志明
.
1
理论
马尔科夫链模拟 吉布斯抽样 贝叶斯推断 其他算法
.
孔文涛
2
回顾——马尔科夫过程
对
于
一
个
属
于
空
间
的
随
机
过
程{
X
t
}
,
给
定
X
的
t
值
，
如
果
X h (h t )的值不依赖于X s (s t )的取值，那么称过程{X t }
12
吉布斯抽样
吉布斯抽样具有将一个高维的估计问题利用 所有参数的条件分布分解为几个较低维数问 题的优点。
N个参数的高维问题转化为N个1维的条件分 布迭代地解决。
当参数高度相关时，联合地抽取。 如 果 1和 2是 高 度 相 关 的 ， 则 一 个 吉 布 斯 迭 代 包 含 (a)给 定 3， 联 合 抽 取 (1,2) (b)给 定 (1,2)， 抽 取 3
贝叶斯推断是将先验的思想和数据结合，得 到后验分布，然后基于后验分布进行统计推 断。
贝叶斯分析寻求将关于参数的知识与数据相 结合来作出推断，参数的知识是通过对参数 预先指定一个先验分布表示的，记为 P ( ) 。
.
13
吉布斯抽样
收敛性问题 理论：仅仅指出当迭代次数m充分大时收敛
发生，没有对m的选择提供具体的指导。有 多种检验吉布斯样本收敛性的方法，但没有 哪种方法最好的一致结论。 实际：并不能保证对所有的应用都是收敛的。 必须仔细地执行，以保证没有明显的对收敛 性要求的违背。
.
14
贝叶斯推断——后验分布
是一个马尔科夫过程。它的条件分布函数满足
P( X h | X s , s t) p( X h | X t ),
h t.
如果{X t }是一个离散时间的随机过程，则上式变为
P( X h | X t , X t1, ) P( X h | X t ),
h t.
令 A表 示 的 子 集 ， 则 函 数
Pt ( , h, A) p( X h A | X t ),
称为马尔科夫过程的转移概率函数。
h t.
.
3
马尔科夫链模拟及MCMC方法
马 尔 科 夫 链 模 拟 的 思 想 是 在 上 模 拟 一 个 马 尔 科 夫
过 程 ， 使 它 收 敛 于 平 稳 转 移 分 布 P (|X)。 这 个 分 布 可 以 用 于 考 虑 参 数 向 量 为 和 数 据 为 X 的 推 断 问 题 。
不同的抽样方法导致了不同的MCMC方法,如 Metropolis Hastings方法、Gibbs抽样方法以及各 种复合方法等。
.
5
马尔科夫链模拟及MCMC方法
转移概率矩阵的定义。
定义：对于一个马尔可夫链n:n1 ,2,3, ，
称由状态i经过m步转移到状态j的转移概率 pij (m)为元素，组成的矩阵为转移概率矩阵，
实际中，我们利用一个充分大的n，并且丢掉 吉布斯迭代的前m个随机抽取，建立一个吉
布斯样本，即 ( ), 1 ,m 12 ,m 13 ,m 1 ,(1 ,n2 ,n3 ,n ).
因为前面的迭代从联合分布 f(1,2,3|X,M)中建 立了一个随机样本，所以可以利用它们来作 出统计推断。
.
.
7
马尔科夫链模拟及MCMC方法
Tanner和Wong(1987)以两种方式扩展了EM 算法。 首先：引进迭代模拟的思想——从条件分布中 抽取一个随机数来代替缺失值。 第二：利用数据扩张的概念扩展了EM算法的 应用——在研究的问题中加入一个辅助变量。
.
wk.baidu.com
8
吉布斯抽样
Geman(1984)、Gelfand和Smith(1990) 提出的MCMC方法。
下一步，利用新参数作为初始值，重复前面随机抽取的迭代，可
以完成另一个吉布斯迭代，得到更新的参数1，2、2，2和3，2。重复
前面的迭代m次，得到一系列的随机抽取：
(1，12，13，1), , (1,m2,m3,m ).
.
11
吉布斯抽样
对一个充分大的m，(1,m2,m3,m) 渐近等价于来自 三个参数的联合分布 f(1,2,3|X,M)的一个随 机抽取。
用 P (m )pi(jm )表示。
当一m步=转1移时概的率转矩移阵概，率将矩其阵简为记P 为(1) Ppijp(1 i)j，，简就称是
为转移矩阵。
.
6
马尔科夫链模拟及MCMC方法
考虑“缺失值”的问题。 Dempster，Laird和Rubin(1977)提出EM
算法来解决数据分析时“缺失值”的问题。 M步：如果缺失值是可以得到的，能够利用完 全数据分析的方法来建立一个波动率模型。 E步：给定可以利用的数据及拟合的模型，能 够推导出缺失值的统计分布。
马尔科夫链模拟的关键是构造一个具有指定的平稳转移
分布P(| X)的马尔科夫过程，并且充分长地运行这个模
拟，使得过程当前值的分布与平稳转移分布足够接近。
利用马尔科夫链模拟来得到分布P(| X)的方法称为
MCMC方法。
.
4
马尔科夫链模拟及MCMC方法
MCMC方法的基本思想是:建立一个马尔科夫链
对未知变量进行模拟,当链达到稳态分布时即得 所求的后验分布。随机点来自于分布P( | X),
通过一个三个参数的简单问题来引进吉布斯 抽样的思想。
.
9
吉布斯抽样
将三个参数表示为1、2和3。令X 表示可用的数据集，
M表示接受的模型。现在的目标是要估计这些参数，以便
利用拟合的模型作出推断。假定模型的似然函数很难得到，
但是在给定其他参数下，单个参数的三个条件分布是可以
得到的，即下面三个条件分布已知：
f1(1 |2,3, X, M), f2(2 |3,1, X, M), f3(3 |1,2, X, M),(1) 其中fi (i | ji , X, M)i表示给定数据、模型以及其他两个参 数的条件下，参数i的条件分布。
.
10
吉布斯抽样
令2，0和3，0是2和3的两个任意初始值，则吉布斯抽样过程如下： 1)从f1(1 |2，0,3，0, X , M )中抽取一个随机样本，并将其表示为1，1。 2)从f2 (2 |3，0,1，1, X , M )中抽取一个随机样本，并将其表示为2，1。 3)从f3(3 |1，1,2，1, X , M )中抽取一个随机样本，并将其表示为3，1。 这就完成了一个吉布斯迭代，且参数变为1，1，2，1和3，1。
马尔科夫链蒙特卡罗方法的应用
理论 理论模型 软件介绍 实证分析
孔文涛.吴静怡.赵晨晖.陈志明
.
1
理论
马尔科夫链模拟 吉布斯抽样 贝叶斯推断 其他算法
.
孔文涛
2
回顾——马尔科夫过程
对
于
一
个
属
于
空
间
的
随
机
过
程{
X
t
}
,
给
定
X
的
t
值
，
如
果
X h (h t )的值不依赖于X s (s t )的取值，那么称过程{X t }
12
吉布斯抽样
吉布斯抽样具有将一个高维的估计问题利用 所有参数的条件分布分解为几个较低维数问 题的优点。
N个参数的高维问题转化为N个1维的条件分 布迭代地解决。
当参数高度相关时，联合地抽取。 如 果 1和 2是 高 度 相 关 的 ， 则 一 个 吉 布 斯 迭 代 包 含 (a)给 定 3， 联 合 抽 取 (1,2) (b)给 定 (1,2)， 抽 取 3