多模型贝叶斯平均法及MCMC资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P^20=P^21=⋯=P^n=
我们发现，当 n 足够大的时候，这个P^n矩阵的每一行都是 稳定地收敛到π=[0.286,0.489,0.225] 这个概率分布。自然的， 这个收敛现象并非是我们这个马氏链独有的，而是绝大多数 马氏链的共同行为。
马氏链定理
马氏链定理： 如果一个非周期马氏链具有转移概率矩阵P,
且它的任何两个状态是连通的，那么 lim Pnij 存在且与i无
关，记
lim
P
n ij
=π(j),我们有
n
n
其中π称为马氏链的平稳分布。
Metropolis-Hastings算法
细致平稳条件：非周期马氏链的转移矩阵P和分布π(x) 满 足
π(i)*Pij=π(j)*Pji (for all i,j)
p(i)q(i,j)α(i,j)=p(j)q(j,i)α(j,i)
取什么样的 α(i,j) 以上等式能成立呢？最简单的，按照对 称性，我们可以取
α(i,j)=p(j)q(j,i)，α(j,i)=p(i)q(i,j)
Metropolis-Hastings算法
于是我们把原来具有转移矩阵Q的一个很普通的马氏链， 改造为了具有转移矩阵Q′的马氏链，而 Q′恰好满足细致 平稳条件，由此马氏链Q′的平稳分布就是p(x)。
使用矩阵的表示方式，转移概率矩阵记为： 0.65 0.28 0.07
P 0.15 0.67 0.18 0.12 0.36 0.52
假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量 π0=[π0(1),π0(2),π0(3)]，那么他们的子女的分布比例将是 π1=π0*P,他们的孙 子代的分布比例将是 π2=π1*P=π0*P^2, ……, 第n代子孙的收入分布比例将是 πn=πn-1*P=π0*P^n。
根据这种算法，我们首先分别假设初始概率分布π0=[0.21,0.68,0.11]和 π0=[0.75,0.15,0.1] ，则我们可以迭代计算前n代人的分布状况如下
计算结果
马氏链的收敛
我们发现，两次给定不同的初始概率分布，最终都收敛到概 率分布 π=[0.286,0.489,0.225]，也就是说收敛的行为和初始 概率分布 π0 无关。这说明这个收敛行为主要是由概率转移 矩阵P决定的。我们计算一下 P^n
Metropolis-Hastings算法
假设我们已经有一个转移矩阵为Q马氏链(q(i,j)表示从状 态 i转移到状态j的概率，也可以写为 q(j|i)或者q(i→j)), 显 然，通常情况下
p(i)q(i,j)≠p(j)q(j,i)
也就是细致平稳条件不成立，所以 p(x) 不太可能是这个 马氏链的平稳分布。我们可否对马氏链做一个改造，使 得细致平稳条件成立呢？譬如，我们引入一个 α(i,j), 我们 希望
多模型问题的贝叶斯模型平均 组合预测法
预测方法
Βιβλιοθήκη Baidu
单一模型预测方法：灰色预测模型
多元统计
BP神经网络法等。
多模型预测方法：加权平均法
最优模型修正
最小方差法等
贝叶斯模型平均组合预测
贝叶斯模型平均组合预测克服了其他预测模型的以下缺 点：
第一，未考虑主观先验信息。 第二，没有充分提取各预测方法正确的预测信息。 第三，没有考虑模型的不确定因素。
步骤：（1）构造或描述概率过程
（2）实现从已知概率分布抽样
（3）建立各种估计量
马尔科夫链简介
马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取 决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一 个数列。
马尔可夫性质：
MCMC简介
MCMC方法是使用马尔科夫链的蒙特卡洛积分，其基本思 想是：构造一条Markov链，使其平稳分布为待估参数的 后验分布，通过这条马尔科夫链产生后验分布的样本， 并基于马尔科夫链达到平稳分布时的样本（有效样本） 进行蒙特卡洛积分。
贝叶斯模型平均组合预测的关键是计算后验概率，计算 后验概率的关键是计算边际似然，边际似然是一个高维、 复杂的积分。目前比较好的方法是马尔科夫蒙特卡洛法。
优点：1、当用不同的条件概率分布时，不需要改变运算 法则。2、全面考虑了贝叶斯模型平均的权重和方差的后 验概率。
贝叶斯模型平均法（BMA）
基本表述
（1）构造Markov链，使其收敛到平稳分布π（x）。
（2）产生样本：由空间中某一点出发，用（1）的 Markov链进行抽样模拟，产生点序列：x1,...,xn.
（3）蒙特卡洛积分。
马尔科夫链及其平稳分布
我们先来看马氏链的一个具体的例子。社会学家经常把人按其经济状 况分成3类：下层(lower-class)、中层(middle-class)、上层(upper-class)， 我们用1,2,3 分别代表这三个阶层。社会学家们发现决定一个人的收 入阶层的最重要的因素就是其父母的收入阶层。如果一个人的收入属 于下层类别，那么他的孩子属于下层收入的概率是 0.65, 属于中层收 入的概率是 0.28, 属于上层收入的概率是 0.07。事实上，从父代到子 代，收入阶层的变化的转移概率如下
细致平稳条件的物理含义就是对于任何两个状态i,j, 从 i转 移出去到j 而丢失的概率质量，恰好会被从 j 转移回i 的概 率质量补充回来，所以状态i上的概率质量π(i)是稳定的， 从而π(x)是马氏链的平稳分布。
简单验证：m=π(1)*P12-π(2)*P21 =0.286*0.280.489*0.15=0.0067
在改造 Q 的过程中引入的 α(i,j)称为接受率，物理意义可 以理解为在原来的马氏链上，从状态 i 以q(i,j) 的概率转跳 转到状态j 的时候，我们以α(i,j)的概率接受这个转移，于 是得到新的马氏链Q′的转移概率为q(i,j)α(i,j)。
其中yBMA为BMA法对系统响应的组合预测值；
最后一项是各单一模型 Mk 的预测值，t为变量； Pr(Mk|D) 为给定数据D下模型的后验概率。 BMA法的实质：以各模型的后验概率为权重，对单一模型的预测值进行
加权平均得到贝叶斯模型平均值 。
蒙特卡洛算法
蒙特卡洛算法基本思想：当所求解问题是某种随机事件 出现的概率，或者是某个随机变量的期望值时，通过某 种“实验”的方法，以这种事件出现的频率估计这一随 机事件的概率，或者得到这个随机变量的某些数字特征， 并将其作为问题的解。
我们发现，当 n 足够大的时候，这个P^n矩阵的每一行都是 稳定地收敛到π=[0.286,0.489,0.225] 这个概率分布。自然的， 这个收敛现象并非是我们这个马氏链独有的，而是绝大多数 马氏链的共同行为。
马氏链定理
马氏链定理： 如果一个非周期马氏链具有转移概率矩阵P,
且它的任何两个状态是连通的，那么 lim Pnij 存在且与i无
关，记
lim
P
n ij
=π(j),我们有
n
n
其中π称为马氏链的平稳分布。
Metropolis-Hastings算法
细致平稳条件：非周期马氏链的转移矩阵P和分布π(x) 满 足
π(i)*Pij=π(j)*Pji (for all i,j)
p(i)q(i,j)α(i,j)=p(j)q(j,i)α(j,i)
取什么样的 α(i,j) 以上等式能成立呢？最简单的，按照对 称性，我们可以取
α(i,j)=p(j)q(j,i)，α(j,i)=p(i)q(i,j)
Metropolis-Hastings算法
于是我们把原来具有转移矩阵Q的一个很普通的马氏链， 改造为了具有转移矩阵Q′的马氏链，而 Q′恰好满足细致 平稳条件，由此马氏链Q′的平稳分布就是p(x)。
使用矩阵的表示方式，转移概率矩阵记为： 0.65 0.28 0.07
P 0.15 0.67 0.18 0.12 0.36 0.52
假设当前这一代人处在下层、中层、上层的人的比例是概率分布向量 π0=[π0(1),π0(2),π0(3)]，那么他们的子女的分布比例将是 π1=π0*P,他们的孙 子代的分布比例将是 π2=π1*P=π0*P^2, ……, 第n代子孙的收入分布比例将是 πn=πn-1*P=π0*P^n。
根据这种算法，我们首先分别假设初始概率分布π0=[0.21,0.68,0.11]和 π0=[0.75,0.15,0.1] ，则我们可以迭代计算前n代人的分布状况如下
计算结果
马氏链的收敛
我们发现，两次给定不同的初始概率分布，最终都收敛到概 率分布 π=[0.286,0.489,0.225]，也就是说收敛的行为和初始 概率分布 π0 无关。这说明这个收敛行为主要是由概率转移 矩阵P决定的。我们计算一下 P^n
Metropolis-Hastings算法
假设我们已经有一个转移矩阵为Q马氏链(q(i,j)表示从状 态 i转移到状态j的概率，也可以写为 q(j|i)或者q(i→j)), 显 然，通常情况下
p(i)q(i,j)≠p(j)q(j,i)
也就是细致平稳条件不成立，所以 p(x) 不太可能是这个 马氏链的平稳分布。我们可否对马氏链做一个改造，使 得细致平稳条件成立呢？譬如，我们引入一个 α(i,j), 我们 希望
多模型问题的贝叶斯模型平均 组合预测法
预测方法
Βιβλιοθήκη Baidu
单一模型预测方法：灰色预测模型
多元统计
BP神经网络法等。
多模型预测方法：加权平均法
最优模型修正
最小方差法等
贝叶斯模型平均组合预测
贝叶斯模型平均组合预测克服了其他预测模型的以下缺 点：
第一，未考虑主观先验信息。 第二，没有充分提取各预测方法正确的预测信息。 第三，没有考虑模型的不确定因素。
步骤：（1）构造或描述概率过程
（2）实现从已知概率分布抽样
（3）建立各种估计量
马尔科夫链简介
马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取 决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一 个数列。
马尔可夫性质：
MCMC简介
MCMC方法是使用马尔科夫链的蒙特卡洛积分，其基本思 想是：构造一条Markov链，使其平稳分布为待估参数的 后验分布，通过这条马尔科夫链产生后验分布的样本， 并基于马尔科夫链达到平稳分布时的样本（有效样本） 进行蒙特卡洛积分。
贝叶斯模型平均组合预测的关键是计算后验概率，计算 后验概率的关键是计算边际似然，边际似然是一个高维、 复杂的积分。目前比较好的方法是马尔科夫蒙特卡洛法。
优点：1、当用不同的条件概率分布时，不需要改变运算 法则。2、全面考虑了贝叶斯模型平均的权重和方差的后 验概率。
贝叶斯模型平均法（BMA）
基本表述
（1）构造Markov链，使其收敛到平稳分布π（x）。
（2）产生样本：由空间中某一点出发，用（1）的 Markov链进行抽样模拟，产生点序列：x1,...,xn.
（3）蒙特卡洛积分。
马尔科夫链及其平稳分布
我们先来看马氏链的一个具体的例子。社会学家经常把人按其经济状 况分成3类：下层(lower-class)、中层(middle-class)、上层(upper-class)， 我们用1,2,3 分别代表这三个阶层。社会学家们发现决定一个人的收 入阶层的最重要的因素就是其父母的收入阶层。如果一个人的收入属 于下层类别，那么他的孩子属于下层收入的概率是 0.65, 属于中层收 入的概率是 0.28, 属于上层收入的概率是 0.07。事实上，从父代到子 代，收入阶层的变化的转移概率如下
细致平稳条件的物理含义就是对于任何两个状态i,j, 从 i转 移出去到j 而丢失的概率质量，恰好会被从 j 转移回i 的概 率质量补充回来，所以状态i上的概率质量π(i)是稳定的， 从而π(x)是马氏链的平稳分布。
简单验证：m=π(1)*P12-π(2)*P21 =0.286*0.280.489*0.15=0.0067
在改造 Q 的过程中引入的 α(i,j)称为接受率，物理意义可 以理解为在原来的马氏链上，从状态 i 以q(i,j) 的概率转跳 转到状态j 的时候，我们以α(i,j)的概率接受这个转移，于 是得到新的马氏链Q′的转移概率为q(i,j)α(i,j)。
其中yBMA为BMA法对系统响应的组合预测值；
最后一项是各单一模型 Mk 的预测值，t为变量； Pr(Mk|D) 为给定数据D下模型的后验概率。 BMA法的实质：以各模型的后验概率为权重，对单一模型的预测值进行
加权平均得到贝叶斯模型平均值 。
蒙特卡洛算法
蒙特卡洛算法基本思想：当所求解问题是某种随机事件 出现的概率，或者是某个随机变量的期望值时，通过某 种“实验”的方法，以这种事件出现的频率估计这一随 机事件的概率，或者得到这个随机变量的某些数字特征， 并将其作为问题的解。