变量选择的Bayes方法

后验分布的抽样算法： 后验分布的抽样算法：主算法
每次迭代包含两个步骤： BDMCMC: 给定r时更新(k,i(k), b) Gibbs抽样(10次)：给定k时更新(i(k), b , r)
BDMCMC步骤 步骤
W=∑kWk, Wk是空间D={1,2,L,p}£R的全 ∑ £ 体k元点集；(k,i(k), b )对应于Wk中的点 BD移动x!y：x=x0, y=xT , xt2 W，0· t · T，是生死过程 · 过程xt的参数：出生强度a(x)=1,出生分 布b(¢|x), 死亡强度d((i, b)|x), (i, b)2x2W, ¢ d(x)=∑(i, b) d((i, b)|x) ∑ 平衡方程)由a(x), b(¢|x)解出d((i, b)|x) ¢
i(k)=(i1,L,ik) , S={i1,L,ik} L p(k) / lk¢I{k·p}/k!，截断Poisson p(i(k)|k): P{i2S}=pi；当i≠j时，{i2S}与 ≠ {j2S}独立；无信息时取pi=0.5 p(b|k,i(k))=Nk(0, t02I); p(r)= G(n/2, nl/2) 后验π(q|y) / L(q|y) ¢ π(k) ¢ p(i(k)|k) ¢ p(r) ¢ p(b|k,i(k)), q =(k,i(k), b , r)
X2=X1+0.15Z2, X4=X3+0.15Z4, X6=X5+0.15Z6, X7=X8+X9-X10+0.15Z7 X11=X14+X15-X12-X13+0.15Z11 其它Xi = Zi +2Z
实验三的结果
实验
超参数：pr=1/2, t0=1, n=0, l=0 算法中的参数：T=100, 迭代1100次，去 掉前100次的结果 初始值：i(k) 为全模型，(b, 1/r)全模型下 的极大似然估计。
实验一
s=2.5, b=(0,0, 0, 1, 1.2)
问题1： X1, X2, X3, X4, X5 iid» N60(0,I), 问题2： X3 = X5 +0.15Z, Z »N60(0,I), X1, X2, X4, X5 iid» N60(0,I),
SSVS中的超参数 中的超参数
SSVS对超参数的值很敏感 确定超参数的办法： EB(经验Bayes)
George & Foster(2000): EB Yuan & Lin (2005): EB+LARS
Casella & Moreno(2006): 客观Bayes, 没有超参数
我们的方法： 我们的方法：Bayes框架 框架
生死过程的算法实现
过程在当前时刻t的状态xt= x，下次跳 跃时刻为 t + Dt，Dt» E(a(x)+d(x)) 当t + Dt>T 时终止算法，t + Dt·T 时： 决定类型：出生概率a(x)/(a(x)+d(x))， (i, b)死亡概率d((i, b)|x)/(a(x)+d(x)) 出生的点(i, b)来自出生分布b(¢|x) ¢
George & McCulloch: SSVS
数据模型：y» Nn(Xb, I/r) 指示变量gi2{0,1}, i=1,2,L,p, 先验独立 gi=1, i2 S p(b|r, g) = Np(0,S), p(r|g) = G(n/2, nl/2) 用Gibbs抽样器对后验分布p(b, r,g|y)，并 据此估计π(g|y)
变量选择的Bayes方法 方法 变量选择的
内容提要
变量选择问题 随机搜索变量选择(SSVS) 我们的方法：Bayes框架 算法 实验结果
问题： 问题：线性模型的变量选择
响应变量的观测值： 2 响应变量的观测值：y2Rn p个解释变量的观测值：X1,L,Xp2Rn 个解释变量的观测值： 个解释变量的观测值 L 正态线性模型： 正态线性模型 y = Xb + e, e » Nn(0, I/r) 变量选择：求 Sµ{1,2,L,p}使得 变量选择 y = ∑ i 2 S b i Xi + e
实验一的结果
实验二
s=2.0; b1,L, b15=0; b16,L, b30=1; b31,L, b45=2; b46,L, b60=3 Z1,L, Z60, Z iid» N120(0,I),
Xi = Zi +Z
实验Biblioteka Baidu的结果
实验三
s=2.5; b=(1.5, 0, 1.5, 0, 1.5, 0, 1.5, -1.5, 0, 0, 1.5, 1.5, 1.5, 0, 0) Z1,L, Z15, Z iid» N90(0,I),
给定k时更新 给定 时更新(i(k), b , r) 时更新
初始值(i(k), b )视为Wk中的点x x的更新：对每个(i, b)2x，从条件分布 p(i, b | y, k, xn(i, b), r)抽取新的(i’, b ’) n r的更新：从条件分布p(r | y, k, x)抽取新 的 r’ 与SSVS的比较：效果更好；对超参数不是 很敏感