第5章 空间计量模型的贝叶斯MCMC估计

方差与参数的联合分布服从正态ቤተ መጻሕፍቲ ባይዱ伽马分布 NIG(c, , a, b) 。
p( , 2 ) ( | 2 ) ( 2 ) b ( 2 ) ( a k 21) exp{ 1 2 12 (2 ) k 2 (a)
T 1 [( X c ) ( ) ( X c) 2b]} 2
2 (m p 1)ij (m p 1)ii ij 性质：E ( B) ；Var ( Bij ) m p 1 (m p)(m p 1) 2 (m p 3)
2.3 伽马分布与逆伽马分布
伽马分布：X ~ ( , ) X exp( X ) ,X 0 概率密度函数： f ( X ) P( X ) ( )
X 2 X d , X ~ N ( , )
T
概率密度函数：f ( X ) p( X )
1 (2 ) d 2
1 T 1 exp ( X ) ( ) ( X ) 12 2
其中，d 为多元向量X的维数； 为d d 维方差-协方差矩阵；
待估参数的 后验概率
似然性
p( D | ) p( D | ) p( ) p( | D) p( ) p( D) p( D)
样本数 据信息
待估参数的 先验概率
上式的经济意义： 在样本数据差异较大且容量较小时，待估参数
的后验概率更取决于其先验概率； 在样本容量较大时，待估参数的 后验概率取决于样本数据； 参数估计过程中样本数据给定时，有：
可设定：a 0,b 0, 1 0
基于无信息先验分布的贝叶斯后验分布表达式的近似简化： p ( , 2 , | D) p ( D | , 2 , ) ( , 2 ) ( ) 1 ( ) ( n 1) A exp[ 2 ( Ay X )T ( Ay X )] p( ) 2 上式中，基于逆伽马分布的性质，可去掉方差项：
其中，c* =( X T X 1 )1 ( X T Ay 1c)；* =( X T X 1 )1 , A I n W；b* =b [cT 1c yT AT AY (c* )T (* )1 (c* )] 2
贝叶斯方法下SAR模型的残差平方和：
其中，p( y* | D) 样本的后验分布；
2.1 均匀分布和多元正态分布
均匀分布： X ~ U (a, b)
1 ,if a x b f ( X ) p ( X ) 概率密度函数： b a 0,if elsewhere
多元正态分布： X X1
3.2 贝叶斯后验分布表达式的近似简化（续）
贝叶斯方法下SAR模型的完全平方和表达式：
( Ay X )T ( Ay X ) ( X c)T () 1 ( X c) 2b ( c* )T ( * ) 1 ( c* ) 2b*
近似简化：p( , 2 , | D) ( 2 ) ( a k 2 n 21) A exp{ 1 2
T T 1 [( Ay X ) ( Ay X ) ( X c ) ( ) ( X c) 2b]} 2
空间计量经济学导论（詹姆斯.勒沙杰）课件
范 巧 fanqmn@hotmail.com 重庆科技学院经济系
小范经济工作室 在经济学的边缘上
拟讲授的主要内容
基于贝叶斯方法的计量经济模型参数估计与预测 几种常见分布及其概率密度函数（*）
基于传统贝叶斯方法的SAR模型极大似然估计 基于MCMC方法的SAR模型参数估计
其中， (1 2) ;( ) ( 1)!,if aisZ ( ) ( 1)( 1),if aisZ
伽马函数：( x) 0 t x 1et dt
性质：E ( X )
,Var ( X ) 2
2.2 逆威沙特分布
逆威沙特分布与多元正态分布的关系：在贝叶斯统计中，多元正态分
布的方差-协方差矩阵与逆威沙特分布互为共轭先验分布。
设A ~ W (, m), 且是p p阶矩阵，则A1 ~ W 1 (1 , m) 其中，W (, m)为威沙特分布；W 1 (1 , m)为逆威沙特分布
3.4 传统贝叶斯方法下 的条件概率和参数估计
给定D条件下空间相关系数的条件概率： p( , | D)d
p( | D) A (S 2 )( nk ) 2 ( )
空间相关系数的后验期望和后验方差:
后验期望: E{ p( | D)} p( | D)d p( | D)d ˆ )2 p( | D)d p( | D)d 后验方差： Var{ p( | D)} ( 1 1 的取值设定： , max min 1,1 0,1
对于SAR模型，设D { y, X ,W }, 、 2、之间相互独立，则：
p( D | , 2 , ) ( , 2 ) ( ) p ( , , | D) p ( D)
2
相关先验分布及其设定：
设空间相关系数服从均匀分布。
1 1 1 1 (min , max ) ~ U (min , max ) ( )
p( , | D) A [( Ay X )T ( Ay X )]n 2 ( ) ˆ )T X T X ( ˆ )]n 2 ( ) A [ S 2 (n k ) (
ˆ ( X T X )1 X T Ay;S 2 ( Ay X ˆ )T ( Ay X ˆ ) (n k ) 其中，

逆伽马分布： X ~ IG( , ) X 1 exp( X ) 概率密度函数： f ( X ) P( X | , ) ( )
2.4 贝塔函数与贝塔分布
x 1 y 1 贝塔函数（B函数）： B( x, y) 0 t (1 t ) dt 1
p( | D) p( D | ) p( )
正比于
1.3 贝叶斯法则在模型优选中的应用
设定不同模型形式下计量经济模型参数估计结果：
p( D | i , M i ) p( i | M i ) p( | D，M i ) p( D | M i )
i
其中，i 1, 2,, m;i 代表模型形式的编号
逆威沙特分布的概率密度函数： ( m p 1) 2 1 m 2 1 1 B exp( tr ( B ) 2) 1 f ( X ) P( X | , m) 2mp 2 p (m 2)
当p 1 ， m 2， 1 2，x B时，逆威沙特分布 逆伽马分布
相关先验分布及其设定（续）：
设随机误差项的方差服从逆伽马分布 IG(a, b) 。
( 2 ) ( a 1) b exp(b 2 ) ( ) ( a )
2
基于方差的参数估计值条件分布服从多元正态分布 N (c, 2 ) 。
( | 2 )
1 (2 ) k 2 1 T 2 1 exp( ( X c ) ( ) ( X c)) 12 2 2
1.3 贝叶斯法则在模型样本外一点预测时的应用
比较极大似然法而言，贝叶斯模型更适合参数值的总体后验分布。
基于贝叶斯法则的样本外一点预测：
设y*表示样本外一点，给定样本数据D的情况下：
p( y* | D) p( y* , | D)d p( y* | D, ) p( | D)d
1 1 1 max min
设A I n W，依据SAR模型的似然函数可得：
p( D | , , )=(2 )
2 2 n 2
A exp[
1 2
T ( Ay X ) ( Ay X )] 2
3.1 传统贝叶斯方法下SAR模型参数的后验分布（续）
模型优选的重要准则： 边际似然值
设定后验分布为模型设定的条件时，产生无条件后验模型概率：
p ( M i | D) p( D | M i ) p( M i ) p( M i ) p( D | M i ) p ( D) p ( D)
i i i 边际似然值的计算： p( D | M i ) p( D | M i , ) p( | M i )d
当、c*的平均数已知时，RSSSAR yT AT AY (c* )T (* )1 (c* ) 当a 0, b 0时， 1 0；则RSSSAR b* a* ；（其中，a* a n 2）
3.3 基于无信息先验分布的后验分布表达式简化
无信息先验分布准则：先验分布设定对参数估计结果不产生影响。
贝塔分布：
概率密度函数： f ( x; , )
E ( x) 期望：
1 x 1 (1 x) 1 B( , )

方差： Var ( X )
( )2 ( 1)
3.1 传统贝叶斯方法下SAR模型参数的后验分布
基于贝叶斯方法的SAR模型参数的后验分布表达式：
2
1 1 (2 ) ( k 2 n 2)b 2 ( a k 2 n 2 1) 1 ( ) A 12 1 max min p( D) (a ) exp{ 1 2
T T 1 [ ( A y X ) ( Ay X ) ( X c ) ( ) ( X c) 2b]} 2
贝叶斯法则： p( B | A)
p ( A | B ) p ( B) p( A)
贝叶斯法则在计量经济学模型中的可能应用领域：
模型的参数 估计 模型的试算与优选 模型对样本外一点数据的预测
1.2 贝叶斯法则在参数估计中的应用
计量经济模型参数估计的贝叶斯过程： 设D y, X ,W , B，则：
SAR模型的MCMC估计案例分析 基于MCMC方法的SAR模型异方差处理 基于MCMC的空间效应估计和多权重矩阵处理
1.1 贝叶斯法则与计量经济学
随机变量的联合概率与边际概率：
设随机变量A、B的联合概率为p( A, B), 边际概率为p( A)、p( B)； 则,p( A, B) p( A | B) p( B) p( B | A) p( A)
3.2 贝叶斯后验分布表达式的近似简化
基于贝叶斯方法的SAR参数后验分布表达式及其近似简化：
p( D | , 2 , ) ( , 2 ) ( ) p ( , , | D) p( D) 1 1 1 p( D | , 2 , ) NIG (c, , a, b) 1 max min p( D)