3.2 经典线性模型的贝叶斯估计

Σ
−1 Β
=0
Σ = X ′X / σ
−1 Β
2 −1 2
2
Β = (X′X / σ ) ⋅ (X′X / σ ) ⋅ β = β
( Β Y ) ~ N ( β , σ ( X ′X ) )
2 −1
• 认为待估参数的所有元素服从（－∞，+∞）上的 认为待估参数的所有元素服从（－ ， ） （－ 均匀分布，且互不相关。 均匀分布，且互不相关。
g ( Β Y ) ∝ g ( Β) ⋅ L ( Β Y )
1 g(Β Y ) ∝ exp− 2 (W − GΒ) ′(W − GΒ) 2σ
A A Β G= W = Y X (k+n)×n (k+n)×1
1 2
1 2
A=σ Σ
2
−1 Β
Β = (G′G) G′W = ( A + X′X) ( AΒ + X′Xβ )
−1 −1
β = (X′X) X′Y
−1
B = Σ
−1 Β
−1 Β
( Σ Β + ( X ′X / σ ) β )
−1 Β 2
Байду номын сангаас
Σ = Σ + X ′X / σ
−1 Β
2
(Β Y ) ~ N ( Β , Σ Β )
• 选取 选取1952-1977年的数据为样本观测值，估计模 年的数据为样本观测值， 年的数据为样本观测值 将估计结果作为先验信息。 型，将估计结果作为先验信息。得到参数的先验 均值和先验协方差矩阵。 均值和先验协方差矩阵。
β 0 = 87.0354
10 .0093 ΣΒ = − 0 .000262
ˆ2 σ µ = 453
• 选取 选取1978-1997年的数据为样本，采用经典模型 年的数据为样本， 年的数据为样本 的估计方法，得到的结果。 的估计方法，得到的结果。
β 0 = 10.981
76 .615 ΣΒ = − 0 .0371
β1 = 0.047678
2 .1204 e − 005 − 0 .0371
⒌ 假设检验
• 可以用最高后验密度区间进行假设检验。 可以用最高后验密度区间进行假设检验。 • 常用的方法是利用后验优势比检验。 常用的方法是利用后验优势比检验。
⒍试例
DE t = β 0 + β 1GDPt + µ t t = 1,2, ⋯ , T
ˆ β 0 = 126.18
ˆ β1 = 0.008886
ˆ ˆ min E ( Lo (Β, Β ) Y ) = min ∫ Lo (Β, Β) ⋅ g (Β Y ) dΒ
• 二次损失函数的点估计值为后验均值。 二次损失函数的点估计值为后验均值。
ɵ ɵ Lo = ( Β − Β) ′ M (Β − Β)
ɵ Β = E ( Β)
⒋ 区间估计
• 根据B的后验密度函数进行区间估计。 根据B的后验密度函数进行区间估计。 • 需要引入最高后验密度区间的概念：区间内每点的 需要引入最高后验密度区间的概念： 后验密度函数值大于区间外任何一点的后验密度函 数值，这样的区间称为最高后验密度区间（HPD区 数值，这样的区间称为最高后验密度区间（HPD区 间）。 • 参数的最高后验密度区间在形式上与经典样本信息 理论中的置信区间是一致的，但解释并不相同。 理论中的置信区间是一致的，但解释并不相同。
• 利用模型预测 利用模型预测1998年的国防支出，得到预测值为 年的国防支出， 年的国防支出 865.7，在95%的置信水平下预测值的置信区间为 ， 的置信水平下预测值的置信区间为 ）。1998年实际国防支出为 年实际国防支出为934.7。 （780.4,951.0）。 ）。 年实际国防支出为 。 • 利用仅仅依赖于1978-1997年样本信息估计的模型 利用仅仅依赖于1978-1997年样本信息估计的模型 年进行预测， 对1998年进行预测，得到 年进行预测 得到831.7，其预测精度明显 ， 低于上述模型 。 • 即使利用 即使利用1952-1997年的所有数据为样本估计模型， 年的所有数据为样本估计模型， 年的所有数据为样本估计模型 并对1998年进行预测，得到的预测值为860.4，其 并对 年进行预测，得到的预测值为 ， 年进行预测 预测精度也低于上述模型。 预测精度也低于上述模型。
一、贝叶斯定理
⒈贝叶斯定理
P(A B) =
P (B A)P ( A) P(B)
P(数据 参数) P(参数) P(数据) (数据
P(参数 数据) =
f ( Y θ ) g (θ ) g (θ Y ) = f (Y )
g (θ Y ) ∝ L (θ Y ) ⋅ g (θ )
• 后验信息正比于样本信息与先验信息的乘积。 后验信息正比于样本信息与先验信息的乘积。 • 可以通过样本信息对先验信息的修正来得到更准 确的后验信息。 确的后验信息。
• 作为一类估计方法，其原理是重要的。 作为一类估计方法，其原理是重要的。 • 在实际应用中，由于先验信息难以获得，该估计 在实际应用中，由于先验信息难以获得， 方法很难应用。 方法很难应用。 • 贝叶斯统计是由T.R.Bayes于19世纪创立的数理统 贝叶斯统计是由T.R.Bayes于19世纪创立的数理统 T.R.Bayes 计的一个重要分支，20世纪50年代 世纪50年代， 计的一个重要分支，20世纪50年代，以H.Robbins 为代表提出了在计量经济学模型估计中将经验贝 叶斯方法与经典方法相结合，引起了广泛的重视。 叶斯方法与经典方法相结合，引起了广泛的重视。 • 贝叶斯估计对经典计量经济学模型估计方法的扩 展在于，它不仅利用样本信息 同时利用非样本 样本信息， 展在于，它不仅利用样本信息，同时利用非样本 信息。 信息。
′X ) −1 ) (Β Y ) ~ N ( β , σ ( X
2
• 从形式上看，无信息先验得到的后验分布均值与样 从形式上看， 本信息的OLS估计相同，但二者有不同的含义。 估计相同， 本信息的 估计相同 但二者有不同的含义。
⒊ 点估计
• 利用损失函数并使平均损失最小。 利用损失函数并使平均损失最小。
β 1 = 0.00979
2 .98683 e − 008 − 0 .000262
• 利用样本信息修正先验分布，得到后验均值和协 利用样本信息修正先验分布， 方差矩阵。就是参数的点估计值。 方差矩阵。就是参数的点估计值。
ˆ D E t = 87 .0354 + 0 .00979 GDP t
§3.2 经典线性计量经济学模型的 贝叶斯估计 Bayesian Estimation Bayesian Econometrics 教材§3.3） （教材§3.3）
一、贝叶斯定理 二、正态线性单方程计量经济学模型的贝叶斯 估计
0 引子
• 在《Econometric Analysis》(第3版)中： 》第 版中 • Chapter 6 The Classical Multiple Linear Regression Model—Specification and Estimation • 6.9 Bayesian Estimation • 在《Econometric Analysis》(第5版)中： 》第 版中 • Chapter 16 Estimation Frameworks in Econometrics • 16.2 Parametric Estimation • 16.2.2 Bayesian Estimation
⒉单方程计量经济学模型贝叶斯估计的过程
• 确定模型的形式，指出待估参数 确定模型的形式， • 给出待估参数的先验分布 • 利用样本信息，修正先验分布 利用样本信息， • 利用待估参数的后验密度函数，进一步推断出待 利用待估参数的后验密度函数， 估参数的点估计值， 估参数的点估计值，或进行区间估计与假设检验 • 预测
二、正态线性单方程计量经济学模 型的贝叶斯估计
⒈有先验信息的后验分布
Y = XΒ + µ
µ ~ N (0,σ I )
2
•选择 的先验分布为自然共轭分布，B的自然共轭 选择B的先验分布为自然共轭分布 选择 的先验分布为自然共轭分布， 的自然共轭 先验密度函数为正态密度函数： 先验密度函数为正态密度函数：
• 后验精确度矩阵是先验精确度矩阵与样本信息精 确度矩阵之和， 确度矩阵之和，故后验精确度总是高于先验精确 度； • 后验均值是先验均值与样本信息 后验均值是先验均值与样本信息OLS估计值的加 估计值的加 权平均和，权数为各自的精确度。 权平均和，权数为各自的精确度。
⒉无先验信息的后验分布
• 作为有信息先验的一种特殊情况，即无信息先验 作为有信息先验的一种特殊情况， 的精确度为0。 的精确度为 。
g ( Β ) = g ( β1 ) ⋅ g ( β 2 )⋯ g ( β k ) ∝ c
g ( Β Y ) ∝ g ( Β) ⋅ L ( Β Y ) ∝ L ( Β Y )
1 [(Β − β )′X′X(Β − β ) + (Y − Xb)′(Y − Xβ )] ∝ exp− 2 2σ 1 ∝ exp− (Β − β )′X′X(Β − β ) 2σ 2
g(Β) ∝ e
1 −1 − 2 ( Β− Β) ′ Σ Β ( Β− Β)
• B的或然函数等同于它的联合密度函数 的或然函数等同于它的联合密度函数
L(Β Y ) ∝ e
−
1 2σ 2
( Y − X Β ) ′( Y − X Β )
• 利用贝叶斯定理，得到 的后验密度函数为： 利用贝叶斯定理，得到B的后验密度函数为 的后验密度函数为：