计量经济学 第三章 多元线性回归

ˆ X' Y 3、由此得到正规方程组： X' Xβ
解此正规方程组即得参数的MM估计量。 MM估计量与OLS、ML估计量等价。
*关于矩估计*
矩方法是工具变量方法(Instrumental Variables,IV)和广义矩估计方
法(Generalized Moment Method, GMM)的基础
E(X(Y Xβ )0
矩条件
*矩条件和矩估计量*
1、 E(X(Y Xβ ) 0 称为原总体回归方程的一组矩条件，表明了
原总体回归方程所具有的内在特征。
2、如果随机抽出原总体的一个样本，估计出的样本回归方程：
ˆ 能够近似代表总体回归方程的话，则应成立： ˆ X Y
1 ˆ)0 X (Y Xβ n

总体回归函数（PRF）
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki

样本回归函数（SRF）
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki ki
* MM：矩估计
一、普通最小二乘估计
• 基本思想：残差平方和最小
•
基于取得最小值的条件获得系数估计）
残差平方和：
ˆ )2 Q e (Yi Y i
i 1 2 i i 1
n
n
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
i 1
n
2
取得最小值的条件：
ˆ 0 ˆ 1 ˆ 2 ˆ k
Q 0 Q 0 Q 0 Q 0
正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2 2i k ki ki i ki
1 X 12 X k2
1 Y1 X 1n Y2 X kn Yn
ˆ X Y (X X) β
2、由于X’X满秩(其逆矩阵存在），故有
1 ˆ β ( X X) X Y
＃OLSE的矩阵估计过程
21500 53650000

0.0003 0.7226 ( XX) 0.0003 1.35 E 07
1
1 X Y X 1
1 X2

Y1 1 Y2 Yi 15674 X Y 39468400 Xn i i Y n
#参数估计的实例
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 ( X ' X) X 1 1 X2 1 1 1 Xn 1 X1 X2 n X i Xn
X X
i 2 i
10 21500
*矩估计* （Moment Method，MM）
1、OLS估计是通过得到一个关于参数估计值的正规方程组
ˆ X Y (X X) β
并对它进行求解而完成的。 2、该正规方程组可以从另外一种思路来导出:
Y Xβ μ
两侧求期望 :
XY XXβ Xμ
X(Y Xβ ) Xμ
误差方差2的估计
1、基于OLS下，随机误差项 的方差的无偏估计量为
e ' e e e ˆ2 n k 1 n k 1 n ( k 1)
2 i
e
注意：分母的形式：n-k-1 = n-(k+1)。 k：解释变量X的个数； k+1：回归系数的个数
2、 ˆ
μ~ N (0, 2 I )
暗含假设
假设 5 ：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即 n∞时，
1 1 2 x ( X ji X j ) 2 Q j ji n n
或
1 xx Q n
其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差 为元素组成的nk阶矩阵
• 在矩方法中关键是利用了：E(X’)=0 • 如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然 可以构成一组矩条件。这就是IV。 • 如果存在＞k+1个变量与随机项不相关，可以构成一组包含＞k+1
x11 x x 1n x k1 x kn
假设6：回归模型是正确设定的
§3.2
多元线性回归模型的参数估计
一、普通最小二乘估计 二、Fra Baidu bibliotek数估计量的性质 三、样本容量问题
参数估计的任务和方法
1、估计目标：回归系数βj、随机误差项方差б2 2、估计方法：OLS、ML或者MM * OLS：普通最小二乘估计 * ML：最大似然估计
ˆ 2 称为估计标准误或者回归标准误（S.E of regression）
*最大似然估计* （Maximum Likelihood Estimate）
1、基本原理：样本观测值出现的概率最大。 2、似然函数：
Yi ~ N ( X i β , 2 )
ˆ , 2 ) P (Y1 , Y2 , , Yn ) L (β 1 ( 2 ) 1 ( 2 )

样本回归模型（SRM）
ˆ ˆ X ˆ X ˆ X e Yi 0 1 1i 2 2i ki ki i
其中：ei 称为残差 (residuals)，可看成是随机误差项 i的近似替代。
总体回归模型的矩阵表示
1、总体回归模型表示了n个随机方程，引入如下矩阵记号：
1 1 X 1
n 2 n 2
n
1 2 2
e

ˆ ˆ X ˆ X ˆ X )) 2 ( Yi ( 0 1 1i 2 2i k ki
1 2 2

ˆ )( Y Xβ ˆ) ( Y Xβ
3、最大似然估计MLE：
n
e
1 ˆ β ( X X) X Y
参数的MLE与参数的OLSE相同
i~N(0, 2 )
i=1,2, …,N
基本假设的矩阵表示
假设1: n(k+1)矩阵X是非随机的，且X的秩=k+1，即X列满秩。 假设2:
1 ) E E (μ μ n
12 1 n n E 2 n n 1
性）。 ►假设2：随机误差项具有零均值、同方差和无序列相关性： E(i)=0 Cov(i, j)=0 Cov(Xji, i)=0 Var (i)=2 i≠j i=1,2, …,N i,j= 1,2, …,N
►假设3：随机误差项与解释变量X之间不相关：
i=1,2, …,N
►假设4：服从零均值、同方差、零协方差的正态分布
X 11 X 12 X 1n
X 21 X 22 X 2n

X k1 X k2 X kn n ( k 1 )
Y1 Y 2 Y Y3 Yn n1
0 1 β 2 μ k ( k 1)1
ˆ 0 ˆ 1 ˆ β ˆ k

e1 e2 e e n

2、于是，样本回归模型和函数可以表示为：
ˆ e Y Xβ
ˆ Xβ ˆ Y
二、多元线性回归模型的基本假设
►假设1：解释变量是非随机的或固定的，且各X之间互不相关（无多重共线
1 2 n n 1
2、于是，总体回归模型可以表示为：
Y X β μ
样本回归模型和函数的矩阵表示
1、同理，采用如下矩阵记号：
ˆ Y 1 ˆ Y2 ˆ Y ˆ Y 3 ˆ Yn n1
1
var( 1 ) cov( , ) n 1
cov( 1 , n ) 2 0 var( n )
0 2I 2
假设4: 向量 有一多维正态分布，即
j 1 k
i 1, 2,
,n


j 0
k
j
X ji ( X 0 i 1)
注意：（1）解释变量X的个数：k 回归系数 j的个数：k＋1 （2）j：偏回归系数，表示了Xj对Y的净影响 （3）X的第一个下标 j 区分变量（j＝1，2，……，k） 第二个下标 i 区分观测（i＝1，2，……n）
ˆ 0.7226 0.0003 15674 103 .172 1 ˆ β ˆ 0 . 0003 1 . 35 E 07 39648400 0 . 7770 2
矩阵有关定理
（AB ) BA
ˆ 0 X Y X Xβ
ˆ XY XXβ
1 ˆ β ( X X) X Y
( 1 , 2 , n ); A (a1 , a2 , an ) ( A) A ( B ) 2 B ( B为n n对 称 阵 ）
第三章
多元线性回归模型
§ 3.1 多元线性回归模型
§ 3.2 多元线性回归模型的参数估计 § 3.3 多元线性回归模型的统计检验 § 3.4 多元线性回归模型的预测 § 3.5 可线性化的多元非线性回归模型 § 3.6 受约束回归
§3.1
多元线性回归模型
一、模型形式 二、基本假定
一、模型形式
Yi 0 1 X 1i 2 X 2 i ... k X ki i 0 j X ji i
解此（k＋1）个方程组成的正规方程组，即可求得（k+1)个未知参
数βj 的估计 。
最小二乘估计的矩阵表示
1、正规方程组的矩阵形式
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k 1
残差平方和的矩阵表示为：
ˆ )(Y X ˆ) Q ei2 ee (Y X
ˆ ) ( Y Xβ ˆ)0 ( Y Xβ ˆ β
ˆ X Y Y Xβ ˆ β ˆ X Xβ ˆ)0 ( Y Y β ˆ β
ˆ β ˆ X Xβ ˆ) 0 ( Y Y 2 Y Xβ ˆ β