计量经济学 詹姆斯斯托克 第3章 多元线性回归模型

i 2 i
10 21500 21500 53650000
1 X Y X1
1 X2
Y1 1 Y2 Yi 15674 X n X iYi 39468400 Yn
i i
638 1122 1155 1408 1595 1969 2078 2585 2530
ˆ 1
x y x
2 i
5769300 0.777 7425000
ˆ Y ˆ X 1567 0.777 2150 103 .172 0 0
因此，由该样本估计的回归方程（样本回归函数） 为：
i 1
n
2
ˆ ˆ X ˆ X ˆ X ))2 Q (Yi ( 0 1 1i 2 2i k ki
i 1
n
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
习惯上：把常数项看成为一个虚变量的系 数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k +1）。
Yi 0 1 X 1i 2 X 2 i k X ki i
也被称为 总体回归函数 的 随机表达形式 。它的 非随机表达式为:
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki
得到：
于是：
ˆ ( X X )1 X Y
正规方程组的另一种写法：
对于正规方程组
ˆ X Y X X ˆ e带入得： 将Y X ˆ X e X X ˆ X X
于是 或
X e
(*) (**)
ei 0 X e 0 ji i i
正规方程组的矩阵形式:
n X 1i X ki
X X

ki
1i 2 1i

X X X
ki
X
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k1
假设3，E(X′)= 0，即
i E ( i ) X 1i i X 1i E ( i ) E 0 X ki i X ki E ( i )
假设4，向量 有一多维正态分布，即
E ( ) E 1 n 1
2 1n 1 n E 2 n 1 n
2 var( ) cov( , ) 0 1 1 n 2I 2 cov( , ) var( ) 0 n 1 n
i ~ N ( 0, 2 )
假设5，解释变量之间不存在严格的线性关系， 即不存在完全共线性
上述假设的矩阵符号表示式： 假设2， 1 E ( 1 ) E( ) E 0 n E ( n )
第三章 经典单方程计量经济学模型：
多元线性回归模型
一、多元线性回归模型概述 二、多元线性回归模型的参数估计 三、OLS估计量的统计性质 四、参数估计量的方差、协方差矩阵 和随机误差项方差的估计 五、样本容量问题 六、多元线性回归模型的实例
一、多元线性回归模型
1. 多元线性回归模型的形式 由于： 在实际经济问题中，一个变量往往受到多个原因 变量的影响； 从一般到简单的建模思路；
1 X 12 X k2
1 Y1 X 1n Y2 Y X kn n
即
ˆ X Y ( X X )
由于X’X满秩，故有
ˆ ( X X )1 X Y
将上述过程用矩阵表示如下：
ˆ 使得残差平方和最小 寻找一组参数估计值 ˆ )(Y X ˆ) Q ei2 ee = (Y X
解得( k 1)个方程组成的线性代数方程组,即可得到 ˆ , j 0,1,2,, k ( k 1)个待估参数的估计值
j
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
其中：
ˆ 0 ˆ ˆ 1 ˆ k
e1 e 2 e en
2.多元线性回归模型的基本假定
假设1，解释变量是非随机的
假设2，随机误差项具有零均值、同方差及不序列 相关性。 E ( ) 0
Cov ( i , j ) E ( i j ) 0 i j i, j 1,2,, n
Var ( ，解释变量与随机误差项不相关 j 1,2, k Cov ( X ji , i ) 0 假设4，随机误差项满足正态分布
方程表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变量
保持不变的情况下， Xj 每变化 1 个单位时， Y 的 均值E(Y)的变化; 或者说 j 给出了 Xj 的单位变化对 Y 均值的“直 接”或“净”（不含其他变量）影响。
总体回归模型n个随机方程的矩阵表达式为
Y X
( xx ) xy ˆ Y ˆ X ˆ X 1 1 k k 0
例2.3：在例2.1的家庭收入-消费支出例中，对 于所抽出的一组样本数:
表2.1.3 家庭消费支出与可支配收入的一个随机样本
可支配收入(X) 家庭消费支出(Y)
800 1100 1400 1700 2000 2300 2600 2900 3200 3500 594

所以在线性回归模型中解释变量有多个，至少开 始是这样。这样的模型被称为多元线性回归模型。

多元线性回归模型的一般形式：
Yi 0 1 X 1i 2 X 2 i k X ki i
i =1,2…, n
其中: k 为解释变量的数目，j 称为回归系 数（regression coefficient）。
i 1 n
即求解方程组：
ˆ )(Y X ˆ) 0 (Y X ˆ
ˆ X Y Y X ˆ ˆ X X ˆ) 0 (Y Y ˆ
ˆ ˆ X X ˆ) 0 (Y Y Y X ˆ
ˆ X Y X X ˆ X Y X X
1 2 n n1
样本回归函数：用来估计总体回归函数 ˆ ˆ X ˆ X ˆX ˆ Y
i 0 1 1i 2 2i k ki
其随机表示式: ˆ ˆ X ˆ X ˆ X e Yi 0 1 1i 2 2i k ki i ei称为残差或剩余项(residuals)，可看成是总 体回归模型中随机扰动项i的近似替代。 样本回归函数的矩阵表达: ˆ ˆ e ˆ X 或 Y Y X
ˆ 103.172 0.777X Y i i
例2.3：在例2.1的家庭收入-消费支出例中，
1 ( X X ) X1 1 X2 1 X 1 1 1 X 2 n X n X i 1 X n
X X
N (0, 2 I )
假设5 ，n(k+1)矩阵X 的秩 =k+1，即X 满秩。
二、多元线性回归模型的估计

普通最小二乘法
*最大似然法
*矩估计方法
1、普通最小二乘估计 2 ˆ ˆ 估计目标：结构参数 j 及随机误差项的方差
对于随机抽取的n组观测值： (Yi , X ji ), i 1,2,, n, j 0,1,2,, k 如果样本函数的参数估计值已经得到，则有： ˆ ˆ X ˆ X ˆX ˆ Y (i 1,..., n) i 0 1 1i 2 2i k ki 根据最小二乘原理，参数估计值应该是下列方程组的解
ˆ 0 ˆ 1 ˆ 2 ˆ k Q0 Q0 Q0 Q0
2 ˆ )2 其中 Q ei (Yi Y i i 1 i 1 n n
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
j 1,2,..., k
(*)或(**)是多元线性回归模型正规方程组的 另一种写法。
样本回归函数的离差形式:
ˆ ˆ x ˆ x ˆ x e yi 0 1 1i 2 2i k ki i
其矩阵形式为
(i 1,2,..., n)
ˆ e y x
其中 ：
ˆ x21 xk 1 1 ˆ x22 xk 2 ˆ 2 x2 n xkn ˆ k 在离差形式下，参数的最小二乘估计结果 为 1 ˆ y1 x11 y x 2 12 y x y n x1n
其中
Y1 1 X 11 Y 1 X 21 Y 2 X Y n n1 1 X n1
X 12 X 1k X 22 X 2 k X n 2 X nk n( k 1)
0 1 2 k ( k 1)1