第三章 多元线性回归模型的参数估计

样本回归函数的矩阵表达:
ˆ Xβ ˆ Y
或
ˆ e Y Xβ
其中：
ˆ 0 ˆ ˆ β 1 ˆ k

e1 e2 e e n
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各 X之间互不相关（无多重共线性）。
i 1 2 i i 1
n
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
i 1
n
2
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ X ˆ X ) X Y X ( X 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ ˆ X ˆ X ) X Y X ( 0 1 X 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
第三章
经典单方程计量经济学模型： 多元线性回归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验
3.1 多元线性回归模型
一、多元线性回归模型
二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。 一般表现形式：
用来估计总体回归函数的样本回归函数为：
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki ki
ˆ ˆ X ˆ X ˆ X e 其随机表示式: Yi 0 1 1i 2 2i ki ki i
ei称为残差或剩余项(residuals)，可看成是 总体回归函数中随机扰动项i的近似替代。
由各解释变量的离差为元素组成的nk阶矩阵
x11 x x 1n x k1 x kn
假设6，回归模型的设定是正确的。
3.2 多元线性回归模型的估计
一、普通最小二乘估计
二、参数估计量的性质
说 明
估计方法：
3大类方法：OLS、ML或者MM
– 在经典模型中多应用OLS
Yi 0 1 X 1i 2 X 2 i k X ki i
也被称为 总体回归函数 的 随机表达形式 。它的 非随机表达式为:
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki
假设3，E(X’
i E ( i ) X 1i i X 1i E ( i ) E )=0，即 0 X X E ( ) Ki i Ki i
假设4，向量 有一多维正态分布，即
μ~ N (0, 2 I)
同一元回归一样，多元回归还具有如下两个重 要假设：
假设5，样本容量趋于无穷时，各解释变量的 方差趋于有界常数，即n∞时，
1 1 2 2 x ( X X ) Qj ji ji j n n
或
1 xx Q n
其中：Q为一非奇异固定矩阵，矩阵x是

0.0003 0.7226 可求得： ( XX) 0.0003 1.35 E 07
1
于是：
ˆ 0.7226 0.0003 15674 103 .172 1 ˆ β ˆ 0 . 0003 1 . 35 E 07 39648400 0 . 7770 2
1 ) E E (μμ n
1
12 1 n n E 2 n n 1
var( 1 ) cov( 1 , n ) 2 0 2I cov( , ) 0 2 var( ) n 1 n
1 1 ( X X) X X 2 1
'
X X
i 2 i
10 21500 21500 53650000
1 X Y X 1
1 X2

Y1 1 Y2 Yi 15674 39468400 X Y Xn i i Y n
这里利用了假设: E(X’)=0
3、有效性（最小方差性）

Var ( )
其中利用了
ˆ ( X X) 1 X Y β
( X X ) 1 X ( Xβ μ) β ( X X ) 1 X μ
和
) 2I E (μμ

2 1 Var ( ) ( X ' X ) 根据高斯----马尔可夫定理,
⃟正规方程组 的另一种写法
对于正规方程组
ˆ XY XXβ
ˆ X e X Xβ ˆ X Xβ
于是
Xe 0
(*)
或
e
i
i
0
ji i
X
e 0
(**)
(*)或（**）是多元线性回归模型正规方程组 的另一种写法。
二、参数估计量的性质
在满足基本假设的情况下，其结构参数的 普通最小二乘估计、最大似然估计仍具有： 线性性、无偏性、有效性。
由于:
(Y
=0
i
ˆ )(Y ˆ Y ) e (Y ˆ Y ) Y i i i
所以有：
2 2 ˆ ˆ TSS (Yi Yi ) (Yi Y ) RSS ESS
注意：一个有趣的现象
Y Y Y Yˆ Yˆ Y Y Y Y Yˆ Yˆ Y Y Y Y Yˆ Yˆ Y
i i i i i 2 2 2 i i i 2 2 i i i i
2
可决系数
ESS RSS R 1 TSS TSS
2
该统计量越接近于1，模型的拟合优度越高。 问题：在应用过程中发现，如果在模型中增 加一个解释变量， R2往往增大（Why?) 这就给人一个错觉：要使得模型拟合得好，
Yi 0 1 X 1i 2 X 2 i k X ki i
i=1,2…,n
其中:k为解释变量的数目，j称为回归参数 （regression coefficient）。
习惯上：把常数项看成为一虚变量的系 数，该虚变量的样本观测值始终取1。于是： 模型中解释变量的数目为（k+1）
1 Y1 X 1n Y2 Y X kn n
即
ˆ 来自百度文库 X Y (X X) β
由于X’X满秩，故有 1 ˆ β ( X X) X Y
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 1 1 Xn 1 X1 X2 n X i Xn
i=1,2…n
n
• 根据最 小二乘原 理，参数 估计值应 该是右列 方程组的 解
ˆ 0 ˆ 1 ˆ 2 ˆ k
Q 0 Q 0 Q 0 Q 0
其 中
ˆ )2 Q e (Yi Y i
假设4，随机项满足正态分布
j 1,2, k
i ~ N ( 0, )
2
上述假设的矩阵符号表示式：
假设1，n(k+1)矩阵X是非随机的，且X的秩 =k+1，即X满秩。
假设2，
1 E ( 1 ) E (μ) E 0 E ( ) n n
0 1 β 2 k
X 11 X 12 X 1n
X 21 X 22 X 2n

X k1 X k2 X kn n ( k 1 )
( k 1 )1
1 μ 2 n n 1
在所有无偏估计量的方差中是最小的.
3.3
多元线性回归模型的统计检验
一、拟合优度检验
二、方程的显著性检验(F检验)
一、拟合优度检验
1、可决系数与调整的可决系数 总离差平方和的分解
则
TSS (Yi Y ) 2 ˆ ) (Y ˆ Y )) 2 ((Yi Y i i ˆ ) 2 2 (Y Y ˆ )(Y ˆ Y ) (Y ˆ Y )2 (Yi Y i i i i i
表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变
量保持不变的情况下，X j每变化1个单位时，Y的 均值E(Y)的变化; 或者说j给出了X j的单位变化对Y均值的 “直接”或“净”（不含其他变量）影响。
总体回归模型n个随机方程的矩阵表达式为: 其中
Y X β μ
1 1 X 1
1、线性性
ˆ ( X X) 1 X Y CY β
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的 行向量
2、无偏性
ˆ ) E (( X X ) 1 X Y ) E (β E (( X X ) 1 X ( Xβ μ )) β ( X X ) 1 E ( X μ ) β
假设2，随机误差项具有零均值、同方差及不 序列相关性。
E ( i ) 0
Var ( i ) E ( i2 ) 2
i j i, j 1,2,, n
Cov ( i , j ) E ( i j ) 0
假设3，解释变量与随机项不相关
Cov ( X ji , i ) 0
解该（k+1） 个方程组成的线性代数方程组，即
$ , j 012 , , ,, k 。 可得到(k+1) 个待估参数的估计值 j
□正规方程组的矩阵形式
n X 1i X ki
X X

1i 2 1i

X X X
ki
X
ki
X 1i
ˆ 1 1 0 ˆ X 11 X 12 1i ki 1 2 ˆ X X ki k k1 X k 2
–
在非经典模型中多应用ML或者MM
一、普通最小二乘估计
• 对于随机抽取的n组观测值 (Yi , X ji ), i 1,2,, n, j 0,1,2, k 如果样本函数的参数估计值已经得到，则有：
ˆ ˆ X ˆ X ˆ X ˆ Y i 0 1 1i 2 2i ki Ki