(整理)计量经济学 第三章 多元线性回归与最小二乘估计

第三章 多元线性回归与最小二乘估计

3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理

1、多元线性回归模型：

y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。

对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。

当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,

y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..

y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T

经济意义：x t j 是y t 的重要解释变量。 代数意义：y t 与x t j 存在线性关系。 几何意义：y t 表示一个多维平面。 此时y t 与x t i 已知，βj 与 u t 未知。

)

1(21)1(110)(11

1222111111)1(21111⨯⨯-⨯---⨯⎥

⎥⎥⎥⎦⎤

⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢

⎢⎣⎡=⎥

⎥

⎥⎥

⎦⎤

⎢⎢⎢⎢⎣⎡T T k k k T k T Tj

T k j k j

T T u u u x x x x x x x x x y y y

βββ (3.3) Y = X β + u (3.4)

2假定条件

为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。

假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2相同且为有限值，即

E(u ) = 0 = ⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡00 , Var (u ) = E(u ˆu ˆ' ) = σ 2I = σ 2⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡10000001 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0

假定 ⑶ 解释变量之间线性无关。 rk(X 'X ) = rk(X ) = k 其中rk (⋅)表示矩阵的秩。

假定⑷ 解释变量是非随机的，且当T → ∞ 时

T – 1X 'X → Q

其中Q 是一个有限值的非退化矩阵。

3 最小二乘估计

最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。

min S = (Y - X β

ˆ)' (Y - X βˆ) = Y 'Y -βˆ'X 'Y - Y ' X βˆ +βˆ'X 'X βˆ = Y 'Y - 2β

ˆ'X 'Y + βˆ'X 'X βˆ (3.5) 因为Y 'X β

ˆ是一个标量，所以有Y 'X βˆ = βˆ'X 'Y 。(1.5) 的一阶条件为： β

ˆ∂∂S = - 2X 'Y + 2X 'X β

ˆ= 0 (3.6) 化简得

X 'Y = X 'X β

ˆ 因为 (X 'X ) 是一个非退化矩阵（见假定⑶），所以有

βˆ= (X 'X )-1

X 'Y （3.7） 因为X 的元素是非随机的，(X 'X ) -1X 是一个常数矩阵，则β

ˆ是Y 的线性组合，为线性估计量。

求出β

ˆ，估计的回归模型写为

Y = X β

ˆ+u ˆ (3.9) 其中βˆ= (0

ˆβ 1ˆβ … 1ˆ-k β)' 是 β 的估计值列向量，u ˆ= (Y - X βˆ) 称为残差列向量。因为 u

ˆ= Y - X βˆ= Y - X (X 'X )-1X 'Y = [I - X (X 'X )-1 X ' ]Y (3.10) 所以u

ˆ也是Y 的线性组合。βˆ的期望和方差是 E(β

ˆ) = E[(X 'X )-1 X 'Y ] = E[(X 'X )-1X '(X β + u )] = β + (X 'X )-1X ' E(u ) = β (3.11) 由于：

111

1

1

ˆ(')`(')`()(')`(')`(')`X X X Y X X X X u X X X X X X X u X X X u

β

βββ-----==+=+=+

Var(β

ˆ) = E[(βˆ–β) (βˆ–β)']= E[(X 'X )-1X ' u u ' X (X 'X )-1] = E[(X 'X )-1X ' σ 2I X (X 'X )-1] = σ 2 (X 'X )-1 (3.12) 例：3.1（P113）略

4高斯—马尔可夫定理：

高斯—马尔可夫定理：若前述假定条件成立，OLS 估计量是最佳线性无偏估计量。βˆ具有无偏性。β

ˆ具有最小方差特性。βˆ具有一致性，渐近无偏性和渐近有效性。 3.2 残差的方差

2

2`ˆt

t t

e e e T k

T k

σ=

=

--∑ (3.13) 2ˆσ

是σ 2 的无偏估计量，E(2ˆσ ) =σ 2。 证明过程如下：

11ˆˆ(`)`(`)`e Y Y Y X Y X X X X Y I X X X X Y β--⎡⎤=-=-=-=-⎣⎦ 记：1(`)`I X X X X --=P

容易证明：P 为对等幂矩阵，即P=P`，P 2=P

11

(`)`(`)`()e I X X X X Y I X X X X X u Pu β--⎡⎤⎡⎤=-=-+=⎣⎦⎣⎦

[][]2

2

2

var()(`)()`(`)`(`)`()``e E ee E Pu Pu E P uu P PE uu P P I P PP P σσσ

=======