3多元线性回归与最小二乘估计

1.3 多元线性回归与最小二乘估计

1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型：

y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t , (1.1)

其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。

对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。

当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1, 经济意义：x t j 是y t 的重要解释变量。 y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, 代数意义：y t 与x t j 存在线性关系。 ……….. 几何意义：y t 表示一个多维平面。

y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T , (1.2) 此时y t 与x t i 已知，βj 与 u t 未知。

)

1(21)1(110)(11

1222111111)1(21111⨯⨯-⨯---⨯⎥

⎥⎥⎥⎦⎤

⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢

⎢⎣⎡=⎥

⎥

⎥⎥

⎦⎤

⎢⎢⎢⎢⎣⎡T T k k k T k T Tj

T k j k j

T T u u u x x x x x x x x x y y y

βββ (1.3)

Y = X β + u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。

假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2

相同且为有限值，即

E(u ) = 0 = ⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡00 , Var (u ) = E(u

ˆu ˆ' ) = σ 2I = σ 2⎥⎥⎥

⎦⎤⎢⎢⎢⎣⎡10000001 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0

假定 ⑶ 解释变量之间线性无关。 rk(X 'X ) = rk(X ) = k 其中rk (⋅)表示矩阵的秩。

假定⑷ 解释变量是非随机的，且当T → ∞ 时

T – 1X 'X → Q

其中Q 是一个有限值的非退化矩阵。

最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。

min S = (Y - X β

ˆ)' (Y - X βˆ) = Y 'Y -βˆ'X 'Y - Y ' X βˆ +βˆ'X 'X βˆ = Y 'Y - 2β

ˆ'X 'Y + βˆ'X 'X βˆ (1.5) 因为Y 'X β

ˆ是一个标量，所以有Y 'X βˆ = βˆ'X 'Y 。(1.5) 的一阶条件为： β

ˆ∂∂S = - 2X 'Y + 2X 'X β

ˆ= 0 (1.6) 化简得

X 'Y = X 'X β

ˆ 因为 (X 'X ) 是一个非退化矩阵（见假定⑶），所以有

βˆ= (X 'X )-1 X 'Y （1.7） 因为X 的元素是非随机的，(X 'X ) -1X 是一个常数矩阵，则β

ˆ是Y 的线性组合，为线性估计量。

求出β

ˆ，估计的回归模型写为 Y = X β

ˆ+ u ˆ (1.9) 其中βˆ= (0ˆβ 1

ˆβ … 1ˆ-k β)' 是 β 的估计值列向量，u ˆ= (Y - X βˆ) 称为残差列向量。因为 u

ˆ = Y - X βˆ= Y - X (X 'X )-1X 'Y = [I - X (X 'X )-1 X ' ]Y (1.10) 所以u

ˆ也是Y 的线性组合。βˆ的期望和方差是 E(β

ˆ) = E[(X 'X )-1 X 'Y ] = E[(X 'X )-1X '(X β + u )] = β + (X 'X )-1X ' E(u ) = β (1.11)

Var(β

ˆ) = E[(βˆ–β) (βˆ–β)']= E[(X 'X )-1X ' u u ' X (X 'X )-1] = E[(X 'X )-1X ' σ 2I X (X 'X )-1] = σ 2 (X 'X )-1 (1.12)

高斯—马尔可夫定理：若前述假定条件成立，OLS 估计量是最佳线性无偏估计量。βˆ具有无偏性。β

ˆ具有最小方差特性。βˆ具有一致性，渐近无偏性和渐近有效性。 2. 残差的方差

s 2 = u

ˆ'u ˆ/ (T - k ) (1.13) s 2是σ 2

的无偏估计量，E(s 2 ) =σ 2。β

ˆ的估计的方差协方差矩阵是 ∧

Var (β

ˆ) = s 2 (X 'X )-1 (1.14) 3. 多重确定系数（多重可决系数）

Y = X β

ˆ+u ˆ=Y ˆ+u ˆ (1.15) 总平方和