多元线性回归模型

第四章 多元线性回归模型

在一元线性回归模型中，解释变量只有一个。但在实际问题中，影响因变量的变量可能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商品市场价格的影响，而且受其它商品价格以及人们可支配收入水平的制约；影响劳动力劳动供给意愿（用劳动参与率度量）的因素不仅包括经济形势（用失业率度量），而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币需求的因素不仅包括人们的收入水平，而且包括利率水平等。当解释变量的个数由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模型。本章在理论分析中以二元线性回归模型为例进行。

一、预备知识

（一）相关概念

对于一个三变量总体，若由基础理论，变量21,x x 和变量y 之间存在因果关系，或21,x x 的变异可用来解释y 的变异。为检验变量21,x x 和变量y 之间因果关系是否存在、度量变量21,x x 对变量y 影响的强弱与显著性、以及利用解释变量21,x x 去预测因变量y ，引入多元回归分析这一工具。

将给定i i x x 21,条件下i y 的均值

i i i i i x x x x y E 2211021),|(βββ++= （4.1） 定义为总体回归函数（Population Regression Function,PRF ）。定义),|(21i i i i x x y E y -为误差项（error term ）,记为i μ，即),|(21i i i i i x x y E y -=μ，这样i i i i i x x y E y μ+=),|(21，或

i i i i x x y μβββ+++=22110 （4.2）

（4.2）式称为总体回归模型或者随机总体回归函数。其中，21,x x 称为解释变量（explanatory variable ）或自变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项μ解释了因变量的变动中不能完全被自变量所解释的部分。

在总体回归模型（4.2）中参数210,,βββ是未知的，i μ是不可观察的，统计计量分析的目标之一就是估计模型的未知参数。给定一组随机样本n i x x y i i i ,,2,1),,,(21 =，对（4.1）式进行估计，若21021,,),,|(βββi i i x x y E 的估

计量分别记为^2^1^0^,,,βββi y ，则定义（4.3）式为样本回归函数

i i i x x y 2^

21^1^0^βββ++= （n i ,,2,1 =） （4.3）

注意，样本回归函数随着样本的不同而不同，也就是说^2^1^0,,βββ是随机变量，它们的随机性是由于i y 的随机性（同一组),(21i i x x 可能对应不同的i y ）、21,x x 各

自的变异、以及21,x x 之间的相关性共同引起的。定义^

i i y y -为残差项（residual term ）,记为i e ，即^i i i y y e -=，这样i i i e y y +=^，或

i i i e x y ++=^1^0ββ （n i ,,2,1 =） （4.4） （4.4）式称为样本回归模型或者随机样本回归函数。样本回归模型中残差项i e 可视为总体回归模型中误差项i μ的估计量。

（二）多元线性回归模型的矩阵表示

多元线性回归模型的参数估计比一元线性回归模型要复杂得多，为了便于计算和分析，便于将结果由三变量总体推广到一般的多变量总体，引入矩阵这一工具简化计算和分析。

设n i x x y i i i ,,2,1),,,(21 =是取自总体的一组随机样本。在该组样本下，总体回归模型（4.2）式可以写成方程组的形式

121211101μβββ+++=x x y

222212102μβββ+++=x x y

n n n n x x y μβββ+++=22110

利用矩阵运算，可表示为

⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n n n

n x x x x x x y y y μμμβββ 21210212212211121111 （4.5） 记⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n n x x x x x x X 2122122111111 ,⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=310ββββ,⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=n μμμμ 21 则在该组样本下，总体回归模型的矩阵表示为

μβ+=X y （4.6）

记⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=^2^1^0^ββββ,⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=n e e e e 21 则样本回归模型的矩阵表示为 e X y +=^β （4.7）

（三）模型假定

假定1 回归模型是参数线性的，并且是设定正确的。

假定2 随机误差项与解释变量不相关。即

0),cov(=i ji x μ，2,1=j 。

如果解释变量是非随机的，则该假设自动满足。

假定3 零均值假定。即

0)(=i E μ，n i ,,2,1 =

假定4 同方差假定。即

2)var(σμ=i ，n i ,,2,1 =

假定5 无自相关假定。即两个误差项之间不相关

0),cov(=j i μμ j i ≠，n i ,,2,1 =，n j ,,2,1 =

假定6 解释变量1x 与2x 之间不存在完全共线性，即两个解释变量之间无确切的的线性关系。

假定7 正态性假定。即

i μ～),0(2σN ，n i ,,2,1 =

（四）参数估计与估计量的分布

系数向量β的OLS 估计为

y X X X T T 1^)(-=β （4.8） 其中，T X 为X 的转置矩阵。在随机误差项服从正态分布的假定下，系数向量的估计量也服从正态分布，即

^β～))(,(12-X X N T σβ （4.9） 记1)(-=X X C T 的第j 个主对角元素为jj c ，则

^j β～),(2jj j c N σβ （4.10）

有了系数估计量的分布，就可以对总体参数做假设检验。与双变量总体相同，总体误差i μ是不可观察的，因而其方差2σ是未知的。若用2σ的无偏估计量^2σ代替2σ，则OLS 估计量服从自由度为3-n 的t 分布，而不是正态分布，即 )(^^j j

j se βββ-～)3(-n t （4.11） 其中，jj j c se ^2^)(σβ=，32^2

-=∑n e i σ。

（五）预测原理 回归分析的目的之一是利用回归模型预测因变量。假设三变量总体的回归模型为（4.2），即