经典线性回归模型

2 经典线性回归模型

§2.1 概念与记号

1．线性回归模型是用来描述一个特定变量y 与其它一些变量x 1，…，x p 之间的关系。 2． 称特定变量y 为因变量 （dependent variable ）、 被解释变量 （explained variable ）、 响应变量（response variable ）、被预测变量（predicted variable ）、回归子 （regressand ）。

3．称与特定变量相关的其它一些变量x 1，…，x p 为自变量（independent variable ）、 解释变量（explanatory variable ）、控制变量（control variable ）、预测变量 （predictor variable ）、回归量（regressor ）、协变量（covariate ）。

4．假定我们观测到上述这些变量的n 组值：(

) ip i i x x y , , , 1 L (i=1，…，n)。称 这n 组值为样本（sample ）或数据（data ）。

§2.2 经典线性回归模型的假定

假定 2.1（线性性(linearity)）

i

ip p i i x x y e b b b + + + + = L 1 1 0 (i=1，…，n)。 （2.1）

称方程（2.1）为因变量y 对自变量x 1，…，x p 的线性回归方程（linear regression equation ），其中 ( ) p ， k k , , 1 0 L = b 是待估的未知参数（unknown parameters ），

( ) n i i , , 1 L = e 是满足一定限制条件的无法观测的误差项（unobserved error term ） 。称自

变量的函数 ip p i x x b b b + + + L 1 1 0 为回归函数（regression function ）或简称为回归 （regression ）。称 0 b 为回归的截距(ntercept)，称 ( ) p k k , , 1 L = b 为自变量的回归系数 （regression coefficients ） 。某个自变量的回归系数表示在其它条件保持不变的情况下，

这个自变量变化一个单位对因变量的影响程度， 这个影响是在排除其它自变量的影 响后，这个自变量对因变量的偏效应。

下面引入线性回归方程的矩阵表示。记

( ) T

p b b b b , , , 1 0 L = （未知系数向量（unknown coefficient vector ）） ( ) T ip i i x x x , , ~ 1 L = ， ( ) T ip i i x x x , , , 1 1 L = ，则

i

T

i i x y e b + = (i=1，…，n)。

又记

X = ÷ ÷ ÷ ø

ö ç ç ç è æ np p n x x x x M L L L M M 1 1 11 1 1 ， Y = ÷ ÷ ÷ ø ö ç ç ç è æ n y y M 1 ， ÷ ÷ ÷

ø ö ç ç ç è æ = n e e e M 1 ，则 e

b + = X Y 假定2.2（严格外生性(strictly exogeneity)）

( ) ( )

np n p i n i x x x x E x x E , , , , , , | ~, , ~| 1 1 11 1 L L L L e e = =0 (i=1，…，n)。

严格外生性的含义 ·误差项的无条件期望为零

( ) 0 = i E e

(i=1，…，n)。 ·正交条件（orthogonality conditions ）

( ) ( ) ( ) 0 ~ 1 = ÷ ÷ ÷ ø

ö ç ç ç è æ = i jp i j i j x E x E x E e e e M (i=1，…，n ; j=1，…，n )。

·不相关条件（zero­correlation conditions ）

( ) 0

, cov = jk i x e (对所有i ，j ，k)。

由以上严格外生性的含义可知，如果在时间序列数据中存在的滞后效应 （lagged effect ）和反馈效应（feetback effect ） ，那么严格外生性条件就不成立。因

而，在严格外生性假定下推出的性质就不能用于这类时间序列数据。滞后效应是指 自变量历史值对因变量当前值的影响， 反馈效应是指因变量当前值对自变量未来值 的影响。

假定2.3（无多重共线性(no multicollinearity)）

n×(p+1)矩阵X的秩为(p+1)的概率为1。 假定2.4（球面误差方差(spherical error variance)）

( ) n

n I x x Var 2

1 ~, , ~| s e = L ·条件同方差（conditional homoskedasticity ）

( )

0 ~ , , ~| 2 1 2 > =s e n

i x x E L (i=1，…，n)。 （误差方差） ·误差项不相关(no correlation between error term )

( )

0 ~ , , ~| 1 = n

j i x x E L e e (对所有i≠j) 在经典线性回归模型的四个假定中，假定2.1和假定2.3是必不可少的，但假定 2.2和假定2.4中的严格外生性、条件同方差和误差项不相关以后可以适当放宽。

§2.3 随机样本的经典线性回归模型

若样本( )

T

i i x y ~, (i=1，…，n)为IID ，那么假定2.2和假定2.4可简化为 假定2.2: ( ) 0

~| = i i x E e (i=1，…，n) 假定2.4： ( ) 0

~| 2

2 > =s e i i x E (i=1，…，n) §2.4 确定性自变量的经典线性回归模型

若更进一步假定自变量x 1，…，x p 为确定性的变量，那么假定2.2和假定2.4可 进一步简化为

假定2.2： ( ) 0 = i E e

(i=1，…，n)