经典线性回归模型的设定与推断

2 经典线性回归模型

§2.1 概念与记号

1．线性回归模型是用来描述一个特定变量y 与其它一些变量x 1，…，x p 之间的关系。 2．称特定变量y 为因变量（dependent variable ）、被解释变量（explained variable ）、响应变量（response variable ）、被预测变量（predicted variable ）、回归子（regressand ）。

3．称与特定变量相关的其它一些变量x 1，…，x p 为自变量（independent variable ）、解释变量（explanatory variable ）、控制变量（control variable ）、预测变量（predictor variable ）、回归量（regressor ）、协变量（covariate ）。 4．假定我们观测到上述这些变量的n 组值：()ip i i x x y ,,,1Λ (i=1，…，n)。称这n 组值为样本（sample ）或数据（data ）。

§2.2 经典线性回归模型的假定

假定2.1（线性性(linearity)）

i ip p i i x x y εβββ++++=Λ110 (i=1，…，n)。 （2.1）

称程（2.1）为因变量y 对自变量x 1，…，x p 的线性回归程（linear regression

equation ），其中()p ，

k k ,,10Λ=β是待估的未知参数（unknown parameters ），()n i i ,,1Λ=ε是满足一定限制条件的无法观测的误差项（unobserved error term ）。称自

变量的函数ip p i x x βββ+++Λ110为回归函数（regression function ）或简称为回归（regression ）。称0β为回归的截距(ntercept)，称()p k k ,,1Λ=β为自变量的回归系数（regression coefficients ）。某个自变量的回归系数表示在其它条件保持不变的情况下，

这个自变量变化一个单位对因变量的影响程度，这个影响是在排除其它自变量的影响后，这个自变量对因变量的偏效应。

下面引入线性回归程的矩阵表示。记

()T p ββββ,,,10Λ=（未知系数向量（unknown coefficient vector ））

()T ip i i x x x ,,~1Λ=，()T ip i i x x x ,,,11Λ=，则

i T i i x y εβ+= (i=1，…，n)。

又记

X =⎪⎪⎪⎭⎫ ⎝

⎛np p n x x x x M ΛΛΛM M 111111， Y =⎪⎪⎪⎭⎫ ⎝⎛n y y M 1， ⎪

⎪⎪

⎭⎫

⎝⎛=n εεεM 1，则 εβ+=X Y

假定2.2（格外生性(strictly exogeneity)）

()()np n p i n i x x x x E x x E ,,,,,,|~,,~|11111ΛΛΛΛεε==0 (i=1，…，n)。

格外生性的含义

·误差项的无条件期望为零

()0=i E ε (i=1，…，n)。

·正交条件（orthogonality conditions ）

()()()0~1=⎪

⎪⎪⎭⎫

⎝

⎛=i jp i j i j x E x E x E εεεM (i=1，…，n ; j=1，…，n )。

·不相关条件（zero-correlation conditions ）

()0,cov =jk i x ε (对所有i ，j ，k)。

由以上格外生性的含义可知，如果在时间序列数据中存在的滞后效应（lagged effect ）和反馈效应（feetback effect ），那么格外生性条件就不成立。因而，在格

外生性假定下推出的性质就不能用于这类时间序列数据。滞后效应是指自变量历史值对因变量当前值的影响，反馈效应是指因变量当前值对自变量未来值的影响。 假定2.3（无多重共线性(no multicollinearity)） n ×(p+1)矩阵X 的秩为(p+1)的概率为1。 假定2.4（球面误差差(spherical error variance)）

()n n I x x Var 21~,,~|σε=Λ

·条件同差（conditional homoskedasticity ）

()

0~,,~|212>=σεn i x x E Λ (i=1，…，n)。 （误差差）

·误差项不相关(no correlation between error term )

()0~,,~|1=n j i x x E Λεε (对所有i ≠j)

在经典线性回归模型的四个假定中，假定2.1和假定2.3是必不可少的，但假定2.2和假定2.4中的格外生性、条件同差和误差项不相关以后可以适当放宽。

§2.3 随机样本的经典线性回归模型

若样本()T i i x y ~

,(i=1，…，n)为IID ，那么假定2.2和假定2.4可简化为 假定2.2: ()0~

|=i i x E ε (i=1，…，n) 假定2.4：()0~

|22>=σεi i x E (i=1，…，n) §2.4 确定性自变量的经典线性回归模型

若更进一步假定自变量x 1，…，x p 为确定性的变量，那么假定2.2和假定2.4可进一步简化为

假定2.2：()0=i E ε (i=1，…，n) 假定2.4：()n I Var 2σε=

§2.5 最小二乘估计量及其代数性质

虽然我们无法直接观测到误差项，但对未知系数向量β的一个假想值（hypothetical value ）β~

，容易计算出 ip p i i x x y βββ~

~~110----Λ

称这个量为第i 次观测的残差（residual ），并且称使残差平和（residual sum of squares ）

()

(

)∑=----=n

i ip p i i x x y Q 1

2

110~

~~~

ββββΛ=()()

ββ~~X Y X Y T --

达到最小的假想值：

为未知系数向量β的普通最小二乘估计量（ordinary least squares estimators ），简记为OLS 估计量。下面介绍OLS 估计量的一些代数性质。 ·一阶条件（first-order conditions ）

()0=-Xb Y X T （正规程（normal equations ）） ·β的OLS 估计量：在假定2.3成立时 ()

⎪⎭

⎫ ⎝⎛⎪⎭⎫ ⎝⎛==∑∑=-=-n

i i i n i T i i T T y x n x x n Y X X X b 11

11

11 ·估计量的抽样误差（sampling error ）：()εβT T X X X b 1

-=-

·第i 次观测的拟合值（fitted value ）：b x y

T i i =ˆ ·拟合值向量（vector of fitted value ）：()HY Y X X X X Xb Y

T T ≡==-1

ˆ ·投影矩阵（projection matrix ）：()T T X X X X H ≡ （对称幂等，秩为p+1，HX=X ）

·第i 次观测的OLS 残差（OLS residual ）：i i T i i i y

y b x y e ˆ-=-= ·残差向量（vector of OLS residuals ）：e=Y-Xb=Y

Y ˆ-=(I-H)Y ≡MY εM = ()

ββ

~

min arg ~Q b =