第一部分2经典线性回归模型

第二章 经典线性回归模型

一、线性回归模型的概念

1、一元线性回归模型 （1）总体回归模型

总体回归模型：12i i i Y X u ββ=++，(|)0E u X = 总体回归方程：12(|)E Y X X ββ=+

说明：确定性部分——Y 对于给定X 的期望值

随机部分——代表了排除在模型以外的所有因素对Y 的影响。它是期望为0的，具有一定分布的随机变量。

研究的目标：

①确定总体回归方程的参数

②随机扰动项的分布（想想看，为什么？）2|(0,)X N μσ

（2）样本回归模型

问题：我们往往无法获得全体数据，无法准确的分析出总体回归参数。能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？

画一条直线以尽好地拟合该散点图，由于样本取自总体，可以用该直线近似地代表总体回归线。该直线称为样本回归线。

样本回归模型：12ˆˆ i i i Y X e ββ=++ 样本回归方程：12ˆˆˆi i Y X ββ=+

（3）样本回归线与总体回归线的关系

2、多元线性回归模型

在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。

122ββ...βu i i k ki i Y X X =++++

斜率 “β”的含义是其它变量不变的情况下，X j 改变一个单位对因变量所产生的影响

即对于n 组观测值，有

11221331112122233222

12233βββ...ββββ...β......

βββ...βK K K K n n n K Kn n

Y X X X u Y X X X u Y X X X u =+++++=+++++=+++++

定义：

12*1...n n Y Y Y Y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 21

12222*1...1...............1...K K n Kn n k X X X X X X X ⎡⎤⎢⎥⎢

⎥=⎢⎥⎢⎥⎣⎦ 1122

*1*1

,......n n K k u u u u ββββ⎛⎫

⎛⎫ ⎪

⎪ ⎪ ⎪ ⎪== ⎪ ⎪

⎪ ⎪⎝⎭ ⎪⎝⎭

多元线性回归模型的矩阵形式为（总体）：Y =X β+μ，(|)E Y =X β

（样本）ˆY =X β

+e ，ˆˆY =X β

二、经典线性回归模型的统计假设 引言：为什么要做基本假定

①为了保证参数估计得以进行（或者有意义） ②为保证参数估计量具有良好的性质。

③对于随机扰动的分布作出假定，才可能确定所估计参数的分布性质，也才可能进行假设检验

（1）线性假定。总体模型为

122ββ...βu i i k ki i Y X X =++++

（2）严格外生性

即E(u t |X )=0, t=1,2,…,n； 含义：u t 与所有解释变量都不相关

注；如果E(u t |X)=c ，c 为某常熟，但不一定为0.当回归方程中有常数项时，可以将这个非零的期望c 并入常数项。

命题1：()0i E u =,扰动项的无条件期望为0

命题2，随机变量与扰动项正交。

(,)()()

()() 0jk i jk jk i i jk i jk i jk i jk i jk i Cov x u E x Ex u Eu Ex u Ex Eu E Ex u E Ex Eu Ex u =--=--+==

（3）球形假定 无自相关假设

cov( u i , u j |X i ,X j ) = 0,即E(u i u j |X i ,X j )=0, i≠j

含义：表明产生干扰的因素是完全随机的。此次干扰和彼此干扰互不相关，相互独立

同方差假设

2var(|),1,

,i i u X i N σ==，即：22(|)i i E u X σ＝

含义：①所需估计的方差数简化为一个。

②可以推出，因变量可能取值的分散程度也是相同的。 ③每个观测的可信程度是一样的。

（2）（3）可以合并为：

2

0 ov(,|Xi,Xj)(|Xi,Xj) i j i j i j c u u E u u i j

σ≠⎧==⎨=⎩

假设（2），（3）说明随机项u 的方差－协方差矩阵为对角矩阵：

()112

2121122212212

2

122121221221var(|)|| ()

()()() ()n n

n n n n n n n n n n E I u u u u u u u u u u u u E E u u u E u u u u u u Eu E u u E u u E u u Eu E u u E u u E σ⨯⎡⎤==⎣⎦

⎡⎤⎡⎤

⎛⎫

⎢⎥⎢⎥ ⎪

⎢⎥

⎢⎥ ⎪⎡⎤==⎣⎦⎢⎥⎢⎥

⎪⎢⎥⎢⎥ ⎪⎢⎥⎢⎥⎝⎭⎣⎦⎣⎦

=''Ωu X uu X uu X ＝因为：22

222

2000000()n n n n I u u Eu σσ

σσ⨯⎡⎤⎡⎤

⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢

⎥⎢⎥⎢⎥⎣⎦

⎣

⎦

（4）各解释变量之间不存在严格的线性关系（即不存在“严格的多重共线性”） 即X 是满秩的。此时矩阵X ’X 也是满秩的，()rank K =,X X

所以行列式 '0X X ≠，保证了'1()X X - 可逆。是OLS 估计可以进行的前提。 含义：

①从直观含义来看。模型中的变量对于解释Y 提供了新的信息，不能由其他信息完全替代

②从参数的含义来看。保持其他信息不变时，如果存在严格多重共线，则无法做到