计量经济学第三章

类似的：E( βˆ )=E[β +(XTX)-1XTU] = β
(这里利用了假设: E(XTU)=0)
山东经济学院统计与数学学院计量经济教研室
三、最优性
考察一下参数估计量 βˆ 的协方差矩阵：
Cov( βˆ) E[(βˆ E( βˆ))(βˆ E( βˆ))T ]
E[(βˆ )(βˆ )T ]
方程：
yˆi ˆ0 ˆ1x1i ˆ2x2i ˆk xki
yˆ i
其中， 是y的系统分量，即由自变量决定的理论值， ˆ0,ˆ1,ˆ2,,ˆk
分别是0 ,1 ,…,k的无偏估计量。
样本回归方程的矩阵形式为： Yˆ Xβˆ
(3.5)
其中：
Yˆ [ yˆ1 yˆ2 yˆn ]T
山东经济学院统计与数学学院计量经济教研室
山东经济学院统计与数学学院计量经济教研室
第三节 最小二乘估计量的统计特性
在满足基本假设的情况下，其结构参数 βˆ 仍具有 BLUE特性(Gauss-Markov定理)：
线性、无偏性、最优性等统计特性。
一、线性 由(3.3),(3.8)式知：
Y X U
βˆ =(XTX)-1XTY
βˆ =(XTX)-1XTY= (XTX)-1XTX+ (XTX)-1XTU
βˆ =(XTX)-1XTY
xk1
xk
2
xkn
ˆ0 ˆ1
ˆk
(3.8)
山东经济学院统计与数学学院计量经济教研室
上述问题也可以用以下矩阵方法来推导：
MinQ (Y Xβˆ )T (Y Xβˆ )
Y TY βˆ T X TY Y T Xβˆ βˆ T X T Xβˆ
因为 βˆT X TY ,Y T Xβˆ都是标量，所以二者相等，故：
山东经济学院统计与数学学院计量经济教研室
正规方程组(3.6)的矩阵形式
1 1
x11
x12
xk1
xk 2
即:
1 y1 1 1
x1n
y2
=
x11
x12
xk
n
yn
xk1
xk 2
X TY X T Xβˆ
1 1 x11
x1n
1
x12
xkn
1
x1n
由于Rank(X)=k+1,故XTX满秩，故有 ：
山东经济学院统计与数学学院计量经济教研室
总体回归模型n个随机方程的为：
y1 0 1x11 2 x21 k xk1 u1 y2 01x12 2x22 kxk2 u2 yn 0 1x1n 2 x2n k xkn un
将其写为矩阵形式为： Y X U
(3.3)
其中：
y1
1 x11 x21 xk1
E( yi | x1i , x2i ,, xki ) 0 1x1i 2 x2i k xki
方程表示：各变量x值固定时y的平均响应。
j也被称为偏回归系数，表示在其他解释变量
保持不变的情况下，xj每变化1个单位时，y的均 值E(y)的变化;
或者说j给出了xj的单位变化对y均值的“直
接”或“净”（不含其他变量）影响。
第三章 多元线性回归模型
▪ 多元线性回归模型及其古典假设 ▪ 参数估计 ▪ 最小二乘估计量的统计特性 ▪ 统计显著性检验 ▪ 解释变量的选择 ▪ 中心化和标准化回归方程 ▪ 利用多元线性回归方程进行预测
山东经济学院统计与数学学院计量经济教研室
第一节 多元线性回归模型 及其古典假设
一、多元线性回归模型的一般形式 二、多元线性回归模型的基本假定
山东经济学院统计与数学学院计量经济教研室
样本回归模型的矩阵表达: Y Xβˆ e 其中：
y1
1 x11 x21 xk1
Y
y2
,
X
1
x12
x22
xk1
,
βˆ
ˆ0 ˆ1
e1
,
e
e2
yn
n1
1 x1n
x2n
xkn
n( k
1)
ˆk
(k
1)1
en
n1
对样本回归模型的系统分量的系数进行估计可得样本回归
)
Cov(ˆ0, ˆ1) Var(ˆ1)
Cov(ˆ0 Cov(ˆ1
, ,
ˆk ˆk
) )
Cov(ˆk , ˆ0 ) Cov(ˆk , ˆ1)
Var(ˆk )
所以，矩阵主对角线上的元素是 βˆ j 的方差，其他 元素为 βˆi 和 βˆ j 的协方差。于是 βˆ j 的方差记作：
Var(ˆ j
i 1
ˆ2 x2i
ˆk xki ) 0 ˆk xki )x1i 0
ˆk xki )xk i 0
山东经济学院统计与数学学院计量经济教研室
整理得到关于待估参数估计值的正规方程组：
n
yi
n
n
n
nˆ0 ˆ1 x1i ˆ2 x2i ˆk xki
i1
i 1
i 1
i 1
山东经济学院统计与数学学院计量经济教研室
如: 考虑劳动力预期受教育年数问题。
edu为劳动力受教育年数，sibs为该劳动力家庭中 兄弟姐妹的个数，medu与fedu分别为母亲与父亲受到 教育的年数。
edu 10.36 0.094sibs 0.131medu 0.210 fedu
如果将n组实际观测数据（yi , x1i , x2i , … ,xki ), i=1, 2 , … , n代入
rank(X)=k+1< n
山东经济学院统计与数学学院计量经济教研室
第二节 参 数 估 计
一、样本回归模型与样本回归方程 二、参数的最小二乘估计（OLS） 三、参数的极大似然估计（ML）
山东经济学院统计与数学学院计量经济教研室
一、样本回归模型与样本回归方程
对于若干个观测（样本）点（x1, x2, …, xk; y ）自变
所以: AX=I.
Var( *) E[(AX Au AX )(AX Au AX )T ]
E(
AuuT
AT
)
2 u
AAT
因为任意矩阵与其自身的转置矩阵的乘积 一定是半正定矩阵，所以有：
山东经济学院统计与数学学院计量经济教研室
[ A ( X T X )1 X T ][A ( X T X )1 X T ]T
Var-Cov(U)=E(UUT)
u1
E
u2
[u1
u2
un ]
E
uu21u2 1
u1u2 u22
u1un u2un
un
unu1
unu2
un2
E(u12 )
E (u2u1 )
E(u1u2 ) E(u22 )
E(u1un E(u2un
) )
E(unu1)
E(unu2 )
E(un2 )
山东经济学院统计与数学学院计量经济教研室
Var(u1) Cov(u1,u2 ) Cov(u1,un )
Cov(u2
,
u1
)
Var(u2 )
Cov(u2,un )
Cov(un ,u1) Cov(un ,u2 )
Var(un )
1 0 0
2 u
0
1
0
0 0 1
[ A ( X T X )1 X T ][AT X ( X T X )1]
AAT ( X T X )1 X T AT AX ( X T X )1 ( X T X )1 X T X ( X T X )1
AAT ( X T X )1 0
而：
AX=I
Var( *) Var(ˆ)
2 u
AAT
量x1, x2, …, xk和y之间存在线性相关关系，则：
yi ˆ0 ˆ1x1i ˆ2x2i ˆk xki ei
(3.4)
(3.4)式称为样本回归模型，它由两部分组成。
其中 ˆ0 ˆ1x1i ˆ2x2i ˆk xki 称为系统分量， 是可以被自变量解释的部分；
ei是不能被自变量解释的部分称为残差或剩余项 (residuals)，可看成是总体回归模型中随机扰动项 ui的近似替代。
二、参数的最小二乘估计
根据最小二乘原理： Q ei2 (yi yˆi )2 Min
参数估计值应该是下列方程组的解
n
Q ˆ0
2 ( yi
i 1
ˆ0 ˆ1x1i
ˆ2 x2i
Q ˆ1
n
2
i 1
( yi
ˆ0
ˆ1x1i
ˆ2 x2i
Q
ˆk
n
2 ( yi ˆ0 ˆ1x1i
Y
y2
,
X
1
x12
x22
xk1
0
,
1
u1
,U
u2
yn
n1
1 x1n
x2n
xkn
n(
k
1)
k
(
k
1)1
un
n1
山东经济学院统计与数学学院计量经济教研室
二、多元线性回归模型的基本假定
假设1，随机误差项ui的条件期望值为零
E(ui | x1i , x2i ,, xki ) 0 (i 1,2,, n)
y 0 1x1 2 x2 k xk u (3.1)
可以得到下列形式：
yi 0 1x1i 2 x2i k xki ui i=1,2,…,n
山东经济学院统计与数学学院计量经济教研室
yi 0 1x1i 2 x2i k xki ui
也被称为总体回归模型的随机表达形式。它 的 非随机表达式为:
2 u
(
X
T
X )1
u2[ AAT ( X T X )1] 0
所以：Var(
* j
)
Var(ˆ
j
)
山东经济学院统计与数学学院计量经济教研室
四、随机误差项u的方差的无偏估计
2 u
I
山东经济学院统计与数学学院计量经济教研室
假设4 自变量 xl 与随机误差项 ui 独立
Cov(ui , xl)=0 (i=1,2,…,n; l=1,2,…,k)
假设5 随机误差项 ui 服从正态分布
ui
~
N
(0,
2 u
)
假设6 解释变量之间不存在显著的线性相关关 系，也即自变量之间不存在多重共线性，也就是 矩阵X的秩等于参数个数：
假设2，随机误差项ui的条件方差相等
Var(ui
)
E(ui2
)
2
u
(i 1,2,,n)
假设3，随机误差项ui之间无序列相关
Cov(ui ,u j ) E(ui u j ) 0 (i , j=1,2, … ,n ; i≠j)
山东经济学院统计与数学学院计量经济教研室
假设2，假设3，又称Gauss-Markov假设，将起合并 记为：
MinQ Y TY 2 βˆ T X TY βˆ T X T Xβˆ
化简得：
Q
ˆ
2 X
TY
2X
T
Xβˆ
0
X TY X T Xβˆ
(3.7)
由于Rank(X)=k+1,故XTX满秩，故有 ：
βˆ =(XTX)-1XTY
山东经济学院统计与数学学院源自文库量经济教研室
(3.8)
例3-1 搜集某地区有关数据如下，建立消费关 于收入和人口的二元回归方程。转数据。
)
2 u
(
X
T
X
)jj1
u2C jj
j=0,1,2,…,k (3.12)
其中，Cjj是(XTX)-1主对角线上的元素。
山东经济学院统计与数学学院计量经济教研室
设β*=AY也是β的一个线性无偏估计量，则：
E( *) E( AY ) E[ A( X u)]
E(AX Au) AX 由于β*是无偏估计量，则E(β*)= β，
山东经济学院统计与数学学院计量经济教研室
一、多元线性回归模型的一般形式
如果被解释变量（因变量）y与k个解释变量（ 自变量）x1, x2, … , xk 之间有线性相关关系，那么 他们之间的多元线性总体回归模型可以表示为：
y 0 1x1 2 x2 k xk u
(3.1)
其中，β0, β1, β2, …, βk是k+1个未知参数，即回归 系数，u是随机误差项。 习惯上：把常数项看成为一虚变量的系数，该虚 变量的样本观测值始终取1，这样模型中解释变 量的数目也为k+1 。
E[(X T X )1 X TUU T X ( X T X )1] ( X T X )1 X T E(UU T ) X ( X T X )1
(
X
T
X
)1
X
T
2
u
IX
(
X
T
X
)1
2
u
I
(
X
T
X
)1
2
u
(
X
T
X
)
1
山东经济学院统计与数学学院计量经济教研室
又：
V
ar
Cov(
βˆ
)
Var(ˆ0 ) Cov(ˆ1, ˆ0
n i 1
x1i yi
ˆ0
n i 1
x1i
n
ˆ1
i 1
x1i 2
ˆ2
n i 1
x1i x2i
n
ˆk x1i xki i 1
n i 1
xki yi
ˆ0
n i 1
xk i
ˆ1
n i 1
x1i xki
ˆ2
n i 1
x2i xk i
n
ˆk xki2 i 1
(3.6)
利用克莱姆法则，解该k+1个方程组成的线性方 程组，即可解得 ˆ0, ˆ1, ˆ2,, ˆk 。
= +(XTX)-1XTU
(3.9)
这说明，最小二乘估计量不仅是Ｙ的线性组合， 也是Ｕ的线山东性经济组学合院统。计与数学学院计量经济教研室
二、无偏性
对(3.8)两边期望得： E(βˆ )=E[(XTX)-1XTY] =(XTX)-1XTE(Y) =(XTX)-1XTE(Xβ +U) =(XTX)-1(XTX)E(β) + (XTX)-1XTE(U) =β