第三章多元线性回归模型计量经济学,南京审计学院.ppt

Cov(β0 ,β1)
...
Cov(β
0
,β
K
)
Var (β1 )
...
Cov(β1
,β
K
)
...
...
...
...
Cov(β
K
,β
0
)
Cov(β K ,β1)
Var(β K )
( X X )1 2
24
3． 2 的估计
与双ˆ 2变量线性et模2 型相似， 2的无偏估计量是
n (K 1)
...
Cov(β
K
,β
0
)
Cov(β K ,β1 )
...
Var(β K )
下面推导此矩阵的计算公式.
22
由上一段的结果，我们有 因此，
ββ ( X X )1 X u
E
β β
β β
E
X X 1 X u
X X 1 X u
E X X 1 X uuX X X 1
X X 1 X EuuX X X 1
第三章 多元线性回归模型
简单线性回归模型的推广
1
第一节 多元线性回归模型的概念
在许多实际问题中，我们所研究的因变量的变动 可能不仅与一个解释变量有关。因此，有必要考虑线 性模型的更一般形式，即多元线性回归模型：
Yt β0 β1X1t β2 X 2t ... βk X kt ut t=1,2,…,n
(Y X β)(Y X β)
(Y β X )(Y X β)
Y Y β X Y Y X ββ X X β
17
注意到上式中所有项都是标量，且
(ˆ
X
Y
)
Y
X
β
故
S Y Y 2β X Y β X X β
令
(S)
0
β
用矩阵微分法，我们可得到
X X β X Y
与采用标量式推导所得结果相同。由上述结果，我们有
Yˆ 116.7 0.112X 0.739P
R2 0.99
(9.6) (0.003) (0.114)
Y和X的计量单位为10亿美元 (按1972不变价格计算).
P
食品价格平减指数 总消费支出价格平减指数
100，（1972
100）
3
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10
（3） X 是 是一个非随机元素矩阵。 （4）Rank(X) = (K+1) < n. ------相当于前面 (5)、 (6) 两条
即矩阵X的秩 =（K+1)< n 当然，为了后面区间估计和假设检验的需要，还要加 上一条：
（5） ut ～ N(0, 2 ) ，t=1,2,…n
11
二．最小二乘估计
Var(
β
)，非主对角线元素是相应的协方差，如下所示：
21
β
0
β
0
E
β1
β 1
...
β
0
β
0
β K β K
β
1
β 1
...
βK
βK
Var(β0 )
Cov(β1 ,β
0
)
Cov(β 0 ,β1 )
...
Cov(β
0
,β
K
)
Var(β1 )
...
Cov(β1
,β
K
)
...
...
...
这里，β是可支配收入对消费额的总影响，显然β和
β2的 含义是不同的。
5
回到一般模型
Yt
β 0
β1 X1t
β2 X 2t
... βk X kt
ut
t=1,2,… ，n
即对于n组观测值，有
Y1
β0
β 1
X
11
β2
X
21
β3
X
31
... βK
X
K1
u1
Y2
β0
β 1
X12
β2 X 22
β3 X 32
X X 1 X 2 In X X X 1
X X 1 X X X X 1 2
X X 1 2
23
如前所述，我们得到的实际上不仅是β 的方差，而且是
一个方差-协方差矩阵，为了反映这一事实，我们用下面的 符号表示之：
Var
Cov(β)
(
X
X
) 1
2
展开就是：
Var(β0 )
Cov(β1
,β
0
)
β2的含义是，在流动资产不变的情况下，可支配收入变动 一个单位对消费额的影响。这是收入对消费额的直接影响。
收入变动对消费额的总影响=直接影响+间接影响。 （间接影响：收入影响流动资产拥有量影响消费额）
但在模型中这种间接影响应归因于流动资产，而不是收入
，在因下而面，的β模2型只中包：括收C入t 的直接D影t 响 u。t , t 1,2,..., n
14
n
X1t
...
X Kt
X1t X1t 2
...
X Kt X1t
...
X Kt
... X1t X Kt
...
...
...
X Kt 2
β 0
β1 =
1
X
11
1 X12
... 1 Y1
...
X
1n
Y2
... β K
... ... ... ... ...
即观测值的数目要大于待估计的参数的个数 （要有足够数量的数据来拟合回归线）。 （6）各解释变量之间不存在严格的线性关系。
9
上述假设条件可用矩阵表示为以下四个条件：
(1) E(u)=0
(2)
E(uu ) In
,
2
由于
u1
uu
u2 .u..n
u1
u2
...un
u12 u2u1
u1u2 u22
...... ......
0
1
2
,
...
K
u1
u
u2 ... un
7
第二节 多元线性回归模型的估计
多元线性回归模型的估计与双变量线性模型类似，仍采用
最小二乘法。当然，计算要复杂得多，通常要借助计算机。
理论推导需借助矩阵代数。下面给出最小二乘法应用于多元
线性回归模型的假设条件、估计结果及所得到的估计量的性
我们可用同样的方法定义决定系数：
R2
解释变差 总变差
1
e2 Y Y
2
或 R 2 ESS 1 RSS
TSS
TSS
为方便计算，我们也可以用矩阵形式表示R2
32
我们有：残差 残差平方和：
e1
e
e2
... en
Y
Y
，其中， Y Xβ
et 2 ee
(Y Y )(Y Y ) (Y X β)(Y X β)
Yt
ˆ0
βˆ 1
X
1t
... βˆ K X Kt
2
为最小，则应有：
S
S
S
ˆ0 0, ˆ1 0, ..., ˆ K 0
我们得到如下K+1个方程（即正规方程）：
13
β0 n
β1 X1t ...... β K X Kt Yt
β 0 X 1t β1 X 1t 2 ...... β K X 1t X Kt X 1tYt
c (X X )1 X D
从而将 的任意线性无偏估计量 * 与OLS估计量 ˆ 联系
起来。
28
cX I
由
可推出：
(X X )1 X X DX I
即 I DX I
因而有 D X 0
cc (X X )1 X D (X X )1 X D ( X X )1 X D X ( X X )1 D
( X X )1 X X ( X X )1 ( X X )1 X D D X ( X X )1 DD
由 DX 0从而X D 0 ，因此上式中间两项为0，我们有
cc ( X X )1 DD
29
因此
Var( *) 2 cc
2 ( X X )1 DD
2 ( X X )1 2 DD Var(ˆ) 2 DD Var ( ˆ )
亿美元（1个billion），食品消费支出增加1.12亿 元（0.112个 billion）。
收入不变的情况下，价格指数每上升一个点， 食品消费支出减少7.39亿元（0.739个billion）
4
例2：
Ct
β 1
β 2 Dt
β3Lt
ut
其中，Ct=消费，Dt=居民可支配收入 Lt=居民拥有的流动资产水平
我们的模型是：
Yt
β 0
β1 X1t
β2 X 2t
... βk X kt
ut
t=1,2,…n
问题是选择 ˆ0 , ˆ1,...., ˆk ，使得残差平方和最小。
残差为：
et Yt Yˆt
Yt ˆ0 βˆ 1 X 1t .... βˆ K X Kt
12
要使残差平方和
S et 2
... βK
XK2
u2
......
Yn
β0
β 1
X 1n
β2 X 2n
β3 X 3n
... βK
X Kn
un
6
其矩阵形式为： Y X u
其中 Y1
Y
Y2
... Yn
1
X
1
...
1
X11 X12 ... X1n
... ... ... ...
X K1
X
K
2
...
X
Kn
E( *) E(c X cu) c X cE(u) cX
显然，若要 *为无偏估计量，即 E( *)
，只有
c X I ， I 为（K+1）阶单位矩阵。
27
* 的方差为：
Var( *) Var(c X cu)
Var(cu) c Var(u) c
2 cc
我们可将 c 写成
u1un
u2un
.................................
unu1 unu2 ...... un2
显然， E(uu) 2In 仅当
E(ui uj)=0 , i≠j E(ut2) = σ2, t=1,2,…,n 这两个条件成立时才成立，因此， 此条件相当前面条件 (2), (3)两条，即各期扰动项互不相关，并具有常数方差。10
β ( X X )1 X Y 18
三. 最小二乘估计量 β的性质 我们的模型为 Y X u
估计式为
Βιβλιοθήκη Baidu
Yˆ
Xβ
1．β 的均值
β ( X X )1 X Y
(X X )1 X (Xβ u)
(X X )1 X Xβ (X X )1 X u
β ( X X )1 X u
19
E(β) β ( X X )1 X E(u)
质。
一．假设条件
（1）E(ut)=0, t=1,2,…,n （2）E(ui uj)=0, i≠j （3）E(ut2)=σ2, t=1,2,…,n （4）Xjt是非随机量， j=1,2, … k
t=1,2, … n
8
除上面4条外，在多个解释变量的情况下，还有 两个条件需要满足： （5）（K+1）< n;
β 0 X 2t β1 X 2t X 1t ...... β K X 2t X Kt X 2tYt
......
......
......
......
β 0 X kt β1
X kt X 1t ...... β K
X Kt 2
X ktYt
按矩阵形式，上述方程组可表示为：
在这个模型中，Y由X1,X2,X3, …XK所解释，有K+1 个未知参数β0、β1、β2、…βK 。
这里，“斜率”βj的含义是其它变量不变的情况 下，Xj改变一个单位对因变量所产生的影响。 2
例1：
Y
β0
β 1
X
β2P u
其中，Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数
用美国1959-1983年的数据，得到如下回归结果（括号中数 字为标准误差）：
X
K1
XK2
...
X
Kn
Yn
(X' X)
β
即 ( X ' X )β X 'Y
X'
Y
15
上述结果，亦可从矩阵表示的模型
Y X u
出发，
完全用矩阵代数推导出来。
残差可用矩阵表示为：
e1
e
e2 ... en
Y
Y
其中： Y Xβ
16
残差平方和
S et2 ee
(Y Y )(Y Y )
β0 ,β1,...β k
这是因为我们在估计
的过程中，失去了
（K+1）个自由度。
4． 高斯-马尔科夫定理
Y Xβ u
对于
以及标准假设条件（1）-（4），
普通最小二乘估计量是最佳线性无偏估计量（BLUE）
25
我们已在上一段中证明了无偏性，下面证明线性和最小方
差用矩性阵。和证向明量的的路形子式与ˆ 。双变量模型中类似，只不过这里我们采
（由假设3）
β
(由假设1)
即
E
β
β
0 1
...
β K
E (β
0
)
E(β1 )
......
E (β
K
)
β β
0 1
β..K.
这表明，OLS估计量β 是无偏估计量。
20
2．β 的方差
为求Var( β)，我们考虑
E
β
β
β
β
这是一个（K+1）*(K+1)矩阵，其主对角线上元素即构成
由OLS估β计量(
X
的公式
X )1
X
Y
ˆ
Y
可知, 可表ˆ示为k一Y个矩阵和应变量观测值向量 的乘积：
k ( X X )1 X
其中
ˆ
是一个 (K+1)*n 非随机元素矩阵。
因而显然有 是线性估计量。
26
现设 为* 的任意一个线性无偏估计量，即 * cY
其中c 是一个(K+1)*n非随机元素矩阵。则 * cY c( X u) c X cu
最估后 计的量不ˆ 等是号 成的立所是有因线为性D无D偏为估半计正量定中矩方阵差。最这小就的证。明至了此O，LS
我们证明了高斯-马尔科夫定理。
30
第三节 拟合优度
一．决定系数R2
对于双变量线性模型
Y=α+βX + u
我们有
R2
1
e2 Y Y
2
其中，
e2
=残差平方和
31
对于多元线性模型
Y 0 1 X1 ... K X K u