第三章多元线性回归模型(计量经济学-北京大学,岳昌君)

8
二、古典假定 2（续）
例子 : Y 1 2 X 2 3 X 3 u
而X 3 c1 c2 X 2
则Y (1 c13 ) (2 c23 ) X 2 u
1 2 X 2
21
c13 c2 3
1 2
求1，2，3有无穷多解
实际问题中：可能存在多重共线性，X为病态矩阵
2.1 2
(1) var(ˆ) 2 ( X X )1
证明：var(ˆ) E[(ˆ E(ˆ))(ˆ E(ˆ))]
E{( X X )1 X u[( X X )1 X u]}
( X X )1 X E(uu) X ( X X )1
2 ( X X )1
var(ˆi
)
2
(
X
X
) 1 ii
,
cov(ˆi
,
nk nk
nk
53
se(ˆ1) ˆ
(
X
X
)1 11
1.75
26.7 6.8356
se(ˆ2 ) ˆ
(
X
X
)
1 22
1.75
1 2.0917
se(ˆ3) ˆ
(
X
X
)1 33
1.75
2.5 1.5811
37
§4 拟合优度校验
38
一、平方和公式
1、公式：检验样本回归平面Yˆ Xˆ
对观测点的拟合程度 yy yˆyˆ uˆuˆ 其中y Y iY，yˆ Yˆ iYˆ i为元素为1的n维列向量
)
2
(
X
X
)1 ii
其估计值是ˆ
2
(
X
X
)1 ii
33
举例
企业管理费取决于两种重点产品的产量，线性 回归模型是：Y=1 +2X2 + 3X3 +u
样本数据为：
年 管理费用 A产品产量
1
3
3
2
1
1
3
8
5
4
3
2
5
5
4
B产品产量 5 4 6 4 6
34
举例
解：
3
1 3 5
1
1
Y
8 ；X
1
3
1
1 5 2
2、残差形式：X uˆ 0
证明1：因为X Xˆ X Y 所以X Y X Xˆ 0 X (Y Xˆ) 0 X uˆ 0 证明2：因为Y Xˆ uˆ 所以X Y X Xˆ X uˆ X uˆ X Y X Xˆ 0
18
三、OLS的正规方程的几何意义
3、几何意义
X1
X
k
uˆ
1、样本回归模型：Y Xˆ uˆ （比较总体模型：Y X u） 2、样本回归超平面：Yˆ Xˆ
3、残差向量：uˆ Y Yˆ
例如：Yˆ ˆ1 ˆ2 X 样本回归直线 Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3 样本回归平面 Yˆ ˆ1 ˆ2 X 2 ˆ3 X 3 ˆ4 X 4 样本回归超平面
28
一、残差的性质
容易验证： M M；M 2 M ; MX 0; Muˆ uˆ uˆ Y Yˆ 1、残差的期望为0 E(uˆ) E(Mu) ME(u) 0 2、残差的方差 协方差矩阵为 E(uˆuˆ) E(Mu(Mu)) E(MuuM )
ME(uu)M MM 2 M 2
31
四、ˆ 2是σ2的无偏估计
证明：E(uˆuˆ) E[tr(uˆuˆ)]
E[tr(uˆuˆ)]
(用到tr(AB) tr(BA))
tr[E(uˆuˆ)] tr[M 2 ]
tr[Inn X ( X X )1 X ] 2
tr(Inn ) tr[ X ( X X )1 X ] 2
由 uˆuˆ
ˆ
2(Y X
)
2X
Xˆ
0
2X Y 2X Xˆ 0
16
§2 OLS的估计— 的OLSE
二阶导数：
由 2uˆuˆ
ˆ 2
2X
X
由于X X是实对称阵，r（X） k
所以X X为正定阵
因此，ˆ为极小值点。
17
三、OLS的正规方程的表达式
1、求解形式：
X Xˆ X Y ˆ ( X X )1 X Y
39
一、平方和公式
yy yˆyˆ uˆuˆ 证明：Yi Yˆi uˆi；Y Yˆ Yi Y Yˆi Yˆ uˆi yi yˆi uˆi y yˆ uˆ yy ( yˆ uˆ)( yˆ uˆ) yˆyˆ uˆuˆ 2 yˆuˆ 而yˆuˆ (Yˆ iY )uˆ Yˆuˆ Yiuˆ 0 注释：由正交性Yˆuˆ 0； 由残差性质知道iuˆ 0。
X 2和X 3近似相关的情况： 1.9
2.1
2.05 1.95
9
二、古典假定 3
A3 : un1是随机向量 ui为随机变量
注：不是说u取值为u1，，un
而是说ui (i 1,2,, n)随机，取值为
u (1) i
,
ui(
2)
,
10
二、古典假定 4
A4 : 零期望 E(un1) 0 E(ui ) 0(i 1,2,, n)
ˆ是随机变量，与样本有关
性质1：线性性
（1）ˆi是Y1 Yn的线性函数 ˆ [( X X )1 X ]Y，而X是固定的 ˆi是Y1 Yn的线性函数 (2)ˆi是u1 un的线性函数 ˆ [( X X )1 X ]Y [( X X )1 X ]( X u) ˆi是u1 un的线性函数
23
0
X 1
uˆ
0
X1uˆ
0
X k
X kuˆ
1
特别地，由X1uˆ以及X1
得
1n1
uˆ
1 n
n i 1
uˆi
0
19
四、样本回归超平面的特性1
Y Xˆ
性质1：样本回归超平面过均值点。即，Y Xˆ
其中Y
1 n
n
Yi , X
i 1
(X1, X 2, X k )
X
j
1 n
n i 1
26
§3 σ2的估计
27
一、残差的性质
一、残差的性质：
uˆ
uˆ1
Y1
Yˆ1
Y
Yˆ
Y
Xˆ
uˆn Yn Yˆn
Y X ( X X )1 X Y
令M I X ( X X )1 X 则uˆ MY
或uˆ M ( X u) MX Mu
(I X ( X X )1 X ) X Mu Mu
Y 1X1 2 X 2 K X K u
其中：Y是被解释变量； X1， X K是解释变量； X1 1是截距项 X 2， X K是K个解释变量（国内称K 1元）
3
总体形式的说明
Y 1X1 2 X 2 K X K u
其中：
1, 2，，K 存在未知；
1是截距项系数； 2， K 是斜率项系数；
Y对变量：Y X i
i ,与X1，X 2，，X K无关；
Y对参数：Y
i
X i ,与1, 2，，K无关；
u是随机扰动项
4
2、样本形式
样本形式：
Yi 1 2 X i2 K X iK ui (i 1,2,, n)
即
Y1 1 2 X12 K X1K u1 Y2 1 2 X 22 K X 2K u2
29
二、残差平方和的矩阵表示
uˆi2 uˆuˆ (MY )(MY ) Y M MY Y MY
Y Y Y Xˆ
uˆi2 uˆuˆ (Mu)(Mu) uM Mu uMu
30
三、σ2的估计量 2的估计量ˆ 2：
ˆ 2 uˆuˆ
nk 其中n是样本容量，k是参数个数， 分子uˆuˆ是可计算的
14
§2 OLS的估计— 的OLSE
问题：估计K1和 2
二、OLS估计
1、问题的提出：Yi ˆ1 ˆ2 X i2 ˆk X ik uˆi
或Yˆi ˆ1 ˆ2 X i2 ˆk X ik
考虑uˆ1，uˆ2，, uˆn
(1)uˆ1小 | uˆ1 | 小（; 2）| uˆ1 |，,| uˆn | 小
X nK为非随机样本矩阵
X
为固定变量
i
含义 :
cov(X i , u) 0
7
二、古典假定 2
A2 : r( X nk ) k X1,, X k线性无关 无多重共线性
其中X i
X 1i
,
变量的样本向量线性无关。
X ni
含义：r( X X ) k 的估计值唯一；
问题：若r( X X ) k 的估计值不唯一；
n tr[( X X )1 X X ] 2
(用到tr(AB) tr(BA))
n tr(Ikk ) 2 (n k) 2
E(ˆ 2 ) E(uˆuˆ) 2
nk
32
五、var(ˆ ) 的估计值
var(ˆ) 2 ( X X )1 其估计值是ˆ 2 ( X X )1
var(ˆi
40
一、平方和公式
2、说明 yy表示总平方和(TSS )： 总变差yi Yi Y（观测点对超平面的偏差） yˆ yˆ表示回归平方和( ESS )： yˆi Yˆi Y uˆuˆ表示残差平方和( RSS )： 未解释的变差
ˆ
j
)
2
(
X
X
) 1 ij
(2)最小方差性
i 1,, k i, j 1,, k
在的所有线性无偏估计量中，OLS估计量的方差最小
25
五、 的OLS估计量的统计特征4
性质4：正态性
ˆ ~ N ( , 2 ( X X )1)
证明：
ˆ ( X X )1 X u 即，ˆ是u的线性函数 而u ~ N (0, 2 ) ˆ ~ N ( , 2 ( X X )1)
8 1.5 2.5 109 1.5
所以回归模型为
Y 4 2.5X 2 1.5X 3 uˆ
随机扰动项的方差 2的估计如下：
Y Y 108
36
举例
ˆX Y 4
2.5
1.5
20 76
106.5
109
ˆ 2 uˆuˆ Y Y Y Xˆ Y Y ˆX Y 108 106.5 1.75
n
2
n
2
uˆ 2 uˆi Yi Yˆi
i 1
i 1
n
2
Yi ˆ1 ˆ2 X i2 ˆk X ik uˆuˆ
i 1
15
§2 OLS的估计— 的OLSE
2、原理：已知X和Y，求ˆk1 min uˆ 2 min uˆuˆ min(Y Xˆ)(Y Xˆ)
min(Y Y 2Y Xˆ ˆX Xˆ)
Yn 1 2 X n2 K X nK un
5
样本形式的矩阵表示
样本形式的矩阵表示：
Y1 1
Y2
1
X 12
X 22
X1K 1 u1
X 2K
2
u2
Yn 1 X n2 X nK K un
或
Yn1 X nK K1 un1
6
二、古典假定 1
ห้องสมุดไป่ตู้
A1:
11
二、古典假定 5
A5 :同方差，不相关
var(un1 )
2I
cvoavr((uuii
) ,uj
2
)
(i 1,2,, n) 0(i j,无自相关)
var(ui ) 2说明u1, u2 ,, un同方差
var(Yi ) 2说明Y1,Y2 ,,Yn同方差
含义：解释变量取值不同，
但是被解释变量的方差相同。
第三章:多元回归分析
1
本章主要内容
§ 1 K变量线性回归模型 § 2 参数的估计 § 3 随机扰动项的方差的估计 § 4 拟合优度检验 § 5 单参数t显著性检验 § 6 一般线性F假设检验 § 7 置信区间 § 8 预测
（小结）
2
§ 1 K变量线性回归模型
一、K变量线性回归模型的数学形式 1、总体形式
五、 的OLS估计量的统计特征2
性质2：无偏性
E(ˆ)
证明：
ˆ [( X X )1 X ]Y [( X X )1 X ]( X u) [( X X )1 X ]u E(ˆ) [( X X )1 X ]E(u)
24
五、 的OLS估计量的统计特征3
性质3：最小方差性
进行 1 n 计算得，
n i1
Yˆ ˆ1 ˆ2 X 2 ˆk X k Xˆ Y
21
四、样本回归超平面的特性3
性质3：Yˆuˆ 0
证明：Yˆ Xˆ Yˆuˆ ( Xˆ)uˆ X ˆuˆ 0
几何意义：向量Yˆ与向量uˆ正交 Y Yˆ uˆ
Y Yˆ uˆ uˆ
Yˆ
22
五、 的OLS估计量的统计特征1
例如：收入不同的家庭，其消费波动程度相同
12
二、古典假定 6
A6 : un1 ~ N (0, 2I )
说明： (1)古典假定下 — OLS成立 (2)实际操作，不验证假设，直接用OLS估计 (3)回归结果由检验来看假定是否成立
13
§2 OLS的估计— 的OLSE
问题：估计K1和 2
一、样本回归模型（SRM）
X ij ,
j
1,2, k; X1
1
证明：Yi ˆ1 ˆ2 X i2 ˆk X ik uˆi
进行 1 n
n i1
计算得，Y
ˆ1 ˆ2 X 2 ˆk X k uˆ
uˆ 0，Y Xˆ
20
四、样本回归超平面的特性2
性质2：Yˆ Y
证明：Yˆi ˆ1 ˆ2 X i2 ˆk X ik
4
6；X X 4
5 15
25
15 55 81
25 81 129
5
1 4 6
20
26.7 4.5 8
X Y
76
；X X
1
4.5
1 1.5
109
8 1.5 2.5
35
举例
ˆ
( X X
)1
X Y
26.7 4.5
4.5 1
8 20 4 1.5 76 2.5