第9章线性回归模型的矩阵方法

1
X 2n X3n L
X k1 Xk2 LL X kn
ˆ1 ˆ2
M
ˆk
uˆ1
uˆ2
M
uˆn
y=
X
βˆ + uˆ
n 1
nk
k 1 n1
k变量的OLS估计量也是从残差平方和
uˆ
Fra Baidu bibliotek
2最小化求得：
i
uˆ
2 i
Yi ˆ1 ˆ2 X 2i L ˆk X ki 2
就是使uˆ uˆ 最小化，因为：
E
u12
E u1u2 L
E
u1un
E
uu
E
u2u1
E
u22
L
E
u2un
L L L L L L L L L L L
E
unu1
E unu2 L
E
un2
根据同方差性和无序列相关假定，有：
E uu
2 0 0L 0 1 0 0L 0
0
2
0L
0
2
0
1
0L
0
2I
L L L L L L L L L L L
方程（9.1.2）可以写为下列矩阵形式：
Y1 1 X 21
Y2
=
1
X 22
M M M
Yn
1
X 2n
X 31 L X 32 L MO X3n L
y=
X
X k1 β1 u1
X
k
2
β2
+
u2
M M M
X
kn
βk
un
β+u
n 1
nk
简写为：
k 1 n1
y = Xβ + u
令这些偏导数为零，整理得k个正规方程：
nˆ1 ˆ2 X 2i ˆ3 X3i L ˆk X ki Yi
ˆ1
X 2i ˆ2
X
2 2i
ˆ3
X 2i X 3i L ˆk
X 2i X ki
X 2iYi
ˆ1
X 3i ˆ2
X 3i X 2i ˆ3
X
2 3i
L
ˆk
ˆ3
M
ˆk
1
X
21
LXL31
X
2 2i
ˆ3
X 2i X 3i L ˆk
X 2i X ki
X 2iYi
ˆ1 X 3i ˆ2
X 3i X 2i ˆ3
X
2 3i
L
ˆk
X 3i X ki
X 3iYi
LLLLLLLLLLLLLLLLLLLLLLLLLL
ˆ1 X ki ˆ2
X ki X 2i ˆ3
X ki X 3i L ˆk
将
uˆ
2 i
对ˆ1、ˆ2，L
，ˆk求偏微分得：
uˆi2
ˆ1
2
Yi ˆ1 ˆ2 X 2i L ˆk X ki 1
uˆi2
ˆ2
2
Yi ˆ1 ˆ2 X 2i L ˆk X ki X 2i
LLLLLLLLLLLLLLLLLLLLLLL
uˆi2
ˆk
2
Yi ˆ1 ˆ2 X ki L ˆk X ki X ki
方程(9.1.1)即是下述方程组：
Y1 = β1 + β2 X 21 + β3 X 31 +L + βk X k1 + u1 Y2 = β1 + β2 X 21 + β3 X 32 +L + βk X k 2 + u2 LLLLLLLLLLLLLLLL
（9.1.2）
Yn = β1 + β2 X 2n + β3 X 3n +L + βk X kn + un
0
0
0L
2
0
0
0L
1
9.3 OLS估计 k变量的样本回归函数（SRF）:
Yi ˆ1 ˆ2 X 2i ˆ3 X 3i L ˆk X ki uˆi
矩阵形式为：
即：
y = Xβˆ + uˆ
Y1
Y2
M
Yn
1 X 21 X 31 L
1
X 22 X 32 L
L L L L L L
X
2 ki
X kiYi
写成矩阵形式为：
n
X 2i
X 3i
L L L
Xki
X2i
X
2 2i
X3i X 2i
LLLL
X ki X 2i
L
X3i L X ki
X 2i X3i L X 2i X ki
X
2 3i
L
X 3i X ki
LLLLLLLL
X ki X3i L
X
2 ki
ˆ1 ˆ2
（9.1.3） （9.1.4）
9.2 用矩阵表示的关于经典线性回归模型的假定
表9.1 关于经典回归模型的假定
标量符号
E(ui ) 0 对每个i
E(uiu j ) 0 i j
2 i j
X 2 , X 3,L , X k 是非随
机的或固定的
(3.2.1)
(3.2.5) (3.2.2)
X诸变量之间无准确的线性 (7.1.7) 关系,即无多重共线性
uˆ1
uˆuˆ uˆ1
uˆ2 L
uˆn
uˆ2
M
uˆ12
uˆ
2 2
L
uˆ
2 n
uˆ
2 i
uˆ n
Q
y = Xβˆ + uˆ
uˆ = y - Xβˆ
uˆuˆ = y - Xβˆ y - Xβˆ
= yy - 2βˆXy + βˆXXβˆ 其中，βˆ Xy是一个标量，它的转置yXβˆ 就是它本身。
其中，E(u) = 0是指
u1 E u1 0
E
u2
M
E
u2
M
0 M
u3
E
un
0
u1
E
uu
E
u2
M
u1
u2
L
un
un
E
u12 u2u1
u1u2 L u22 L
u1un u2un
L L L L L L L
uuu1 unu 2 L
un2
得干扰项ui的方差 - 协方差矩阵（variance - covariance matrix）：
第9章 线性回归模型的矩阵方法
9.1 k变量线性回归模型
k变量总体回归模型(PRF)可以写为：
PRF : Yi 1 2 X 2i 3 X3i L k X ki ui i 1, 2, 3,L , n(9.1.1)
它给出以X 2, X3,L , X k的固定值为条件的Y的均值或期望值，即 E(Y | X 2i , X 3i ,L , X ki )。
矩陈符号
E(u) 0
其中u和0都是n×1列向量 且0是零向量
E(uu) 2I
其中I是n×n恒等矩阵
n×k矩阵X是非随机的,即 它由固定数的一个集合构成
X的秩是 (X) k 其中
k是X中的列数,且k小于观测 次数n
为了假设检验
ui : N (0, 2 )
(4.2.4)
向量u有一多维正态分布,
即 u : N (0, 2I)
X 3i X ki
X 3iYi
LLLLLLLLLLLLLLLLLLLLLLLLLL
ˆ1
X ki ˆ2
X ki X 2i ˆ3
X ki X 3i L ˆk
X
2 ki
X kiYi
写成矩阵形式为：
nˆ1 ˆ2 X 2i ˆ3 X 3i L ˆk X ki Yi
ˆ1 X 2i ˆ2