多元线性回归模型参数的最小二乘估计

1
2
n
相应的样本线性回归方程为
yˆi ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki
i =1, 2 ,…，n
（3.2.2）
利用最小二乘法求参数估计量 ˆ0, ˆ1, ˆ2,,ˆk ：
设残差平方和为Q，则
Q
=
2 i
(
yi
yˆi
)2
( yi ˆ0 ˆ1 x1i ˆ 2 x2i ˆ k xki )2
§3.2多元线性回归模型参数的最小二乘估计 一、一般模型的参数最小二乘估计 设与总体线性回归模型（3.1.1）对应的样本线 性回归模型为
yi ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.1）
或表示为矩阵形式为
Y Xˆ 其中
i =1,2,…，n
ˆ0
ˆ
ˆ1
ˆ k
x2i x2i x1i
x2i xki
xki xki x1i
x2ki
ˆ 0 ˆ1
ˆ k
yi
x1i
y
i
（3.2.3）′
xki yi
其中 n x1i
x1i x12i
x2i
x1i x2i
xki
x1i xki
X
X
xki x1i xki x2i xki
Q
ˆ k
2 ( yi
ˆ 0
ˆ1 x1i
ˆ 2 x2i
ˆ k
xki) xki
0
整理可得正规方程组：
n ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki yi
ˆ0 x1i ˆ1 x12i ˆ2 x2i x1i ˆk xki x1i x1i yi (3.2.3) … … … … … … … …… … … …
这里 =0，可以看作是对参数施加一个限制条件。
其中心化模型
yi 1 x1i 2 x2i k xki ui （3.2.11）
yi ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.12）
（i =1,2,…，n）
将它们写成矩阵形式：
Y X U
（3.2.13）
Y Xˆ
2 2i
1
x1i x 2i
y i y i
解之可得
（3.2.20）
x1i y i
ˆ1
x2i yi x12i
x2i x1i
x1i x2i x22i x1i x2i x22i
x12i
ˆ 2
x2i x1i x12i
x2i x1i
x1i y i x2i y i x1i x2i
相应的样本线性回归模型可以表示为
yi ˆ0 ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.8）
对于样本容量为n 的 y 的均值可分别表示为
y 0 1 x1 2 x2 k xk u
（3.2.9）
和
y ˆ0 ˆ1 x1 ˆ2 x2 ˆk xk
（3.2.10）
解方程组（3.2.16）得
ˆ ( X X )1 X Y
（3.2.17）
由（3.2.17）式可以看出，参数β估计量的表达
式与（3.2.6）式相比形式基本相同，但应注意
（3.2.17）中的 ˆ 不包含ˆ0 ，X 比 X 少一列常
数1。对于（3.2.17）的计算可采用以下形式：
x11
X X
x21
u1
U
u2
un
残差平方和
1
2
n
2 i
(Y
Xˆ )(Y
Xˆ )
YY 2ˆ X Y ˆ X Xˆ
其中用到 Y Xˆ 是标量的性质。
（3.2.15）
将残差平方和（3.2.15）对 ˆ 求导，并令其为零：
( ˆ
)
2 X
Y
2 X
Xˆ
0
整理得正规方程组
X Xˆ X Y
（3.2.16）
ˆ0 xki ˆ1 x1i xki ˆ2 x2i xki ˆk xk2i xki yi
由（3.2.3）第一个方程，可以得到：
y ˆ0 ˆ1 x1 ˆ2 x2 ˆk xk
（3.2.4）
将正规方程组写成矩阵形式：
n x1i xki
x1i x12i
x1i xki
x
2 2i
（3.2.21） （3.2.22）
记
D(2) = x12i
x1i x2i
x2i x1i x22i
（3.2.23）
x1i y i D1(2) = x2i y i
x1i x2i x 22i
（3.2.24）
D2(2) = x12i x2i x1i
我们的任务是寻求适当的 ˆ0, ˆ1, ˆ2,,ˆk 使Q达到 最小。根据多元函数的极值原理，ˆ0, ˆ1, ˆ2,,ˆk
应是下列方程组的解：
Q
ˆ0
2 ( yi
ˆ 0
ˆ1 x1i
ˆ 2
x2i
ˆ k
xki)
0
Q
ˆ1
2
(
yi
ˆ 0
ˆ1
x1i
ˆ
2
x2i
ˆ
k
xki)
x1i
0
… … … … … … … …… … … …
x
2 ki
yi
x1i
yi
X
Y
xki yi
ˆ0
ˆ1
ˆ
ˆ k
于是正规方程组的矩阵形式为
( X X )ˆ X Y
（3.2.5）
于是有 ˆ ( X X )1 X Y （3.2.6）
二、中心化模型的参数最小二乘估计 我们已经知道，总体线性回归模型可以表示为
yi 0 1 x1i 2 x2i k xki ui （3.2.7）
（3.2.14）
（3.2.13）为总体回归模型的中心化形式（或离差
形式），（3.2.14）为样本回归模型的中心化形式
（或离差形式）。其中
Y
y1 y 2
yn
x21 x 22
x 2 n
xk1 xk 2 xkn
1
2
k
ˆ1
ˆ
ˆ 2
ˆ k
x12 x22
x1n x11 x2n x12
x21 x22
xk1 xk 2 xkn x1n x2n
x12i x1i x2i x1i xki
x 2i
x1i
x22i
x2i xki
xki x1i xki x2i
x
2 ki
xk1 xk 2 xkn
（3.2.18）
x11
X
Y
x21
x12 x22
x1n x2n
y1 y 2
x1i x2i
yi yi
xk1 xk2 xkn yn xki yi
（3.2.19）
对于k =2的情形，（3.2.17）式可以表示为
ˆ1 ˆ 2
x12i x2i x1i
x1i x
x 2i