多元线性回归模型的参数估

得到
XY = XXˆ β
于是
ˆβ= (X X) X 可编辑p1pt Y
6
对于(*)式，注意到
Yi (0 + 1 X1i + + k X ki ) = ei
用矩阵形式表示：我们可以得到正规方程的另一种形式
ei = 0 j X ji ie = 0
(3.2.6) j = 1, 2, , k
(3.2.6)式是多元回归模型正规方程的离差形式。
根据最小二乘原理，参数估计值应使得剩余平方 和达到最小，
min Q = min ei 2 = (Yi -ˆYi )2 即
min ei2 = [Yi (0 + 1 X1i + + k X ki )]2 (3.2.2)
可编辑ppt
2
利用微积分知识，只要求Q关于待估参数的偏导 数，并令其值为零，即
(
ei2
对于多元回归模型 Y = X + 由于被解释变量的
估计值与观测值之间的残差：
e=Y X
= X + X ( XX ) 1 X ( X + )
= X ( X X ) 1 X = [ I X ( X X ) 1 X ]
=M
残差的平方和为： e e = MM
因为 M = I X ( X X ) 1 X 为对称等幂矩阵，即
( ) ˆ1 = x1 y x2 x12 x22
x2 y x1x2
2
x1 x2
ˆ2 =
x2 y x12
x21
x1 y x1 x2
( ) x
2 2
2
x1 x2
ˆ 0 = Y ˆ 1 X 1 ˆ 2 X 2
β1、β2称为偏回归系数。
可编辑ppt
9
例3.2.1 在例2.1.1的家庭收入-消费支出例中，
' 1 1
2 = E (e e)
nk1
所以
2 = e e
nk1
其中k为解释变量的个可编数辑ppt
(3.2.10)
12
二、最大或然估计*(ML)
对于多元线性回归模型
Yi = 0 + 1 X 1i + 2 X 2 i + + k X ki + i
易知
Yi ~ N (X i β , 2 )
其中 X i = (1 X 1i X 2i
可编辑ppt
3
在(*)式中，移项得：
(0 + 1 X1i + + k X ki ) = Yi
(0 + 1 X1i + + k X ki )X1i =
(+0 1 X1i + + k X ki )X ki =
Yi X1i Yi X ki
(3.2.3)
解这个k＋1个方程组成的线性代数方程组，即可 得到k＋1个待估参数的估计值
(X X) = X1
X2
1 X 1
1 1
X n
X 2
=
n Xi
1 X n
Xi
2
Xi
=
10 21500
21500 53650000
可求得 于是
=
X2
Y
Yn
1
0.0003 1.35E 07
βˆ= = 2
可编辑ppt
10
2、随机干扰项μ的方差的普通最小二乘估计
所以
M = M , M 2 = M M = M
e e = 可编辑ppt M
11
{ } E (ee) = E [ I X ( X X ) 1 X ]
= 2tr[ I X ( X X ) 1 X ] = 2{trI tr[ X ( X X ) 1 X ]} = 2{n (k + 1)}
13
对数似然函数为
j ( j = 0,1, , k )
可编辑ppt
4
(3.2.3)的正规方程组的矩阵形式
n X 1i X ki
即
X 1i
2
X 1i
X ki X 1i
X ki 0 1 1 X 1i X ki ˆ1 X 11 X 12
=
X
2 ki
kˆ X k X1 k 2
(X X)ˆβ= X Y
x 2n
xk1 ˆ1
xk 2
βˆ =
ˆ 2
x kn
ˆk
在离差形式下，参数的最小二乘估计结果为
= ( x x) 1 x y
0 = Y X 可1编辑1ppt k X k
(3.2.9)
8
Fra Baidu bibliotek
最简单的多元线性回归模型是二元线性回归模型。 二元线性回归模型的一般形式为：
Yi = 0 + 1 X1i + 2 X2i + ui (i =1,2, , n) 其参数的最小二乘估计量如下：
X ki )
Y的随机抽取的n组样本观测值的联合概率 ˆ
(3.2.11) = 1 n (2 )2
e1 22 (Yi
( ˆ0 +ˆ 1 X 1ˆi + 2 X 2 i ˆ+
+ k X ki ))2
n
=
1 ne
(2 )2 n
1 ( Y Xˆβ) ( Y X)ˆβ
22
即为变量Y的似然函数
可编辑ppt
§3.2 多元线性回归模型的估计
估计方法：OLS、ML或者MM
一、普通最小二乘估计
*二、最大或然估计
*三、矩估计
四、参数估计量的性质
五、样本容量问题
六、估计实例
可编辑ppt
1
一、普通最小二乘估计 1、普通最小二乘估计
对于随机抽取的n组观测值 (Yi , X ji ), i = 1,2, , n, j = 0,1,2, k 如果样本函数的参数估计值已经得到，则 有：Yˆi = ˆ 0 +ˆ1 X 1i +ˆ 2 X 2i + ˆ+ ki X Kii=1,2…n (3.2.1)
由于X’X满秩，故有
1 Y1
X 1n Y2
X
kn
Y
n
(3.2.4)
βˆ= (X X) 1 X Y
(3.2.5)
可编辑ppt
5
将上述过程用矩阵表示如下：
即求解方程组：
(Y βˆ
Xβ )(Y
Xβ )=ˆ 0
ˆ
ˆ βˆ
ˆˆ ˆ
βˆ (YY 2YXˆ β+ˆ βXXβˆ )= 0 XY + XXˆ β= 0
ˆ j
)=
0
( j = 0,1,
,k)
就得到待估参数估计值的正规方程组：
2 Yi (1 + 2 X 2i + 3 X 3i + ... + ki X ki ) = 0
2 X1i Yi 2 XkiYi
(0 + 1 X1i + (0+ 1 X1i +
+ k X )ki = 0 (*) + k X ki ) = 0
可编辑ppt
7
由此容易得到多元回顾分析中样本回归函数的离 差形式
yi = ˆ1 x1i + ˆ 2 x2i + + ˆ k xki + ei i=1,2…n (3.2.7)
其矩阵形式为
y = x + e
(3.2.8)
其中
y1 x11 x21
y 2
x12 x22
y= x=
yn
x 1n