经典多元线性回归模型

...
^^
^
(Yi 0 1 X1i ... k X ki)X ki 0
变形得：
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki ) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
Yn
利用前述引入的记号X,得
(XX)βˆ XY
βˆ (XX)1 XY
15
多元线性回归模型参数普通最小二乘估计 与参数的关系：
^
( X ' X )1 X 'Y ( X ' X )1 X ' ( X U ) ( X ' X )1 X 'U
记残差向量为
e1
e
e2 en
^
可以表示为 e Y X
此时，多元线性样本回归模型：
Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
可以表示为：Y Xβˆ e
12
由上述正规方程组
^^
^
(Yi 0 1 X1i ... k X ki) 0
^^
^
(Yi 0 1 X1i ... k X ki)X1i 0
X
1 1 ... 1
X 11 X 12 ... X1n
... ... ... ...
X k1
Xk2
... X kn
0
1
...
k
u1
U
u2
... un
Y1
Y
Y2
Yn
n1
则多元线性总体回归模型
Yi 0 1X1i 2 X 2i ...k X ki ui , i 1,2,..., n
可表示为： Y X U
10
记： Y^1
^
Y
Y^2
Y^n
源自文库
n1
ˆ0
βˆ
ˆ1
ˆk
则多元线性样本回归函数：
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki
可表示为： Yˆ Xβˆ
11
残差： ^
^^
^
ei Yi Yi Yi 0 1 X1i ... k X ki
设 Y E(Y | X1, X 2 ,... X k ) u Y E(Y | X1,..., X k ) u
Y g( X1,..., X k ) u
系统因素 随机因素 (随机扰动项)
3
若设：g( X1, X 2 ,..., X k ) 0 1 X1 2 X 2 ... k X k
得多元线性样本回归函数：
^
^
^
^
g( X1, X 2 ,..., X k ) 0 1 X1 ... k X k
^^
^
定义残差： ei Yi (0 1 X1i ... k X ki )
称 Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
为多元线性样本回归模型。
第二章 经典多元线性回归模型
1
第一节、多元线性回归模型
1、回归的含义 “回归”的本意：向“均值”回复的趋势
回归的现代意义(Regression Analysis)：估计 和预测被解释变量的均值，是研究被解释 变量对于解释变量依赖关系的计算方法和 理论。
2
2、多元线性回归模型的统计学解释
无信息时对随机变量的预测：均值 有信息时对随机变量的预测：条件均值
则得：Y 0 1X1 2 X 2 ... k X k u 此即为多元线性总体回归模型。
称
g( X1, X 2 ,..., X k ) 0 1 X1 2 X 2 ... k X k
为多元线性总体回归函数。
4
计量经济学模型引入随机扰动项的原因：
反映影响被解释变量的未知因素； 代表数据观测误差； 反映影响被解释变量的个体因素；
6
第二节、多元线性回归模型的估计
一、普通最小二乘法（OLS）
(Yi , X1i , X 2i ,..., X ki), i 1,2,3,..., n
Yi 0 1 X1i 2 X 2i ... k X ki ui 0 0
7
若得到样本回归函数,记
^
^
^
^
Y 0 1 X1i ... k X ki
n
n
Q ei2 (Yi Yˆi ) 2
i 1
i 1
最小二乘原理：
n
^
^
^
MinQ Min [Yi (0 1 X1i ... k X ki )]2
i 1
8
n
^
^
^
Min [Yi (0 1 X1i ... k X ki )]2 i 1
称
此
Q ^
0
0
Q
^
1
0
...
5
3、总体与样本（Population and Sample）
样本 （Yi , X1i , X 2i ,..., X ki ), i 1,2,...n
用上述样本得总体回归函数
g( X1, X 2 ,..., X k ) 0 1 X1 2 X 2 ... k X k
^
^
中的参数的估计： 0 ,..., k
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
n
X 1i
X1i
X
2 1i
X ki
X ki X 1i
X X 1i
X
ki
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11 X k1
1 X 12 Xk2
1 Y1
Q
^
k
0
方
^^
^
(Yi 0 1 X1i ... k X ki) 0
程 组
^^
^
(Yi 0 1 X1i ... k X ki)X1i 0
...
^^
^
(Yi 0 1 X1i ... k X ki)X ki 0
为 为 正 规 方 程 组
ˆ j , j 0,1,2, , k
9
记：
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
13
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki ) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
X 1n Y2
X kn
Yn
14
•正规方程组的矩阵形式:
n
X 1i
X1i
X
2 1i
X ki
X ki X 1i
X ki
X 1i X
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11 X k1
1 X 12 Xk2
1 Y1
X 1n Y2
X kn