第二章 经典多元线性回归模型

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

可表示为: Y X U
10
记: Y^1

^
Y

Y^2


Y^n

n1
ˆ0
βˆ

ˆ1
ˆk
则多元线性样本回归函数:
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki
可表示为: Yˆ Xβˆ
为多元线性样本回归模型。
6
第二节、多元线性回归模型的估计
一、普通最小二乘法(OLS)
(Yi , X1i , X 2i ,..., X ki), i 1,2,3,..., n
Yi 0 1 X1i 2 X 2i ... k X ki ui 0 0
7
若得到样本回归函数,记
tr[(I X ( X ' X )1 X ') 2I ] 2tr[(I X ( X ' X )1 X ')] 2[(trI trX ( X ' X )1 X ')] 2[n tr( X ' X )1 X ' X ] 2[n (k 1)]
2 E(ee)


Q ^
0
0

Q
^
1
0
...
Q


^
k
0




^^
^
(Yi 0 1 X1i ... k X ki) 0
程 组


^^
^
(Yi 0 1 X1i ... k X ki)X1i 0
...



^^
^
EU


E(u1 E(u2
) )


... E(u
n
)


0
COV (U ) E[(U E(U )][(U E(U )]'
同方差、不相关相当于U的方差协方差矩阵V-COV(U)
var(1 )


cov(
n
,
1
)

cov(1, n ) 2
可以表示为:Y Xβˆ e
12
由上述正规方程组



^^
^
(Yi 0 1 X1i ... k X ki) 0


^^
^
(Yi 0 1 X1i ... k X ki)X1i 0
...



^^
^
(Yi 0 1 X1i ... k X ki)X ki 0
变形得:
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki ) ) X 1i ) X 2i

Yi Yi X 1i Yi X 2i
Hale Waihona Puke Baidu
X ki ) ) X 1i ) X 2i

Yi Yi X 1i Yi X 2i


(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
n
X 1i
X1i
X
2 1i




X ki
第二章 经典多元线性回归模型
1
第一节、多元线性回归模型
1、回归的含义 “回归”的本意:向“均值”回复的趋势
回归的现代意义(Regression Analysis):估计 和预测被解释变量的均值,是研究被解释 变量对于解释变量依赖关系的计算方法和 理论。
2
2、多元线性回归模型的统计学解释
无信息时对随机变量的预测:均值 有信息时对随机变量的预测:条件均值
^
^
中的参数的估计: 0 ,..., k
得多元线性样本回归函数:
^
^
^
^
g( X1, X 2 ,..., X k ) 0 1 X1 ... k X k
^^
^
定义残差: ei Yi (0 1 X1i ... k X ki )
称 Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei


(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
13
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
19
假设3,解释变量与随机项不相关
Cov(X ji , ui ) 0, j 1,2,..., k
假设4,随机扰动项满足正态分布
i ~ N (0, 2 )
假设5,线性模型设定是正确的。
20
用矩阵表示上述假设
可逆 X 假设1相当于矩阵X的秩R=k+1,即X满秩, ' X
假设2:零期望相当于 U的方差协方差矩阵定义:
^
此时, ~ N (0, 2 ( X ' X )1)
^
j ~ N ( j , 2c j1, j1 ) c j1, j1为矩阵 ( X ' X )1 第j+1列第j+1行元素。
25
(2)随机扰动项方差估计的分布
^
(nk 1) 2 2
~
2(n k 1)
26
三、多元线性回归模型的极大似然估计。
(Yi 0 1 X1i ... k X ki)X ki 0
为 为 正 规 方 程 组
ˆ j , j 0,1,2, , k
9
记:
X


1 1 ... 1
X 11 X 12 ... X1n
... ... ... ...
X k1
Xk2
... X kn

0



1
...
k

u1
U

u2

... un

Y1
Y

Y2


Yn

n1
则多元线性总体回归模型
Yi 0 1X1i 2 X 2i ...k X ki ui , i 1,2,..., n
设 Y E(Y | X1, X 2 ,... X k ) u Y E(Y | X1,..., X k ) u
Y g( X1,..., X k ) u
系统因素 随机因素 (随机扰动项)
3
若设:g( X1, X 2 ,..., X k ) 0 1 X1 2 X 2 ... k X k

1 en
X ki X 1i
X X 1i

X
ki
X
2 ki
ki

ˆ0 ˆ1

ˆ k



1 X 11 X k1
1 X 12 Xk2
1 Y1
X 1n Y2
X kn


var( n )


0

0
2I

2

21
假设3相当于,E(X’U)=0 假设4,向量U 服从多维联合正态分布,即
U ~ N (0, 2I )
22
若多元线性回归模型经典假定成立,则
E(e'e) E(u' Mu) E[u'(I X ( X ' X )1 X ')u] E{tr[u'(I X ( X ' X )1 X ')u]} E{tr[(I X ( X ' X )1 X ')uu']} tr{E[(I X ( X ' X )1 X ')uu']} tr[(I X ( X ' X )1 X ')E(uu')]
11
残差: ^
^^
^
ei Yi Yi Yi 0 1 X1i ... k X ki
记残差向量为
e1
e


e2 en
^
可以表示为 e Y X
此时,多元线性样本回归模型:
Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
nk 1
ˆ 2 ee
nk 1
23
若多元线性回归模型经典假定成立,普通 最小二乘估计的分布 (1)参数普通最小二乘估计的方差与分布
βˆ (XX)1 XY (XX)1 X(Xβ μ) β (XX)1 Xμ
E(μμ) 2I
24
^
cov( ) 2 ( X ' X )1
则得:Y 0 1X1 2 X 2 ... k X k u 此即为多元线性总体回归模型。

g( X1, X 2 ,..., X k ) 0 1 X1 2 X 2 ... k X k
为多元线性总体回归函数。
4
计量经济学模型引入随机扰动项的原因:
^
残差向量:e Y X [I X ( X ' X )1 X ']U
16
记: M [I X ( X ' X )1 X '] M为对称幂等矩阵
e MU
普通最小二乘估计的残差平方和:
e'e U' MU
17
由正规方程组得,多元线性回归模型参数普通最小二乘 估计残差的性质:



^^
^
(Yi 0 1 X1i ... k X ki) 0


^^
^
(Yi 0 1 X1i ... k X ki)X1i 0
...



^^
^
(Yi 0 1 X1i ... k X ki)X ki 0
ei 0 ei X 1i 0
Yi 0 1 X1i 2 X 2i k X ki i
若前述经典假设成立,则 i ~ N(0, 2)
可得: Yi ~ N ( X i , 2 )
其中: X i (1, X1i ,..., X ki )
似然函数为
L( , 2 ) P(Y1,Y2 ,...,Yn )
Yn

14
•正规方程组的矩阵形式:
n
X 1i
X1i
X
2 1i




X ki
X ki X 1i
X ki
X 1i X

X
2 ki
ki

ˆ0 ˆ1

ˆ k



1 X 11 X k1
1 X 12 Xk2
1 Y1
X 1n Y2
X kn

Yn

利用前述引入的记号X,得
(XX)βˆ XY
βˆ (XX)1 XY
15
多元线性回归模型参数普通最小二乘估计 与参数的关系:
^
( X ' X )1 X 'Y ( X ' X )1 X ' ( X U ) ( X ' X )1 X 'U
反映影响被解释变量的未知因素; 代表数据观测误差; 反映影响被解释变量的个体因素;
5
3、总体与样本(Population and Sample)
样本 (Yi , X1i , X 2i ,..., X ki ), i 1,2,...n
用上述样本得总体回归函数
g( X1, X 2 ,..., X k ) 0 1 X1 2 X 2 ... k X k
^
^
^
^
Y 0 1 X1i ... k X ki
n
n
Q ei2 (Yi Yˆi ) 2
i 1
i 1
最小二乘原理:
n
^
^
^
MinQ Min [Yi (0 1 X1i ... k X ki )]2
i 1
8
n
^
^
^
Min [Yi (0 1 X1i ... k X ki )]2 i 1
...
ei X ki 0
X'e 0
^'
Y e0
18
二、经典多元线性回归模型的基本假定
• 假设1,所有解释变量之间互不相关(无 多重共线性)。 • 假设2,随机扰动项具有零期望、同方差 序列不相关。
E(ui ) 0 Var(ui ) 2
Cov(ui , u j ) 0, j i
相关文档
最新文档