计量经济学庞皓课件(第三章 多元线性回归模型)

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
β, βˆ 是有k 个 元素的列向量
( k = 解释变量个数 + 1 )
X 是第一列为1的n×k阶解释变量数据矩阵 ,
(截距项可视为解释变量总是取值为1)
10
三、多元线性回归中的基本假定
假定1:零均值假定
E(ui ) 0 ( i=1,2,---n) 或 E(u)=0
假定2和假定3:同方差和无自相关假定:
(i 1, 2,L n) 注意:这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式: 引入随机扰动项 ui Yi E(Yi X2i , X3i L Xki )
或表示为 Yi 1 2 X 2i 3 X 3i k X ki ui
(i 1, 2,L n)
7
Hale Waihona Puke Baidu
多元样本回归函数
17
三、 OLS估计的分布性质
基本思想:
● βˆ 是随机变量,必须确定其分布性质才可能进行区
间估计和假设检验
● u i是服从正态分布的随机变量, Y = Xβ + u
决定了Y也是服从正态分布的随机变量
● βˆ是Y的线性函数,决定了 β也ˆ 是服从正态分布的
随机变量
18
βˆ 的期望与方差
● βˆ 的期望 E( βˆ) = β
t*
ˆ j j S^E(ˆ j )
ˆ j ˆ
j
c jj
~ t(n k)
22 22
五、 回归系数的区间估计
由于
t*
ˆ j j
^
SE
(
ˆ
j
)
ˆ j ˆ
j
c jj
~ t(n k)
给定 ,查t分布表的自由度为 n-k 的临界值 t 2 (n k)
P[t
2 (n
k)
t*
ˆ j j S^E(ˆ j )
E(u1u1)
E
(u2u1
)
M
E(unu1
)
E(u1u2 ) E(u2u2 )
M E(unu2 )
L E(u1un ) 1 0 L 0
L E(u2un ) 2 0 1 L 0 2I
M M M M M M
L
E
(unun
)
0 0 L 1
11
假定4:随机扰动项与解释变量不相关
Cov( X ji , ui ) 0
u ~ N (0, 2I)
12
第二节 多元线性回归模型的估计
一、普通最小二乘法(OLS)
原则:寻求剩余平方和最小的参数估计式 min : ei2 (Yi Yˆi )2
min : ei2 [Yi (ˆ1 ˆ2 X2i ˆ3 X3i L ˆk Xki )]2
即 min : ei2 min : ee min : (Y - Xβˆ)(Y - Xβˆ)
e ●剩余项 i 的均值为零 ei ei n 0
e ●被解释变量估计值 Yˆi 与剩余项 i 不相关
Cov(Yˆi , ei ) 0

(ei yˆi ) 0
e ●解释变量 X i 与剩余项 i 不相关
Cov( X ji , ei ) 0
(j=1,2,---k)
16 16
二、 OLS估计式的统计性质
1、 线性特征 βˆ = (X X)-1 X Y
βˆ 是Y的线性函数,因(X X)-1 X 是非随机或取固
定值的矩阵
2、 无偏特性E(ˆK ) K
(证明见教材P101附录3.1)
3、 最小方差特性
在 K 所有的线性无偏估计中,OLS估计ˆK
具有最小方差
(证明见教材P101或附录3.2)
结论:在古典假定下,多元线性回归的 OLS估 计式是最佳线性无偏估计式(BLUE)
(i 1, 2,L n)
注意:模型中的 j (j=1,2,---k)是偏回归系数
样本容量为n
偏回归系数:
控制其它解释量不变的条件下,第j个解释变量的单
位变动对被解释变量平均值的影响,即对Y平均值“直接”
或“净”的影响。
5 5
多元线性回归中的“线性”
指对各个回归系数而言是“线性”的,对变量则可 以是线性的,也可以是非线性的
3
本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
4
第一节 多元线性回归模型及古典假定
一、多元线性回归模型的意义
一般形式:对于有K-1个解释变量的线性回归模型
Yi 1 2 X 2i 3 X 3i k X ki ui
2
0 Cov(ui , u j ) E[(ui Eui )(u j Eu j )] E(uiu j )
或用方差-协方差矩阵表示为:
Cov(ui , u j ) E{[ui E(ui )][u j E(u j )]} E(uu)
(i 1, 2,L n
(i=j)
(i≠j)
j 1, 2,L n)
E(uu) 2I
20 20
四、 随机扰动项方差 2 的估计
2 一般未知,可证明多元回归中 2 的无偏
估计为:(证明见P103附录3.3)
ˆ 2 ei2 nk
或表示为 ˆ 2 ee
nk
ˆ 对比: 一元回归中
2
ei2 (n 2)
将 βˆ 作标准化变换:
zk
ˆk k SE(ˆk )
第三节 多元线性回归模型的检验
一、多元回归的拟合优度检验
多重可决系数:在多元回归模型中,由各个解释
变量联合起来解释了的Y的变差,在Y的总变差中占
的比重,用 R2表示 与简单线性回归中可决系数 r的2 区别只是 不Yˆi 同
求偏导,并令其为0 ( ei2) ˆj 0 其中

2
Yi
(ˆ1 ˆ2
X 2i ˆ3 X3i L
ˆki
X ki ) 0
2
X 2i
Yi
(ˆ1
ˆ2
X 2i
ˆ3
X 3i
L
ˆki
X ki )
0
(i 1, 2,L n)
( j 1, 2,L n)
ei 0
X2iei 0
2
X ki
多个解释变量的多元线性回归模型的n组样本观测值,可
表示为
Y1 1 2 X 21 3 X 31 k X k1 u1 Y2 1 2 X 22 3 X 32 k X k 2 u2
Yn 1 2 X 2n 3 X 3n k X kn un
用矩阵表示
Y1 1 X 21
Y 的样本条件均值可表示为多个解释变量的函数 Yˆi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki
或回归剩余(残差): ei Yi Yˆ i
Yi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki ei
其中 i 1, 2,L n
8
二、多元线性回归模型的矩阵表示
计量经济学
第三章 多元线性回归模型
引子:中国已成为世界汽车产销第一大国
中国社会科学院《中国汽车社会发展报告2012-2013》显示, 中国国内汽车产销量已近2000万辆。从2000年开始,中国 汽车市场进入到黄金10年。汽车保有量从1600万辆攀升到1 亿多辆。2010年成为全球第一大汽车市场,中国的汽车保有 量已经超过日本,成为仅低于美国的世界第二大汽车保有国。 业内预计,2020年我国汽车保有量将突破2亿辆。 是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的,经济增长、消 费趋势、市场行情、业界心态、能源价格、道路发展、内外 环境,都会使中国汽车行业面临机遇和挑战。
t
2 (n
k )]
1
( j 1 k)
P[ˆj t
^
SE

j
)
j
ˆ j
t
S^E(ˆj )] 1
2
2

P[ˆ j t ˆ c jj j ˆ j t ˆ c jj ] 1
2
2
或表示为
j (ˆ j t ˆ 2(nk) cjj , ˆ j t ˆ 2(nk) cjj ) 23
23
例如:生产函数
Y AL K u
取对数
ln Y ln A ln L ln K ln u
这也是多元线性回归模型,只是这时变量为lnY、 lnL、lnK
6
多元总体回归函数
条件期望表现形式:
将Y的总体条件期望表示为多个解释变量的函数,如:
E(Yi X 2i , X 3i , X ki ) 1 2 X 2i 3 X 3i k X ki
Yi
(ˆ1
ˆ2
X 2i
ˆ3
X 3i
L
ˆki
X ki ) 0
Xkiei 0
13
用矩阵表示的正规方程
偏导数
ei X 2iei
1 X 21
1 X 22
1 e1
0
X
2n
e2
Xe
0
X kiei
X
k1
Xk2
X
kn
en
0
X
e
因为样本回归函数为 Y = Xβˆ + e
( X X )1 X 2 IX ( X X )1
2 ( X X )1
注意
βˆ 是向量
(i 1, 2,L ( j 1, 2,L
n) n)
(由无偏性)
(由OLS估计式)
(由同方差性)
其中:
ˆ ( X X )1 X Y ( X X )1 X ( Xβ + u) β ( X X )1 X u
( j 2,3,L , k)
假定5: 无多重共线性假定 (多元中增加的)
假定各解释变量之间不存在线性关系,或各个解
释变量观测值之间线性无关。或解释变量观测值
矩阵X的秩为K(注意X为n行K列)。
Ran(X)= k
Rak(X'X)=k
即 (X'X) 可逆 假定6:正态性假定
ui ~ N (0, 2 )
ˆ2 (
yi x2i )( x32i ) ( yi x3i )( x2i x3i ) ( x22i )( x32i ) ( x2i x3i )2
ˆ3 (
yi x3i )( x22i ) ( yi x2i )( x2i x3i ) ( x22i )( x32i ) ( x2i x3i )2
Y2
1
X 22
X k1 1 u1
X
k
2
2
u
2
Yn
1 X 2n
X
kn
k
un
Y
X
βu
n 1
nk
k 1 n1
9
9
矩阵表示方式
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
样本回归函数 Yˆ = Xβˆ 或 Y = Xβˆ + e
其中: Y,Yˆ,u,e 都是有n个元素的列向量
(由无偏性)
● βˆ 的方差和标准误差:
可以证明 βˆ 的方差—协方差矩阵为(见下页)
Var - Cov( βˆ ) 2 ( X X )1
c11
c12 L
c1k
Var(ˆj ) 2cjj
SE(ˆj ) cjj
1
这里的 ( X X )
c21
M
c22 M
L c2k M M
ck1 ck 2 L ckk
2
怎样分析多种因素的影响?
分析中国汽车行业未来的趋势,应具体分析这样一些问题: 中国汽车市场发展的状况如何?(用销售量观测) 影响中国汽车销量的主要因素是什么?
(如收入、价格、费用、道路状况、能源、政策环境等)
各种因素对汽车销量影响的性质怎样?(正、负) 各种因素影响汽车销量的具体数量关系是什么? 所得到的数量结论是否可靠? 中国汽车行业今后的发展前景怎样?应当如何制定汽车的 产业政策? 很明显,只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
0
两边左乘 X
X Y = X Xβˆ + X e
根据最小二乘原则 则正规方程为
Xe = 0
X Xβˆ = X Y
14
OLS估计式
由正规方程 X Xβˆ = X Y (X X )kk 是满秩矩阵,其逆存在
多元回归的OLS估计量为 βˆ = (X X)-1 X Y
当只有两个解释变量时为:
ˆ1 Y ˆ2 X 2 ˆ3 X 3
ˆk
k
c jj
~
N (0,1)
21 21
2 未知时βˆ 的标准化变换
因 2 是未知的, 可用 ˆ 2 代替 2 去估计参数的
标准误差:

当为大样本时,用估计的参数标准误差对
^
β

标准化变换,所得 Z 统计量仍可视为服从正态分

●当为小样本时,用估计的参数标准误差对 βˆ 作标 准化变换,所得的 t 统计量服从 t 分布:
(其中 c jj 是矩阵( X X )1 中第 j 行第 j 列的元素)
所以 ˆ j ~ N( j , 2c jj ) (j=1,2,---k) 19
βˆ 的方差-协方差
COV ( βˆ) E{[ βˆ E( βˆ)][ βˆ E( βˆ)]}
E[( βˆ β)( βˆ β)]
E[( X X )1 X uuX ( X X )1] ( X X )1 X E(uu) X ( X X )1
对比
简单线性回归中
ˆ1 Y ˆ2 X
ˆ2
xi yi xi2
注意: x、 y 为X、Y的离差 15
OLS回归线的数学性质 (与简单线性回归相同)
●回归线通过样本均值 Y ˆ1 ˆ 2 X 2 ˆ3 X 3 L ˆ k X k
●估计值 Yˆ i 的均值等于实际观测值 Yi 的均值 Yˆi n Y
相关文档
最新文档