第三章 多元线性回归模型

1 X 2n
wk.baidu.com
X
kn



k

un

Y
X
βu
n 1
nk
k 1 n1
9
9
矩阵表示方式
总体回归函数 E(Y) = Xβ 或 Y = Xβ + u
样本回归函数 Yˆ = Xβˆ 或 Y = Xβˆ + e
其中： Y,Yˆ,u,e 都是有n个元素的列向量
β, βˆ 是有k 个 元素的列向量
20 20
四、 随机扰动项方差 2 的估计
2 一般未知，可证明多元回归中 2 的无偏
估计为：(证明见P103附录3.3)
ˆ 2 ei2 nk
或表示为 ˆ 2 ee
nk
ˆ 对比: 一元回归中
2
ei2 (n 2)
将 βˆ 作标准化变换：
zk

ˆk k SE(ˆk )
其中 i 1, 2,L n
8
二、多元线性回归模型的矩阵表示
多个解释变量的多元线性回归模型的n组样本观测值，可
表示为
Y1 1 2 X 21 3 X 31 k X k1 u1 Y2 1 2 X 22 3 X 32 k X k 2 u2

ˆk
计量经济学
第三章 多元线性回归模型
引子:中国已成为世界汽车产销第一大国
中国社会科学院《中国汽车社会发展报告2012-2013》显示， 中国国内汽车产销量已近2000万辆。从2000年开始，中国 汽车市场进入到黄金10年。汽车保有量从1600万辆攀升到1 亿多辆。2010年成为全球第一大汽车市场，中国的汽车保有 量已经超过日本，成为仅低于美国的世界第二大汽车保有国。 业内预计，2020年我国汽车保有量将突破2亿辆。 是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的，经济增长、消 费趋势、市场行情、业界心态、能源价格、道路发展、内外 环境，都会使中国汽车行业面临机遇和挑战。
(i 1, 2,L n)
注意：模型中的 j （j=1,2,---k）是偏回归系数
样本容量为n
偏回归系数：
控制其它解释量不变的条件下，第j个解释变量的单 位变动对被解释变量平均值的影响，即对Y平均值“直接”
或“净”的影响。
5
多元线性回归中的“线性”
指对各个回归系数而言是“线性”的，对变量则可 以是线性的，也可以是非线性的
（ k = 解释变量个数 + 1 ）
X 是第一列为1的n×k阶解释变量数据矩阵 ，
(截距项可视为解释变量总是取值为1)
10
三、多元线性回归中的基本假定
假定1：零均值假定
E(ui ) 0 （ i=1，2，---n） 或 E（u）=0
假定2和假定3：同方差和无自相关假定：
2
0 Cov(ui , u j ) E[(ui Eui )(u j Eu j )] E(uiu j )
1 X 21
1 X 22
1 e1
0

X
2n

e2


Xe

0




X kiei

X
k1
Xk2

X
kn

en

0
X
e
因为样本回归函数为 Y = Xβˆ + e
0
两边左乘 X
X Y = X Xβˆ + X e
(i 1, 2,L n) 注意：这时Y总体条件期望的轨迹是K维空间的一条线 个别值表现形式： 引入随机扰动项 ui Yi E(Yi X2i , X3i L Xki )
或表示为 Yi 1 2 X 2i 3 X 3i k X ki ui
(i 1, 2,L n)
例如：生产函数
Y AL K u
取对数
ln Y ln A ln L ln K ln u
这也是多元线性回归模型，只是这时变量为lnY、 lnL、lnK
6
多元总体回归方程
条件期望表现形式：
将Y的总体条件期望表示为多个解释变量的函数，如:
E(Yi X 2i , X 3i , X ki ) 1 2 X 2i 3 X 3i k X ki
3
本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
4
第一节 多元线性回归模型及古典假定
一、多元线性回归模型的意义
一般形式：对于有K-1个解释变量的线性回归模型
Yi 1 2 X 2i 3 X 3i k X ki ui
1、 线性特征 βˆ = (X X)-1 X Y
βˆ 是Y的线性函数，因(X X)-1 X 是非随机或取固
定值的矩阵
2、 无偏特性E(ˆK ) K
(证明见教材P101附录3.1)
3、 最小方差特性
在 K 所有的线性无偏估计中，OLS估计ˆK
具有最小方差
(证明见教材P101或附录3.2)
Yn 1 2 X 2n 3 X 3n k X kn un
用矩阵表示
Y1 1 X 21
Y2


1
X 22


X k1 1 u1
X
k
2



2


u
2


Yn
e ●剩余项 i 的均值为零 ei ei n 0
e ●被解释变量估计值 Yˆi 与剩余项 i 不相关
Cov(Yˆi , ei ) 0
或
(ei yˆi ) 0
e ●解释变量 X i 与剩余项 i 不相关
Cov( X ji , ei ) 0
（j=1,2,---k）
16 16
二、 OLS估计式的统计性质
根据最小二乘原则 则正规方程为
Xe = 0
X Xβˆ = X Y
14
OLS估计式
由正规方程 X Xβˆ = X Y (X X )kk 是满秩矩阵,其逆存在
多元回归的OLS估计量为 βˆ = (X X)-1 X Y
当只有两个解释变量时为：
ˆ1 Y ˆ2 X 2 ˆ3 X 3
随机变量
18
βˆ 的期望与方差
● βˆ 的期望 E( βˆ) = β
(由无偏性)
● βˆ 的方差和标准误差：
可以证明 βˆ 的方差—协方差矩阵为（见下页）
Var - Cov( βˆ ) 2 ( X X )1

c11
c12 L
c1k

Var(ˆj ) 2cjj
SE(ˆj ) cjj
ˆ2 (
yi x2i )( x32i ) ( yi x3i )( x2i x3i ) ( x22i )( x32i ) ( x2i x3i )2
ˆ3 (
yi x3i )( x22i ) ( yi x2i )( x2i x3i ) ( x22i )( x32i ) ( x2i x3i )2
7
多元样本回归方程
Y 的样本条件均值可表示为多个解释变量的函数 Yˆi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki
或回归剩余（残差）： ei Yi Yˆ i
Yi ˆ1 ˆ 2 X 2i ˆ 3 X 3i L ˆ k X ki ei
结论：在古典假定下，多元线性回归的 OLS估 计式是最佳线性无偏估计式（BLUE）
17
三、 OLS估计的分布性质
基本思想：
● βˆ 是随机变量，必须确定其分布性质才可能进行区
间估计和假设检验
● u i是服从正态分布的随机变量， Y = Xβ + u
决定了Y也是服从正态分布的随机变量
● βˆ是Y的线性函数，决定了 βˆ 也是服从正态分布的
假定5: 无多重共线性假定 (多元中增加的)
假定各解释变量之间不存在线性关系，或各个解
释变量观测值之间线性无关。或解释变量观测值
矩阵X的秩为K(注意X为n行K列)。
Ran(X)= k
Rak(X'X)=k
即 (X'X) 可逆 假定6:正态性假定
ui ~ N (0, 2 )
u ~ N (0, 2I)
或用方差-协方差矩阵表示为:
Cov(ui , u j ) E{[ui E(ui )][u j E(u j )]} E(uu)
(i 1, 2,L n
（i=j）
(i≠j)
j 1, 2,L n)
E(u1u1)


E
(u2u1
)
M

E(unu1
)
E(u1u2 ) E(u2u2 )
M E(unu2 )
L E(u1un ) 1 0 L 0
L E(u2un ) 2 0 1 L 0 2I
M M M M M M
L
E
(unun
)

0 0 L 1
11
假定4：随机扰动项与解释变量不相关
Cov( X ji , ui ) 0
( j 2,3,L , k)
求偏导，并令其为0 ( ei2) ˆj 0 其中
即
2
Yi
(ˆ1 ˆ2
X 2i ˆ3 X3i L
ˆki
X ki ) 0


2
X 2i
Yi

(ˆ1
ˆ2
X 2i

ˆ3
X 3i
L

ˆki
X ki )

0


(i 1, 2,L n)
( j 1, 2,L n)
ei 0
X2iei 0
2
X ki
Yi

(ˆ1
ˆ2
X 2i

ˆ3
X 3i
L
ˆki
X ki ) 0


Xkiei 0
13
用矩阵表示的正规方程
偏导数



ei X 2iei



对比
简单线性回归中
ˆ1 Y ˆ2 X
ˆ2
xi yi xi2
注意： x、 y 为X、Y的离差 15
OLS回归线的数学性质 (与简单线性回归相同)
●回归线通过样本均值 Y ˆ1 ˆ 2 X 2 ˆ3 X 3 L ˆ k X k
●估计值 Yˆ i 的均值等于实际观测值 Yi 的均值 Yˆi n Y
12
第二节 多元线性回归模型的估计
一、普通最小二乘法（OLS）
原则：寻求剩余平方和最小的参数估计式 min : ei2 (Yi Yˆi )2
min : ei2 [Yi (ˆ1 ˆ2 X2i ˆ3 X3i L ˆk Xki )]2
即 min : ei2 min : ee min : (Y - Xβˆ)(Y - Xβˆ)
2 ( X X )1
注意
βˆ 是向量
(i 1, 2,L ( j 1, 2,L
n) n)
(由无偏性)
(由OLS估计式)
(由同方差性)
其中：
ˆ ( X X )1 X Y ( X X )1 X ( Xβ + u) β ( X X )1 X u
E(uu) 2I
2
怎样分析多种因素的影响？
分析中国汽车行业未来的趋势,应具体分析这样一些问题： 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？
（如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
COV ( βˆ) E{[ βˆ E( βˆ)][ βˆ E( βˆ)]}
E[( βˆ β)( βˆ β)]
E[( X X )1 X uuX ( X X )1] ( X X )1 X E(uu) X ( X X )1
( X X )1 X 2 IX ( X X )1
1
这里的 ( X X )

c21

M
c22 M
L c2k M M
ck1 ck 2 L ckk
（其中 c jj 是矩阵( X X )1 中第 j 行第 j 列的元素）
所以 ˆ j ~ N( j , 2c jj ) （j=1,2,---k） 19
βˆ 的方差-协方差