c第三章 多元线性回归模型

或用方差-协方差矩阵表示为:
0
(i 1, 2,n
0 0 1 0 2I 0 1
12
假定4：随机扰动项与解释变量不相关
Cov( X ji , ui ) 0 ( j 2,3,, k )
假定5: 无多重共线性假定 (多元中增加的)
假定各解释变量之间不存在线性关系，或各个解 释变量观测值之间线性无关。或解释变量观测值
或回归剩余（残差）：
ˆi ei Yi Y
ˆ ˆ X ˆ X ˆ X e Yi 1 2 3 k 2i 3i ki i
其中
i 1,2, n
9
多个解释变量的多元线性回归模型的n组样本观测值，可 表示为 Y1 1 2 X 21 3 X 31 k X k1 u1 Y2 1 2 X 22 3 X 32 k X k 2 u2
对比
简单线性回归中
ˆ Y ˆX 1 2
xi yi ˆ 2 2 x i
2 ( yi x3i )( x2 i ) ( yi x2i )( x2i x3i ) 2 2 2 ( x2 )( x ) ( x x ) 2i 3i i 3i
注意：
x、 y
为X、Y的离差
(i 1, 2,n)
8
或表示为 Y X X X u i 1 2 2i 3 3i k ki i
多元样本回归函数
Y 的样本条件均值可表示为多个解释变量的函数
ˆ ˆ X ˆ X ˆ X ˆi Y 1 2 3 k 2i 3i ki
矩阵X的秩为K(注意X为n行K列)。 Ran(X)= k Rak(X'X)=k 即 (X'X) 可逆 假定6:正态性假定
ui ~ N (0, )
2
u ~ N (0, 2I)
13
一、普通最小二乘法（OLS）
原则：寻求剩余平方和最小的参数估计式
ˆ )2 min : ei2 (Yi Y i ˆ ˆ X ˆ X ˆ X )]2 min : ei2 [Yi ( 1 2 3 k 2i 3i ki
ˆ ˆ X ˆ X ˆ X ) 0 2 X ki Yi ( 1 2 2i 3 3i ki ki
e 0
X
2i i
e 0
X
ki i
e 0
14
用矩阵表示的正规方程
偏导数
ei 1 X e 2i i X 21 X kiei X k1 1 1 e1 0 e 0 X 22 X 2 n 2 Xe X k 2 X kn en 0
Yn 1 2 X 2n 3 X 3n k X kn un
用矩阵表示
Y1 1 X 21 Y 1 X 22 2 Yn 1 X 2 n
n 1
X k1 1 u1 u X k2 2 2 X kn k u n
(截距项可视为解释变量总是取值为1)
11
假定1：零均值假定 E(ui ) 0 （ i=1，2，---n） 或 E（u）=0 假定2和假定3：同方差和无自相关假定： 2
Cov(ui , u j ) E[(ui Eui )(u j Eu j )] E(ui u j )

（i=j）
多元线性回归中的“线性”
指对各个回归系数而言是“线性”的，对变量则可
以是线性的，也可以是非线性的 例如：生产函数
Y AL K u
取对数


ln Y ln A ln L ln K ln u
这也是多元线性回归模型，只是这时变量为lnY、 lnL、lnK
7
多元总体回归函数
条件期望表现形式： 将Y的总体条件期望表示为多个解释变量的函数，如:
(证明见教材P101附录3.1)
最小方差特性
(证明见教材P101或附录3.2)
ˆ 在 K 所有的线性无偏估计中，OLS估计 K
具有最小方差 结论：在古典假定下，多元线性回归的 OLS估 计式是最佳线性无偏估计式（BLUE）
19
三、 OLS估计的分布性质
基本思想：
ˆ 是随机变量，必须确定其分布性质才可能进行区 ● β 间估计和假设检验
因为样本回归函数为 两边左乘 X
X
e
0
ˆ +e Y = Xβ
ˆ + X e X Y = X Xβ
X e = 0
根据最小二乘原则
则正规方程为
ˆ = X Y X Xβ
15
OLS估计式
由正规方程
ˆ = X Y X Xβ
( X X )kk 是满秩矩阵, 其逆存在
-1 ˆ β = (X X) X Y
ˆ )(Y - Xβ ˆ) min : ei2 min : ee min : (Y - Xβ
ˆ 0 其中 (e ) j
2 i
即
Baidu Nhomakorabea
求偏导，并令其为0 即
( j 1, 2, n)
i
(i 1, 2,n)
ˆ ˆ ˆ ˆ 2 Yi ( 1 2 X 2i 3 X 3i ki X ki ) 0 ˆ ˆ ˆ ˆ 2 X 2i Yi ( 1 2 X 2i 3 X 3i ki X ki ) 0
2
怎样分析多种因素的影响？
分析中国汽车行业未来的趋势,应具体分析这样一些问题： 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？
（如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 还需要寻求有更多个解释变量情况的回归分析方法。
3
本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
4
第一节 多元线性回归模型及古典假定
一、多元线性回归模型的意义
一般形式：对于有K-1个解释变量的线性回归模型
Yi 1 2 X 2i 3 X 3i k X ki ui
ˆ ) 2 ( X X )1 Var - Cov( β
ˆ ) 2c Var( j jj
这里的
1
( X X )
ˆ ) c SE ( j jj
（其中 c jj
1 是矩阵( X X )
c c12 c1k 11 c21 c22 c2 k ck 1 ck 2 ckk
多元回归的OLS估计量为
当只有两个解释变量时为：
ˆ Y ˆ X2 ˆ X3 1 2 3
ˆ 2
ˆ 3
2 ( yi x2i )( x3 i ) ( yi x3i )( x2i x3i ) 2 2 2 ( x2 )( x ) ( x x ) 2i 3i i 3i
nk
Y
X
β
k 1
u
n 1
10
10
矩阵表示方式
总体回归函数 样本回归函数
E (Y) = Xβ 或 Y = Xβ + u
ˆ ˆ = Xβ Y
或
ˆ+e Y = Xβ
ˆ 其中： Y,Y,u,e 都是有n个元素的列向量
ˆ 是有k 个 元素的列向量 β, β
（ k = 解释变量个数 + 1 ）
X 是第一列为1的n×k阶解释变量数据矩阵 ，
所以
ˆ ~ N ( , c ) j j
●回归线通过样本均值
ˆ ˆ X2 ˆ X 3 ˆ Xk Y 1 2 3 k
ˆ i 的均值等于实际观测值 ●估计值 Y
●剩余项
Yi
的均值
Yˆ
i
n Y
e i 的均值为零
ei ei n 0
ˆ 与剩余项 ●被解释变量估计值 Y i
ei
不相关
ˆi , e ) 0 Cov(Y i
●解释变量 X i 与剩余项
或
ˆ )0 (e y
i i
e i 不相关
Cov( X ji , ei ) 0
（j=1,2,---k）
18
18
1、
线性特征
-1 ˆ β = (X X) X Y
ˆ 是Y的线性函数，因 (X X)-1 X 是非随机或取固 β
定值的矩阵 2、 3、
ˆ ) 无偏特性 E( K K
注意：模型中的 j （j=1,2,---k）是偏回归系数 样本容量为n 偏回归系数：
(i 1, 2,n)
控制其它解释量不变的条件下，第 j 个解释变量的 单位变动对被解释变量平均值的影响，即对 Y平均值“直 接”或“净”的影响。
5 5
use skxf.dta,clear reg y x1 x2 reg y x1 reg x1 x2 predict e1,res reg y x2 predict e2,res reg e2 e1
(i≠j)
j 1, 2,n)
Cov(ui , u j ) E{[ui E(ui )][u j E(u j )]} E(uu)
E (u1u1 ) E (u1u2 ) E (u1un ) 1 E (u u ) E (u u ) E (u u ) 0 2 1 2 2 2 n 2 E ( u u ) E ( u u ) E ( u u ) 0 n 1 n 2 n n
E(Yi X 2i , X 3i , X ki ) 1 2 X 2i 3 X 3i k X ki (i 1, 2,n) 注意：这时Y总体条件期望的轨迹是K维空间的一条线
个别值表现形式：
引入随机扰动项
ui Yi E(Yi X 2i , X 3i X ki )
16
local N = _N gen cons = 1 （产生一个常数项） mkmat consume, mat(y) （将消费这个变量 构造成一个矩阵y） mkmat income cons, mat(X) (将收入和常数 项构造成一个矩阵X) mat b = inv(X'*X)*X'*y (inv表示取逆矩阵 ) mat list b mat list y mat list X
●
u i 是服从正态分布的随机变量， Y = Xβ + u
决定了Y也是服从正态分布的随机变量
ˆ 是Y的线性函数，决定了 ˆ 也是服从正态分布的 ● β β 随机变量
20
ˆ β
● ●
的期望与方差
ˆ) = β E( β
(由无偏性)
ˆ 的期望 β
ˆ 的方差和标准误差： β ˆ 的方差—协方差矩阵为（见下页） 可以证明 β
计量经济学
第三章 多元线性回归模型
引子:中国已成为世界汽车产销第一大国
中国社会科学院《中国汽车社会发展报告2012-2013》显示， 中国国内汽车产销量已近2000万辆。从2000年开始，中国 汽车市场进入到黄金10年。汽车保有量从1600万辆攀升到1 亿多辆。2010年成为全球第一大汽车市场，中国的汽车保有 量已经超过日本，成为仅低于美国的世界第二大汽车保有国。 业内预计，2020年我国汽车保有量将突破2亿辆。 是什么因素导致中国汽车数量的增长? 影响中国汽车行业发展的因素并不是单一的，经济增长、消 费趋势、市场行情、业界心态、能源价格、道路发展、内外 环境，都会使中国汽车行业面临机遇和挑战。