计量经济学 庞皓 第二版 第三章 多元线性回归模型

多元回归的OLS估计量为 估计量为 多元回归的
ˆ = (X ′X)-1 X ′Y β
对比
简单线性回归中
2
当只有两个解释变量时为： 当只有两个解释变量时为：
ˆ ˆ ˆ β1 = Y − β 2 X 2 − β3 X 3
ˆ β2 =
2 (∑ yi x2i )(∑ x3i ) − (∑ yi x3i )(∑ x2i x3i )
∑x y ∑x
i 2 i
i
注意： 注意：
x、 y
为X、Y的离差 、 的离差
15
●回归线通过样本均值 回归线通过样本均值
ˆ ˆ ˆ ˆ Y = β1+ β 2 X 2 + β 3 X 3 +L+ β k X k
ˆ ●估计值 Y i 的均值等于实际观测值
●剩余项
Yi
的均值
∑ Yˆ
i
n =Y
ei 的均值为零
Yn = β 1 + β 2 X 2 n + β 3 X 3n + L + β k X kn + u n
用矩阵表示
Y1 1 X 21 Y 1 X 22 2 = M M L Yn 1 X 2 n
L X k 1 β 1 u1 L X k 2 β 2 u 2 + L M M M L X kn β k u n
3
本章主要讨论: 本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
4
第一节 多元线性回归模型及古典假定
一、多元线性回归模型的意义
一般形式：对于有 一般形式：对于有K-1个解释变量的线性回归模型 个解释变量的线性回归模型
Yi = β 1 + β 2 X 2i + β 3 X 3i + L + β k X ki + u i
即
ˆ ˆ min : ∑ ei2 = min : e′e = min : ( Y - Xβ)′( Y - Xβ) ˆ ∂ ( ∑ ei2 ) ∂β j = 0 其中
(i = 1, 2,L n) ( j = 1, 2,L n)
求偏导，并令其为0 即
ˆ + β X + β X + L + β X ) = 0 ˆ −2∑ Yi − ( β1 ˆ2 2i ˆ3 3i ki ki ˆ + β X + β X + L + β X ) = 0 ˆ −2∑ X 2i Yi − ( β1 ˆ2 2i ˆ3 3i ki ki
（如收入、价格、费用、道路状况、能源、政策环境等） 如收入、价格、费用、道路状况、能源、政策环境等）
各种因素对汽车销量影响的性质怎样？（正、负） 各种因素对汽车销量影响的性质怎样？ 各种因素影响汽车销量的具体数量关系是什么？ 各种因素影响汽车销量的具体数量关系是什么？ 所得到的数量结论是否可靠？ 所得到的数量结论是否可靠？ 中国汽车行业今后的发展前景怎样？ 中国汽车行业今后的发展前景怎样？应当如何制定汽车的 产业政策？ 产业政策？ 很明显，只用一个解释变量已很难分析汽车产业的发展, 很明显，只用一个解释变量已很难分析汽车产业的发展 还需要寻求有更多个解释变量情况的回归分析方法。 还需要寻求有更多个解释变量情况的回归分析方法。
（ k = 解释变量个数 + 1 ） 是第一列为 的 阶解释变量数据矩阵 X 是第一列为1的n×k阶解释变量数据矩阵 ， 阶解释变量
(截距项可视为解释变量总是取值为 截距项可视为解释变量总是取值为1) 截距项可视为解释变量总是取值为
10
假定1： 假定 ：零均值假定 E（u）=0 （ ） 假定2和假定 和假定3：同方差和无自相关假定： 假定 和假定 ：同方差和无自相关假定： 2 σ （i=j）
ei = ∑ ei n = 0
ˆ ●被解释变量估计值 Yi 与剩余项
ei
不相关
ˆ Cov(Y i , ei ) = 0
●解释变量 X i 与剩余项
或
∑ (e
i
ˆ yi ) = 0
ei 不相关
Cov( X ji , ei ) = 0
（j=1,2,---k）
16 16
1、
线性特征 线性
ˆ = (X ′X)-1 X ′Y β
2
怎样分析多种因素的影响？ 怎样分析多种因素的影响？
分析中国汽车行业未来的趋势,应具体分析这样一些问题： 分析中国汽车行业未来的趋势 应具体分析这样一些问题： 应具体分析这样一些问题 中国汽车市场发展的状况如何？ 用销售量观测） 中国汽车市场发展的状况如何？（用销售量观测） 影响中国汽车销量的主要因素是什么？ 影响中国汽车销量的主要因素是什么？
假定5: 无多重共线性假定 (多元中增加的 假定 多元中增加的) 多元中增加的 假定各解释变量之间不存在线性关系，或各个解 假定各解释变量之间不存在线性关系， 释变量观测值之间线性无关。 释变量观测值之间线性无关。或解释变量观测值 矩阵X的秩为 注意 矩阵 的秩为K(注意 为n行K列)。 的秩为 注意X为 列 。 Ran(X)= k Rak(X'X)=k 即 (X'X) 可逆 假定6:正态性假定 假定 正态性假定
或用方差-协方差矩阵表示为 或用方差 协方差矩阵表示为: 协方差矩阵表示为
0
(i≠j)
j = 1, 2,L n)
(i = 1, 2,L n
0 L 0 1 L 0 = σ 2I M M M 0 L 1
11
假定4： 假定 ：随机扰动项与解释变量不相关
Cov( X ji , ui ) = 0 ( j = 2,3,L , k )
因为样本回归函数为 两边左乘 X ′ 根据最小二乘原则 则正规方程为
X′
e
0
ˆ Y = Xβ + e
ˆ X ′Y = X ′Xβ + X ′e
X ′e = 0
ˆ X ′Xβ = X ′Y
14
OLS估计式 OLS估计式
由正规方程
ˆ X ′Xβ = X ′Y
( X ′X ) k ×k 是满秩矩阵, 其逆存在
这也是多元线性回归模型，只是这时变量为 、 这也是多元线性回归模型，只是这时变量为lnY、 lnL、lnK 、
6
多元总体回归函数
条件期望表现形式： 条件期望表现形式： 的总体条件期望表示为多个解释变量的函数， 将Y的总体条件期望表示为多个解释变量的函数，如:
E (Yi X 2i , X 3i , L X ki ) = β 1 + β 2 X 2i + β 3 X 3i + L + β k X ki
(i = 1, 2,L n)
7
多元样本回归函数
Y 的样本条件均值可表示为多个解释变量的函数
ˆ ˆ ˆ ˆ ˆ Y i = β 1 + β 2 X 2i + β 3 X 3i + L + β k X ki
或回归剩余（残差）： 或回归剩余（残差）：
ˆ ei = Yi − Y i
ˆ ˆ ˆ ˆ Yi = β 1 + β 2 X 2i + β 3 X 3i + L + β k X ki + ei
n× k
Y
n ×1
X
β
k ×1
u
n ×1
9 9
矩阵表示方式
总体回归函数 样本回归函数
E (Y) = Xβ 或 Y = Xβ + u
ˆ ˆ Y = Xβ
或
ˆ Y = Xβ + e
ˆ 其中： Y,Y,u,e 都是有 个元素的列向量 都是有n个元素的列向量 其中：
ˆ 是有k β, β 是有 个 元素的列向量
Cov (u i , u j ) = E[(u i − Eu i )(u j − Eu j )] = E (u i u j ) =
E (u i ) = 0 （ i=1，2，---n） 或
Cov(ui , u j ) = E{[ui − E (ui )][u j − E (u j )]} = E (uu′)
其中
i = 1, 2,L n
8
多个解释变量的多元线性回归模型的n组样本观测值， 多个解释变量的多元线性回归模型的 组样本观测值，可 组样本观测值 表示为 Y1 = β 1 + β 2 X 21 + β 3 X 31 + L + β k X k1 + u1 Y2 = β 1 + β 2 X 22 + β 3 X 32 + L + β k X k 2 + u 2
5 5
多元线性回归中的“线性” 多元线性回归中的“线性”
指对各个回归系数而言是“线性” 指对各个回归系数而言是“线性”的，对变量则可 以是线性的， 以是线性的，也可以是非线性的 例如：生产函数 例如：
Y = AL K u
取对数
α
β
ln Y = ln A + α ln L + β ln K + ln u
ui ~ N (0, σ 2 )
u ~ N (0, σ 2 I )
12
一、普通最小二乘法（OLS） 普通最小二乘法（OLS）
原则： 原则：寻求剩余平方和最小的参数估计式
ˆ min : ∑ ei2 = ∑ (Yi − Yi ) 2
ˆ ˆ ˆ ˆ min : ∑ ei2 = ∑ [Yi − ( β 1 + β 2 X 2i + β 3 X 3i + L + β k X ki )]2
是非随机或取固