第三章 多元线性回归模型

e 0 X e 0
i 2i i
ˆ ˆ X ˆ X ... ˆ X ) 0 -2 X ki Y -( i 1 2 2 i 3 3 i ki ki


X e 0
ki i
注意到 ˆ ˆ X ˆ X ... ˆ X ) e Y ( 各括号 1 2 2i 3 3i ki ki i i 中的值
ˆ X -β ˆX ˆ Y - β 二元回归中 1 2 2 3 3 ˆ 2 ˆ 3
得
2 ( yi x2i )( x3 i ) - ( yi x3i )( x2 i x3i ) 2 2 2 ( x2 )( x ) ( x x ) 2 i 3i i 3i
2 ( yi x3i )( x2 i ) - ( yi x2 i )( x2 i x3i ) 2 2 2 ( x2 )( x ) ( x x ) 2 i 3i i 3i
偏回归系数 j ( j 1, 2,..., k ) ： 当控制其它解释量不变的条件下，第 j 个解释 变量的单位变动对应变量平均值的影响。
10
ˆ ˆ X ˆX ˆ Y 0 1 1 2 2
ˆ X ˆ X ˆ Y 1 1 2 2
ˆ X ˆ 当X1 0时,Y 2 2 ˆ X ˆ 当X 0时,Y
——刘士杰，《人力资本、职业搜寻渠道、职业流动对农 民工工资的影响》，《人口学刊》，2011年第5期。
8
消费方程
请比较如下两个模型
cons 0 1inc u
cons 0 1inc 2inc2 u
cons：消费，inc：收入 在这个模型中，消费只受到收入的影响。 边际消费倾向为：
Wage:工资水平（元），educ：受教育程度 （年），exper：工作经验（年） 在模型（1）中，我们假设只有一个变量或者说 最重要的变量educ在影响wage。 与模型(1)相比，模型（2）把exper从误差项中提 取了出来。其系数表示在其他条件不变时exper对 wage的影响，这本来也有一定的意义。
回归剩余（残差）：
ˆ ei Yi - Y i
与一元模型相比，多元模型能够更真实的解释现 实世界。
5
4、多元线性回归函数示例 工资方程1、2
请比较如下两个模型 wage 0 1educ u
wage 0 1educ 2 exp er u(2)
2In i = j
0 (i j )
假定3：随机扰动项与解释变量不相关 外生解释变量和 Cov( X ji , u i ) 0 j 2, 3, , k 内生解释变量
15
假定4:无多重共线性假定
(多元模型中)
各解释变量之间不存在线性关系，或各个
解释变量观测值之间线性无关 。
假定5：正态性假定
2 1 1
ˆ 、 ˆ 解释为在其他条件不变时， 1 2 其对应的自变量对Y的影响。
这样的设定能使经济学者在非实验环 境中去模拟做自然科学研究者在受控实验室 中所做的事情：保持其他因素不变。
11
二、多元线性回归模型的矩阵表示
k 个解释变量的多元线性回归模型的 n个观测 样本，可表示为
Y1 1 2 X 21 3 X 31 ... k X k1 u1
cons 1(1) inc
cons 1 2 2inc inc
在模型（2）中，收入对消费的边际效应取决 于：两个参数的大小和收入水平。
9
5、对多元线性回归方程的解释

其他情况不变时的效应也称为“局部效 应”或“偏效应” (Partial Effect):回归 模型中的其他因素保持不变时，某个解 释变量对因变量的影响。
6
工资方程3
7





职业培训虚拟变量：有职业培训经历= 1，无= 0 工作岗位虚拟变量： 垄断行业管理及技术人员( 参 照组) =0,，垄断行业普通职员、竞争行业管理及技 术人员、普通职员=1 工作变换虚拟变量： 有过工作变换经历= 1，无= 0 职业搜寻渠道虚拟变量： 通过强关系找到当前工 作= 1，其他= 0 地域虚拟变量： 北京(参照组)=0，上海、天津、 广州=1
结论：在古典假定下，多元线性回归的 OLS 估计式是最佳线性无偏估计式（BLUE）
22
三、OLS估计的分布性质
基本思想 ˆ 是随机变量，必须确定其分布性质才可能 ● β i 进行区间估计和假设检验 ● u i是服从正态分布的随机变量 , 决定了 Yi 也 是服从正态分布的随机变量
ˆ 是 Y 的线性函数，决定了 β ˆ 也是服从正态 ● β i i i 分布的随机变量
19
用矩阵表示
ei 1 X 2i ei = X 21 ... X ki ei X k1 1 1 e1 0 e 0 X 22 X 2 n 2 = X e = X k 2 X kn en 0
u i ~ N (0, σ )
2
16
第二节 多元线性回归模型的估计
一、普通最小二乘法（OLS）
二、OLS估计的性质
三、OLS估计的分布性质
四、随机扰动项方差 2的估计
五、回归系数的区间估计
17
一、普通最小二乘法（OLS）
最小二乘原则
ˆ )2 剩余平方和最小： min ei2 (Yi - Y i
正规方程组 ˆ ˆ X ˆ X ... ˆ X ) 0 -2 Y ( ki ki i 1 2 2i 3 3i ˆ ˆ X ˆ X ... ˆ X ) 0 -2 X 2i Y -( ki ki i 1 2 2i 3 3i 得
x和y为X 和Y的离差
21
二、OLS估计的性质
1.线性特征:
ˆ = (X X)-1 X Y β
-1 ˆ Y ( X X) X 是非随机 是 的线性函数，因 β
或取固定值的矩阵
2.无偏特性:
ˆ )β E( β k k
3. 最小方差特性: 在 βk 所有的线性无偏估计中， ˆ OLS估计 具有最小方差。 β k
总体回归模型描述了一个被解释变量与多个 解释变量之间的线性关系，就是多元线性回归模型。 一般形式：
Y 1 2 X 2 3 X 3 …… k X k ui
j 为模型参数
u i 为随机扰动项
3
2、多元总体回归函数的条件均值形式
Y 的总体条件均值表示为多个解释变量的函数
j 1, 2,..., k
24
四、随机扰动项方差 的估计
2
2 σ 多元回归中 的无偏估计为：
2 ˆ σ
2 e i
n-k
2 e i 2 c jj c jj n-k
ˆ 参数估计值 j 的样本方差和标准差分别为：
ˆ Var j

ˆ 2c c se j jj jj

2 e i
n-k
c jj
25
五、回归系数的区间估计
一般出现的是 2 不知、且为小样本的情况， 故为t分布。
区间估计的基本方法： P[-tα 2 (n - k ) t tα 2 (n - k )] 1- α
∵
t=
ˆ -β β j j ˆ ) SE( β j
^
=
ˆ -β β j j ˆ c jj σ
数据矩阵 (截距项可视为解释变量 取值为1)
14
三、多元线性回归中的古典假定
假定1：零均值假定 E( u ) 0 ( i 1, 2, , n ) i 或 E (u) = 0 U为向量 假定2：同方差和无自相关假定
Cov( u i , u j ) E[( u i - E u i )(u j - E u j )] E(u i u j )
X
e
ˆ +e Y = Xβ ˆ + X e 两边乘 X 有： X Y = X Xβ
样本回归函数为 Continued
20
Continued 由极值条件得 代入上式得
X e = 0
ˆ X Y = X Xβ
1
将上式左右两边同时乘以 X X -1 ˆ β = (X X) X Y
2 2
^
^
ˆ -t ˆ t ˆ ˆ c jj βj β σ c , β σ j 2( n k ) jj j 2( n k )
27
第三节 多元线性回归模型的检验
一、多元回归的拟合优度检验
二、各回归系数的显著性检验（t检验）
三、回归方程的显著性检验（F检验）
2 ˆ ˆ ˆ ˆ min e [Yi - (1 2 X 2i 3 X 3i ... k X ki )] 2 i
求偏导,令其为0:
( ei2 ) 0 ˆ
j
18
ˆ ˆ X ˆ X ... ˆ X )]2 min ei2 [Yi - ( 1 2 2i 3 3i k ki
E(Yi X 2i , X 3i ,..., X ki ) 1 2 X 2i 3 X 3i ... k X ki
它称作总体回归函数
4
3、多元样本线性回归函数
在得到参数的估计值后，也可以得到样本回归函数:
ˆ ˆ X ˆ X ... ˆ X e ˆ e Yi Y i i 1 2 2i 3 3i k ki i
n 1
Y
X
β
u
nk
k 1
n 1
行数×列数
13
总体回归函数
E(Y) = Xβ
或 Y = Xβ + u
样本回归函数
或 ˆ +e ˆ ˆ Y = Xβ Y = Xβ ˆ 其中：Y,Y,u,e 都是有 n 个元素的列向量
ˆ 是有 k 个元素的列向量 β, β
X 是第一列为1的 n k 阶解释变量
Y2 1 2 X 22 3 X 32 ... k X k 2 u2
Yn 1 2 X 2n 3 X 3n ... k X kn un
表示成矩阵为 Continued
12

相关知识：矩阵乘法
矩阵表示
Y1 1 X 21 X k 1 β1 u1 Y 1 X X β u 2 22 k 2 2 2 Yn 1 X 2 n X kn βk un
~ t (n - k )
∴ P[-t (n - k ) α2
ˆ -β β j j ˆ ) SE( β j
^
tα 2 (n - k )] 1- α
26
ˆ - t SE ( β ˆ ) β β ˆ t SE ( β ˆ )] 1- α P[ β j α j j j α j 2 2 ∴ 或 ˆ -t σ ˆ t σ ˆ ˆ c jj ] 1- α P[ β c β β j α jj j j α
第三章 多元线性回归模型
本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
1
第一节 多元线性回归模型及古典假定
一、多元线性回归模型 二、多元线性回归模型的矩阵表示 三、多元线性回归中的古典假定
2
一、多元线性回归模型
1、多元线性回归模型的一般形式
23
ˆ ) β (由无偏性) 的期望 E( β ˆ j j β j ˆ 的方差和标准误差 j jj
ˆ )σ c se( β j jj
这里 cjj 是矩阵 ( X X )-1中第 j 行第 j 列的元素
ˆ ~ N ( β , σ 2c ) 故有：β j j jj