《计量经济学》第三章 多元线性回归模型

总体回归函数也可表示为:
Yi 1 2 X 2i 3 X 3i ... k X ki ui
7
多元样本回归函数
Y 的样本条件均值表示为多个解释变量的函数
ˆ ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X3i ... k X ki
或
ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X3i ... k X ki ei
22
ˆ ˆ 因 2 是未知的，可用 2代替 2 去估计参数 β 的标
准误差:
ˆ ● 当为大样本时，用估计的参数标准误差对 β 作标 准化变换，所得Z统计量仍可视为服从正态分布 ˆ ●当为小样本时，用估计的参数标准误差对 β 作标
准化变换，所得的t统计量服从t分布： ˆ βk - βk t ~ t (n - k ) ^ ˆ SE( βk )
i i
i
e e 0 4.残差 ei 与 X 和
3.
i
e X
i
3i
ei X 2i 0
2i
X 3i 都不相关，即
ˆ 5.残差 ei 与 Yi 不相关，即
e Yˆ 0
i i
18
二、OLS估计式的性质－统计性质
OLS估计式（用矩阵表式） 1.线性特征:
ˆ = (X X)-1 X Y β
2 i
ˆ ei2 (Yi - Yi )2
ˆ X X ... X )]2 ˆ min e [Yi -(1 ˆ2 2i ˆ3 3i k ki
求偏导,令其为0:
( ei2 ) 0 ˆ
j
13
即 ˆ ˆ ˆ ˆ -2 Yi - (1 2 X 2i 3 X 3i ... ki X ki ) 0
var( 2 ) var( 3 ) x 2 2i x 23i ( x2i x3i )2 x 2 2i x 23i ( x2i x3i )2 x 2 2i x 2 3i 2 2
16
OLS估计量的方差和标准差
建立标准误的两个目的：区间估计和假设检验
自由度
统计量的自由度指可自由变化的样本观测值个数， 它等于所用样本观测值的个数减去对观测值的约 束个数。
29
可决系数的修正方法
总变差 TSS
(Yi Y )2 Yi 2
i 1 i 1
n
n
自由度为 n - 1
ˆ (Y i - Y )2＝ yi2 自由度为 k - 1 2 ˆ 2 剩余平方和 RSS (Yi - Y i ) ei 自由度为 n - k
三变量SRF：
ˆ ˆ ˆ 个值： Yi 1 2 X 2 3 X3 ei
ˆ ˆ ˆ ˆ 条件均值：Yi 1 2 X 2i 3 X 3i 模型中参数的意义是什么呢?
5
多元线性回归模型的一般形式
一般形式：对于有 k 个解释变量的线性回归模型
Yi 1 2 X 2i 3 X 3i ... k X ki ui
ˆ ˆ ˆ ˆ -2 X 2i Yi -(1 2 X 2i 3 X 3i ... ki X ki ) 0
e 0 X e 0
i 2i i
ˆ ˆ ˆ ˆ -2 X ki Yi -(1 2 X 2i 3 X 3i ... ki X ki ) 0
假定6：正态性假定
ui ~ N (0, σ )
2
11
第二节
多元线性回归模型的估计
本节基本内容:
● 普通最小二乘法（OLS） ● OLS估计式的性质 ● OLS估计的分布性质 ● 随机扰动项方差 2的估计 ● 回归系数的区间估计
12
一、普通最小二乘法（OLS）
最小二乘原则
剩余平方和最小： min
假定4：随机扰动项与解释变量不相关
i= j
2
0 (i j )
cov(i , X 2i ) cov(i , X 3i ) 0
10
假定5:无多重共线性假定
(多元中)
假定各解释变量之间不存在精确的线性关系
即不存在一组不全为零的 2 和 3 使得：
2 X 2i 3 X 3i 0
2 2
27
三变量的可决系数
可以证明：R
2
ˆ ˆ ˆ β 2 x2i yi β 3 x3i yi ... β k xki yi
y
2 i
特点：
多重可决系数是模型中解释变量个数的不减函数， 这给对比不同模型的多重可决系数带来缺陷，所以 需要修正。
28
修正的可决系数
思想
可决系数只涉及变差，没有考虑自由度。如果用 自由度去校正所计算的变差，可纠正解释变量个 数不同引起的对比困难。
2 ( yi x3i )( x2i ) - ( yi x2i )( x2i x3i ) 2 2 ( x2i )( x3i ) - ( x2i x3i )2
注意：
x
和 y 为 X,Y 的离差
15
OLS估计量的方差和标准差
建立标准误的两个目的：区间估计和假设检验
se( i ) var( i ) 1 X 2 2 x 23i X 32 x 2 2i 2 X 2 X 3 x2i x3i 2 var( 1 ) 2 2 2 n x 2i x 3i ( x2i x3i )
注意到 ˆ ˆ ˆ ˆ Yi -(1 2 X 2i 3 X 3i ... ki X ) ei


X e 0
ki i


14
OLS估计式
由上述正规方程，可得 二元回归中
ˆ ˆ ˆ 1 Y - β2 X 2 - β3 X3
ˆ 2
ˆ 3
2 ( yi x2i )( x3i ) - ( yi x3i )( x2i x3i ) 2 2 ( x2i )( x3i ) - ( x2i x3i )2
i 1,2,, n
其中
回归剩余（残差）：
ˆ ei Yi - Yi
8
偏回归系数的理解
偏回归系数 j：控制其它解释量不变的条件下，第 j 个 解释变量的单位变动对应变量平均值的影响。 举例：儿童死亡率（CM）对人均GNP（PGNP）和妇 女识字率（FLR）回归，2 的含义
CMi 1 2 PGNP 3 FLRi i i
3
第一节 多元线性回归模型及古典假定
本节基本内容:
一、三变量回归模型 二、多元线性回归中的基本假定 三、偏回归系数的含义
4
三变量回归模型
三变量PRF： 个值：
Yi 1 2 X 2 3 X 3 ui
条件均值： E(Yi | X 2i , X 3i ) 1 2 X 2i 3 X 3i
计量经济学
第三章 多元线性回归模型
1
第三章 多元线性回归模型
本章主要讨论:
●多元线性回归模型及古典假定 ●多元线性回归模型的估计 ●多元线性回归模型的检验 ●多元线性回归模型的预测
2
简单与多元线性回归分析的异同：
●相同点： PRF与SRF的关系； 经典线性回归假定（CLRM）； i 的假定 OLS估计思想及其估计值的性质 区间估计及其单个参数的显著性检验； 预测 ●不同点（或新增的内容）： 多元偏回归系数的理解； 可决系数与修正的可决系数； 回归模型的显著性检验； 受约束的检验； 模型设定的初探
考虑三变量的PRF 假定1：零均值假定
Yi 1 2 X 2i 3 X 3i i
E(i | X 2i , X 3i ) 0
假定2和假定3：同方差和无自相关假定
Cov(ui , u j ) E[(ui - Eui )(u j - Eu j )] E(uiu j )
ˆ ˆ ˆ ˆ ˆ Y i = β1+ β2 X 2i + β 3 X 3i +...+ β k X ki
多重可决系数也可表示为
ESS TSS- RSS R 12 TSS (Yi - Y ) TSS yi2
2
26
ˆ (Yi - Y )2
ei2
三变量的可决系数
ei yi 2 yi x2i 3 yi x3i 2 2 2 yi yi ei 2 2 2 yi yi yi 2 yi x2i 3 yi x3i 2 ESS yi 2 yi x2i 3 yi x3i ESS 2 yi x2i 3 yi x3i 2 R 2 TSS yi
^
tα 2 (n - k )] 1- α
( j 1,..., k )
或:
2
2
ˆ ˆ ˆ ˆ P[ β j - tα σ c jj β j β j tα σ c jj ] 1- α
2 2
ˆ ˆ ˆ ˆ 或表示为: β j ( β j - t 2( n-k ) σ c jj , β j t 2( n-k ) σ c jj )
24
第三节
多元回归的拟合优度
本节基本内容:
● 多元可决系数R2与复相关系数R ● R2及修正的R2 ● R2的比较
25
一、多元回归的拟合优度
多重可决系数：在多元回归模型中，由各个解释变量联合 解释了的 Y 的变差，在 Y 的总变差中占的比重，用 R 2 表 示 ˆ 与简单线性回归中可决系数 R 2 的区别只是 Yi 不同，多元 回归中
2.无偏特性:
ˆ E( βk ) βk
19
3. 最小方差特性
ˆ 在 βk 所有的线性无偏估计中，OLS估计 βk 具有
最小方差 结论：在古典假定下，多元线性回归的 OLS估计 式是最佳线性无偏估计式（BLUE）