第三章多元线性回归分析
合集下载
第三章多元线性回归模型(计量经济学,南京审计学院)
Yˆ 116.7 0.112X 0.739P
R2 0.99
(9.6) (0.003) (0.114)
Y和X的计量单位为10亿美元 (按1972不变价格计算).
P
食品价格平减指数 总消费支出价格平减指数
100，（1972
100）
3
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10
c (X X )1 X D
从而将 的任意线性无偏估计量 * 与OLS估计量 ˆ 联系
起来。
28
cX I
由
可推出：
(X X )1 X X DX I
即 I DX I
因而有 D X 0
cc (X X )1 X D (X X )1 X D ( X X )1 X D X ( X X )1 D
第三章 多元线性回归模型
简单线性回归模型的推广
1
第一节 多元线性回归模型的概念
在许多实际问题中，我们所研究的因变量的变动 可能不仅与一个解释变量有关。因此，有必要考虑线 性模型的更一般形式，即多元线性回归模型：
Yt β0 β1X1t β2 X 2t ... βk X kt ut t=1,2,…,n
Yt
ˆ0
βˆ 1
X
1t
... βˆ K X Kt
2
为最小，则应有：
S
S
S
ˆ0 0, ˆ1 0, ..., ˆ K 0
我们得到如下K+1个方程（即正规方程）：
13
β0 n
β1 X1t ...... β K X Kt Yt
β 0 X 1t β1 X 1t 2 ...... β K X 1t X Kt X 1tYt
第三章(1) 多元线性回归模型课件
分离差的大小
解释的那部分离差的大小。也
称剩余平方和。
第三章 多元线性回归模型
§ 3-3 多元线性回归模型的统计检验 一、 拟合优度检验 检验模型对样本观测值的拟合程度。用在总离差分解 基础上确定的可决系数R2 (调整的可决系数 ) 度量。 1、总离差平方和的分解
总离差平方和TSS 回归平方和ESS
3、随机误差项在不同 样本点之间是独立的，
Cov( i,
不存在序列相关
因为 i与 j相互独立，有：
j)=0 i≠j
无自相关假定表明：产生 误差(干扰)的因素是完 全随机的，此次干扰与彼 次干扰互不相关，互相独 立。由此应变量Yi的序列 值之间也互不相关。
第三章 多元线性回归模型
§ 3-1 多元线性回归模型及其基本假定
3、有效性(最小方差性)：
指在所有线性、无偏估计量中， OLS参数估计量的 方差最小。
4、 服从正态分布，即：
其中，
， G2是随机误差项的方差，
Cjj是矩阵(X’X)-1 中第j行第j列位置上的元素。
第三章 多元线性回归模型
§ 3-2 多元线性回归模型的参数估计
一、 参数的最小二乘估计
二、 OLS估计量的统计性质及其分布
三、随机误差项方差Q2的估 计
参数估计的另一项任务是： 求随机误差项 i 的分布参数
称作回归标准差 (standard error of regression)， 常作为对所估计回归线的拟
合优度的简单度量。
i~N(0, Q2)
随机误差项 i 的 方差的估计量为：
可以
证明：
说明 是QS 的无偏估计量。
t-Statistic 6.411848 22.00035 4.187969
第三章 多元线性回归模型案例
第三章 多元线性回归模型案例一、邹式检验（突变点检验、稳定性检验） 1.突变点检验1985—2002年中国家用汽车拥有量（t y ，万辆）与城镇居民家庭人均可支配收入（t x ，元），数据见表3.1。
表3.1 中国家用汽车拥有量（t y ）与城镇居民家庭人均可支配收入（t x ）数据年份 t y （万辆）t x （元）年份 t y （万辆）t x （元）1985 28.49 739.1 1994 205.42 3496.2 1986 34.71 899.6 1995 249.96 4283 1987 42.29 1002.2 1996 289.67 4838.9 1988 60.42 1181.4 1997 358.36 5160.3 1989 73.12 1375.7 1998 423.65 5425.1 1990 81.62 1510.2 1999 533.88 5854 1991 96.04 1700.6 2000 625.33 6280 1992 118.2 2026.6 2001 770.78 6859.6 1993155.772577.42002968.987702.8下图是关于t y 和t x 的散点图：从上图可以看出，1996年是一个突变点，当城镇居民家庭人均可支配收入突破4838.9元之后，城镇居民家庭购买家用汽车的能力大大提高。
现在用邹突变点检验法检验1996年是不是一个突变点。
H 0：两个子样本（1985—1995年，1996—2002年）相对应的模型回归参数相等 H 1：备择假设是两个子样本对应的回归参数不等。
在1985—2002年样本范围内做回归。
在回归结果中作如下步骤：输入突变点：得到如下验证结果：由相伴概率可以知道，拒绝原假设，即两个样本（1985—1995年，1996—2002年）的回归参数不相等。
所以，1996年是突变点。
2.稳定性检验以表3.1为例，在用1985—1999年数据建立的模型基础上，检验当把2000—2002年数据加入样本后，模型的回归参数时候出现显著性变化。
5、计量经济学【多元线性回归模型】
二、多元线性回归模型的参数估计
2、最小二乘估计量的性质 当 ˆ0, ˆ1, ˆ2, , ˆk 为表达式形式时，为随机变量， 这时最小二乘估计量 ˆ0, ˆ1, ˆ2, , ˆk 经过证明同样也 具有线性性、无偏性和最小方差性（有效性）。 也就是说，在模型满足那几条基本假定的前提 下，OLS估计量具有线性性、无偏性和最小方差性 （有效性）这样优良的性质， 即最小二乘估计量
用残差平方和 ei2 最小的准则： i
二、多元线性回归模型的参数估计
1、参数的普通最小二乘估计法（OLS） 即：
min ei2 min (Yi Yˆi )2 min Yi (ˆ0 ˆ1X1i ˆ2 X 2i ˆk X ki )2
同样的道理，根据微积分知识，要使上式最小，只 需求上式分别对 ˆj ( j 0,1, k) 的一阶偏导数，并令 一阶偏导数为 0，就可得到一个包含 k 1 个方程的正 规方程组，这个正规方程组中有 k 1个未知参数 ˆ0, ˆ1, ˆ2, , ˆk ；解这个正规方程组即可得到这 k 1 个参数 ˆ0, ˆ1, ˆ2, , ˆk 的表达式，即得到了参数的最小 二乘估计量；将样本数据代入到这些表达式中，即可 计算出参数的最小二乘估计值。
该样本回归模型与总体回归模型相对应，其中残差 ei Yi Yˆi 可看成是总体回归模型中随机误差项 i 的 估计值。
2、多元线性回归模型的几种形式： 上述几种形式的矩阵表达式： 将多元线性总体回归模型 (3.1) 式表示的 n 个随机方 程写成方程组的形式，有：
Y1 0 1 X11 2 X 21 .Y.2.........0.......1.X...1.2........2.X...2.2. Yn 0 1 X1n 2 X 2n
ˆ0, ˆ1, ˆ2, , ˆk 是总体参数真值的最佳线性无偏估计 量（ BLUE ）；即高斯—马尔可夫定理 (GaussMarkov theorem)。
第三章 多元线性回归模型
R 2 = 1− RSS /( n − k − 1) TSS /( n − 1)
其中：n-k-1为残差平方和的自由度，n-1为总体平 方和的自由度。
检验) 三、方程的显著性检验(F检验 方程的显著性检验 检验
方程的显著性检验， 方程的显著性检验，旨在对模型中被解释变 量与解释变量之间的线性关系在总体上 在总体上是否显著 量与解释变量之间的线性关系在总体上是否显著 成立作出推断。 成立作出推断。 即检验模型
写成矩阵形式： 写成矩阵形式：
Y = Xb + µ
其中
Y1 Y2 Y = M Yn
1 1 X = M 1 X 11 X 12 M X 1n X 21 X 22 M X 2n L L L X k1 X k2 M X kn n × ( k +1 )
回归系数的显著性检验（ 检验 检验） 第五节 回归系数的显著性检验（t检验）
方程的总体线性 总体线性关系显著≠每个解释变量 总体线性 ≠每个解释变量对被 解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。 检验完成的。 这一检验是由对变量的 t 检验完成的。
或
1 x ′x → Q n
其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的n×k阶矩阵
x11 L x k1 x= M L M x 1n L x kn
假设6，回归模型的设定是正确的。
第二节 参数的最小二乘估计
一、回归参数的最小二乘估计 二、随机项µ的方差的估计量 随机项 的方差的估计量
( )
( )
( )
= E ( X ′X
)
其中：n-k-1为残差平方和的自由度，n-1为总体平 方和的自由度。
检验) 三、方程的显著性检验(F检验 方程的显著性检验 检验
方程的显著性检验， 方程的显著性检验，旨在对模型中被解释变 量与解释变量之间的线性关系在总体上 在总体上是否显著 量与解释变量之间的线性关系在总体上是否显著 成立作出推断。 成立作出推断。 即检验模型
写成矩阵形式： 写成矩阵形式：
Y = Xb + µ
其中
Y1 Y2 Y = M Yn
1 1 X = M 1 X 11 X 12 M X 1n X 21 X 22 M X 2n L L L X k1 X k2 M X kn n × ( k +1 )
回归系数的显著性检验（ 检验 检验） 第五节 回归系数的显著性检验（t检验）
方程的总体线性 总体线性关系显著≠每个解释变量 总体线性 ≠每个解释变量对被 解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验， 以决定是否作为解释变量被保留在模型中。 检验完成的。 这一检验是由对变量的 t 检验完成的。
或
1 x ′x → Q n
其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的n×k阶矩阵
x11 L x k1 x= M L M x 1n L x kn
假设6，回归模型的设定是正确的。
第二节 参数的最小二乘估计
一、回归参数的最小二乘估计 二、随机项µ的方差的估计量 随机项 的方差的估计量
( )
( )
( )
= E ( X ′X
)
多元线性回归分析简介
ˆ j 表示 j , j 0,1, , p 的估计值。
称
y ˆ0 ˆ1x1 ˆp xp
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
文档仅供参考，如有不当之处，请联系改正。
引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x11 x21
有平方和分解公式 SS=SSR+SSE
文档仅供参考，如有不当之处，请联系改正。
定理 4.5＇在 p 元回归分析问题中， SSR 与 SSE 相互独立，
且1
2
SSE
~
2(n
p
1)
；在原假设 H0 成立时，有
12ຫໍສະໝຸດ SSR~2(p)
。
因此取检验统计量 F=
SSR / p
H0成立时
F(p,n-p-1)
SSE / n p 1
（ xi1, , xip , yi ）（ i 1,2,, n ）到回归平面
y ˆ0 ˆ1x1 ˆp xp 的距离的大小。
文档仅供参考，如有不当之处，请联系改正。
一元回归分析中旳结论全部能够推广到多 元旳情形中来。
文档仅供参考，如有不当之处，请联系改正。
定理 4.2＇ 在 p 元回归分析问题中，（1） ˆ 服从 p+1 维正态分
min
0 ,1 , , p
Q(0,
1,
,p)
文档仅供参考，如有不当之处，请联系改正。
定理 4.1＇在 p 元回归分析问题中， 的最小
二乘估计量为 ˆ X X 1 X Y 。
文档仅供参考，如有不当之处，请联系改正。
误差方差的估计：
称
y ˆ0 ˆ1x1 ˆp xp
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
文档仅供参考，如有不当之处，请联系改正。
引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x11 x21
有平方和分解公式 SS=SSR+SSE
文档仅供参考，如有不当之处，请联系改正。
定理 4.5＇在 p 元回归分析问题中， SSR 与 SSE 相互独立，
且1
2
SSE
~
2(n
p
1)
；在原假设 H0 成立时，有
12ຫໍສະໝຸດ SSR~2(p)
。
因此取检验统计量 F=
SSR / p
H0成立时
F(p,n-p-1)
SSE / n p 1
（ xi1, , xip , yi ）（ i 1,2,, n ）到回归平面
y ˆ0 ˆ1x1 ˆp xp 的距离的大小。
文档仅供参考，如有不当之处，请联系改正。
一元回归分析中旳结论全部能够推广到多 元旳情形中来。
文档仅供参考，如有不当之处，请联系改正。
定理 4.2＇ 在 p 元回归分析问题中，（1） ˆ 服从 p+1 维正态分
min
0 ,1 , , p
Q(0,
1,
,p)
文档仅供参考，如有不当之处，请联系改正。
定理 4.1＇在 p 元回归分析问题中， 的最小
二乘估计量为 ˆ X X 1 X Y 。
文档仅供参考，如有不当之处，请联系改正。
误差方差的估计：
《计量经济学》第三章 多元线性回归模型
总体回归函数也可表示为:
Yi 1 2 X 2i 3 X 3i ... k X ki ui
7
多元样本回归函数
Y 的样本条件均值表示为多个解释变量的函数
ˆ ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X3i ... k X ki
或
ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X3i ... k X ki ei
22
ˆ ˆ 因 2 是未知的，可用 2代替 2 去估计参数 β 的标
准误差:
ˆ ● 当为大样本时，用估计的参数标准误差对 β 作标 准化变换，所得Z统计量仍可视为服从正态分布 ˆ ●当为小样本时，用估计的参数标准误差对 β 作标
准化变换，所得的t统计量服从t分布： ˆ βk - βk t ~ t (n - k ) ^ ˆ SE( βk )
i i
i
e e 0 4.残差 ei 与 X 和
3.
i
e X
i
3i
ei X 2i 0
2i
X 3i 都不相关，即
ˆ 5.残差 ei 与 Yi 不相关，即
e Yˆ 0
i i
18
二、OLS估计式的性质－统计性质
OLS估计式（用矩阵表式） 1.线性特征:
ˆ = (X X)-1 X Y β
2 i
ˆ ei2 (Yi - Yi )2
ˆ X X ... X )]2 ˆ min e [Yi -(1 ˆ2 2i ˆ3 3i k ki
求偏导,令其为0:
( ei2 ) 0 ˆ
j
13
即 ˆ ˆ ˆ ˆ -2 Yi - (1 2 X 2i 3 X 3i ... ki X ki ) 0
Yi 1 2 X 2i 3 X 3i ... k X ki ui
7
多元样本回归函数
Y 的样本条件均值表示为多个解释变量的函数
ˆ ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X3i ... k X ki
或
ˆ ˆ ˆ ˆ Yi 1 2 X 2i 3 X3i ... k X ki ei
22
ˆ ˆ 因 2 是未知的，可用 2代替 2 去估计参数 β 的标
准误差:
ˆ ● 当为大样本时，用估计的参数标准误差对 β 作标 准化变换，所得Z统计量仍可视为服从正态分布 ˆ ●当为小样本时，用估计的参数标准误差对 β 作标
准化变换，所得的t统计量服从t分布： ˆ βk - βk t ~ t (n - k ) ^ ˆ SE( βk )
i i
i
e e 0 4.残差 ei 与 X 和
3.
i
e X
i
3i
ei X 2i 0
2i
X 3i 都不相关，即
ˆ 5.残差 ei 与 Yi 不相关，即
e Yˆ 0
i i
18
二、OLS估计式的性质－统计性质
OLS估计式（用矩阵表式） 1.线性特征:
ˆ = (X X)-1 X Y β
2 i
ˆ ei2 (Yi - Yi )2
ˆ X X ... X )]2 ˆ min e [Yi -(1 ˆ2 2i ˆ3 3i k ki
求偏导,令其为0:
( ei2 ) 0 ˆ
j
13
即 ˆ ˆ ˆ ˆ -2 Yi - (1 2 X 2i 3 X 3i ... ki X ki ) 0
计量经济学第3章-多元线性回归模型PPT课件
第2页/共63页
第三章 经典单方程计量经济学模型：多元线性回 归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测
第3页/共63页
第一节 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
第4页/共63页
一、多元线性回归模型
因为n < 30时构造不出用于检验的服从标准正态分布的统计量；
t 检验在 n k 8 时才比较有效，因为 n k 8 时 t 分布才比较稳定。 一般经验认为，当 n 30或者至少 n （3 k 1）时，才能满足基本要求。
第27页/共63页
第三节 多元线性回归模型的统计检验
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
X X1i
X
ki
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11
X k1
1 X 12
X k2
1 Y1 X 1n Y2 X kn Yn
即
(XX)βˆ XY
由于X’X满秩，故有 βˆ (XX)1 XY
第19页/共63页
⃟正规方程组 的另一种写法 对于正规方程组
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i i=1,2…,n 其中:k为解释变量的数目，j称为回归系数
（regression coefficient）。
第5页/共63页
习惯上：把常数项（或截距项）看成为 一虚变量的系数，该虚变量的样本观测值始 终取1。于是： 模型中解释变量的数目为（k+1）
第三章 经典单方程计量经济学模型：多元线性回 归模型
• 多元线性回归模型 • 多元线性回归模型的参数估计 • 多元线性回归模型的统计检验 • 多元线性回归模型的预测
第3页/共63页
第一节 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
第4页/共63页
一、多元线性回归模型
因为n < 30时构造不出用于检验的服从标准正态分布的统计量；
t 检验在 n k 8 时才比较有效，因为 n k 8 时 t 分布才比较稳定。 一般经验认为，当 n 30或者至少 n （3 k 1）时，才能满足基本要求。
第27页/共63页
第三节 多元线性回归模型的统计检验
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
X X1i
X
ki
X
2 ki
ki
ˆ0 ˆ1
ˆ k
1 X 11
X k1
1 X 12
X k2
1 Y1 X 1n Y2 X kn Yn
即
(XX)βˆ XY
由于X’X满秩，故有 βˆ (XX)1 XY
第19页/共63页
⃟正规方程组 的另一种写法 对于正规方程组
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i i=1,2…,n 其中:k为解释变量的数目，j称为回归系数
（regression coefficient）。
第5页/共63页
习惯上：把常数项（或截距项）看成为 一虚变量的系数，该虚变量的样本观测值始 终取1。于是： 模型中解释变量的数目为（k+1）
第三章——多元线性回归
参数的估计值
j
3.2 多元线性回归模型的估计
一：多元线性回归模型的最小二乘法
Xe2iieiX 121
1 X22
1 e1
0
X2ne2Xe0
Xkeii
Xk1
Xk2
Xknen
0
极值条件
对样本回归函数 Y X e两边同乘以样本观测值矩阵X的
转置矩阵，得到
XYXXXe
由极值条件得 (XXβ ˆ)XY 由于X’X满秩，故有 β ˆ(XX)1XY
3.1 多元线性回归模型及古典假定
3.1.2 多元线性回归模型的古典假定
假设4:无多重共线性假定：即解释变量之间不存在线 性相关关系，即矩阵X列满秩。
Ra(nX)kk
则： Ran(Xk'X)k， X ' X 可逆，(X ' X)1 存在
假设5:正态性假定：i~N(0, 2 ) i=1,2, …,n
3.1 多元线性回归模型及古典假定
3.1.1 多元线性回归模型的基本形式
一种社会经济现象和许多现象相联系，比如描述产出量与资 本投入、劳动投入之间的关系的Cobb-Douglas生产函数：
YAKL 为非线性模型
转化为线性的： lY n lA n lK n lL n
lnY为被解释变量， lnK, lnL为解释变量, lnμ为随机误差项,lnA, α,β为参数。 再如：西部地区各省区电力消费的变化与各地区国民生产总值及电力价格 水平变动等因素的关系。建立模型如下
解释变量越多，R2越大。这就造成一种误导：增加解释变量
个数可以增大R2，但是这并不是R2的含义，因此必须对R2进行 调整，使其不再受到解释变量个数的影响。
3.3 多元线性回归模型的检验
3第三章多元线性回归模型分析(一)
其他参数的含义与之相同。
例：
Ct
β 1
β
2
Dt
β3Lt
ut
其中，Ct=消费，Dt=居民可支配收入 Lt=居民拥有的流动资产水平
β 2的含义是，在流动资产不变的情况下，可支配收入变动一个 单位对消费额的影响。这是收入对消费额的直接影响。
收入变动对消费额的总影响=直接影响+间接影响。 （间接影响：收入流动资产拥有量消费额）
xiK
b2
bK
n
i 1
yi
根据数据的样本均值定义，则有：
x
1 n
n i1
xi1,
1 n
n
xi2,
i1
,1 n
n i1
xiK
也即： y x b
（3）的证明方法1
因为Σei=0，所以对 y y e两边求和即可。
(Y Y )(Y Y )
en
(Y X β)(Y X β)
(Y β X )(Y X β)
Y Y β X Y Y X β β X X β
注意到上式中所有项都是标量，且
(ˆ
X
Y
)
第三章 多元线性回归模型**
多元线性回归模型是我们课程的重点，原因 在于：
多元线性回归模型应用非常普遍；
原理和方法是理解更复杂计量经济学模型的 基础；
内容较为丰富。
从而，我们应不遗余力地学，甚至是不遗余 力地背！！！
例：
Ct
β 1
β
2
Dt
β3Lt
ut
其中，Ct=消费，Dt=居民可支配收入 Lt=居民拥有的流动资产水平
β 2的含义是，在流动资产不变的情况下，可支配收入变动一个 单位对消费额的影响。这是收入对消费额的直接影响。
收入变动对消费额的总影响=直接影响+间接影响。 （间接影响：收入流动资产拥有量消费额）
xiK
b2
bK
n
i 1
yi
根据数据的样本均值定义，则有：
x
1 n
n i1
xi1,
1 n
n
xi2,
i1
,1 n
n i1
xiK
也即： y x b
（3）的证明方法1
因为Σei=0，所以对 y y e两边求和即可。
(Y Y )(Y Y )
en
(Y X β)(Y X β)
(Y β X )(Y X β)
Y Y β X Y Y X β β X X β
注意到上式中所有项都是标量，且
(ˆ
X
Y
)
第三章 多元线性回归模型**
多元线性回归模型是我们课程的重点，原因 在于：
多元线性回归模型应用非常普遍；
原理和方法是理解更复杂计量经济学模型的 基础；
内容较为丰富。
从而，我们应不遗余力地学，甚至是不遗余 力地背！！！
何晓群：《应用回归分析》第四版-第三章多元线性回归
由 y X 及正态假定 ~ N (0, 2In ) , 有
y ~ N ( X , 2 In )
于是, 似然函数为
L
(2
)n/ 2 (
2
)n / 2
exp{
1
2
2
(
y
X
)'(
y
X
)}
对数似然函数为
ln
L
n 2
ln(2
)
n 2
ln(
2
)
1
2
2
(
y
北京 天津 河北 山西 内蒙古 辽宁 吉林 黑龙江 上海 江苏 浙江 安徽 福建 江西 山东 河南 湖北 湖南 广东 广西 海南
x1 1.94 0.33 6.16 5.35 3.78 11.2 2.84 8.64 3.64 30.9 6.26 4.13 5.85
6.7 10.8 4.16 4.64 7.08 16.3 4.01
(3.23)
为 yi 的残差. 称 e (e1,e2 ,,en )' y yˆ 为回归残差向量. 有
e y Hy (I H ) y
e y Hy (I H ) y 记
cov(e, e) (cov(ei , e j ))nn 为残差向量 e 的协方差阵, 或称为方差阵. 记为D(e).
yn 0 1 xn1 2 xn2 p xnp n
(3.4)
y1 0 1 x11 2 x12 p x1 p 1 y2 0 1 x21 2 x22 p x2 p 2
yn 0 1 xn1 2 xn2 p xnp n
第三章-多元线性回归模型ppt课件
32
§3.5 最小二乘估计量的特征
上一章中谈到，经典一元线性回归模
型的OLS估计量满足线性、无偏及方差最
小性，即高斯——马尔可夫定理，对于经
典多元线性回归模型的普通最小二乘估计
量，这一性质仍然存在，换言之，对于满
足经典假设的多元线性回归模型，采用
OLS方法所得估计量 也满足线性、无偏
及方差最小性。 ppt精选版
ˆ 3
yi x3i
x
2 2i
x
2 2i
yi x2i
x2i x3i
x32i ( x2i x3i ) 2
ppt精选版
30
解方程时的系数行列式：
x22i
x2ix3i
x2ix3i
x32i
解 ˆ2 时的分子行列式：
yix2i
x2ix3i
yix3i
x32i
ppt精选版
31
第三章 第五节
ppt精选版
Y 01P2D P 3P I 2 U
ppt精选版
5
二、多元总体线性回归模型 总体模型： 1、分量式：
Y i 0 1 X 1 i 2 X 2 i k X k u ii
2、总量式
Y 01X 1 ppt精选版2X 2 kX k 6U
称 之 为 变 量 Y 关 于 变 量 X1, X2, …, Xk的k元总体线性回 归模型，Y称为被解释变量 ，X1, X2, …, Xk称为解释变 量，k 称为解释变量个数， U 称为随机扰动项，或随机 项，或扰动项。
一、多元总体线性回归模型的矩阵表示
YX βU Y1
Y
Y
2
Yn
1 X 21 X k1
X
1
X 22
第三章多元线性回归模型（stata）
第三章多元线性回归模型（stata）⼀、邹式检验（突变点检验、稳定性检验）1.突变点检验1985—2002年中国家⽤汽车拥有量（t y ，万辆）与城镇居民家庭⼈均可⽀配收⼊（t x ，元），数据见表。
表中国家⽤汽车拥有量（t y ）与城镇居民家庭⼈均可⽀配收⼊（t x ）数据年份 t y （万辆） t x （元）年份 t y （万辆） t x （元）1985 1994 1986 1995 4283 1987 1996 1988 1997 1989 1998 1990 1999 5854 1991 2000 6280 1992 2001 19932002下图是关于t y 和t x 的散点图：从上图可以看出，1996年是⼀个突变点，当城镇居民家庭⼈均可⽀配收⼊突破元之后，城镇居民家庭购买家⽤汽车的能⼒⼤⼤提⾼。
现在⽤邹突变点检验法检验1996年是不是⼀个突变点。
：两个字样本（1985—1995年，1996—2002年）相对应的模型回归参数相等HH：备择假设是两个⼦样本对应的回归参数不等。
1在1985—2002年样本范围内做回归。
在回归结果中作如下步骤(邹⽒检验)：1、 Chow 模型稳定性检验（lrtest）⽤似然⽐作chow检验，chow检验的零假设：⽆结构变化，⼩概率发⽣结果变化* 估计前阶段模型* 估计后阶段模型* 整个区间上的估计结果保存为All* ⽤似然⽐检验检验结构没有发⽣变化的约束得到结果如下;(如何解释)2.稳定性检验（邹⽒稳定性检验）以表为例，在⽤1985—1999年数据建⽴的模型基础上，检验当把2000—2002年数据加⼊样本后，模型的回归参数时候出现显著性变化。
* ⽤F-test作chow间断点检验检验模型稳定性* chow检验的零假设：⽆结构变化，⼩概率发⽣结果变化* 估计前阶段模型* 估计后阶段模型* 整个区间上的估计结果保存为All* ⽤F 检验检验结构没有发⽣变化的约束*计算和显⽰ F 检验统计量公式，零假设：⽆结构变化然后 dis f_test 则得到结果;* F 统计量的临界概率然后得到结果* F 统计量的临界值然后得到结果(如何解释)⼆、似然⽐（LR ）检验有中国国债发⾏总量（t DEBT ，亿元）模型如下：0123t t t t t DEBT GDP DEF REPAY u ββββ=++++其中t GDP 表⽰国内⽣产总值（百亿元），t DEF 表⽰年财政⾚字额（亿元），t REPAY 表⽰年还本付息额（亿元）。
计量经济学第三章第3节多元线性回归模型的显著性检验
2
当增加一个对被解释变量有较大影响的解释变量时， 残差平方和减小的比n-k-1 减小的更显著，拟合优度 就增大，这时就可以考虑将该变量放进模型。 如果增加一个对被解释变量没有多大影响的解释变量， 残差平方和减小没有n-k-1减小的显著，拟合优度会减 小，其说明模型中不应该引入这个不重要的解释变量， 可以将其剔除。
在对话框中输入：
y c x y(-1)
y c x y(-1) y(-2)
字母之间用空格分隔。 注：滞后变量不需重新形成新的时间序列，软件 自动运算实现，k期滞后变量，用y(-k)表示。
• 使用k期滞后变量，数据将损失k个样本观察值， 例如：
序号 2000 2001 2002 2003 2004 2005 2006 2007 2008 y 3 4 5 6 7 8 9 10 11 Y(-1) Y(-2) Y(-3)
2
2
2
*赤池信息准则和施瓦茨准则
• 为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC） e e 2( k 1) AIC ln n n 施瓦茨准则（Schwarz criterion，SC）
一元、二元模型的系数均大于0，符合经济意义，三元模型 系数的符号与经济意义不符。 用一元回归模型的预测值是1758.7，二元回归模型的预测值 是1767.4，2001年的实际值是1782.2。一元、二元模型预测 的绝对误差分别是23.5、14.8。
3) 三个模型的拟合优度与残差
二元：R2 =0.9954，E2 ei2 13405 三元：R2 =0.9957，E3 ei2 9707
746.5 788.3
当增加一个对被解释变量有较大影响的解释变量时， 残差平方和减小的比n-k-1 减小的更显著，拟合优度 就增大，这时就可以考虑将该变量放进模型。 如果增加一个对被解释变量没有多大影响的解释变量， 残差平方和减小没有n-k-1减小的显著，拟合优度会减 小，其说明模型中不应该引入这个不重要的解释变量， 可以将其剔除。
在对话框中输入：
y c x y(-1)
y c x y(-1) y(-2)
字母之间用空格分隔。 注：滞后变量不需重新形成新的时间序列，软件 自动运算实现，k期滞后变量，用y(-k)表示。
• 使用k期滞后变量，数据将损失k个样本观察值， 例如：
序号 2000 2001 2002 2003 2004 2005 2006 2007 2008 y 3 4 5 6 7 8 9 10 11 Y(-1) Y(-2) Y(-3)
2
2
2
*赤池信息准则和施瓦茨准则
• 为了比较所含解释变量个数不同的多元回归模型的 拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC） e e 2( k 1) AIC ln n n 施瓦茨准则（Schwarz criterion，SC）
一元、二元模型的系数均大于0，符合经济意义，三元模型 系数的符号与经济意义不符。 用一元回归模型的预测值是1758.7，二元回归模型的预测值 是1767.4，2001年的实际值是1782.2。一元、二元模型预测 的绝对误差分别是23.5、14.8。
3) 三个模型的拟合优度与残差
二元：R2 =0.9954，E2 ei2 13405 三元：R2 =0.9957，E3 ei2 9707
746.5 788.3
第三章 第五节 多元线性回归分析的计算过程及实例 (1)
1222.1 1981.2 18
1253 3624.6 20
(1)根据n组观测样本原始数据，写出矩阵：
450
Y 507.7
1253
1 1027.2 8
1 1045.2
9
X
1
3143.4
16
1 3624.6 20
(2)计算X'X、(X'X)1、X'Y
在group栏，输入预测期的解释变量的数据/点quick/ estimate equation/键 入(y c x t)/ok,在equation栏，forecast/ok/得到变量期内，被解释变量每 一时期的预测值.
四、具体分析
(一) 设定模型
Yi 1 2 X i 3Ti ui
说明家庭收入对家庭书刊消费有显著影响
t3 2.131，小概率事件发生，拒绝3 0的假设
说明受教育年数对家庭书刊消费有显著影响
P{F F (k 1，n-k)}
F
ESS RSS
k n
1 k
nk n 1
ESS RSS
18 3 1082426 146.2973 18 1 55491.07
Mean dependent var
0.3279 0.0101 0.0000 755.1222
Adjusted R-squared
0.944732
S.D. dependent var
258.7206
S.E. of regression
(8)计算检验统计量t和F的值，作回归参数及回归 方程的检验。
在原假设 H0 : j 0 j 1,2,, n 下的t统计量为：
第三章 多元线性回归分析
GDPP： 人均国内生产总值（1990年不变价）
CONSP：人均居民消费（以居民消费价格指数（1990=100）缩减）。
表 2.5.1 中国居民人均消费支出与人均 GDP（元 /人） 年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 人均居民消费 CONSP 395.8 437.0 464.1 501.9 533.5 572.8 635.6 716.0 746.5 788.3 836.4 779.7 人均 GDP GDPP 675.1 716.9 763.7 792.4 851.1 931.4 1059.2 1185.2 1269.6 1393.6 1527.0 1565.9 年份 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 人均居民消费 CONSP 797.1 861.4 966.6 1048.6 1108.7 1213.1 1322.8 1380.9 1460.6 1564.4 1690.8 人均 GDP GDPP 1602.3 1727.2 1949.8 2187.9 2436.1 2663.7 2889.1 3111.9 3323.1 3529.3 3789.7
解该k个方程组成的线性代数 方程组，即可以得到 k个 待估参数的估计值
正规方程组的矩阵形式
n X 1i X ki
X X
1i 2 1i
X X X
ki
X
ki
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k 1
CONSP：人均居民消费（以居民消费价格指数（1990=100）缩减）。
表 2.5.1 中国居民人均消费支出与人均 GDP（元 /人） 年份 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 人均居民消费 CONSP 395.8 437.0 464.1 501.9 533.5 572.8 635.6 716.0 746.5 788.3 836.4 779.7 人均 GDP GDPP 675.1 716.9 763.7 792.4 851.1 931.4 1059.2 1185.2 1269.6 1393.6 1527.0 1565.9 年份 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 人均居民消费 CONSP 797.1 861.4 966.6 1048.6 1108.7 1213.1 1322.8 1380.9 1460.6 1564.4 1690.8 人均 GDP GDPP 1602.3 1727.2 1949.8 2187.9 2436.1 2663.7 2889.1 3111.9 3323.1 3529.3 3789.7
解该k个方程组成的线性代数 方程组，即可以得到 k个 待估参数的估计值
正规方程组的矩阵形式
n X 1i X ki
X X
1i 2 1i
X X X
ki
X
ki
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（regression coefficient）。
习惯上：把常数项看成为一虚变量的系数，该 虚变量的样本观测值始终取1。这样：
模型中解释变量的数目为（k+1）
Yi 0 1 X 1i 2 X 2i k X ki i
也被称为总体回归函数的随机表达形式。它 的 非随机表达式为:
E(Yi | X1i , X 2i , X ki ) 0 1 X1i 2 X 2i k X ki
模型的良好性质只有在大样本下才能得 到理论上的证明
六、多元线性回归模型的参数估计实例
例3.3,投资函数模型-多元线性模型。
解释变量：时间 x1 1-16 实际GNP x2
被解释变量y：实际投资
Eviews软件估计结果
Dependent Variable: Y
Method: Least Squares Date: 10/15/12 Time: 10:50 Sample: 1968 1983 Included observations: 16
i ~ N (0, 2 )
§3.2 多元线性回归模型的估计
估计方法：OLS
一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题 四、估计实例
一、普通最小二乘估计
对于随机抽取的n组观测值 (Yi , X ji ), i 1,2, , n, j 0,1,2, k
如果样本函数的参数估计值已经得到，则有：
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X Ki
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
ˆ
0
Q
0
ˆ1
Q
ˆ
2
Q
0
ˆ k
Q
0
其中
n
n
Q ei2 (Yi Yˆi ) 2
i 1
i 1
n
2
(Yi (ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ))
Variable C X1 X2
R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat
Coefficient -0.486463 -0.016593 0.639117 0.958362 0.951957 0.007246 0.000683 57.79393 1.313453
假设2，随机误差项具有零均值、同方差及无 序列相关性
E(i ) 0
Var(i ) E(i2 ) 2
Cov(i , j ) E(i j ) 0
i j i, j 1,2, , n
假设3，解释变量与随机项不相关
Cov( X ji , i ) 0
j 1,2 , k
假设4，随机项满足正态分布
Std. Error
t-Statistic
0.053836
-9.035936
0.001819
-9.122606
0.052896
12.08262
Mean dependent var
S.D. dependent var
Akaike info criterion
Schwarz criterion
F-statistic
最小二乘估计、最大或然估计及矩估计仍具有： 线性性、无偏性、有效性。
同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。
1、线性性
βˆ (XX)1 XY CY
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
2、无偏性
E(βˆ ) E((XX)1 XY) E((XX)1 X(Xβ μ )) β (XX)1 E(Xμ ) β
i 1
于是得到关于待估参数估计值的正规方程组：
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
Prob(F-statistic)
Prob. 0.0000 0.0000 0.0000 0.203750 0.033061 -6.849241 -6.704381 149.6088 0.000000
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i
i=1,2…,n
其中:k为解释变量的数目，j称为回归参数
解该（k+1）个方程组成的线性代数方程组，即可得 到 (k+1)个待估参数的估计值 j , j 0,1,2, , k 。
⃟随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估计量为
ˆ 2
e
2 i
e e
n k 1 n k 1
四、参数估计量的性质
在满足基本假设的情况下，其结构参数的普通
方程表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变
量保持不变的情况下，Xj每变化1个单位时，Y 的均值E(Y)的变化;
或者说j给出了Xj的单位变化对Y均值的“直
接”或“净”（不含其他变量）影响。
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各 X之间互不相关（无多重共线性）。
样本最小容量必须不少于模型中解释变量 的数目（包括常数项）,即
n k+1 因为，无多重共线性要求：秩(X)=k+1
2、满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定
一般经验认为: 当n30或者至少n3(k+1)时，才能说满足
模型估计的基本要求。
这里利用了假设: E(X’)=0
3、有效性（最小方差性）
其中利用了
βˆ (XX)1 XY
(XX) 1 X(Xβ μ)
β (XX) 1 Xμ
和
E(μμ) 2I
五、样本容量问题
⒈ 最小样本容量
所谓“最小样本容量”，即从最小二乘原理和 最大或然原理出发，欲得到参数估计量，不管其质 量如何，所要求的样本容量的下限。
习惯上：把常数项看成为一虚变量的系数，该 虚变量的样本观测值始终取1。这样：
模型中解释变量的数目为（k+1）
Yi 0 1 X 1i 2 X 2i k X ki i
也被称为总体回归函数的随机表达形式。它 的 非随机表达式为:
E(Yi | X1i , X 2i , X ki ) 0 1 X1i 2 X 2i k X ki
模型的良好性质只有在大样本下才能得 到理论上的证明
六、多元线性回归模型的参数估计实例
例3.3,投资函数模型-多元线性模型。
解释变量：时间 x1 1-16 实际GNP x2
被解释变量y：实际投资
Eviews软件估计结果
Dependent Variable: Y
Method: Least Squares Date: 10/15/12 Time: 10:50 Sample: 1968 1983 Included observations: 16
i ~ N (0, 2 )
§3.2 多元线性回归模型的估计
估计方法：OLS
一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题 四、估计实例
一、普通最小二乘估计
对于随机抽取的n组观测值 (Yi , X ji ), i 1,2, , n, j 0,1,2, k
如果样本函数的参数估计值已经得到，则有：
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X Ki
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
ˆ
0
Q
0
ˆ1
Q
ˆ
2
Q
0
ˆ k
Q
0
其中
n
n
Q ei2 (Yi Yˆi ) 2
i 1
i 1
n
2
(Yi (ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ))
Variable C X1 X2
R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood Durbin-Watson stat
Coefficient -0.486463 -0.016593 0.639117 0.958362 0.951957 0.007246 0.000683 57.79393 1.313453
假设2，随机误差项具有零均值、同方差及无 序列相关性
E(i ) 0
Var(i ) E(i2 ) 2
Cov(i , j ) E(i j ) 0
i j i, j 1,2, , n
假设3，解释变量与随机项不相关
Cov( X ji , i ) 0
j 1,2 , k
假设4，随机项满足正态分布
Std. Error
t-Statistic
0.053836
-9.035936
0.001819
-9.122606
0.052896
12.08262
Mean dependent var
S.D. dependent var
Akaike info criterion
Schwarz criterion
F-statistic
最小二乘估计、最大或然估计及矩估计仍具有： 线性性、无偏性、有效性。
同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。
1、线性性
βˆ (XX)1 XY CY
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
2、无偏性
E(βˆ ) E((XX)1 XY) E((XX)1 X(Xβ μ )) β (XX)1 E(Xμ ) β
i 1
于是得到关于待估参数估计值的正规方程组：
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
Prob(F-statistic)
Prob. 0.0000 0.0000 0.0000 0.203750 0.033061 -6.849241 -6.704381 149.6088 0.000000
§3.1 多元线性回归模型
一、多元线性回归模型 二、多元线性回归模型的基本假定
一、多元线性回归模型
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i
i=1,2…,n
其中:k为解释变量的数目，j称为回归参数
解该（k+1）个方程组成的线性代数方程组，即可得 到 (k+1)个待估参数的估计值 j , j 0,1,2, , k 。
⃟随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估计量为
ˆ 2
e
2 i
e e
n k 1 n k 1
四、参数估计量的性质
在满足基本假设的情况下，其结构参数的普通
方程表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变
量保持不变的情况下，Xj每变化1个单位时，Y 的均值E(Y)的变化;
或者说j给出了Xj的单位变化对Y均值的“直
接”或“净”（不含其他变量）影响。
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各 X之间互不相关（无多重共线性）。
样本最小容量必须不少于模型中解释变量 的数目（包括常数项）,即
n k+1 因为，无多重共线性要求：秩(X)=k+1
2、满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定
一般经验认为: 当n30或者至少n3(k+1)时，才能说满足
模型估计的基本要求。
这里利用了假设: E(X’)=0
3、有效性（最小方差性）
其中利用了
βˆ (XX)1 XY
(XX) 1 X(Xβ μ)
β (XX) 1 Xμ
和
E(μμ) 2I
五、样本容量问题
⒈ 最小样本容量
所谓“最小样本容量”，即从最小二乘原理和 最大或然原理出发，欲得到参数估计量，不管其质 量如何，所要求的样本容量的下限。