第4章 回归模型中的随机误差项问题
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2014年4月25日 山东财经大学统计学院计量经济教研室 第18页
机动 目录 上页 下页 返回 结束
y
y
x
y
x
A
同方差
y
B 递增异方差
x
x
C 递减异方差
2014年4月25日 山东财经大学统计学院计量经济教研室
D 复杂异方差
第19页
机动 目录 上页 下页 返回 结束
2014年4月25日
山东财经大学统计学院计量经济教研室
2014年4月25日
山东财经大学统计学院计量经济教研室
第 4页
机动 目录 上页 下页 返回 结束
关于假定1，一般地我们认为假定E(ui|xi)=0 是合理的。 因为随机项u是多种因素的综合，而每种因素的影响都 “均匀”地微小，它对因变量的影响不是系统的，且正负 影响相互抵消，故所有可能取值平均起来为零。即使有轻 度的违反，从实践的观点来看可能不会产生严重的后果， 因为它可能只影响回归方程的截距项 。 关于随机项正态性分布的假定，如果我们的目的仅仅 是估计，这种假定并不是绝对必要的。事实上，无论是否 是正态分布，OLSE估计式都是BLUE。 剩下的四个假定将在下面的四节中分别加以讨论。
第四章 回归模型中的 随机误差项问题
第一节 概述 第二节 异方差 第三节 自相关
第一节
一、古典假定
概
述
假定1：随机项ui具有零均值： E(ui|xi)=0 i=1,2, …, n 假定2：随机项ui具有同方差： Var (ui|xi)=u2 i=1,2, …, n 假定3：随机项ui无序列相关性： Cov(ui , uj)=0 i≠j i,j= 1,2, …, n 假定5：u服从正态分布 ui ~ N(0, u2 ) i=1,2, …, n
山东财经大学统计学院计量经济教研室
第14页
机动 目录 上页 下页 返回 结束
异方差产生的原因
1、模型中省略的解释变量 如果将某些未在模型中出现的重要影响因素归入随机误差 项，而且这些影响因素的变化具有差异性，则会对被解释 变量产生不同的影响，从而导致误差项的方差随之变化， 即产生异方差性。 2、测量误差 一方面，解释变量取值越大测量误差会趋于增大；另一方 面，测量误差可能随时间而变化。 3、截面数据中总体各单位的差异 如前面家庭储蓄行为中高低收入家庭的差异。 4. 模型函数形式设定错误 如把变量间本来为非线性的关系设定为线性，也可能导致 异方差。
2014年4月25日
山东财经大学统计学院计量经济教研室
第22页
机动 目录 上页 下页 返回 结束
如果检验递增方差：
nc RSS2 ( k 1) RSS2 2 F nc RSS1 ( k 1) RSS1 2
如果检验递增方差：
nc RSS1 ( k 1) RSS1 2 F nc RSS2 ( k 1) RSS2 2
机动 目录 上页 下页 返回 结束
此时可以觅得一个n×n的非奇异矩阵P，使得： PΩ P′=I 即 P′ P = Ω-1 然后用觅得的P乘以(4.7)的两边，有： PY=PXβ+Pu 记 Y PY , X PX , u Pu
(4.7)就转换为： 由于：
Y X u
(4.14)
Cov(u ) E (uu) E ( PuuP) PE (uu) PT P u2PT u2 PPT u2 I
ˆ 称为广义最小二乘估计量（GLSE），可以 上式中的 β 证明，它具有线性、无偏性和最小方差性，即它是最优 线性无偏估计量（BLUE）
GLSE的协方差矩阵为：
2 2 ˆ) (X Cov(β X )1 u ( X 1 X )1 u
2014年4月25日
山东财经大学统计学院计量经济教研室
2014年4月25日 山东财经大学统计学院计量经济教研室 第 8页
机动 目录 上页 下页 返回 结束
所以，(4.14) 满足同方差性和无序列相关性，即可以采 用OLS估计参数了。其参数的OLSE为：
ˆ ( X X )1 X Y [( PX )( PX )]1 ( PX )PY β [ X PPX ]1 X PPY [ X 1 X ]1 X 1Y (4.16)
2014年4月25日 山东财经大学统计学院计量经济教研室 第23页
机动 目录 上页 下页 返回 结束
2
2
例4.1 根据随机抽取的21个农村家庭年底储蓄余额与年内家庭 纯货币收入的资料，按收入排序后的数据见下表。其中， x为 年内家庭纯货币收入（元）， y为年底家庭储蓄余额（元）。
表4.1 家庭储蓄余额与纯货币收入数据表
5.进行检验 nc nc F ~ F( k 1, k 1) 可以证明，在原假设下， 如果具有等方差性，两个方差估计量应该相差不大，F 值就应接近于1。如果存在异方差，那么F值就应该比1 大出许多。在给定的显著性水平下，利用F分布的临界 值Fα进行显著性检验。当F＞Fα时，应拒绝H0，认为存 在异方差性，当F不大于Fα时，应接受H0，认为存在同 方差性。
具有 BLUE性质。
若古典假定得不到完全满足，特别是假定2（同方 差性）和假定3（无序列相关性）得不到满足时， 对OLSE的影响更大。
2014年4月25日
山东财经大学统计学院计量经济教研室
第 6页
机动 目录 上页 下页 返回 结束
广义最小二乘法（General Least Squares－GLS）就是 为了解决上述问题提出的。其基本思路是：若假定2同 方差性）和假定3（无序列相关性）得不到满足时，我 们可以采取适当的变换，使原模型变为以下的形式：
2014年4月25日
山东财经大学统计学院计量经济教研室
来自百度文库
第 3页
机动 目录 上页 下页 返回 结束
二、古典假定的违背及造成的后果
在实际经济问题中，上述的古典假定不一定都 能得到满足。如果这些假定不完全满足，则OLSE的 BLUE特性将不复存在。当然，每一个假定不满足所 造成的后果是不同的。在本章中，我们将严格考察 上述假定，找出如果有一个或多个假定得不到满足 时，估计量的性质将会发生什么变化 ,并研究当出现 这些情况时，应该如何处理，即古典模型假定违背 的经济计量问题。
2014年4月25日
山东财经大学统计学院计量经济教研室
第21页
机动 目录 上页 下页 返回 结束
G-Q检验的步骤：
1.将n对样本观察值(xi , yi)按观察值xi的大小排队。 2.将序列中间的c个观察值除去，并将剩下的观察值 划分为较小与较大的相同的两个子样本，每个子 样样本容量均为(n-c)/2。 注意：对于n≥30时，c=n/4最合适。 3.对每个子样分别进行OLS回归，并计算各自的残 差平方和。分别用RSS1与RSS2表示较小与较大的 残差平方和，它们的自由度均为(n-c)/2–k–1，k为 模型中自变量个数。 4.选择统计量
三、异方差的检验
由于异方差性就是相对于不同的解释变量观测值， 随机误差项具有不同的方差。那么： 检验异方差性，也就是检验随机误差项的方差与解 释变量观测值之间的相关性及其相关的“形式”。 (一)图示法 随机项u的异方差与解释变量的变化有关。因 此，可利用因变量y与解释变量x的散点图或残差e2i 与x的散点图，对随机项u的异方差作近似的直观判 断。
2014年4月25日
山东财经大学统计学院计量经济教研室
第 5页
机动 目录 上页 下页 返回 结束
三、广义最小二乘法（GLS）
给定线性回归模型 Y = Xβ + u (4.7) 若古典假定完全满足，根据Gauss-Markov定理，其 系数的最小二乘估计量 B ＝(X′X) –1 X′Y (4.8)
家庭编号 1 x 590.2 y 107 家庭编号 12 x 2827.73 y 1589
2
3 4 5 6 7 8
664.94
809.5 875.54 991.25 1109.95 1357.87 1682.8
Y X u
使得其中的 U 重新满足假定2(同方差性)和假定3(无序列 相关性)。这样就可以对上式使用OLS估计参数，从而 使得上式的OLSE仍然为BLUE。 若因假定2和假定3不满足时，有
2 Cov(u) E(uu) u
其中Ω≠I， Ω是一个n×n的正定对称方阵。
2014年4月25日 山东财经大学统计学院计量经济教研室 第 7页
第 9页
机动 目录 上页 下页 返回 结束
第二节 异 方 差 一、异方差及其产生的原因
当不能满足同方差的假设，即u的条件方差在不同 次的观测中不再是一个常数，而是取得不同的数值，即
Var(u | xi ) i2 常数
(i 1,2, ,n)
则称随机误差项u具有异方差性(Heteroscedasticity)。 如果被解释变量观测值的分散程度是随解释变量的 变化而变化的，如图4.1所示，可以把异方差看成是 由于某个解释变量的变化而引起的，则
• 最小二乘估计量仍然是线性无偏的，但不再具有最小 方差性。 • 参数的显著性检验和置信区间的建立发生困难。 • 虽然最小二乘法参数的估计量是无偏的，但这些参数 方差的估计量、是有偏的。 • 预测的精确度降低。
2014年4月25日
山东财经大学统计学院计量经济教研室
第17页
机动 目录 上页 下页 返回 结束
Var(ui2 ) i2 2 f ( xi )
2014年4月25日 山东财经大学统计学院计量经济教研室 第10页
机动 目录 上页 下页 返回 结束
f (y)
y
E( y | xi ) 0 1 xi
x 图4.1 异方差示意图
2014年4月25日
山东财经大学统计学院计量经济教研室
第11页
机动 目录 上页 下页 返回 结束
异方差举例 例：截面资料下研究居民家庭的储蓄行为 yi = 0 + 1 xi + ui
yi：第i个家庭的储蓄额 xi：第i个家庭的收入 高收入家庭：储蓄的差异较大 低收入家庭：储蓄则更有规律性，差异较小 ui的方差呈现单调递增型变化
2014年4月25日
2014年4月25日 山东财经大学统计学院计量经济教研室 第15页
机动 目录 上页 下页 返回 结束
注意：
☆异方差问题多在于截面数据中而非时间序列数据中。
☆本教材只讨论横截面数据的异方差问题。
2014年4月25日
山东财经大学统计学院计量经济教研室
第16页
机动 目录 上页 下页 返回 结束
二、异方差产生的后果
2014年4月25日 山东财经大学统计学院计量经济教研室 第 2页
机动 目录 上页 下页 返回 结束
有了以上这些假定，根据高斯－马尔可夫 （Gauss-Markov）定理，我们知道古典回归模型的 最小二乘估计量（OLSE）是线性最优无偏估计量 (BLUE)，而且服从正态分布。因此，就可以进行参 数的区间估计，而且也可以检验真实总体回归系数的 显著性。
山东财经大学统计学院计量经济教研室
第12页
机动 目录 上页 下页 返回 结束
y
E( y | xi ) 0 1 xi
x
图 4.2 收入-储蓄模型中的异方差
2014年4月25日
山东财经大学统计学院计量经济教研室
第13页
机动 目录 上页 下页 返回 结束
例: 以某一行业的企业为样本建立企业生产函数模型 Q = A KαL eu
其中， Q 为产出量， K 为资本， L 为劳动力， u 为随机项。 u 在该问题中表示了包括不同企业在设计上、生产工艺 上的区别，技术熟练程度和管理上的差别以及其它因素。 这些因素在小企业之间差别不大，而在大企业之间，这 些因素都相差甚远，即随机项的方差随着解释变量的增 大而增大。
2014年4月25日
第20页
机动 目录 上页 下页 返回 结束
（二）Goldfeld-Quandt检验
• 该方法该检验方法是Goldfeld和Quandt于1965年提出 的，用于检验是否存在递增或递减异方差，要求观测 值为大样本。基本思想是将样本分为两部分，然后分 别对两个样本进行回归，并计算比较两个回归的剩余 平方和是否有明显差异，以此判断是否存在异方差。 • 原假设为：H0：u同方差，即σ21=…=σ2n • 备择假设为： H1：u是递增异(或递减)方差，即 σ2i随 xi递增(或递减) (i=1,2,…,n)
机动 目录 上页 下页 返回 结束
y
y
x
y
x
A
同方差
y
B 递增异方差
x
x
C 递减异方差
2014年4月25日 山东财经大学统计学院计量经济教研室
D 复杂异方差
第19页
机动 目录 上页 下页 返回 结束
2014年4月25日
山东财经大学统计学院计量经济教研室
2014年4月25日
山东财经大学统计学院计量经济教研室
第 4页
机动 目录 上页 下页 返回 结束
关于假定1，一般地我们认为假定E(ui|xi)=0 是合理的。 因为随机项u是多种因素的综合，而每种因素的影响都 “均匀”地微小，它对因变量的影响不是系统的，且正负 影响相互抵消，故所有可能取值平均起来为零。即使有轻 度的违反，从实践的观点来看可能不会产生严重的后果， 因为它可能只影响回归方程的截距项 。 关于随机项正态性分布的假定，如果我们的目的仅仅 是估计，这种假定并不是绝对必要的。事实上，无论是否 是正态分布，OLSE估计式都是BLUE。 剩下的四个假定将在下面的四节中分别加以讨论。
第四章 回归模型中的 随机误差项问题
第一节 概述 第二节 异方差 第三节 自相关
第一节
一、古典假定
概
述
假定1：随机项ui具有零均值： E(ui|xi)=0 i=1,2, …, n 假定2：随机项ui具有同方差： Var (ui|xi)=u2 i=1,2, …, n 假定3：随机项ui无序列相关性： Cov(ui , uj)=0 i≠j i,j= 1,2, …, n 假定5：u服从正态分布 ui ~ N(0, u2 ) i=1,2, …, n
山东财经大学统计学院计量经济教研室
第14页
机动 目录 上页 下页 返回 结束
异方差产生的原因
1、模型中省略的解释变量 如果将某些未在模型中出现的重要影响因素归入随机误差 项，而且这些影响因素的变化具有差异性，则会对被解释 变量产生不同的影响，从而导致误差项的方差随之变化， 即产生异方差性。 2、测量误差 一方面，解释变量取值越大测量误差会趋于增大；另一方 面，测量误差可能随时间而变化。 3、截面数据中总体各单位的差异 如前面家庭储蓄行为中高低收入家庭的差异。 4. 模型函数形式设定错误 如把变量间本来为非线性的关系设定为线性，也可能导致 异方差。
2014年4月25日
山东财经大学统计学院计量经济教研室
第22页
机动 目录 上页 下页 返回 结束
如果检验递增方差：
nc RSS2 ( k 1) RSS2 2 F nc RSS1 ( k 1) RSS1 2
如果检验递增方差：
nc RSS1 ( k 1) RSS1 2 F nc RSS2 ( k 1) RSS2 2
机动 目录 上页 下页 返回 结束
此时可以觅得一个n×n的非奇异矩阵P，使得： PΩ P′=I 即 P′ P = Ω-1 然后用觅得的P乘以(4.7)的两边，有： PY=PXβ+Pu 记 Y PY , X PX , u Pu
(4.7)就转换为： 由于：
Y X u
(4.14)
Cov(u ) E (uu) E ( PuuP) PE (uu) PT P u2PT u2 PPT u2 I
ˆ 称为广义最小二乘估计量（GLSE），可以 上式中的 β 证明，它具有线性、无偏性和最小方差性，即它是最优 线性无偏估计量（BLUE）
GLSE的协方差矩阵为：
2 2 ˆ) (X Cov(β X )1 u ( X 1 X )1 u
2014年4月25日
山东财经大学统计学院计量经济教研室
2014年4月25日 山东财经大学统计学院计量经济教研室 第 8页
机动 目录 上页 下页 返回 结束
所以，(4.14) 满足同方差性和无序列相关性，即可以采 用OLS估计参数了。其参数的OLSE为：
ˆ ( X X )1 X Y [( PX )( PX )]1 ( PX )PY β [ X PPX ]1 X PPY [ X 1 X ]1 X 1Y (4.16)
2014年4月25日 山东财经大学统计学院计量经济教研室 第23页
机动 目录 上页 下页 返回 结束
2
2
例4.1 根据随机抽取的21个农村家庭年底储蓄余额与年内家庭 纯货币收入的资料，按收入排序后的数据见下表。其中， x为 年内家庭纯货币收入（元）， y为年底家庭储蓄余额（元）。
表4.1 家庭储蓄余额与纯货币收入数据表
5.进行检验 nc nc F ~ F( k 1, k 1) 可以证明，在原假设下， 如果具有等方差性，两个方差估计量应该相差不大，F 值就应接近于1。如果存在异方差，那么F值就应该比1 大出许多。在给定的显著性水平下，利用F分布的临界 值Fα进行显著性检验。当F＞Fα时，应拒绝H0，认为存 在异方差性，当F不大于Fα时，应接受H0，认为存在同 方差性。
具有 BLUE性质。
若古典假定得不到完全满足，特别是假定2（同方 差性）和假定3（无序列相关性）得不到满足时， 对OLSE的影响更大。
2014年4月25日
山东财经大学统计学院计量经济教研室
第 6页
机动 目录 上页 下页 返回 结束
广义最小二乘法（General Least Squares－GLS）就是 为了解决上述问题提出的。其基本思路是：若假定2同 方差性）和假定3（无序列相关性）得不到满足时，我 们可以采取适当的变换，使原模型变为以下的形式：
2014年4月25日
山东财经大学统计学院计量经济教研室
来自百度文库
第 3页
机动 目录 上页 下页 返回 结束
二、古典假定的违背及造成的后果
在实际经济问题中，上述的古典假定不一定都 能得到满足。如果这些假定不完全满足，则OLSE的 BLUE特性将不复存在。当然，每一个假定不满足所 造成的后果是不同的。在本章中，我们将严格考察 上述假定，找出如果有一个或多个假定得不到满足 时，估计量的性质将会发生什么变化 ,并研究当出现 这些情况时，应该如何处理，即古典模型假定违背 的经济计量问题。
2014年4月25日
山东财经大学统计学院计量经济教研室
第21页
机动 目录 上页 下页 返回 结束
G-Q检验的步骤：
1.将n对样本观察值(xi , yi)按观察值xi的大小排队。 2.将序列中间的c个观察值除去，并将剩下的观察值 划分为较小与较大的相同的两个子样本，每个子 样样本容量均为(n-c)/2。 注意：对于n≥30时，c=n/4最合适。 3.对每个子样分别进行OLS回归，并计算各自的残 差平方和。分别用RSS1与RSS2表示较小与较大的 残差平方和，它们的自由度均为(n-c)/2–k–1，k为 模型中自变量个数。 4.选择统计量
三、异方差的检验
由于异方差性就是相对于不同的解释变量观测值， 随机误差项具有不同的方差。那么： 检验异方差性，也就是检验随机误差项的方差与解 释变量观测值之间的相关性及其相关的“形式”。 (一)图示法 随机项u的异方差与解释变量的变化有关。因 此，可利用因变量y与解释变量x的散点图或残差e2i 与x的散点图，对随机项u的异方差作近似的直观判 断。
2014年4月25日
山东财经大学统计学院计量经济教研室
第 5页
机动 目录 上页 下页 返回 结束
三、广义最小二乘法（GLS）
给定线性回归模型 Y = Xβ + u (4.7) 若古典假定完全满足，根据Gauss-Markov定理，其 系数的最小二乘估计量 B ＝(X′X) –1 X′Y (4.8)
家庭编号 1 x 590.2 y 107 家庭编号 12 x 2827.73 y 1589
2
3 4 5 6 7 8
664.94
809.5 875.54 991.25 1109.95 1357.87 1682.8
Y X u
使得其中的 U 重新满足假定2(同方差性)和假定3(无序列 相关性)。这样就可以对上式使用OLS估计参数，从而 使得上式的OLSE仍然为BLUE。 若因假定2和假定3不满足时，有
2 Cov(u) E(uu) u
其中Ω≠I， Ω是一个n×n的正定对称方阵。
2014年4月25日 山东财经大学统计学院计量经济教研室 第 7页
第 9页
机动 目录 上页 下页 返回 结束
第二节 异 方 差 一、异方差及其产生的原因
当不能满足同方差的假设，即u的条件方差在不同 次的观测中不再是一个常数，而是取得不同的数值，即
Var(u | xi ) i2 常数
(i 1,2, ,n)
则称随机误差项u具有异方差性(Heteroscedasticity)。 如果被解释变量观测值的分散程度是随解释变量的 变化而变化的，如图4.1所示，可以把异方差看成是 由于某个解释变量的变化而引起的，则
• 最小二乘估计量仍然是线性无偏的，但不再具有最小 方差性。 • 参数的显著性检验和置信区间的建立发生困难。 • 虽然最小二乘法参数的估计量是无偏的，但这些参数 方差的估计量、是有偏的。 • 预测的精确度降低。
2014年4月25日
山东财经大学统计学院计量经济教研室
第17页
机动 目录 上页 下页 返回 结束
Var(ui2 ) i2 2 f ( xi )
2014年4月25日 山东财经大学统计学院计量经济教研室 第10页
机动 目录 上页 下页 返回 结束
f (y)
y
E( y | xi ) 0 1 xi
x 图4.1 异方差示意图
2014年4月25日
山东财经大学统计学院计量经济教研室
第11页
机动 目录 上页 下页 返回 结束
异方差举例 例：截面资料下研究居民家庭的储蓄行为 yi = 0 + 1 xi + ui
yi：第i个家庭的储蓄额 xi：第i个家庭的收入 高收入家庭：储蓄的差异较大 低收入家庭：储蓄则更有规律性，差异较小 ui的方差呈现单调递增型变化
2014年4月25日
2014年4月25日 山东财经大学统计学院计量经济教研室 第15页
机动 目录 上页 下页 返回 结束
注意：
☆异方差问题多在于截面数据中而非时间序列数据中。
☆本教材只讨论横截面数据的异方差问题。
2014年4月25日
山东财经大学统计学院计量经济教研室
第16页
机动 目录 上页 下页 返回 结束
二、异方差产生的后果
2014年4月25日 山东财经大学统计学院计量经济教研室 第 2页
机动 目录 上页 下页 返回 结束
有了以上这些假定，根据高斯－马尔可夫 （Gauss-Markov）定理，我们知道古典回归模型的 最小二乘估计量（OLSE）是线性最优无偏估计量 (BLUE)，而且服从正态分布。因此，就可以进行参 数的区间估计，而且也可以检验真实总体回归系数的 显著性。
山东财经大学统计学院计量经济教研室
第12页
机动 目录 上页 下页 返回 结束
y
E( y | xi ) 0 1 xi
x
图 4.2 收入-储蓄模型中的异方差
2014年4月25日
山东财经大学统计学院计量经济教研室
第13页
机动 目录 上页 下页 返回 结束
例: 以某一行业的企业为样本建立企业生产函数模型 Q = A KαL eu
其中， Q 为产出量， K 为资本， L 为劳动力， u 为随机项。 u 在该问题中表示了包括不同企业在设计上、生产工艺 上的区别，技术熟练程度和管理上的差别以及其它因素。 这些因素在小企业之间差别不大，而在大企业之间，这 些因素都相差甚远，即随机项的方差随着解释变量的增 大而增大。
2014年4月25日
第20页
机动 目录 上页 下页 返回 结束
（二）Goldfeld-Quandt检验
• 该方法该检验方法是Goldfeld和Quandt于1965年提出 的，用于检验是否存在递增或递减异方差，要求观测 值为大样本。基本思想是将样本分为两部分，然后分 别对两个样本进行回归，并计算比较两个回归的剩余 平方和是否有明显差异，以此判断是否存在异方差。 • 原假设为：H0：u同方差，即σ21=…=σ2n • 备择假设为： H1：u是递增异(或递减)方差，即 σ2i随 xi递增(或递减) (i=1,2,…,n)