模型设定的几个专题
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
(正确模型:Y 0 1 X 1 2 X 2 u )
Y 0 1 X 1 2 X 2 u 误选无关变量: 设定模型:
(正确模型: Y 0 1 X 1 v) 参数设定偏误:
设定模型: Yi 0 1 X 1i vi
Yi 0i 1i X 1i ui) (正确模型:
1 2
x x x
1i 2 1i
2i
x x ( ) x
2 1i 1i i 2 1i
8
ˆ1 1 2
x x x
1i 2 1i
2i
x ( x
1i
i 2 1i
)
如果X2与X1相关, 1的估计量在小样本下有偏, 在大样本下非一致。
Y 0 1 X 1 v
ˆ1 ) Var (
Y 0 1 X 1 2 X 2
ˆ ) Var ( 1
2 2 x ( 1 r 1i x1x2 )
x
2
2
2 1i
对包含无关变量的模型进行估计,参数估计量是 无偏的,但不具有最小方差性。
11
“正确的”模型不一致,就出现了模型设定的偏
误。模型设定的偏误主要有两大类:
2
遗漏相关变量偏误 (1)解释变量选取的偏误 误选无关变量偏误
参数设定偏误 (2)错误设定模型的函数形式 函数关系式设定偏误
3
举例说明: 遗漏相关变量:
设定模型: Y 0 1 X 1 v
因此可以进行残差序列与相关变量的回归,在一定显
著水平下若相关变量具有统计显著性,则认为存在遗
漏变量形成的设定偏误,否则则认为没有遗漏变量。
16
一点说明:
解释变量选取的偏误产生的主要后果,是由 遗漏或误选变量与“正确的”模型中的解释变量之 间的相关性引起的。相比较而言,遗漏相关变量产 生的不良后果更加严重。因此,在实际建模中,研 究者越来越倾向于采用由“一般到特殊”的建模策 略,即 :首先依据经济理论或经验建立一个包含 尽可能多的可以观测或量化的变量的“一般”模型, 然后采用适当的估计方法、检验方法以及各种选择 准则将模型简化到一个令人满意的“特殊”模型。
于是
e *e* e e
(*)
e’e为无约束样本回归模型的残差平方和RSSU 受约束与无约束模型都有相同的TSS 由(1)式 从而 低模型的解释能力。 RSSR RSSU ESSR ESSU
20
这意味着,通常情况下,对模型施加约束条件会降
但是,如果约束条件为真,则受约束回归模型 与无约束回归模型具有相同的解释能力,RSSR 与 RSSU的差异变小。
如果X2与X1不相关,则1的估计量满足无偏性
与一致性;但这时0的估计却是有偏的。
1估计量的方差是有偏的,通常优于利用正确
模型所得估计量。
ˆ1 ) Var(
x
2
2 1i
ˆ ) Var ( 1
2 2 x ( 1 r 1i x1x2 )
2
9
随机扰动项的方差估计也是有偏的,而
经常遇到的线性约束条件有:
(1) H 0 : i 0 (2) H 0 : i i 0
(4) H 0 : 1 2 (5) H 0 : 1 2 ... k 0
18
(3) H 0 : 1 2 1 (6) H 0 : II 0
对模型
7
Y 0 1 X 1 2 X 2 yi 1 x1i 2 x2i i
Y 0 1 X 1 v
ˆ1 x y x
1i 2 1i i
ˆ1
x y x
1i 2 1i
i
x
1i
( 1 x1i 2 x 2i i )
17
Yi 1 2 X 2i L k X Ki ui
§5.2
线性约束检验
一、线性约束的F检验 在线性模型中,个别参数的显著性检验——t检验 方程的显著性检验——F检验 那么__________某个参数是否=某个非零常数 某几个参数是否同时=0等等的检验 如何做? ————线性约束的检验 例如方程 Yi 0 1 X 2i ... k X Ki ui
Yi 1 2 X 2i 3 X 3i 4 X 4i ui , i 1,...,20;
得残差平方和:
RSSti 25
23
有约束模型估计:
Yi 1 3 X 3i ui , i 1,...,20;
得残差平方和: 则检验过程:
RSSR 30
H 0 : 2 4 0
用DW法检验是否遗漏相关变量的原理是,遗漏的
相关变量应包含在随机扰动项中,那么回归所得的残 差序列就会呈现单侧的正(负)相关性,因此可从自
相关性的角度来检验相关变量的遗漏。
15
4)拉格朗日乘数(LM)检验 拉格朗日乘数检验的基本原理是,认为模型中遗 漏的相关变量包含在随机扰动项中,因此回归所得的
残差序列应与遗误差在不同程度上给模型的系数、假
设检验等造成了不良影响,因此有必要对其进行检
验和修正。根据误差的类型,我们可以在经济理论
的指导下进行不同的假设检验。对于是否误选不相
关变量,可以用t检验或F检验对无关变量系数作显 著性检验。对于遗漏变量设定误差的检验有多种方
法,例如DW检验、拉格朗日乘数检验(Lagrange
在小样本下,F检验要求误差项满足正态性,
但在大样本的情形下,无论随机误差项是否服从 正态分布,F检验都是有效的。
22
例子:对某一问题计量分析模型如下
Yi 1 2 X 2i 3 X 3i 4 X 4i ui , i 1,...,20;
试检验X2i和X4i对模型是否有影响? 待检验命题: H 0 : 2 4 0 无约束模型估计:
择准则以及定性因素的量化问题等。关于模型函
数形式设定的偏误,有兴趣的读者可以参见相关 的书籍。 结构安排: 5.1 5.2 5.3 5.4 解释变量选取的偏误 线性约束的F检验 模型的选择准则 虚拟变量
5
§5.1
解释变量选取的偏误
一、遗漏相关变量 对OLS估计结果的影响:模型中遗漏相关变量 通常会导致对回归系数的OLS估计量是有偏且不一 致的,对随机误差项方差的OLS估计是有偏的,但 它们可能比利用正确模型得到的OLS估计量具有较
Multiplier, LM)、豪斯曼检验(Hausman-test)
等。这里我们选取一些最常用的检验方法来讨论。13
1)误选不相关变量的检验 在模型
Yi 1 2 X 2i 3 X 3i vi
中,假设存在
一个变量无法确定其是否属于这个模型,一个简单 的方法是估计回归方程并检验该变量系数的显著性,
21
注意,kU - kR恰为约束条件的个数,
首先,提出原假设和备注假设
(1) H 0 : i 0 (2) H 0 : i i 0等等。
其次,对于给定的显著性水平α ,查表得到临界值 F (ku kR , n k 1) 最后,计算F统计量值并与临界值 F (ku kR , n k 1) 比较, 作出判断: 若 F F (ku kR , n k 1) ,则拒绝H0 ,认为H1显著成立; 若 F F (ku kR , n k 1) ,则不能拒绝H0 ,认为H0显著成立; 一点说明:
2 ~ ei 2 ~ Y ˆ0 ˆ1 X 1i) ˆ v i 1 (e i i n2 n
且存在正向偏差 。
ˆ ) E(
2 v
2 e i i 1 n
2 v
正确模型得到的无偏估计量:
2 ˆu
ˆ ˆ X ˆ X ) (ei Yi 0 1 1i 2 2i n 2 1
10
二、无关变量的误选 例如,如果“真实模型”为: Yi 1 2 X2 i 3 X3 i i
但我们却将模型设定为 Yi 1 2 X2 i 3 X3 i 4 X 4 i i 即设定模型时,多选了一个无关解释变量。这类错 误称为无关变量的误选(“过拟合”)。
可用RSSR - RSSU的大小来检验约束的真实性 根据数理统计学的知识:
RSSU / 2 ~ 2 (n kU 1) RSSR / 2 ~ 2 (n k R 1)
(RSSR RSSU ) / 2 ~ 2 (kU k R )
首先构造F统计量:
F ( RSSR RSSU ) /(kU k R ) ~ F (kU k R , n kU 1) RSSU /(n kU 1)
在的假设下,如果计算的t值没有超过给定显著水
平下的t临界值,则不拒绝原假设,即认为该变量 是一个多余变量。另外,当不确定都是相关变量时, 我们应该检验假设,通过检验F值是否显著就能很 容易判定。
14
2)残差图检验 观察残差图是目测自相关或异方差存在的一
个简易方法,它也可以用于模型设定误差的检验,
比如检验是否遗漏了重要变量或使用了不正确的函 数形式。 3)DW检验
错误设定模型的函数关系式: 设定模型: Y 0 1 X 1 2 X 2 u (正确模型: ln Y 0 1 ln X 1 2 ln X 2 v)
4
本章研究的内容 模型设定中常遇到的几个问题:遗漏相关变 量和误选无关变量的后果及检验问题、如何检验 在样本期内模型的参数是否发生变化、模型的选
第五章
模型设定中的 几个专题
1
在前面几章中,我们针对已经设定的回归模 型,讨论了参数的估计和统计推断问题,在那里 假定模型是正确设定的,而且模型的参数在样本 期内是常数,即假定在样本期内解释变量对被解
释变量的影响程度保持不变。但是在实际建模实
践中经常遇到的情形是,被解释变量受很多因素 的影响,模型中究竟应该包含多少解释变量、变 量之间的函数表达式如何,经济理论并不能给出 具体的指导。因此,如果建模者所设定的模型与
三、不正确的函数形式
在设定模型时,我们可以根据已有的经济理论
来确定应变量与解释变量之间的函数形式。但是在 实际操作中,如果没有很好的理论基础,导致选择 了错误的函数模型,则所估计的系数可能是真实系 数的有偏估计。因此,我们不仅要把理论上相关的
变量包括到模型中去,还要注重变量之间的函数关
系。例如可以通过观察散点图来确定双变量回归中 被解释变量与解释变量之间的函数形式。
X X X
如果对(2)式回归得出
ˆ , ˆ , ˆ ,, ˆ 0 1 3 k 1
ˆ 1 ˆ 则由约束条件可得: 2 1
ˆ ˆ k k 1
19
受约束样本回归模型的残差平方和RSSR
ˆ ˆ ˆ ˆ e e e e ( β β ) X X( β β ) * * * *
小的方差。
注意:参数估计量的优劣是相对正确设定模型中的 参数而言。
6
例如,如果“正确”的模型为
Yi 1 2 X 2i 3 X 3i i
而我们将模型设定为
Yi 1 2 X 2i i
即设定模型时漏掉了一个相关的解释变量。这类错 误称为遗漏相关变量(“欠拟合”)。
Y 0 1 X 1 2 X 2 k X k * * 21 k k1 k 1 1 k 施加约束 1 2
Y Y X
X
X
Xk
(1)
* Y X ( 1 ) X X X * 得 0 1 1 1 2 k 1 k 1 k 1 k 1 * 1 * 2 * * Y X X X 或 (2) 0 1 1 3 3 k 1 k 1
Y 0 1 X 1 2 X 2 u 误选无关变量: 设定模型:
(正确模型: Y 0 1 X 1 v) 参数设定偏误:
设定模型: Yi 0 1 X 1i vi
Yi 0i 1i X 1i ui) (正确模型:
1 2
x x x
1i 2 1i
2i
x x ( ) x
2 1i 1i i 2 1i
8
ˆ1 1 2
x x x
1i 2 1i
2i
x ( x
1i
i 2 1i
)
如果X2与X1相关, 1的估计量在小样本下有偏, 在大样本下非一致。
Y 0 1 X 1 v
ˆ1 ) Var (
Y 0 1 X 1 2 X 2
ˆ ) Var ( 1
2 2 x ( 1 r 1i x1x2 )
x
2
2
2 1i
对包含无关变量的模型进行估计,参数估计量是 无偏的,但不具有最小方差性。
11
“正确的”模型不一致,就出现了模型设定的偏
误。模型设定的偏误主要有两大类:
2
遗漏相关变量偏误 (1)解释变量选取的偏误 误选无关变量偏误
参数设定偏误 (2)错误设定模型的函数形式 函数关系式设定偏误
3
举例说明: 遗漏相关变量:
设定模型: Y 0 1 X 1 v
因此可以进行残差序列与相关变量的回归,在一定显
著水平下若相关变量具有统计显著性,则认为存在遗
漏变量形成的设定偏误,否则则认为没有遗漏变量。
16
一点说明:
解释变量选取的偏误产生的主要后果,是由 遗漏或误选变量与“正确的”模型中的解释变量之 间的相关性引起的。相比较而言,遗漏相关变量产 生的不良后果更加严重。因此,在实际建模中,研 究者越来越倾向于采用由“一般到特殊”的建模策 略,即 :首先依据经济理论或经验建立一个包含 尽可能多的可以观测或量化的变量的“一般”模型, 然后采用适当的估计方法、检验方法以及各种选择 准则将模型简化到一个令人满意的“特殊”模型。
于是
e *e* e e
(*)
e’e为无约束样本回归模型的残差平方和RSSU 受约束与无约束模型都有相同的TSS 由(1)式 从而 低模型的解释能力。 RSSR RSSU ESSR ESSU
20
这意味着,通常情况下,对模型施加约束条件会降
但是,如果约束条件为真,则受约束回归模型 与无约束回归模型具有相同的解释能力,RSSR 与 RSSU的差异变小。
如果X2与X1不相关,则1的估计量满足无偏性
与一致性;但这时0的估计却是有偏的。
1估计量的方差是有偏的,通常优于利用正确
模型所得估计量。
ˆ1 ) Var(
x
2
2 1i
ˆ ) Var ( 1
2 2 x ( 1 r 1i x1x2 )
2
9
随机扰动项的方差估计也是有偏的,而
经常遇到的线性约束条件有:
(1) H 0 : i 0 (2) H 0 : i i 0
(4) H 0 : 1 2 (5) H 0 : 1 2 ... k 0
18
(3) H 0 : 1 2 1 (6) H 0 : II 0
对模型
7
Y 0 1 X 1 2 X 2 yi 1 x1i 2 x2i i
Y 0 1 X 1 v
ˆ1 x y x
1i 2 1i i
ˆ1
x y x
1i 2 1i
i
x
1i
( 1 x1i 2 x 2i i )
17
Yi 1 2 X 2i L k X Ki ui
§5.2
线性约束检验
一、线性约束的F检验 在线性模型中,个别参数的显著性检验——t检验 方程的显著性检验——F检验 那么__________某个参数是否=某个非零常数 某几个参数是否同时=0等等的检验 如何做? ————线性约束的检验 例如方程 Yi 0 1 X 2i ... k X Ki ui
Yi 1 2 X 2i 3 X 3i 4 X 4i ui , i 1,...,20;
得残差平方和:
RSSti 25
23
有约束模型估计:
Yi 1 3 X 3i ui , i 1,...,20;
得残差平方和: 则检验过程:
RSSR 30
H 0 : 2 4 0
用DW法检验是否遗漏相关变量的原理是,遗漏的
相关变量应包含在随机扰动项中,那么回归所得的残 差序列就会呈现单侧的正(负)相关性,因此可从自
相关性的角度来检验相关变量的遗漏。
15
4)拉格朗日乘数(LM)检验 拉格朗日乘数检验的基本原理是,认为模型中遗 漏的相关变量包含在随机扰动项中,因此回归所得的
残差序列应与遗误差在不同程度上给模型的系数、假
设检验等造成了不良影响,因此有必要对其进行检
验和修正。根据误差的类型,我们可以在经济理论
的指导下进行不同的假设检验。对于是否误选不相
关变量,可以用t检验或F检验对无关变量系数作显 著性检验。对于遗漏变量设定误差的检验有多种方
法,例如DW检验、拉格朗日乘数检验(Lagrange
在小样本下,F检验要求误差项满足正态性,
但在大样本的情形下,无论随机误差项是否服从 正态分布,F检验都是有效的。
22
例子:对某一问题计量分析模型如下
Yi 1 2 X 2i 3 X 3i 4 X 4i ui , i 1,...,20;
试检验X2i和X4i对模型是否有影响? 待检验命题: H 0 : 2 4 0 无约束模型估计:
择准则以及定性因素的量化问题等。关于模型函
数形式设定的偏误,有兴趣的读者可以参见相关 的书籍。 结构安排: 5.1 5.2 5.3 5.4 解释变量选取的偏误 线性约束的F检验 模型的选择准则 虚拟变量
5
§5.1
解释变量选取的偏误
一、遗漏相关变量 对OLS估计结果的影响:模型中遗漏相关变量 通常会导致对回归系数的OLS估计量是有偏且不一 致的,对随机误差项方差的OLS估计是有偏的,但 它们可能比利用正确模型得到的OLS估计量具有较
Multiplier, LM)、豪斯曼检验(Hausman-test)
等。这里我们选取一些最常用的检验方法来讨论。13
1)误选不相关变量的检验 在模型
Yi 1 2 X 2i 3 X 3i vi
中,假设存在
一个变量无法确定其是否属于这个模型,一个简单 的方法是估计回归方程并检验该变量系数的显著性,
21
注意,kU - kR恰为约束条件的个数,
首先,提出原假设和备注假设
(1) H 0 : i 0 (2) H 0 : i i 0等等。
其次,对于给定的显著性水平α ,查表得到临界值 F (ku kR , n k 1) 最后,计算F统计量值并与临界值 F (ku kR , n k 1) 比较, 作出判断: 若 F F (ku kR , n k 1) ,则拒绝H0 ,认为H1显著成立; 若 F F (ku kR , n k 1) ,则不能拒绝H0 ,认为H0显著成立; 一点说明:
2 ~ ei 2 ~ Y ˆ0 ˆ1 X 1i) ˆ v i 1 (e i i n2 n
且存在正向偏差 。
ˆ ) E(
2 v
2 e i i 1 n
2 v
正确模型得到的无偏估计量:
2 ˆu
ˆ ˆ X ˆ X ) (ei Yi 0 1 1i 2 2i n 2 1
10
二、无关变量的误选 例如,如果“真实模型”为: Yi 1 2 X2 i 3 X3 i i
但我们却将模型设定为 Yi 1 2 X2 i 3 X3 i 4 X 4 i i 即设定模型时,多选了一个无关解释变量。这类错 误称为无关变量的误选(“过拟合”)。
可用RSSR - RSSU的大小来检验约束的真实性 根据数理统计学的知识:
RSSU / 2 ~ 2 (n kU 1) RSSR / 2 ~ 2 (n k R 1)
(RSSR RSSU ) / 2 ~ 2 (kU k R )
首先构造F统计量:
F ( RSSR RSSU ) /(kU k R ) ~ F (kU k R , n kU 1) RSSU /(n kU 1)
在的假设下,如果计算的t值没有超过给定显著水
平下的t临界值,则不拒绝原假设,即认为该变量 是一个多余变量。另外,当不确定都是相关变量时, 我们应该检验假设,通过检验F值是否显著就能很 容易判定。
14
2)残差图检验 观察残差图是目测自相关或异方差存在的一
个简易方法,它也可以用于模型设定误差的检验,
比如检验是否遗漏了重要变量或使用了不正确的函 数形式。 3)DW检验
错误设定模型的函数关系式: 设定模型: Y 0 1 X 1 2 X 2 u (正确模型: ln Y 0 1 ln X 1 2 ln X 2 v)
4
本章研究的内容 模型设定中常遇到的几个问题:遗漏相关变 量和误选无关变量的后果及检验问题、如何检验 在样本期内模型的参数是否发生变化、模型的选
第五章
模型设定中的 几个专题
1
在前面几章中,我们针对已经设定的回归模 型,讨论了参数的估计和统计推断问题,在那里 假定模型是正确设定的,而且模型的参数在样本 期内是常数,即假定在样本期内解释变量对被解
释变量的影响程度保持不变。但是在实际建模实
践中经常遇到的情形是,被解释变量受很多因素 的影响,模型中究竟应该包含多少解释变量、变 量之间的函数表达式如何,经济理论并不能给出 具体的指导。因此,如果建模者所设定的模型与
三、不正确的函数形式
在设定模型时,我们可以根据已有的经济理论
来确定应变量与解释变量之间的函数形式。但是在 实际操作中,如果没有很好的理论基础,导致选择 了错误的函数模型,则所估计的系数可能是真实系 数的有偏估计。因此,我们不仅要把理论上相关的
变量包括到模型中去,还要注重变量之间的函数关
系。例如可以通过观察散点图来确定双变量回归中 被解释变量与解释变量之间的函数形式。
X X X
如果对(2)式回归得出
ˆ , ˆ , ˆ ,, ˆ 0 1 3 k 1
ˆ 1 ˆ 则由约束条件可得: 2 1
ˆ ˆ k k 1
19
受约束样本回归模型的残差平方和RSSR
ˆ ˆ ˆ ˆ e e e e ( β β ) X X( β β ) * * * *
小的方差。
注意:参数估计量的优劣是相对正确设定模型中的 参数而言。
6
例如,如果“正确”的模型为
Yi 1 2 X 2i 3 X 3i i
而我们将模型设定为
Yi 1 2 X 2i i
即设定模型时漏掉了一个相关的解释变量。这类错 误称为遗漏相关变量(“欠拟合”)。
Y 0 1 X 1 2 X 2 k X k * * 21 k k1 k 1 1 k 施加约束 1 2
Y Y X
X
X
Xk
(1)
* Y X ( 1 ) X X X * 得 0 1 1 1 2 k 1 k 1 k 1 k 1 * 1 * 2 * * Y X X X 或 (2) 0 1 1 3 3 k 1 k 1