第 章 受约束的回归模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
分别可看成受约束与无约束回归模型
于是有如下F检验：
F (RR S R S U ) S /k U (S k R ) (RR S R S 1 )S /n 2S RU S /n ( S k U 1 ) R1 /S n 1 ( S k 1 )
这里：KU - KR=n2 RSSU=RSS1
四、非线性约束
也可对模型参数施加非线性约束,如对模型
Y 0 1 X 1 2 X 2 k X k
施加非线性约束12=1,得到受约束回归模型:
Y01X 1 1 1X 2kX k*
该模型必须采用非线性最小二乘法 （nonlinear least squares）进行估计。
(*)
如果=，表示没有发生结构变化，因此可针对
如下假设进行检验：
H0: = (*)式施加上述约束后变换为受约束回归模型
Y Y12 X X12 βμ μ12
（**）
因此，检验的F统计量为：
F R ( U R /S n R 1 [ S S n R 2 S U 2 ) ( S k /k 1 ) S ~ ]F [ k ,n 1 n 2 2 ( k 1 )]
记RSS1与RSS2为在两时间段上分别回归后所得的 残差平方和，容易验证，
于是
RU SS R1 S R S2 SS
F ( R [ R 1 S R R S ( 2 R ) S /S n 1 1 S [ S R n S 2 2 2 ) S ( / k S k ] 1 )S ~ ] F [ k ,n 1 n 2 2 ( k 1 )]
可用RSSR - RSSU的大小来检验约束的真实性
根据数理统计学的知识：
RU S / 2 S ~2 (n k U 1 )
RR / S2~ S2 (n k R 1 )
( R R S R U S ) S /2 ~ S2 ( k U k R )
于是：
F ( R R R S U R /S n S U ( ) k S / S U k U (1 S )k R )~ F ( k U k R ,n k U 1 )
邹氏预测检验步骤：
第一步，在两时间段的合成大样本下做OLS回归， 得受约束模型的残差平方和RSSR ；
第二步，对前一时间段的n1个子样做OLS回归，得 残差平方和RSS1 ；
第三步，计算检验的F统计量，做出判断：
给定显著性水平，查F分布表，得临界值 F(n2, n1-k-1)，如果 F>F(n2, n1-k-1) ，则拒绝原 假设，认为预测期发生了结构变化。
h是约束条件的个数。因此：通过LR统计量的2 分布特性来进行判断。
２、沃尔德检验（Wald test, W）
沃尔德检验中，只须估计无约束模型。如对
Y 0 1 X 1 2 X 2 k X k
在所有古典假设都成立的条件下，容易证明
ˆ1ˆ2~N (12,
第7章 受约束的回归模型
一、模型参数的线性约束 二、对回归模型增加或减少解释变量 三、参数的稳定性 四、非线性约束
说明
• 在建立回归模型时，有时根据经济理论需要对 模型中的参数施加一定的约束条件。例如：
——需求函数的0阶齐次性条件（参数和为零）
——生产函数的1阶齐次性条件（参数和为1）
• 模型施加约束条件后进行回归，称为受约束回 归（restricted regression）;
或: Y * 0 1 X 1 * 3 X 3 k 1 X k * 1 * (**)
如果对（**）式回归得出: ˆ0,ˆ1,ˆ3,,ˆk1
则由约束条件可得： ˆ2 1ˆ1 ˆk ˆk1
然而，对所考查的具体问题能否施加约束 ？需进一步进行相应的检验。常用的检验有：F 检验、x2检验与t检验。
约束条件为真时，可建立大样本下的服从自 由度为h的渐近2 分布统计量:
W Z C 1Z~2(h)
其中，Z为以zi为元素的列向量，C是Z的方 差-协方差矩阵。因此，W从总体上测量了无约束 回归不满足约束条件的程度。对非线性约束，沃 尔德统计量W的算法描述要复杂得多。
Y 0 1 X 1 k X k 1
Y 0 1 X 1 k X k 2
合并两个时间序列为( 1,2,…，n1 ，n1+1,…，n1+n2 )， 则可写出如下无约束回归模型
Y Y1 2X 01 X 02α β μ μ 1 2
该检验也被称为邹氏参数稳定性检验 （Chow test for parameter stability）。
2、邹氏预测检验
上述参数稳定性检验要求n2>k。 如果出现n2<k ，则往往进行如下的邹氏预 测检验（Chow test for predictive failure）。 邹氏预测检验的基本思想:
其中， γ X2(α β )
(*)
如果 =0，则 = ，表明参数在估计期与 预测期相同
(*)的矩阵式：
Y Y1 2X X1 2 I0n2γ β μ μ 1 2
(**)
可见，用前n1个样本估计可得前k个参数 的估计，而是用后n2个样本测算的预测误差
X2( - )
如果参数没有发生变化，则=0，矩阵式简化为
Y Y12 X X12 βμ μ12
(***)
（***）式与（**）式
Y Y1 2X X1 2 I0n2γ β μ μ 1 2
F
(RU 2RR 2)/q
(1RU 2)/n ((kq1))
讨论：
如果约束条件为真，即额外的变量Xk+1, …, Xk+q对Ｙ没有解释能力，则Ｆ统计量较小；
否则，约束条件为假，意味着额外的变量对 Ｙ有较强的解释能力，则Ｆ统计量较大。
因此，可通过F的计算值与临界值的比较， 来判断额外变量是否应包括在模型中。
由此，定义似然比（likelihood ratio）:
L β ~ ， ~ 2L β ˆ， ˆ2
如果比值很小，说明两似然函数值差距较大， 则应拒绝约束条件为真的假设；
如果比值接近于１，说明两似然函数值很接近， 应接受约束条件为真的假设。
具体检验时，由于大样本下：
L 2 R [L l ( β ~ ,n ~ 2 ) lL n ( β ˆ ,ˆ 2 )~ ] 2 ( h )
无约束回归 : Max: L(βˆ,ˆ 2)
受约束回归 : Max: L(β ~,~2) 约束：g()=0
或求极值： L (β ,2) λ g(β )
g():以各约束条件为元素的列向量,
'：以相应拉格朗日乘数为元素的行向量
受约束的函数值不会超过无约束的函数值， 但如果约束条件为真，则两个函数值就非常“接 近”。
三、参数的稳定性
建立模型时往往希望模型的参数是稳定的，即 所谓的结构不变，这将提高模型的预测与分析功 能。如何检验？
1、邹氏参数稳定性检验
假设需要建立的模型为 Y 0 1 X 1 k X k
在 两 个 连 续 的 时 间 序 列 （ 1,2,… ， n1 ） 与 （ n1+1,… ， n1+n2）中，相应的模型分别为：
e*e* ee
Xe0
(*)
e'e为无约束样本回归模型的残差平方和RSSU 受约束与无约束模型都有相同的TSS
由（*）式 从而
RSSR ≥ RSSU ESSR ≤ ESSU
这意味着，通常情况下，对模型施加约 束条件会降低模型的解释能力。
但是，如果约束条件为真，则受约束回 归模型与无约束回归模型具有相同的解释能力， RSSR 与 RSSU的差异变小。
这里，运用了ESSR ＝0。
二、对回归模型增加或减少解释变量
考虑如下两个回归模型
Y 0 1 X 1 k X k
(*)
Y 0 1 X 1 k X k k 1 X k 1 k q X k q (**)
讨论： 如果约束条件无效， RSSR 与 RSSU的差异较
大，计算的F值也较大。
于是，可用计算的F统计量的值与所给定的显 著性水平下的临界值作比较，对约束条件的真实性 进行检验。
注意，kU - kR恰为约束条件的个数。
这里的F检验适合所有关于参数线性约束的检验
如：多元回归中对方程总体线性性的F检验：
非线性约束检验是建立在最大似然原 理基础上的,有最大似然比检验、沃尔德检验 与拉格朗日乘数检验.
1、最大似然比检验 (likelihood ratio test, LR)
估计:无约束回归模型与受约束回归模型， 方法:最大似然法 检验:两个似然函数的值的差异是否“足够”大。
记L(,2)为一似然函数:
参数稳定性的检验步骤：
（1）分别以两连续时间序列作为两个样本 进行回归，得到相应的残差平方： RSS1与 RSS2 （2）将两序列并为一个大样本后进行回归， 得到大样本下的残差平方和RSSR
（3）计算F统计量的值，与临界值比较： 若F值大于临界值，则拒绝原假设，认为发 生了结构变化，参数是非稳定的。
F检验
在同一样本下，记无约束样本回归模型为:
YXβ ˆe
受约束样本回归模型为:
于是:
YXβ ˆ*e*
e * Y X β ˆ * X β ˆ e X β ˆ * e X β ˆ * β ˆ ) (
受约束样本回归模型的残差平方和RSSR
wk.baidu.com
于是
e * e * e e ( β ˆ * β ˆ ) X X β ˆ * β ˆ ( )
) 2
ˆ1 ˆ2
因此，在1+2=1的约束条件下: zˆ1ˆ2 1~N(0,1) ˆ1ˆ2
记
~2 ˆ1ˆ2
~2f(X)
可建立沃尔德统计量:
W(ˆ1~2ˆ1ˆ2ˆ21)2 ~2(1)
如果有h个约束条件，可得到h个统计量 z1,z2,…,zh
• 未加任何约束的回归称为无约束回归（ unrestricted regression）。
一、模型参数的线性约束
例如对模型:
Y 0 1 X 1 2 X 2 k X k (*)
施加约束:
12 1 k1 k
得: Y 0 1 X 1 ( 1 1 ) X 2 k 1 X k 1 k 1 X k *
(*)式可看成是（**）式的受约束回归：
H0：
k 1k 2 k q 0
相应的Ｆ统计量为：
F (RSRSRSUS)/q RSUS/(n(kq1)) (ESUSESRS)/q ~F(q,n(kq1)) RSUS/(n(kq1))
Ｆ统计量的另一个等价式
先用前一时间段n1个样本估计原模型，再用 估计出的参数进行后一时间段n2个样本的预测。
如果预测误差较大，则说明参数发生了 变化，否则说明参数是稳定的。
分别以、 表示第一与第二时间段的参数， 则:
Y 1 X 1 β μ 1 Y 2 X 2 α μ 2 X 2 β X 2 ( α β μ 2 X )2 β γ μ 2
H0： j=0
j=1,2,…,k
这里：受约束回归模型为
Y0 *
F(RSRSRSU)S/k(UkR)(TSSESRSRSU)S/k
RSU/Sn (kU1)
RSU/Sn (k1)
(TSSRSU)S/k ESU/Sk RSU/Sn (k1) RSU/Sn (k1)
于是有如下F检验：
F (RR S R S U ) S /k U (S k R ) (RR S R S 1 )S /n 2S RU S /n ( S k U 1 ) R1 /S n 1 ( S k 1 )
这里：KU - KR=n2 RSSU=RSS1
四、非线性约束
也可对模型参数施加非线性约束,如对模型
Y 0 1 X 1 2 X 2 k X k
施加非线性约束12=1,得到受约束回归模型:
Y01X 1 1 1X 2kX k*
该模型必须采用非线性最小二乘法 （nonlinear least squares）进行估计。
(*)
如果=，表示没有发生结构变化，因此可针对
如下假设进行检验：
H0: = (*)式施加上述约束后变换为受约束回归模型
Y Y12 X X12 βμ μ12
（**）
因此，检验的F统计量为：
F R ( U R /S n R 1 [ S S n R 2 S U 2 ) ( S k /k 1 ) S ~ ]F [ k ,n 1 n 2 2 ( k 1 )]
记RSS1与RSS2为在两时间段上分别回归后所得的 残差平方和，容易验证，
于是
RU SS R1 S R S2 SS
F ( R [ R 1 S R R S ( 2 R ) S /S n 1 1 S [ S R n S 2 2 2 ) S ( / k S k ] 1 )S ~ ] F [ k ,n 1 n 2 2 ( k 1 )]
可用RSSR - RSSU的大小来检验约束的真实性
根据数理统计学的知识：
RU S / 2 S ~2 (n k U 1 )
RR / S2~ S2 (n k R 1 )
( R R S R U S ) S /2 ~ S2 ( k U k R )
于是：
F ( R R R S U R /S n S U ( ) k S / S U k U (1 S )k R )~ F ( k U k R ,n k U 1 )
邹氏预测检验步骤：
第一步，在两时间段的合成大样本下做OLS回归， 得受约束模型的残差平方和RSSR ；
第二步，对前一时间段的n1个子样做OLS回归，得 残差平方和RSS1 ；
第三步，计算检验的F统计量，做出判断：
给定显著性水平，查F分布表，得临界值 F(n2, n1-k-1)，如果 F>F(n2, n1-k-1) ，则拒绝原 假设，认为预测期发生了结构变化。
h是约束条件的个数。因此：通过LR统计量的2 分布特性来进行判断。
２、沃尔德检验（Wald test, W）
沃尔德检验中，只须估计无约束模型。如对
Y 0 1 X 1 2 X 2 k X k
在所有古典假设都成立的条件下，容易证明
ˆ1ˆ2~N (12,
第7章 受约束的回归模型
一、模型参数的线性约束 二、对回归模型增加或减少解释变量 三、参数的稳定性 四、非线性约束
说明
• 在建立回归模型时，有时根据经济理论需要对 模型中的参数施加一定的约束条件。例如：
——需求函数的0阶齐次性条件（参数和为零）
——生产函数的1阶齐次性条件（参数和为1）
• 模型施加约束条件后进行回归，称为受约束回 归（restricted regression）;
或: Y * 0 1 X 1 * 3 X 3 k 1 X k * 1 * (**)
如果对（**）式回归得出: ˆ0,ˆ1,ˆ3,,ˆk1
则由约束条件可得： ˆ2 1ˆ1 ˆk ˆk1
然而，对所考查的具体问题能否施加约束 ？需进一步进行相应的检验。常用的检验有：F 检验、x2检验与t检验。
约束条件为真时，可建立大样本下的服从自 由度为h的渐近2 分布统计量:
W Z C 1Z~2(h)
其中，Z为以zi为元素的列向量，C是Z的方 差-协方差矩阵。因此，W从总体上测量了无约束 回归不满足约束条件的程度。对非线性约束，沃 尔德统计量W的算法描述要复杂得多。
Y 0 1 X 1 k X k 1
Y 0 1 X 1 k X k 2
合并两个时间序列为( 1,2,…，n1 ，n1+1,…，n1+n2 )， 则可写出如下无约束回归模型
Y Y1 2X 01 X 02α β μ μ 1 2
该检验也被称为邹氏参数稳定性检验 （Chow test for parameter stability）。
2、邹氏预测检验
上述参数稳定性检验要求n2>k。 如果出现n2<k ，则往往进行如下的邹氏预 测检验（Chow test for predictive failure）。 邹氏预测检验的基本思想:
其中， γ X2(α β )
(*)
如果 =0，则 = ，表明参数在估计期与 预测期相同
(*)的矩阵式：
Y Y1 2X X1 2 I0n2γ β μ μ 1 2
(**)
可见，用前n1个样本估计可得前k个参数 的估计，而是用后n2个样本测算的预测误差
X2( - )
如果参数没有发生变化，则=0，矩阵式简化为
Y Y12 X X12 βμ μ12
(***)
（***）式与（**）式
Y Y1 2X X1 2 I0n2γ β μ μ 1 2
F
(RU 2RR 2)/q
(1RU 2)/n ((kq1))
讨论：
如果约束条件为真，即额外的变量Xk+1, …, Xk+q对Ｙ没有解释能力，则Ｆ统计量较小；
否则，约束条件为假，意味着额外的变量对 Ｙ有较强的解释能力，则Ｆ统计量较大。
因此，可通过F的计算值与临界值的比较， 来判断额外变量是否应包括在模型中。
由此，定义似然比（likelihood ratio）:
L β ~ ， ~ 2L β ˆ， ˆ2
如果比值很小，说明两似然函数值差距较大， 则应拒绝约束条件为真的假设；
如果比值接近于１，说明两似然函数值很接近， 应接受约束条件为真的假设。
具体检验时，由于大样本下：
L 2 R [L l ( β ~ ,n ~ 2 ) lL n ( β ˆ ,ˆ 2 )~ ] 2 ( h )
无约束回归 : Max: L(βˆ,ˆ 2)
受约束回归 : Max: L(β ~,~2) 约束：g()=0
或求极值： L (β ,2) λ g(β )
g():以各约束条件为元素的列向量,
'：以相应拉格朗日乘数为元素的行向量
受约束的函数值不会超过无约束的函数值， 但如果约束条件为真，则两个函数值就非常“接 近”。
三、参数的稳定性
建立模型时往往希望模型的参数是稳定的，即 所谓的结构不变，这将提高模型的预测与分析功 能。如何检验？
1、邹氏参数稳定性检验
假设需要建立的模型为 Y 0 1 X 1 k X k
在 两 个 连 续 的 时 间 序 列 （ 1,2,… ， n1 ） 与 （ n1+1,… ， n1+n2）中，相应的模型分别为：
e*e* ee
Xe0
(*)
e'e为无约束样本回归模型的残差平方和RSSU 受约束与无约束模型都有相同的TSS
由（*）式 从而
RSSR ≥ RSSU ESSR ≤ ESSU
这意味着，通常情况下，对模型施加约 束条件会降低模型的解释能力。
但是，如果约束条件为真，则受约束回 归模型与无约束回归模型具有相同的解释能力， RSSR 与 RSSU的差异变小。
这里，运用了ESSR ＝0。
二、对回归模型增加或减少解释变量
考虑如下两个回归模型
Y 0 1 X 1 k X k
(*)
Y 0 1 X 1 k X k k 1 X k 1 k q X k q (**)
讨论： 如果约束条件无效， RSSR 与 RSSU的差异较
大，计算的F值也较大。
于是，可用计算的F统计量的值与所给定的显 著性水平下的临界值作比较，对约束条件的真实性 进行检验。
注意，kU - kR恰为约束条件的个数。
这里的F检验适合所有关于参数线性约束的检验
如：多元回归中对方程总体线性性的F检验：
非线性约束检验是建立在最大似然原 理基础上的,有最大似然比检验、沃尔德检验 与拉格朗日乘数检验.
1、最大似然比检验 (likelihood ratio test, LR)
估计:无约束回归模型与受约束回归模型， 方法:最大似然法 检验:两个似然函数的值的差异是否“足够”大。
记L(,2)为一似然函数:
参数稳定性的检验步骤：
（1）分别以两连续时间序列作为两个样本 进行回归，得到相应的残差平方： RSS1与 RSS2 （2）将两序列并为一个大样本后进行回归， 得到大样本下的残差平方和RSSR
（3）计算F统计量的值，与临界值比较： 若F值大于临界值，则拒绝原假设，认为发 生了结构变化，参数是非稳定的。
F检验
在同一样本下，记无约束样本回归模型为:
YXβ ˆe
受约束样本回归模型为:
于是:
YXβ ˆ*e*
e * Y X β ˆ * X β ˆ e X β ˆ * e X β ˆ * β ˆ ) (
受约束样本回归模型的残差平方和RSSR
wk.baidu.com
于是
e * e * e e ( β ˆ * β ˆ ) X X β ˆ * β ˆ ( )
) 2
ˆ1 ˆ2
因此，在1+2=1的约束条件下: zˆ1ˆ2 1~N(0,1) ˆ1ˆ2
记
~2 ˆ1ˆ2
~2f(X)
可建立沃尔德统计量:
W(ˆ1~2ˆ1ˆ2ˆ21)2 ~2(1)
如果有h个约束条件，可得到h个统计量 z1,z2,…,zh
• 未加任何约束的回归称为无约束回归（ unrestricted regression）。
一、模型参数的线性约束
例如对模型:
Y 0 1 X 1 2 X 2 k X k (*)
施加约束:
12 1 k1 k
得: Y 0 1 X 1 ( 1 1 ) X 2 k 1 X k 1 k 1 X k *
(*)式可看成是（**）式的受约束回归：
H0：
k 1k 2 k q 0
相应的Ｆ统计量为：
F (RSRSRSUS)/q RSUS/(n(kq1)) (ESUSESRS)/q ~F(q,n(kq1)) RSUS/(n(kq1))
Ｆ统计量的另一个等价式
先用前一时间段n1个样本估计原模型，再用 估计出的参数进行后一时间段n2个样本的预测。
如果预测误差较大，则说明参数发生了 变化，否则说明参数是稳定的。
分别以、 表示第一与第二时间段的参数， 则:
Y 1 X 1 β μ 1 Y 2 X 2 α μ 2 X 2 β X 2 ( α β μ 2 X )2 β γ μ 2
H0： j=0
j=1,2,…,k
这里：受约束回归模型为
Y0 *
F(RSRSRSU)S/k(UkR)(TSSESRSRSU)S/k
RSU/Sn (kU1)
RSU/Sn (k1)
(TSSRSU)S/k ESU/Sk RSU/Sn (k1) RSU/Sn (k1)