C17受限因变量模型和样本选择纠正

第17章 受限因变量模型和样本选择纠正
摘要: C7中的线性概率模型是受限因变量(limited dependent variable (LDV))模型的一例子，其容易解释，但有其缺陷，本章介绍的logit 模型和probit 模型更为常用，但解释相对困难。

实际应用中，离散和连续是相对的，也就是说，实际离散的经济变量可能也适用于因变量离散的模型建模。

本节介绍的模型包括Tobit 模型，用于应对角点解响应(corner solution response);泊松回归模型(计数模型)，用于建模LDV 只能取非负整数的情况；截断数据模型和对样本选择的纠正。

受限因变量模型更容易在横截面数据中被使用。

样本选择的纠正通常都源于横截面或面板数据。

17.1 二值响应的logit 模型和probit 模型
线性概率模型的缺陷？二值响应模型（binary response model ）关注的核心问题是响应概率(response probability):.
P (y =1│x )=P(y =1|x 1,x 2,…,x n ) logit 模型和probit 模型的设定
为此，需要先建一个连接函数：
,P (y =1│x )=G (β0+β1x 1+β2x 2+…+βk x k )=G(β0+xβ)其中G(.)是一个取值于（0,1）的函数。

常见的连接函数有：,
G (z )=exp (z )
[1+exp (z )]=Λ(z)
该函数是标准logistic
随机变量的累积分布函数：
常见的连接函数还有标准正态的累积分布函数，G 可以被表示为：
G (z )=Φ(z )≡
x ∫‒∞ϕ(v)dv ,
.
ϕ(v )=(2π)‒1/2exp⁡(‒z 22)使用上述两个连接函数，我们分别建立了logit 模型和probit 模型。

关于logit 模型和probit 模型的推导：
y ∗=β0+xβ+e ,
并定义
,为示性函数。

y =I(y ∗>0) I
要求满足CLM 假设或高斯-马尔科夫假设。

y ∗=β0+xβ+e 显然当服从均值为0的正态分布，或者logistic 分布，其e 都关于0点对称，则有：
,
P (y =1│x )
=P (y ∗>0│x )=P (e >‒β0‒xβ│x )=1‒G(‒β0‒xβ
)=G(β0+xβ)也即：.
P (y =1│x )=G(β0+xβ)从该推导中我们知道，但由于的不可
E(y ∗|x)=β0+xβy ∗观测性本身的含义并不直观，也并不很有用，虽然
β和中x 的E (y│x )=P (y =1│x )=G(β0+xβ)E(y ∗|x)=β0+xβ影响方向具有一致性(这一点由下面推导保证)。

我们关心解释变量对y 的偏效应，由于(.)的非线性，对连续变量的情形就得依G 赖于偏导技术：
,
∂p(x )
∂x j =∂G(β0+xβ)∂x j βj =g(β0+xβ)βj 其中为概率密度函数，由于,所以偏效应的方向取决于。

g g >0βj 一个有趣的结论是：任意两个自变量的偏效应之比等于其系数之比。

此外，偏效应方程告诉我们偏效应依赖于密度函数的位置和的大小，从而logit 模型和probit 模型的最大偏效应位置
β出现在和=0.25.
ϕ(0)=(2π)‒1/2≈.4g (z )|z =0=exp⁡(z)
(1+exp (x ))2|z =0而对于二值变量情形，则其偏效应相对来说容易确定，例如，
是一个二值变量，则其偏效应为：
x 1。

G (β0+β1+β2x 2+…+βk x k )‒G (β0+β2x 2+…+βk x k )其它离散变量情况类似。

考虑如下问题的偏效应：
.
P (y =1│x )=G(β0+β1z 1+β2z 21+β3log (z 2)+β4z 3)对于上述问题，有时还要考虑响应概率相对于一个解释变量的弹性：
对的弹性为：;
P (y =1│x )z 2β3g (β0+xβ)/G(β0+xβ)对的弹性为：;P (y =1│x )z 3β4z 3g (β0+xβ)/G(β0+xβ)对含解释变量交互项的模型可能会更难处理，可依赖于偏导数讨论。

logit 和probit 模型的极大似然估计
极大似然法(maximum likelihood estimation , MLE)是基于条件分布的估计量，故一般其是有效估计和考虑了异方差性。

其可用于对受限因变量模型的估计。

Var (y│x )假定有一个样本量为n 的样本，为了得到极大似然估计量，需要给出在给定下的分布函数：
y i x i f (y i │x i ;β)=[G(x i β)]y i [1‒G(x i β)]
1‒y i ,y i =0，1
对上述方程取自然对数：
),
l i (β)=y i log [G (x i β)]+(1‒y i )log(1‒G(x i β)对上述方程求和，得到对数似然函数：
,L(β)=∑n i =1l i (β)
ββ
则最大化上述函数可求得的MLE估计量，记为,对数似然函数
值一般是负值。

极大似然估计量一般是一致的、渐近正态的和渐近有效的(Wooldrige,2002,C13)。

其标准误和检验统计量一般统计软件都会提供。

●多重约束性检验
有三种常用的排除性约束检验统计量：Lagrange
multiplier or score test（Wooldrige,2002,C15）；Wald test(Wooldrige,2002,C13）和likelihood ratio (LR) test。

下面介绍似然比检验的思想：
如果部分变量的确对y有联合显著性，那么去掉它们，对数似然函数取值应该有比较大的降低，从而可以构造似然比统计量：
L ur‒L r
LR=2(),
L ur L r
表示无约束模型的对数似然值，而表示有约束模型的对
数似然值，那么在原假设(检验q个排除性约束)成立的情况下，
~χ2q
有LR.
●解释Logit 和Probit模型的估计值
拟合优度指标之一:正确预测百分数(percent correctly
G(x iβ)≥0.5y i=1 G(x iβ)<0.5 predicted)，若,则定义，若,则
0y i=y i
,该变量是对表示预测对了，否
y i=y i
则表示做了不正确的预测，所以只需要计算成立的对数。

拟合优度本身对经济问题研究是相对次要的，下面讨论相对重要的偏效应（在其它条件不变的情形下的显著关系探讨）。

连
此时通常的做法是在均值、中位数等重要的分位点进行讨论。

βj
的调整因子：
g(xβ)
，
g(xββj
此时被称为平均值处的偏效应(partial effect at the average(PEA)),但这种做法有两个缺陷，一、对离散变量而言，其平均值代表什么含义？二、如果模型中的变量涉及到了函数变
换，那么究竟是函数变换前取平均(统计软件默认)还是变换后求平均？
一种替代法是使用平均偏效应（average partial effect
.
G(β0+β1+β2x2+…+βk(c k+1)β2x2+…+βk c k)
,特别是对于二值变量有
G(β0+β1+β2x2+…+βk)‒G(β0+β2x2+…+βk‒1x k‒1)同样可以定义离散情形下的平均偏效应。

三种模型的比例因子的关系，LPM的g(0)=1;而logit的g(0)约为0.4， Probit约为0.25.
Probit 模型等同样面临内生性问题，问题的解决可以考虑类似于2SLS 的思路（Wooldrige,2002,C15）。

在Probit 模型的情形下,有两个问题：一、 e 的非正态性，
二、e 的异方差性（假如 Var(e|x) 依赖于 x, 则响应概率不再具有形式 G(β0 + x β),而依赖于方差的形式。

17.2 用于角点解响应的Tobit 模型
另一类重要的受限因变量以在0值处取一个不可忽略的概率，而在正值时大致连续为特征。

我们可以用线性模型来拟合该因变量，但要注意：1）拟合值可能取负值；2）以水平值出现的解释变量对的偏效应是常数；3）可能是异方差的；E(y|x)Var(y|x)
4）y 的条件分布不再是正态，因此只能实施渐近的统计推断。

为此，建立Tobit 模型：
y ∗=β0+xβ+u ,u i |x i ~N(0,σ2)
并定义.y =max⁡(0,y
*)从而，
=1-P (y =0│x )=P (y ∗<0│x )=P
(u σ<‒β0‒xβσ│x )=Φ(‒β0‒xβσ),而当y>0时，其基于的条件密度函数为, Φ(β0+xβσ)x ：1σϕ(y ‒β0‒xβσ)为标准正态密度函数。

ϕ(.)估计问题仍然可以使用极大似然估计：
需要给出在给定下的分布函数：
y i x i l i (β,σ)
=I(y i =0)log [1‒Φ
(β0+x i βσ)]+I(y i >0)log{1σϕ(y i ‒β0‒σ
对上述方程求和，得到对数似然函数：,
L(β,σ)=∑n i =1l i (β,σ)则最大化上述函数可求得和的MLE 估计量。

βσ同样可以建立三种常用的排除性约束检验统计量：Lagrange multiplier or score test （Wooldrige,2002,C15）；Wald test(Wooldrige,2002,C13）
和likelihood ratio (LR) test 。

对Tobit 估计值的解释
如果我们仅仅要解释，那么直接使用就够了，但是我
y *βi
们想解释。

此时需注意有两个条件期望：和:
y E(y|x )E(y|y >0,x )E (y│x )=P (y >0│x )E (y│y >0,x )=Φ(β0+xβσ)
E(y|y >0,x )=,Φ(β0+xβσ)[β0+xβ+σλ
(β0+xβσ)]其中;最后一个等式成立是因为
λ
(β0+xβσ)=
ϕ
(β0+xβσ)Φ(β0+xβσ)E (y│y >0,x )=β0+xβ+E(u|u >‒β0‒xβ,x )=. σE(u/σ|u σ>(‒β0‒xβ)/σ,x )
最后可得，.（1）
E (y│x )=Φ(β0+xβσ)[β0+xβ]+σϕ(β0+xβσ)从该方程可以看出，1)仅用的样本，不能一致的估计出；
y >0β2）可以证明（1）式的右边为正数，也即(1)保证y 拟合值非负的代价是，以一个复杂的非线性式子替换线性模型的线性关系；
3）偏效应的估计还是要依赖于求偏导的方法：
.
∂E (y│y >0,x )
∂x j =βj +βj ∂λ∂x j =βj (1‒λ(β0+xβσ)[β0+xβσ+λ(β0+xβσ)]) 可见，的偏效应并非只取决于，还取决于一个调
E (y│y >0,x )βj 整因子，该因子是
的函数，可以证明该调整因子严格介于β0+xβσ0和1之间。

进一步可得：
,∂E (y│x )
∂x j =βj Φ(β0+xβσ)
可见对的偏效应的方向和的正负号相同，也同于x j E (y│x )βj 对的偏效应方向。

有了偏效应函数，那么弹性公x j E (y│y >0,x )式也可以写出。

如果为离散变量，则其偏效应可仿造logit 或Probit 模x j 型的做法。

关于偏效应的实际解释，也可以借鉴Logit 或Probit 模型的做法。

例如，先求出平均值处的，然后用这个调整因
Φ(β0+xβσ)子乘以连续变量的估计值。

同Logit 和Probit 模型，在平均值β处的偏效应(PAE)可能不如平均偏效应(APE)可取。

由于，所以调整因子总在0和1之间，并且
P (y >0│x )=Φ
β+xβ
在0的取值越少， Tobit 模型和OLS 参数估计值越接近。

y x 离散时的偏效应度量，也可借鉴Logit 和Probit 模型的类似讨论。

Tobit 模型中的设定问题
Tobit 模型极大的依赖于满足条件正态分布，否则，我们
y ∗不知道我们在估计什么。

正因有该假设，则的偏效应依赖于调x j 整因子，而且对的影响和对影响有密x j E (y│y >0,x )P (y >0│x )切的联系。

而在线性模型时，我们却往往可以放心的进行统计推断。

检验Tobit 是否恰当(评价Tobit)一种方法是估计一个
Probit 模型，那么该模型的系数，从而若Tobit 模型合适，
γj =βj
σ
的估计值应该和的估计值较为渐近。

γj βj σ如果Tobit 模型不合适，那么可以选择对和x j E (y│y >0,x )具有不同影响的模型（例如，Hurdle model 或者 P (y >0│x )Two-part model, Wooldrige,2002,C16）。

17.3 泊松回归模型非负因变量的另一个常见例子是计数变量
(count variable),即
其可以取非负整数(0,1,2,…)。

该模型的一种解决思路是，使用指数函数：
,E (y│x )=exp⁡(β0+β1x 1+β2x 2+…+βk x k )来保证对的预测取正数。

y 解释上也很简单，两边取对数后有：
,
log⁡[E (y│x )]=β0+β1x 1+β2x 2+…+βk x k 从而系数有一个对数-水平值的解释，或者有一个更为精确的比例变化解释：
=exp()-1.
exp (β0+β1x 1+β2x 2+…+βk x 1k )
exp (β0+β1x 1+β2x 2+…+βk x 0k )‒1βk ∆x k 由于指数函数的非线性特征，我们又要依赖于极大似然估计方法和拟极大似然估计方法(quasi-maximum likelihood estimation)。

假定y 的条件分布为正态已不再合适，合适的假定是假定其服从泊松分布(Poisson distribution),从而的条件概率为：
y =ℎ
1,2，….,
0+x i β)}APE 的比即可。

yβj ，与散布不
17.4 删失和截断回归模型
类似于17.2中的数据，有时因为调查设计或者因为制度上的约束，我们可能面临数据被删失的情形。

此时可能需要建立删失回归模型(censored regression model )来应对。

在抽样方案中以y 为依据排除了总体中的一个子集时，就出现截断数据，从而需建立截断回归模型(truncated
regression model ).
删失回归模型
本节讨论删失正态回归模型(censored normal regression model)： y i =β0+x i β+u i ,u i |x i ,c i ~N(0,σ2)并定义.（）。

w i =min⁡(y i ,c i )w i 可以是y i 取对数后的值满足这种要求的例子，有顶端编码(top coding)。

该模型也可用于持续期分析(duration analysis).
和Tobit 模型讨论类似，OLS 估计会给出一个不一致估计，不同的是我们现在面临的是数据选择问题。

又要借助于极大似然估计方法，该方法关键是构造出的密度函数。

w i 显然当
,
P(w i =c i |x i )=P (y i ≥c i │x i )=P (u i ≥c i ‒x i β│x i )=1‒Φ[c i ‒x i βσ](我们把放入中了)；
β0β
当时，则,y i <c i f(w |x i ,c i )=1σϕ[w ‒x i βσ]
如此就可以构造极大似然函数进行估计。

但若违背异方差或正态性假定，则MLE 估计一般是不一致的，截断回归模型也一样。

这是对删失数据进行分析的代价。

截断回归模型 截断回归模型和删失回归模型的区别在于，前者不能观测到总体中某一段的任何信息。

假定
，
y i =β0+x i β+u i ,u i |x i ,~N(0,σ2)但是对于样本而言，只有当时，才能观测到它，是外生y i ≤c i c i 临界值。

因此，不同于删失回归模型，在时是不能观测x i y i >c i 到的。

同样需借助于极大似然估计，先给出如下的密度函数：
.
g (y │x i ,c i )=f(y|x i β,σ2)
F(c i |x i β,σ2), y ≤c i Hausman 和Wise(1977)指出OLS 会给出截断数据的估计量一个向零的偏误：
17.5 样本选择纠正
截断回归属于所谓的非随机样本选择(nonrandom sample selection)。

另一个例子是从属截断(incidental truncation)。

面板数据分析中也常因人员的自然衰退而出现此类情况。

OLS什么时候对选择样本是一致的？
y i=x iβ+u i
，
假定该模型满足高斯-马尔科夫或CLM假设。

现在研究选择样本(selected sample)问题。

先定义一个选
s i s i=1（y i；x i）s i=0
择指标,表示观测到样本的全部；否则，.那么，目前的估计问题变为：
s i y i=s i x iβ+s i u i
，
显然要满足假设4，即误差项的条件均值为0的假设，必须满
足：
E(s i u i|s i x i)=0
,
s i x i
那么当为的函数，此时是外生样本选择(exogenous sample
s i x i u i selection)的情形，上述要求自然成立。

当独立于和且完
全随机的时候，则上式也成立，这是样本随机删失的例子。

此外，
s i x i x i u i
若取决于，附加的随机项又是完全独立于和，那么上述要求也仍然成立。

上述3种情形都是属于能保持假设4仍然成立的情形。

但是，
y i≤c i s i=1
截断回归数据则不能保证假设4成立，原因是若,则；
s i=0y i≤c i u i≤c i‒x iβs i u i
否则；而等价于,即取决于。

此外，需要说明的是上述讨论可以推广到2SLS;而且，当选
择完全是外生时，非线性模型(logit模型等)的MLE估计仍保持一致和渐近正态性。

从属截断
y i=x iβ+u i x i
对于模型，假定可以观测到全部，但只能观测
y i
到的一个子集。

对于从属截断数据，可采用如下模型：
y=xβ+u
，
s=I(zγ+v≥0)
,
其中若观测到了y，则s=1;否则s=0.
z
假定向量可以被观测到，并假定是外生的：
E(u│x,z)=0
,
x E(v│z)=0
需要假定为z的真子集。

进一步假定，.有时要假设u
和v独立，否则会带来样本选择问题。

v
事实上，假定服从标准正态分布，(u,v)服从联合正态分布z
且独立于，则，
E(y│z,v)=xβ+E(u│z,v)=xβ+E(u│v) =xβ+ρv
.
E(y│z,s)=xβ+ρE(v|z,s)
从而，，
E(y│z,s=1) xβ+ρλ(zγ)
所以=,
λ(zγ)
其中为逆米尔斯比，
γ
由于此时未知，但是可以假定s在给定z时服从一个logit模型：P(s=1│z)=Φ(zγ)
,
γ
来估计，这就是著名的Heckit(1976)方法：
s i z i
(i)利用n个观测，估计一个对的Probit模型，并得到估
γλi(z iγ)
计值，并对每个i计算;
s=1
(ii)利用选择样本，即的样本做如下的回归：
y i x iλi
on ,.
β
则的估计值就是一致的，并渐近正态的。

第ii步的回归模型可用于建立对选择偏误的检验。

显然若u和v无关，则OLS估计就是一致的，并渐近正态的。

x
需要说明的是为z的真子集意味着，z应该尽可能多的包含外生变量，以免导致不一致性；z应该有额外的外生变量，以能E(y│z,s=1) xβ+ρλ(zγ)
足够识别=，否则容易导致多重共线性问题。

Heckit程序也可用于含内生变量的模型估计（第I步+2SLS）。