第15章定性响应回归模型
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9
假定E(ui)=0，则得到： (15.2.2)
令Pi = “Y = 1”（即事件发生）的概率，而 1－Pi = “Y = 0”（即事件不发生）的概率
则变量Yi有如下的概率分布：
10
即，Yi遵从贝努里（Bernoulli）概率分布。 我们得到：
11
如果有n次独立实验，每次成功的概率为p， 失败的概率为(1－p)，并且X代表成功的次数， 那么我们就称X服从二项式分布（binomial distribution）。
18
答案：
19
但是在实际中，真实的E(Yi｜Xi)是未知的，因此 权重Wi也是未知的。为了估计Wi，我们可以用下面的 二步法：
步骤1：对(15.2.1)进行OLS回归，暂时避开异方
差性问题。于是得到 =真实E(Yi｜Xi)的估计值，再由
此求得Wi的估计值
。
步骤2：用估计值 作如同(15.2.9)的数据变换，
利用Pi的估计值，可以得到估计的 logit 如下：
Lˆi ln1PˆiPˆi ˆ1ˆ2Xi ui
(15.6.3)
如果Ni相当大，那么
ui ~ N[0, 1/ NiPi (1- Pi )]
(15.6.4)
因此， logit 模型的干扰项也是异方差性的。如此，我们
必须适用加权最小二乘法（WLS）。我们将使用 pˆ i 来代
5. (15.5.6)中给出的 logit 模型的解释如下： 斜率β2度量了随着X每单位变化的L的变化，
也就是说，它说明了随着收入变化一个单位， 比如1000美元，拥有住房的对数-机会比率是 怎样变化的
截距β1是收入为零时拥有住房的对数-机会 比率的值。
33
6. 鉴于LPM假定Pi与Xi之间存在线性关系， logit 模型假定机会比率的对数与Xi之间存在 线性关系。
(15.6.6)
我们把它写作：
L*i 1 wi 2Xi*vi
其中wi NiPˆi 1Pˆi ; L * iw iL i;X i*w iX i;v iw iu i
注 意 ： 这 里 是 乘 以 w i ， 和 以 前 讲 的 两 边 同 时 除 以 w i 不 同
46
记住原始的误差方差是：
ˆu21/NiP i1P i
令Y=1，若拥有一所房子； 令Y=0，若没有房子
3
三分变量（Trichotomous Variable）
例如： 美国总统选举的例子中可能有三个政党：民主 党、共和党和独立党派
4
夫妻二人是否工作的例子： 只有一人有工作， 二人都有工作， 二人都没有工作
5
多分变量（Polychotomous Variable） 或多类型变量（Multiple-category Variable）
因此，当回归中的响应变量是二分变量时，我 们很容易用CDF来建立回归模型。
通常选择用以代表0-1响应模型的是逻辑的 (Logistic)和正态的(Normal)两个模型，前者给 出logit模型，后者给出probit模型。
26
§15.5 Logit 模型
考虑如下的模型：
(15.5.2)
其中，X为收入， 1，如 果 家 庭 有 房 子
但是，正如我们在第14章中所讨论的，(15.5.2) 是本质上线性的，对此可以参照以下的说明
参见： P594 Figure 15.2 P614 Figure 15.6
28
Pi：拥有住房的概率 1－Pi：不拥有住房的概率
因此，我们可以得到：
(15.5.5)
29
现在
就是拥有住房的机会比率（odds
因此，定性响应模型通常被称为概率模型 （Probability Model）
8
§15.2 线性概率模型(LPM)
考虑下面的回归模型： (15.2.1)
其中，X=家庭收入； Y=1，若该家庭拥有住宅 Y=0，若该家庭不拥有住宅 由于回归子是二值的，或二分的，因此这个模型
被称为线性概率模型（LPM）。
第15章 定性响应回归模型
1
在本章中，我们将讨论几种模型，其中回归子 （regressand）是定性的而非定量的
定性变量（qualitative variable）可以分为三 类：
2
两分变量（Dichotomous Variable）
例如： 令Y=1，若为男性； 令 Y=0，若为女性
令Y=1，若投票给民主党； 令Y=0，若投票给共和党
因为每个Yi都是一个贝努利随机变量，所以我们 可以写成：
Pr( Yi = 1 ) = Pi
(2)
Pr( Yi = 0 ) = 1－Pi
(3)
38
假设样本容量为n,即有n次观测值 令fi( Yi )表示Yi = 1或0的概率，观测的n个 Y值的联合概率f( Y1, Y2, …, Yn )为：
(4)
因为，每个Yi 独立,且有着相同的逻辑密度 函数，所以，联合密度函数可以写成个体密度 函数的乘积。
Figure 15.1 Page 587 在大多数实例中，R2介于0.2到0.6之间。 在这样的模型中，只有当时机的散点非常密集
在点A和B处时，R2才会高，比如高于0.8。
23
§15.4 LPM的应用
除了上一节我们讨论的问题以外，还存在一些 其他的问题
如果β2>0，则意味着Pi随X线性增加。 事实上，人们会预料Pi与Xi之间存在非线性关
31
logit 模型的特点
1. 随着P从0变到1，对数单位L从 变到 。 2. 尽管L对X是线性的，概率本身却非如此。这
一性质和概率随X线性增大的LPM模型形成 对比。 3. 虽然在上述模型中仅含有一个X变量或回归 元，但是在发展的模型中，我们可以根据所 依据的理论来增加须要的回归元。
32
4. 若L，即 logit，是正的，这意味着当回归元的 值增加时，回归子等于1的机会增加。若L为负， 随着X的值增加，回归子等于1的机会减小。
n
ln f (Y1,Y2, ,Yn) Yi lnPi (1Yi)ln(1Pi)
1
n
Yi lnPi Yi ln(1Pi)ln(1Pi) (5) 1
n 1
Yi
ln1PiPi
ln(1
Pi )
41
由(1)式可以得到 (6)
和
(7)
将(6)和(7)代入(5)式，得到：
lnf(Y1,Y2, ,Yn)
14
如果，Pi = P ( Y = 1)（即事件发生）的概率，而 1－Pi = P ( Y = 0)（即事件不发生）的概率，
则ui的概率分布为：
15
显然，ui遵循贝努里分布。 OLS的点估计仍然保持无偏性。 当样本无限增大时，OLS估计量一般都趋于正 态分布。
问：Eui = ? var(ui) = ?
系。 Figure 15.2 Page 594
24
随着Xi增加， Pi也增加，但永远不超出0-1这 一区间
Pi和Xi之间的关系是非线性的，即，“随着Xi 变小，概率趋于0的速度越来越慢，而随着Xi 变得很大，趋于1的速度也越来越慢。
25
图15.2中的S形曲线很像是一个随机变量的累 积分布函数（CDF）。
34
15.6 Logit 模型的估计
Li
ln( pi 1 pi
)
1
2 X i
ui
(15.6.1)
为了估计(15.6.1)，除了Xi之外我们还需要回 归子（或logit）Li的数值。这取决于我们用 于分析的数据类型。
35
一、个体水平上的数据
如果像表15.1中的情况，我们拥有个体家庭的 数据，那么(15.6.1)的OLS估计是不可行的。如 果我们将这些数据直接代入 logit Li，就会得到：
E (X )? v ar(X )?
12
E( X np )v,a rn (X p-p()1 )
13
既然概率Pi必须介于0和1之间，我们就有了一个 约束条件： 0 ≤ E (Yi | Xi) ≤ 1 (15.2.5)
为了使OLS适用于LPM，有如下几个问题需要提 出：
1. 干扰项ui的非正态性
u i Y i-1 -2 X i ( 1 5 . 2 . 6 )
4、用OLS估计(15.6.6)。注意(15.6.6)中不含截距项（为什 么？）因此，还需用过原点回归程序来进行估计。
Y 0，如 果 家 庭 没 有 房 子 我们把(15.5.2)写成:
Pi 11eZi
eZi 1eZi
Zi 12Xi
(15.5.3)
27
(15.5.3) 是一个逻辑分布函数（logistic distribution function） 随着Zi从－ ∞ 变化到＋∞，Pi从0变动到1， 并且Pi与Zi之间存在着非线性的关系。
ratio）——一个家庭将拥有住房的概率与将没有
住房的概率之比
如果Pi = 0.8，则拥有住房的机会是4比1
30
现在，如果取(15.5.5)的自然对数，也就是：
(15.5.6) L被称为 logit，它不仅对X为线性，而且对 参数β也是线性的。 因此，像(15.5.6)这样的模型被称为 logit 模 型。
之间
一种是用平常的OLS方法估计LPM。如果有
一些小于0（即为负），则假设 Y ˆ i 为0；如 果大于1，则假设为1。
第二种方法是使用其他的模型，例如Logit模 型和Probit模型。
22
4、可疑的拟合优度R2
在二分响应模型中，对于给定的X，Y不是0就 是1。因此，所有的Y值必定要么落在X轴上， 要么落在Y=1的直线上。
16
2、干扰项ui的异方差性 答案：
但是Pi=β1+β2Xi，ui的方差最终依赖于X，因此 其为异方差的。
17
因此，OLS估计虽然无偏，却不是有效 的。
解决异方差问题的一个方法是进行数据 变换，将模型(15.2.1)的两边除以：
即:
(15.2.Biblioteka )(15.2.9)中变换后的误差项是同方差的。 为什么？
对应于每个收入水平Xi，都有Ni个家庭，ni表 示其中拥有住房的家庭个数。
因此，如果我们可以计算：
Pˆi
ni Ni
(15.6.2)
即相对频率（relative frequency），我们就能 将它作为对应于每个Xi 的真实Pi 的估计值。
44
如果Ni相当大，P ˆ i 将是Pi的一个合理的、良好的估计值。
例如： 一个人拥有多少房子？ 一家企业一年获得多少个专利？ 中国企业被指控倾销的案例有多少？
6
定性响应回归模型与定量回归模型的区别
在前文讨论的定量响应回归模型中，我们的目标 是通过给定回归元的值来估计回归子的期望值或 均值
7
在Y为定性的模型中，我们的目标是估计Y为 某个特定值的概率 例如： 拥有一所房子的概率； 家庭中一个人工作的概率
然后用OLS（即加权最小二乘）估计变换后的方程。
20
3、
不被满足
由于线性概率模型中的E(Yi｜X)度量着在给定 X下事件Y发生的条件概率，它必须落在0与1之间。 虽然先验上这是正确的，但无法保证E(Yi｜Xi)的估 计值 一定能满足这一约束条件。
21
解决方法：
有两种方法来判断估计值
Y
ˆ i
是否落在0和1
替Pi，并且使用
ˆ2
1
Ni Pˆi 1 Pˆi
(15.6.5)
作为 2 的估计量。
45
估计 logit 模型的各个步骤：
1、对每一个Xi，计算估计概率 pˆi ni / Ni
2、对每一个Xi，求 logit：Lˆi lnPˆi / 1Pˆi
3、将(15.6.1)变换至如下格式：
w iL i1 w i2 w iX iw iu i
Li
ln
1 0
Li
ln
0 1
如果家庭拥有住房 如果家庭不拥有住房
36
我们无法运用标准OLS过程来估计(15.6.1)。 我们该如何估计(15.6.1)？
37
运用最大似然估计方法（ MLE）。
对于
1 Pi 1e(12Xi )
(1)
Pi未知，我们只有对应于Xi 的Yi 的值,Yi = 1或0
n
n
(8)
Yi 12Xi ln1e12Xi
1
1
42
从(8)式可以看出，对数似然函数（LLF）是参 数β1和β2的函数，令：
LLF 0 1
我们可以得到 ˆ 1
LLF 0 2
和 ˆ 2 。
但是表达式对参数而言是非线性的，我们需要 运用第14章中的迭代方法。
43
二、群组或重复观测数据 见：P598 Table 15.4
39
课堂作业: 证明:
ln f( Y 1 ,Y 2 , ,Y n ) nY i 1 2 X i nln 1 e 1 2 X i
1
1
40
(4)式中的联合概率就是似然函数（likelihood function）
对(4)式的两边取自然对数，可以得到对数似 然函数（log likelihood function，LLF）：
假定E(ui)=0，则得到： (15.2.2)
令Pi = “Y = 1”（即事件发生）的概率，而 1－Pi = “Y = 0”（即事件不发生）的概率
则变量Yi有如下的概率分布：
10
即，Yi遵从贝努里（Bernoulli）概率分布。 我们得到：
11
如果有n次独立实验，每次成功的概率为p， 失败的概率为(1－p)，并且X代表成功的次数， 那么我们就称X服从二项式分布（binomial distribution）。
18
答案：
19
但是在实际中，真实的E(Yi｜Xi)是未知的，因此 权重Wi也是未知的。为了估计Wi，我们可以用下面的 二步法：
步骤1：对(15.2.1)进行OLS回归，暂时避开异方
差性问题。于是得到 =真实E(Yi｜Xi)的估计值，再由
此求得Wi的估计值
。
步骤2：用估计值 作如同(15.2.9)的数据变换，
利用Pi的估计值，可以得到估计的 logit 如下：
Lˆi ln1PˆiPˆi ˆ1ˆ2Xi ui
(15.6.3)
如果Ni相当大，那么
ui ~ N[0, 1/ NiPi (1- Pi )]
(15.6.4)
因此， logit 模型的干扰项也是异方差性的。如此，我们
必须适用加权最小二乘法（WLS）。我们将使用 pˆ i 来代
5. (15.5.6)中给出的 logit 模型的解释如下： 斜率β2度量了随着X每单位变化的L的变化，
也就是说，它说明了随着收入变化一个单位， 比如1000美元，拥有住房的对数-机会比率是 怎样变化的
截距β1是收入为零时拥有住房的对数-机会 比率的值。
33
6. 鉴于LPM假定Pi与Xi之间存在线性关系， logit 模型假定机会比率的对数与Xi之间存在 线性关系。
(15.6.6)
我们把它写作：
L*i 1 wi 2Xi*vi
其中wi NiPˆi 1Pˆi ; L * iw iL i;X i*w iX i;v iw iu i
注 意 ： 这 里 是 乘 以 w i ， 和 以 前 讲 的 两 边 同 时 除 以 w i 不 同
46
记住原始的误差方差是：
ˆu21/NiP i1P i
令Y=1，若拥有一所房子； 令Y=0，若没有房子
3
三分变量（Trichotomous Variable）
例如： 美国总统选举的例子中可能有三个政党：民主 党、共和党和独立党派
4
夫妻二人是否工作的例子： 只有一人有工作， 二人都有工作， 二人都没有工作
5
多分变量（Polychotomous Variable） 或多类型变量（Multiple-category Variable）
因此，当回归中的响应变量是二分变量时，我 们很容易用CDF来建立回归模型。
通常选择用以代表0-1响应模型的是逻辑的 (Logistic)和正态的(Normal)两个模型，前者给 出logit模型，后者给出probit模型。
26
§15.5 Logit 模型
考虑如下的模型：
(15.5.2)
其中，X为收入， 1，如 果 家 庭 有 房 子
但是，正如我们在第14章中所讨论的，(15.5.2) 是本质上线性的，对此可以参照以下的说明
参见： P594 Figure 15.2 P614 Figure 15.6
28
Pi：拥有住房的概率 1－Pi：不拥有住房的概率
因此，我们可以得到：
(15.5.5)
29
现在
就是拥有住房的机会比率（odds
因此，定性响应模型通常被称为概率模型 （Probability Model）
8
§15.2 线性概率模型(LPM)
考虑下面的回归模型： (15.2.1)
其中，X=家庭收入； Y=1，若该家庭拥有住宅 Y=0，若该家庭不拥有住宅 由于回归子是二值的，或二分的，因此这个模型
被称为线性概率模型（LPM）。
第15章 定性响应回归模型
1
在本章中，我们将讨论几种模型，其中回归子 （regressand）是定性的而非定量的
定性变量（qualitative variable）可以分为三 类：
2
两分变量（Dichotomous Variable）
例如： 令Y=1，若为男性； 令 Y=0，若为女性
令Y=1，若投票给民主党； 令Y=0，若投票给共和党
因为每个Yi都是一个贝努利随机变量，所以我们 可以写成：
Pr( Yi = 1 ) = Pi
(2)
Pr( Yi = 0 ) = 1－Pi
(3)
38
假设样本容量为n,即有n次观测值 令fi( Yi )表示Yi = 1或0的概率，观测的n个 Y值的联合概率f( Y1, Y2, …, Yn )为：
(4)
因为，每个Yi 独立,且有着相同的逻辑密度 函数，所以，联合密度函数可以写成个体密度 函数的乘积。
Figure 15.1 Page 587 在大多数实例中，R2介于0.2到0.6之间。 在这样的模型中，只有当时机的散点非常密集
在点A和B处时，R2才会高，比如高于0.8。
23
§15.4 LPM的应用
除了上一节我们讨论的问题以外，还存在一些 其他的问题
如果β2>0，则意味着Pi随X线性增加。 事实上，人们会预料Pi与Xi之间存在非线性关
31
logit 模型的特点
1. 随着P从0变到1，对数单位L从 变到 。 2. 尽管L对X是线性的，概率本身却非如此。这
一性质和概率随X线性增大的LPM模型形成 对比。 3. 虽然在上述模型中仅含有一个X变量或回归 元，但是在发展的模型中，我们可以根据所 依据的理论来增加须要的回归元。
32
4. 若L，即 logit，是正的，这意味着当回归元的 值增加时，回归子等于1的机会增加。若L为负， 随着X的值增加，回归子等于1的机会减小。
n
ln f (Y1,Y2, ,Yn) Yi lnPi (1Yi)ln(1Pi)
1
n
Yi lnPi Yi ln(1Pi)ln(1Pi) (5) 1
n 1
Yi
ln1PiPi
ln(1
Pi )
41
由(1)式可以得到 (6)
和
(7)
将(6)和(7)代入(5)式，得到：
lnf(Y1,Y2, ,Yn)
14
如果，Pi = P ( Y = 1)（即事件发生）的概率，而 1－Pi = P ( Y = 0)（即事件不发生）的概率，
则ui的概率分布为：
15
显然，ui遵循贝努里分布。 OLS的点估计仍然保持无偏性。 当样本无限增大时，OLS估计量一般都趋于正 态分布。
问：Eui = ? var(ui) = ?
系。 Figure 15.2 Page 594
24
随着Xi增加， Pi也增加，但永远不超出0-1这 一区间
Pi和Xi之间的关系是非线性的，即，“随着Xi 变小，概率趋于0的速度越来越慢，而随着Xi 变得很大，趋于1的速度也越来越慢。
25
图15.2中的S形曲线很像是一个随机变量的累 积分布函数（CDF）。
34
15.6 Logit 模型的估计
Li
ln( pi 1 pi
)
1
2 X i
ui
(15.6.1)
为了估计(15.6.1)，除了Xi之外我们还需要回 归子（或logit）Li的数值。这取决于我们用 于分析的数据类型。
35
一、个体水平上的数据
如果像表15.1中的情况，我们拥有个体家庭的 数据，那么(15.6.1)的OLS估计是不可行的。如 果我们将这些数据直接代入 logit Li，就会得到：
E (X )? v ar(X )?
12
E( X np )v,a rn (X p-p()1 )
13
既然概率Pi必须介于0和1之间，我们就有了一个 约束条件： 0 ≤ E (Yi | Xi) ≤ 1 (15.2.5)
为了使OLS适用于LPM，有如下几个问题需要提 出：
1. 干扰项ui的非正态性
u i Y i-1 -2 X i ( 1 5 . 2 . 6 )
4、用OLS估计(15.6.6)。注意(15.6.6)中不含截距项（为什 么？）因此，还需用过原点回归程序来进行估计。
Y 0，如 果 家 庭 没 有 房 子 我们把(15.5.2)写成:
Pi 11eZi
eZi 1eZi
Zi 12Xi
(15.5.3)
27
(15.5.3) 是一个逻辑分布函数（logistic distribution function） 随着Zi从－ ∞ 变化到＋∞，Pi从0变动到1， 并且Pi与Zi之间存在着非线性的关系。
ratio）——一个家庭将拥有住房的概率与将没有
住房的概率之比
如果Pi = 0.8，则拥有住房的机会是4比1
30
现在，如果取(15.5.5)的自然对数，也就是：
(15.5.6) L被称为 logit，它不仅对X为线性，而且对 参数β也是线性的。 因此，像(15.5.6)这样的模型被称为 logit 模 型。
之间
一种是用平常的OLS方法估计LPM。如果有
一些小于0（即为负），则假设 Y ˆ i 为0；如 果大于1，则假设为1。
第二种方法是使用其他的模型，例如Logit模 型和Probit模型。
22
4、可疑的拟合优度R2
在二分响应模型中，对于给定的X，Y不是0就 是1。因此，所有的Y值必定要么落在X轴上， 要么落在Y=1的直线上。
16
2、干扰项ui的异方差性 答案：
但是Pi=β1+β2Xi，ui的方差最终依赖于X，因此 其为异方差的。
17
因此，OLS估计虽然无偏，却不是有效 的。
解决异方差问题的一个方法是进行数据 变换，将模型(15.2.1)的两边除以：
即:
(15.2.Biblioteka )(15.2.9)中变换后的误差项是同方差的。 为什么？
对应于每个收入水平Xi，都有Ni个家庭，ni表 示其中拥有住房的家庭个数。
因此，如果我们可以计算：
Pˆi
ni Ni
(15.6.2)
即相对频率（relative frequency），我们就能 将它作为对应于每个Xi 的真实Pi 的估计值。
44
如果Ni相当大，P ˆ i 将是Pi的一个合理的、良好的估计值。
例如： 一个人拥有多少房子？ 一家企业一年获得多少个专利？ 中国企业被指控倾销的案例有多少？
6
定性响应回归模型与定量回归模型的区别
在前文讨论的定量响应回归模型中，我们的目标 是通过给定回归元的值来估计回归子的期望值或 均值
7
在Y为定性的模型中，我们的目标是估计Y为 某个特定值的概率 例如： 拥有一所房子的概率； 家庭中一个人工作的概率
然后用OLS（即加权最小二乘）估计变换后的方程。
20
3、
不被满足
由于线性概率模型中的E(Yi｜X)度量着在给定 X下事件Y发生的条件概率，它必须落在0与1之间。 虽然先验上这是正确的，但无法保证E(Yi｜Xi)的估 计值 一定能满足这一约束条件。
21
解决方法：
有两种方法来判断估计值
Y
ˆ i
是否落在0和1
替Pi，并且使用
ˆ2
1
Ni Pˆi 1 Pˆi
(15.6.5)
作为 2 的估计量。
45
估计 logit 模型的各个步骤：
1、对每一个Xi，计算估计概率 pˆi ni / Ni
2、对每一个Xi，求 logit：Lˆi lnPˆi / 1Pˆi
3、将(15.6.1)变换至如下格式：
w iL i1 w i2 w iX iw iu i
Li
ln
1 0
Li
ln
0 1
如果家庭拥有住房 如果家庭不拥有住房
36
我们无法运用标准OLS过程来估计(15.6.1)。 我们该如何估计(15.6.1)？
37
运用最大似然估计方法（ MLE）。
对于
1 Pi 1e(12Xi )
(1)
Pi未知，我们只有对应于Xi 的Yi 的值,Yi = 1或0
n
n
(8)
Yi 12Xi ln1e12Xi
1
1
42
从(8)式可以看出，对数似然函数（LLF）是参 数β1和β2的函数，令：
LLF 0 1
我们可以得到 ˆ 1
LLF 0 2
和 ˆ 2 。
但是表达式对参数而言是非线性的，我们需要 运用第14章中的迭代方法。
43
二、群组或重复观测数据 见：P598 Table 15.4
39
课堂作业: 证明:
ln f( Y 1 ,Y 2 , ,Y n ) nY i 1 2 X i nln 1 e 1 2 X i
1
1
40
(4)式中的联合概率就是似然函数（likelihood function）
对(4)式的两边取自然对数，可以得到对数似 然函数（log likelihood function，LLF）：