多元统计分析06 逻辑回归

如果样本容量允许，把随机样本分成 两个子样本：一个分析样本和一个检 验样本(Holdout-sample)。 分析样本用于估计逻辑回归函数，然 后根据此函数将检验样本中的元素分 类，并计算判对比率；
Press Q检验 该检验统计量服从自由度为1的卡方 分布 [ K ( K Ga)]
可能性比 联合影响量 出现概率 自变量 P(y=1)/P(y=0) Logit 线性组合 指数连接 Z 逻辑连接
xj
z
e
P(y=1)
二元逻辑回归：因变量是二元的，即 只有0和1两个水平； 因变量多于两类的，多元逻辑回归分 析 自变量也称为共变量，可以是基数测 度和非基数测度，也可“混合”
数据
离群者诊断
除了说明逻辑回归方程的整体拟合度 外，单个观察个体对模型整体有效性 有何作用也很重要 逻辑估计的模型关系与调查数据拟合 度不佳的基本原因有两个：模型不 合适；存在许多个体（观察值）， 不具有模型所描述的关系，并由于其 特殊的变量水平明显偏离结果；
对于第二种情况，通过确定每个个体 的单独残差可说明在观察中是否存在 “离群者”，对个体k残差如下：
对第三位受访者，他购买了人造黄油 {y=1}，根据他的评价（可涂抹性=6，保 质期=5），用估计出来的逻辑方程计算出 购买概率为0.073，其标准化残差值为 3.589，明显将该受访者分类错误 必须深入分析离群者的情况，以解释极端 位置的原因，通常考虑如下原因：
（1）受访者回答问题的方式反常，把该观察 值去除； （2）大的残差值表明模型的解释能力差，模 型中未考虑重要影响量，需扩展或修正模型
y通过隐变量 与xj建立联系：
y
k
，当z k 0时； 1 0，当z k 0时；
0
z =
k
+
j 1
J
x
j
jk
uk
(1)
逻辑函数：
e P 1 e
P
k
z
z
,P
1 1 e

1 1 e
zk
z
( y 1)
(2)
(1)、(2)构成逻辑回归方程。 z值称为Logit
LL0
给定数据组的零 模型的LL最大值
似然比值检验（LR检验）的假设： H0：所有回归系数都等于0 H1：所有回归系数都不等于0 零模型和完整模型的偏差作为检验统计 量，它近似服从自由度为J（自变量个 数）的卡方分布 在本例中，LL0=30.498，LLv=15.818， 卡方值为14.68；卡方表中值5.99（自 由度2，α =0.05），故模型是显著的
伪R2统计量 伪R2统计量试图量化回归模型中已解 释“变化”比例；
McFaddens - R 1
2
LL LL
v 0
通常McF-R2值达到0.2或0.4以上就已 认为模型拟合度良好； LR检验回答了模型显著性以及结果 能够运用到总体的问题，McF-R使自 变量的判别能力总和可用数值表示， 并可在不同模型间相互比较
J j
x u
jk
k
z=Logit=ln(发生比)
“可涂抹性”的回归系数为负，该变 量降低了人造黄油的购买概率；“保 质期”的回归系数为正，它对购买概 率产生正向影响； 若自变量增加1单位，则有利于事件 {y=1}的可能性比（发生比）扩大ebj倍
b0b1( x1) b0 b1x b1 b0b1x b1 发生比 b1 e e e e e e e
可涂抹 性x1k
5 4 7 3 4 5 4 5 6 5 6 6
保质期 x2k
4 3 5 3 4 2 2 5 7 3 4 6
（2）估计逻辑回归函数 通常用极大似然估计法估计模型的参 数，目的是使观察到的调查数据的概 率最大，来确定反映自变量权重的逻 辑回归模型参数bj 若对每个观察个体k考虑如下关系式：
问题 选择销售方式
因变量
自变量
两组：销售代表、旅行推 客户数、产品可替代性、拜访 销员 次数等19个变量
职场新人从事与 两组：毕业半年后从事与 性别、学制、住房情况、专业、 专业相关的工作 专业相关工作、不相关工 职业培训等15个变量 作
公民的选举行为 三组：联盟党、社民党、 政治态度、民主满意度、工会 民主党 会员、宗教团体等
L
0
: 零模型的似然（只含常数）
该值大于0.5时认为模型解释能力非 常好
分类结果评价 将由自变量水平0和1表示的实际观察组属 性与由回归方程算出的概率相比较 通常使用概率0.5作为分类的判别值
y
k
属于{ y 1}组，当P k ( y 1) 0.5 属于{ y 0}组，当P k ( y 1) 0.5
似然比值检验(Likelihood Ratio Test) 该方法将考虑所有解释变量最大的LL 值与所有自变量的回归系数都为0且仅 考虑常数项时所得出的LL值比较 若两偏差的绝对差较小，则自变量对 区分y水平的贡献小；若偏差绝对差较 大，则认为自变量的解释能力强； LLv
考虑所有解释变 量时LL最大值
RESID
k

y P ( y)
k k
通常认为残差绝对值大于0.5（两组 情况下）为离群者，并导致分类错误 为了更好地辨认出此类离群者，采用 一种加权方法，标准化残差：
Z Re sid k y P ( y 1) P ( y 1) [1 P ( y
k k k k
1)]
4200 6000 5200 5500 5100 4800 2700 1800 3200 2500 2600
X Variable 1 Line Fit Plot riable 1 10000
Y 预测 Y
购买黄油=-0.749+0.000336×收入
逻辑回归不是要估计二元变量的观察 值，而是要明确这些观察值的出现概 率 通常把状态{y=1}看作“事件y发生”， 而状态{y=0}为“事件不发生” 假设存在一个非经验观察到的隐变量z， 它能对应自变量的状态xj给出因变量y 的二元水平
2
Pr ess ' s
Q
K (G 1)
K : 样本容量 G : 组个数 a : 正确分类的元素比例
Pr ess ' s
[24 (24 2 0.833)] Q
24 (2 1)
2
=10.67
取α=0.05，查得临界值为3.84，故该 分类结果与随机分类结果有显著差别
重要模型拟合度评价指标总结
逻辑回归
概述
现实生活中，有很多诸如需要确定客 户买或不买某种商品、银行客户信用 好或不好等情况 这时，某个事件以多大概率出现和哪 些影响量决定该概率的问题尤为重要 如果用状态1（购买）和0（不买）的 因变量（Y）表示事件，则事件发生的 概率P有如下关系： P(y=0)+P(y=1)=1
由于这类问题的因变量是类别变量， 无法应用回归方程来解决 逻辑回归是通过回归方程，确定概率 的期望值 一种通过分析影响因素，来得到某种 结果的概率 分为二项逻辑回归和多项逻辑回归
1.2 1 0.8
Y=1 Y=0
0 1 2 3 4 5
0.6 0.4
0.2
0 -5 -4 -3 -2 -1
（3）解释回归系数 自变量xj与概率Pk(y=1)间不存在线性 关系，导致回归系数间不能相互比较， 无法直接解释回归系数
常数项只影响逻辑函数的水平位置。 为正时，逻辑函数左移；为负时，逻 辑函数右移 回归系数影响逻辑函数的走向。回归 系数较大时，概率值很快接近逻辑函 数的边缘 负的回归系数使事件{y=1}的概率随x 值增大而减小，而正回归系数则使事 件{y=1}的概率随x值增大而增大
建立逻辑回归方程
例子：超市的销售主管想知道，顾客 收入水平是否对购买新的高级黄油产 品有影响。为此，他选择了12位顾客， 调查他们的月净收入(x)及是否购买了 该类黄油产品 购买记为{y=1}，未购买记为{y=0} 调查结果如下：
值表 事件 1 1 1 1 1 1 1 0 0 0 0 0
收入 4000
1
yk
1
1 y k max
求解：LL [ y k（
k 1
1
zk
1e
+（ (1] ） ) 1 y ） zk 1e
k
1
Newton-Raphson算法
判别准则：Pk>0.5，把个体分入{y=1}； 否则分入{y=0}
确定zk值（Logit）的回归方程： zk=3.528-1.943×可涂抹性k+1.119× 保质期k 将原始数据代入回归方程
逻辑回归的发生比：
1
P( y 1) 发生比（y=1）= 1 P( y 1)
P( y 1) z P(y=1)= e z 1 P( y 1) 1 e
逻辑回归 的Logit：
P( y 1) ln[ ] z ln e 1 P( y 1) P( y 1) l n[ ] 0 1 P( y 1) j 1
1 ，当 y 1时 zk k 1 e P k ( y) 1 1，当 y 0时 k 1 zk e
合成一个方程： P ( y) （
k
(1） ) zk zk 1e 1e
1
yk
1
1 y k
似然函数：
K
L （
k 1
K
(1） ) 1e z k 1e z k
把出现概率Pk(y=1)>0.5的个体分入人造黄 油的购买者(M)，其他分入未购买者(N)
分类矩阵(Confusion-Matrix)
观察值 预测值 购买与否 购买 不购买 10 2 2 10 百分比校 正 83.3 83.3 83.3
购买 不购买 总百分比