Logistic回归分析

32

注：因为p>a，所以认为样本实际值得到的分布与 预测值得到的分布无显著差异，模型拟合优度较好 。
33

注：模型整体的准确度不高，对不购买人群的准确 率极高，对购买人群的准确率很低。
34

注：预测类别图上可以看出，预测概率在0.4附近的 样本预测准确率相对最低。事实上，无论用什么分 类方法，这类样本身就是最难预测的。

Hosmer—Lemeshow检验：通过模型可以计算出给 定解释变量取值时被解释变量取1的概率预测。如 果模型拟合较好，则应给实际值为1的样本以较高 的概率，给实际值为0的样本以低的概率预测值。 于是对概率预测值进行分位数分组（通常为10分位 数，将样本分为10组），预测概率大小分得的10组 和实际观测值0/1类别分组形成了交叉列联表。由 观测频数和期望频数计算卡方统计量，即Hosmer— Lemeshow统计量，它服从自由度为n-2的卡方分布 ，n为组数。

39
模型拟合优度的评价与检验 目的：第一，回归方程能够解释被解释变量变差的 程度，即线性回归的部分能解释LogitP的程度，这 一点与一般线性回归分析是相同的；第二，由回归 方程得到的概率进行分别判别的准确率。 方法： 第一目的：Cox &Snell R2 统计量和 Nagel ker ke R2 统计量 第二目的：混淆矩阵（错判矩阵）和 Hosmer-Lemeshow检验

16
2 L0 N 1 ( ) 2 Cox & Snell R 统计量= L1
，N为样本容量。 该统计量类似于一般线性模型中的R方，统计量的值 越大表明模型的拟合优度越高。不足之处在于其取值 范围无法确定，不利于模型之间的比较。
Cox &Snell R 2

Nagel ker ke R2 统计量=
i 1
7
p




模型的评价： 二项Logistic回归模型很好的体现了概率P值和解释 变量之间的非线性关系。 二项Logistic回归模型本质是一个二分类的线性概率 模型。 通过模型计算P(Y=1)和P(Y=0)的概率，经过比较两 个概率的大小，可以对样本进行类别预测。
8
发生比（相对风险，胜算，odds）的意义： Odds： P 某事件发生概率与不发生概率之 1 P 比。 例如：考上大学的概率为0.25， 则考上大学的odds为0.25/0.75=0.3333：1=1:3，可 以解释为考上与考不上之比为1：3 同理，可以计算考不上大学的odds为0.75/0.25=3:1 ，可以解释为考不上与考上之比为1：3
24
应用举例

例：为研究和预测某商品消费特点和趋势，收集了 以往的消费数据，变量有是否购买、年龄、性别和 收入水平。除年龄外，其余变量都是分类变量。是 否购买是被解释变量，其余都是解释变量。分析目 标：建立客户购买的预测模型，分析影响因素。
25
被解释变量 解释变量栏
可以产生交互项
筛选变 量策略
26

6
9.2二项Logistic回归分析
二项Logistic回归方程： P 设 P (Y 1) P ，称 为发生比（Odds）或 1 P 相对风险，则定义

P
p P ln( ) 0 i xi 1 P i 1 1
1 exp[( 0 i xi )]
即当被解释变量出现分类变量时，如果建立普通的回 归模型会违背回归模型的前提假设。此时采用的建模
4
方法是Logistic回归分析。
二项Logistic回归分析：
Logistic回归分析
Y为二分类 多项Logistic回归分析：
Y为多分类
5
1967年Truelt J，Connifield J和Kannel W在 《Journal of Chronic Disease》上发表了冠心病危险 因素的研究，较早将Logistic回归用于医学研究。
11
二项Logistic回归方程的参数估计： 一般的线性回归模型适合于使用最小二乘法进行估计 ，但是，由于Logistic回归模型中随机扰动项并不满足 经典假设，所以需要使用极大似然法估计。

ˆ 估计就是使Ln(L)达到最大的 。
12
二项Logistic回归方程的检验



回归方程的显著性检验 目的：检验解释变量全体与LogitP (定义LogitP=ln) 的线性关系是否显著，是否可以用线性模型拟合。 检验思想：设没有引入任何解释变量的回归方程的 似然函数为 L0 ，引入解释变量之后回归方程的似然 0 L0 / L1 1 函数值为 L1 ，则似然比为 L0 / L1 。显然， ，且 0 L0 / L1 1 越接近于1，则表明模型中的解释 变量对模型总体没有显著贡献；反之，越接近于0 ，则表明引入变量对模型具有显著贡献。
注：以上问题的共同点是因变量不是连续型变量， 而是分类变量。
3




若因变量是被解释变量，则一般线性模型会出现以 下问题： 对于任意给定的 xi 值，残差 i 也变成了离散型变 量，不是正态分布，因此导致无法进行相应的统计 推断。 对于任意给定的 xi 值，残差 i 也不再满足 E( i ) 0, D( i ) 2
14



回归系数的显著性检验 目的：需要对每个回归系数的显著性进行检验。 检验思想：通过构造Wald统计量进行检验，Wald统 计量和似然比统计量都是极大似然估计方法中常用 的检验统计量。 方法： H0 : j 0
Waldi (
ˆ j S ˆ
j
) 2 ~ 2 (1)
15
第九章
Logistic回归分析
9.1Logistic回归分析概述

问题1：研究消费者的不同特征如何影响是否购买 小轿车时，消费者的年龄、年收入、职业、性别等 因素将作为解释变量，是否购买作为被解释变量， 此时的被解释变量是一个二分类变量。
问题2：在研究消费者特征对某种商品的品牌选择 取向时，品牌作为被解释变量，由于候选品牌多样 ，因此是一个多分类问题。

23



注：对于具有n个类别的分类变量，需要n-1个虚拟 变量即可。 参照类别：虚拟变量值全部定义为0的类别是参照 类别。例如上一个例子中的“女”，“低”。 在Logistic回归模型中各虚拟自变量回归系数的含义 是相对于参照类别，其它各类别对被解释变量平均 贡献的差。进而可以研究各类别间对被解释变量的 平均贡献差异。

9
相对风险比（胜算比，odds ratio）的意义 0dds ratio：在自变量处于不同的水平时的胜算，加 以比较（两个胜算的比值)，称为胜算比。 例如：大公司成功经营的概率为10/11，小公司成功 经营的概率为2/13， 则大公司成功经营的胜算为（10/11）/（1/11）=10 小公司成功经营的胜算为（2/13）/（11/13）=0.182 即Odds ratio=10/0.182=55， 即可以解释为大公司的成功胜算为小公司成功胜算的 55倍。

10

二项Logistic回归方程系数的含义： p 因为 exp( 0 i xi )， i 1 当自变量 xi 增加一个单位时，则有
exp( 1 0 i xi )
* p
*
exp( i ) 于是：
i 1
xi 增加一个单位时 即表明：当其它解释条件不变时， 所导致的相对风险是原来相对风险的 exp( i ) 倍。即控 制其它变量不变时，x增加一个单位的相对风险比exp( i ) 即x在不同水平时的，二者的Odds radio是 exp( i ) 。
该统计量的取值范围为0～1，值越大表明模型拟合程 度越高，越接近于0说明模型拟合优度越低。
17
1 ( L0 )
2 N

混淆矩阵（错判矩阵）
总体正确率 代表了预测正确的样本所占 的比例，当然该值越大表明预测能力越强。错判矩阵 是一种常用的评价各种分类判别模型优劣的方法。
18
f11 f 22 f11 f 22 f12 f 21
29

注：因变量和哑变量的编码是非常重要的信息，对 于模型参数的解读和模型的分析都非常中重要。
30

注：初始模型，一般从全模型开始。Age没有通过 检验，income这一类变量通过了，但是其中某一个 哑变量没有通过，经验做法是这一类哑变量全部保 留。
31

注：模型整体的线性没通过检验，但是拟合指标显 示，模型的拟合程度并不好。Logistic回归模型的参 数估计值是采用迭代算法获得，因此需要迭代收敛

注：个人喜欢使用相对简单明了的Indicator方法， 至于哪一个类别作为参考类别，会因具体问题而定 。
27

注：在Logistic回归分析中，如果不关心迭代的历史 和筛选变量的过程，可以不做选择。
28

注：在保存变量中一般最关心概率的预测值和类别 的预测值。一般以0.5为分割点，预测概率大于0.5 ，预测为Y=1；预测概率小于0.5，预测为Y=0。

2

问题3：在流行病学的研究中，有一类常见问题是 探索某疾病的危险因素，同时根据危险因素预测某 疾病发生的概率。例如，想探讨胃癌发生的危险因 素，选择两组人群，一组胃癌患者，另一组非胃癌 患者，这形成了因变量。两组人群肯定有不同的体 征和生活方式，自变量可以包括很多，例如：年龄 、性别、饮食习惯、幽门螺杆菌感染等。
22
虚拟变量：将分类的各个类别分别以0/1二值变量 的形式重新编码，用1表示属于该类，1表示不属于 该类。 例如： （1）“性别”需要一个虚拟变量，值1定义为“男” ，则值0定义为“女”。 （2）“满意度”需要2个虚拟变量，两个变量值为 （1，0）定义为“高”，（0，1）定义为“中”， （0，0）定义为“低”。