Logistic回归分析
Logistic 回归分析
10
分层分析的局限性
只能控制少数因素（分层因素过多， 每个格子中的样本例数太少） 定量资料需要分组，信息丢失 不能对因素作用大小进行定量分析 （交互作用）
11
y = log2x y
二、Logistic 回归原理
0
1
经过数理统计学家证明：把疾病概率 P 转换成
p ln 1 − p ，会使该回归方程的统计性能更好一些。而且，
≈
当发病率低的时候ac所占的比例非常小， 当发病率低的时候 所占的比例非常小， 所占的比例非常小 公式中忽略ac后对 在RR公式中忽略 后对 值的影响非常小 公式中忽略 后对RR值的影响非常小 则有： 则有： RR
≈
(ad)/(bc) ＝ OR
5
举例1 举例 口服避孕药与心肌梗塞的流行病学研究
（病例对照，曾光《现代流行病学方法与应用》，P90） 病例对照，曾光《现代流行病学方法与应用》 P90）
β1
ORX1 =
p X1 =1 q X1 =1 p X 1 =0 q X 1 =0
=
...... ...... 1 − p x1 =1 p x1 =0 1 − p x1 =0
e
14
假设建立了如下的logistic回归方程： 回归方程： 假设建立了如下的 回归方程 Logit P = α + βx x 为二分变量，当暴露时，取值为1； 为二分变量，当暴露时，取值为1 不暴露时，取值为0 不暴露时，取值为0。 暴露时 Logit(P1) = α + β， 所以暴露 ， 所以暴露时, 比值(odds) = exp(α + β ) 比值 所以不暴露时 所以不暴露时, 不暴露 Logit(P0) = α ， 比值(odds) = exp(α) 比值
LOGISTIC回归分析
LOGISTIC回归分析前⾯的博客有介绍过对连续的变量进⾏线性回归分析，从⽽达到对因变量的预测或者解释作⽤。
那么如果因变量是离散变量呢？在做⾏为预测的时候通常只有“做”与“不做的区别”、“0”与“1”的区别，这是我们就要⽤到logistic分析（逻辑回归分析，⾮线性模型）。
参数解释（对变量的评价）发⽣⽐(odds)： ODDS=事件发⽣概率/事件不发⽣的概率=P/(1-P)发⽣⽐率（odds ratio）：odds ratio=odds B/odds A (组B相对于组A更容易发⽣的⽐率）注：odds ratio⼤于1或者⼩于1都有意义，代表⾃变量的两个分组有差异性，对因变量的发⽣概率有作⽤。
若等于1的话，该组变量对事件发⽣概率没有任何作⽤。
参数估计⽅法线性回归中，主要是采⽤最⼩⼆乘法进⾏参数估计，使其残差平⽅和最⼩。
同时在线性回归中最⼤似然估计和最⼩⼆乘发估计结果是⼀致的，但不同的是极⼤似然法可以⽤于⾮线性模型，⼜因为逻辑回归是⾮线性模型，所以逻辑回归最常⽤的估计⽅法是极⼤似然法。
极⼤似然公式：L(Θ)=P(Y1)P(Y2)...p(Y N) P为事件发⽣概率P I=1/(1+E-(α+βX I))在样本较⼤时，极⼤似然估计满⾜相合性、渐进有效性、渐进正太性。
但是在样本观测少于100时，估计的风险会⽐较⼤，⼤于100可以介绍⼤于500则更加充分。
模型评价这⾥介绍拟合优度的评价的两个标准：AIC准则和SC准则，两统计量越⼩说明模型拟合的越好，越可信。
若事件发⽣的观测有n条，时间不发⽣的观测有M条，则称该数据有n*m个观测数据对，在⼀个观测数据对中，P>1-P，则为和谐对（concordant）。
P<1-P,则为不和谐对（discordant）。
P=1-P，则称为结。
在预测准确性有⼀个统计量C=(NC-0.5ND+0.5T)/T，其中NC为和谐对数，ND为不和谐对数，这⾥我们就可以根据C统计量来表明模型的区分度，例如C=0.68，则表⽰事件发⽣的概率⽐不发⽣的概率⼤的可能性为0.68。
logistic回归分析案例
logistic回归分析案例Logistic回归分析案例。
Logistic回归分析是一种常用的统计分析方法，主要用于预测二分类或多分类的结果。
在实际应用中，Logistic回归分析可以帮助我们理解影响某一事件发生的因素，以及对事件发生的概率进行预测。
本文将通过一个实际的案例来介绍Logistic回归分析的应用。
案例背景。
假设我们是一家电商公司的数据分析师，现在我们需要分析用户的购买行为，并预测用户是否会购买某一产品。
我们收集了一些用户的个人信息和他们最近一次购买的产品，希望通过这些数据来预测用户是否会购买新产品。
数据准备。
首先，我们需要收集用户的个人信息和购买行为数据。
个人信息包括年龄、性别、职业等；购买行为数据包括购买的产品类型、购买时间等。
在收集完数据后，我们需要对数据进行清洗和预处理，包括缺失值处理、异常值处理等。
模型建立。
在数据准备完成后，我们可以开始建立Logistic回归模型。
首先，我们需要将数据划分为训练集和测试集，以便对模型进行验证。
然后，我们可以利用训练集来拟合Logistic回归模型，并利用测试集来评估模型的预测效果。
模型评估。
在模型建立完成后，我们需要对模型进行评估。
常用的评估指标包括准确率、精确率、召回率等。
这些指标可以帮助我们判断模型的预测效果，并对模型进行调优。
模型应用。
最后，我们可以利用建立好的Logistic回归模型来预测用户是否会购买新产品。
通过输入用户的个人信息和购买行为数据，模型可以给出用户购买新产品的概率，从而帮助我们进行精准营销和推广。
结论。
通过以上实例，我们可以看到Logistic回归分析在预测用户购买行为方面具有很好的应用价值。
通过收集用户数据、建立模型、评估模型和应用模型，我们可以更好地理解用户行为，并做出更精准的预测和决策。
总结。
Logistic回归分析是一种强大的统计工具，可以帮助我们预测二分类或多分类的结果。
在实际应用中，我们可以根据具体情况收集数据、建立模型，并利用模型进行预测和决策。
数据分析知识：数据分析中的Logistic回归分析
数据分析知识：数据分析中的Logistic回归分析Logistic回归分析是数据分析中非常重要的一种统计分析方法，它主要用于研究变量之间的关系，并且可以预测某个变量的取值概率。
在实际应用中，Logistic回归分析广泛应用于医学疾病、市场营销、社会科学等领域。
一、Logistic回归分析的原理1、概念Logistic回归分析是一种分类分析方法，可以将一个或多个自变量与一个二分类的因变量进行分析，主要用于分析变量之间的关系，并确定自变量对因变量的影响。
Logistic回归分析使用的是逻辑回归模型，该模型是将自变量与因变量的概率映射到一个范围为0-1之间的变量上，即把一个从负无穷到正无穷的数映射到0-1的范围内。
这样，我们可以用这个数值来表示某个事件发生的概率。
当这个数值大于0.5时，我们就可以判定事件发生的概率比较高，而当这个数值小于0.5时，我们就可以判定事件发生的概率比较小。
2、方法Logistic回归分析的方法有两种：一是全局最优化方法，二是局部最优化方法。
其中全局最优化方法是使用最大似然估计方法，而局部最优化方法则是使用牛顿法或梯度下降算法。
在进行Logistic回归分析之前，我们首先要对数据进行预处理，将数据进行清洗、变量选择和变量转换等操作，以便进行回归分析。
在进行回归分析时，我们需要先建立逻辑回归模型，然后进行参数估计和模型拟合，最后进行模型评估和预测。
在进行参数估计时，我们通常使用最大似然估计方法，即在估计参数时，选择最能解释样本观测数据的参数值。
在进行模型拟合时，我们需要选取一个合适的评价指标，如准确率、召回率、F1得分等。
3、评价指标在Logistic回归分析中，评价指标包括拟合度、准确性、鲁棒性、可解释性等。
其中最常用的指标是拟合度，即模型对已知数据的拟合程度，通常使用准确率、召回率、F1得分等指标进行评价。
此外，还可以使用ROC曲线、AUC值等指标评估模型的性能。
二、Logistic回归分析的应用1、医学疾病预测在医学疾病预测中，Logistic回归分析可以用来预测患某种疾病的概率，如心脏病、肺癌等。
统计学中的Logistic回归分析
统计学中的Logistic回归分析Logistic回归是一种常用的统计学方法，用于建立并探索自变量与二分类因变量之间的关系。
它在医学、社会科学、市场营销等领域得到广泛应用，能够帮助研究者理解和预测特定事件发生的概率。
本文将介绍Logistic回归的基本原理、应用领域以及模型评估方法。
一、Logistic回归的基本原理Logistic回归是一种广义线性回归模型，通过对数据的处理，将线性回归模型的预测结果转化为概率值。
其基本原理在于将一个线性函数与一个非线性函数进行组合，以适应因变量概率为S形曲线的特性。
该非线性函数被称为logit函数，可以将概率转化为对数几率。
Logistic回归模型的表达式如下：\[P(Y=1|X) = \frac{1}{1+e^{-(\beta_0+\beta_1X_1+...+\beta_pX_p)}}\]其中，P(Y=1|X)表示在给定自变量X的条件下，因变量为1的概率。
而\(\beta_0\)、\(\beta_1\)、...\(\beta_p\)则是待估计的参数。
二、Logistic回归的应用领域1. 医学领域Logistic回归在医学领域中具有重要的应用。
例如，研究者可以使用Logistic回归分析，探索某种疾病与一系列潜在风险因素之间的关系。
通过对患病和非患病个体的数据进行回归分析，可以估计各个风险因素对疾病患病的影响程度，进而预测某个个体患病的概率。
2. 社会科学领域在社会科学研究中，研究者常常使用Logistic回归来探索特定变量对于某种行为、态度或事件发生的影响程度。
例如，研究者可能想要了解不同性别、教育程度、收入水平对于选民投票行为的影响。
通过Logistic回归分析，可以对不同自变量对于投票行为的作用进行量化，进而预测某个选民投票候选人的概率。
3. 市场营销领域在市场营销中，Logistic回归也被广泛应用于客户分类、市场细分以及产品销量预测等方面。
通过分析客户的个人特征、购买习惯和消费行为等因素，可以建立Logistic回归模型，预测不同客户购买某一产品的概率，以便制定个性化的市场营销策略。
7-多元Logistic-回归分析解析
什么是哑变量？
一个含有g个类的分类型变量可以构造g个哑变量。
29
如何用SAS程序构造哑变量？ data d2； set d1； array a{3} student teacher worker； do i=1 to 3； a{i}=( x 1= i ) ； end； run；
data d2； set d1；
INTERCPT 1 3.7180 0.6387 33.8853
0.0001
.
.
BIRTHWT 1 -0.00397 0.000588 45.6092
0.0001 -0.702480 206.996
1、因变量bpd对自变量birthwt 的logistic回归模型是：
2、自变量birthwt 的回归系数在统计意义上不等于0 (p=0.0001)，因此，OR=0.996在统计意义上不等于1。 OR=0.996 说明新生儿出生体重每增加一个单位(g)，患 BPD病的机会就会减少大约0.4% 。即患bpd病的概率 随新生儿出生体重的增加而下降。
• 按因变量取值个数:
• 二值logistic回归分析
• 多值logistic回归分析
• 按自变量个数:
• 一元logistic回归分析
• 多元logistic回归分析
9
第二节 Logistic 回归分析的数学模型
(1) 二值一元logistic回归模型: 令y是1,0变量，x是任
意变量，p=p(y=1|x) ，那么，二值变量y关于 变量x的一元logistic 回归 模型是:
Analysis of Maximum Likelihood Estimates
Parameter Standard Wald
logistic回归分析
Logistic回归分析
数学模型：
e p 1 e
1 X 1 2 X 2 m X m
1 X 1 2 X 2 m X m
Logistic回归分析
一、基本思想
用模型去描述实际资料时，须使 得理论结果与实际结果尽可能的一致。
资料整理格式
Logistic回归分析
1
消除xj量纲的影响
2.标准化偏回归系数j 的意义
果的发生，为“不利因素”；
xij
xij x j sj
（1）符号：取 “+”，xj 增大，则P增大，即促进阳性结
取 “-”，xj增大，则P减小，即抑制阳性结 果的发生，为“保护因素”。 （2）大小 ：∣ j ∣越大，则xj 对结果的影响也就越大。
i 1 2 n
x1 x11 x21 xn1
x2
...
xm x1m x2m xnm
δ δ δ δ
1 2
x12 ... x22 ... …... xn2 ...
n
Logistic回归分析
二、基本原理
1.结果问题 ： 对于第i个个体而言，其理论结果为pi , 而实际结果是i 。 2.一致问题： 对于第i个个体而言， i =1 pi i =0 qi
m
▲
OR e j 1
j ) ˆ j ( x*j x
（1）对多指标的共同效应进行评价：
若OR>1，则处于X*水平下的阳性结果发生风险要高于X 水平， 即“不利因素”占主导地位；
▲
▲
若OR<1，则处于X*水平下的阳性结果发生风险要低于X 水平， 即“保护因素”占主导地位；
▲
logistic回归分析(共86张)
ln( p ) 0.9099 0.8856x1 0.5261x2 1 p
控制饮酒因素后， 吸烟与不吸烟相比 患食管癌的优势比 为2.4倍
第18页，共86页。
OR的可信区间(qū 估计 jiān)
吸烟与不吸烟患食管癌OR的95%可信区间：
exp(b1 u /2Sb1 ) exp(0.8856 1.960.15) (1.81,3.25)
模型为条件Logistic回归。
成组（未配对）设计的病例对照研究资料，计算的
Logistic回归模型为非条件Logistic回归。 例：见265页
区别：
条件Logistic回归的参数估计无常数项（β0），主要 用于危险因素的分析。
第28页，共86页。
一、logistic回归的应用
1.疾病（某结果）的危险因素分析和筛选 用回归模型中的回归系数（βi）和OR说明
第3页，共86页。
Logistic回归(huíguī)方法
该法研究是 当 y 取某值（如y=1）发生的概率（p）与
某暴露因素（x）的关系。
No P（概率I）m的a取g值e波动0～1范围。
基本原理：用一组观察数据拟合Logistic模型， 揭示若干个x与一个因变量取值的关系，反映y 对x的依存关系。
1
Z值 23
图16-1 Logistic回归函数的几何图形
第7页，共86页。
几个(jǐ ɡè)logistic回归模型方程
第8页，共86页。
logistic回归模型(móxíng)方程的线性表达
对logistic回归模型的概率（p）做logit变 换，
方程如下：
线形关 系
Y～（-∞至+∞）
Logistic回归分析
Logistic 回归分析Logistic 回归分析是与线性回归分析方法非常相似的一种多元统计方法。
适用于因变量的取值仅有两个（即二分类变量，一般用1和0表示）的情况，如发病与未发病、阳性与阴性、死亡与生存、治愈与未治愈、暴露与未暴露等，对于这类数据如果采用线性回归方法则效果很不理想，此时用Logistic 回归分析则可以很好的解决问题。
一、Logistic 回归模型设Y 是一个二分类变量，取值只可能为1和0，另外有影响Y 取值的n 个自变量12,,...,n X X X ，记12(1|,,...,)n P P Y X X X ==表示在n 个自变量的作用下Y 取值为1的概率，则Logistic 回归模型为：[]0112211exp (...)n n P X X X ββββ=+-++++它可以化成如下的线性形式：01122ln ...1n n P X X X P ββββ⎛⎫=++++ ⎪-⎝⎭通常用最大似然估计法估计模型中的参数。
二、Logistic 回归模型的检验与变量筛选根据R Square 的值评价模型的拟合效果。
变量筛选的原理与普通的回归分析方法是一样的，不再重复。
三、Logistic 回归的应用（1）可以进行危险因素分析计算结果各关于各变量系数的Wald 统计量和Sig 水平就直接反映了因素i X 对因变量Y 的危险性或重要性的大小。
（2）预测与判别Logistic回归是一个概率模型，可以利用它预测某事件发生的概率。
当然也可以进行判别分析，而且可以给出概率，并且对数据的要求不是很高。
四、SPSS操作方法1．选择菜单2．概率预测值和分类预测结果作为变量保存其它使用默认选项即可。
例：试对临床422名病人的资料进行分析，研究急性肾衰竭患者死亡的危险因素和统计规律。
Logistic回归分析.sav解：在SPSS中采用Logistic回归全变量方式分析得到：（1）模型的拟合优度为0.755。
Logistic回归分析(共53张PPT)
• 优势比
• 常把出现某种结果的概率与不出现的概率 之比称为比值（odds),即odds=p/1-p。两个
比值之比称为比值比（Odds Ratio),简称 OR。
• Logistic回归中的常数项（b0）表示，在不
接触任何潜在危险／保护因素条件下，效 应指标发生与不发生事件的概率之比的对 数值。
Forward: LR （ 向前逐步法：似然比 法 likelihood ratio，LR）→ 再击下 方的 Save 钮，将 Predicted values 、 Influence 与 Residuls 窗口中的 预选项全勾选 → Continue → 再击 下方的 Options 钮，将 Statistics and Plot 小窗口中的选项全勾选 → Continue → OK 。
三、参数检验
• 似然比检验（likehood ratio test）
通过比较包含与不包含某一个或几 个待检验观察因素的两个模型的对数似 然函数变化来进行，其统计量为G （又 称Deviance）。
G=-2(ln Lp-ln Lk) 样本量较大时， G近似服从自由度
为待检验因素个数的２分布。
• 比分检验（score test）
， Logistic回归系数的解释变得更为复杂 ，应特别小心。
根据Wald检验，可知Logistic回归系
数bi服从u分布。因此其可信区间为
病例与对照匹配---条件logistic回归 其中， 为常数项， 为偏回归系数。 应变量水平数大于2，且水平之间不存在等级递减或递增的关系时，对这种多分类变量通过拟合一种广义Logit模型方法。
u= bi s bi
u服从正态分布，即为标准正态离差。
(卫生统计学)第十九章 Logistic回归分析
结果解释
3个βi的估计值都是正数，表明这三个因素都是危险因素且都有统计学意 义。从优势比OR上可以看出，在因素x2和x3固定不变时，因素x1每增加一个 等级所引起的优势比为增加前的3.034倍；在因素X1和X3固定不变时，因素x2 每增加一个等级所引起的优势比为增加前的2.019倍 。在因素x1和x2固定不变 时，因素x3每增加一个等级所引起的优势比为增加前的2.651倍。同时在考察 因素相对贡献大小时，从标准系数看， β'1> β' 3 > β'2 ，故x1的相对贡献比x2和 x3大。
OR
P1 P0
/1 /1
P1 P0
e i
亦称比数比
反映某一个危险因素 xi在不同暴露水平下发病 与不发病的比。
当阳性率 P 1时， OR RR
二、参数估计
由于Logistic回归是一种概率模型，通常采用最大似然估计法（maximum likelihood estimate）求解模型中的参数βj的估计值 bj (j=0,1,2,….k)。
1. 相对危险度 RR（ Re lative Risk ） RR P1 P0
反映某一个危险因素 xi两个不同暴露水平 1与 0的发病率的比
2. 优势 Odds
Odds P1 P1 1 P1 q1
亦称比数
反映某一个危险因素 xi在暴露水平 1下发病率与不发病率的 比
3. 优势比 OR （ Odds Ratio ）
个例预测
设某AMI患者在症状5小时内送到医院（x3=0），未发生休克（x1=0）， 已有心衰（x2=1），求抢救成功的概率。
logistic回归分析
表13-7 例13-2的logistic回归模型自变量筛选结果
模型
因素 X
第1步 常数项
回归系数 标准误
b
Sb
-2.528 0.238
Wald χ2 P值 112.433 <0.001
OR值
OR值95%可信区间 下限 上限
0.080
治疗11周
2.149 0.289 55.267 <0.001 8.578 4.867 15.117
因素 X 常数项
回归系数 标准误
Waldχ2 P值 OR值
b
Sb
-0.910 0.136 44.870 0.000 0.403
OR值95%可信区间
下限
上限
吸烟
0.886 0.150 34.862 0.000 2.424 1.807
3.253
饮酒
0.526 0.157 11.207 0.001 1.692 1.244
logistic回归分析
Logistic regression analysis
• 医学研究中应变量有时是二分类结果，如发病与不 发病、死亡与生存、有效与无效、复发与未复发等， 当需要研究二分类应变量的影响因素时，适合采用 logistic回归分析。
logistic回归属于概率型非线性回归，它是研究二 分类（可以扩展到多分类）反应变量与多个影响 因素之间关系的一种多变量分析方法。logistic回 归模型参数具有明确的实际意义。
OR值的可信区间：
exp(bj - zα/2 Sbj ) ORj exp(bj zα/2 Sb j )
• 例13-1 研究吸烟（X1）、饮酒（X2）与食道癌 （Y）关系的病例－对照资料，试作logistic回归 分析。
Logistic回归分析
急性心肌梗死合并心源性休克的危险因素分析
Wald就是卡方值，取值范围（0-10），P越小，wald越大
急性心肌梗死合并心源性休克的危险因素分析
Wald就是卡方值，取值范围（0-10），P越小，wald越大
急性心肌梗死合并心源性休克的危险因素分析
Logistic回归分析
统计学方法 计量资料采用t检验 计数资料采用卡法检验 按P<0.05有统计学差异
Logistic回归分析
急性心肌梗死合并心源性休克的危险因素分析
1、两组患者的一般资料（性别、年龄、吸烟、饮酒、家族史） 2、临床表现（是否合多系统疾病）
3、血生化检查（高血压、卒中、糖尿病、血脂异常、肌钙蛋白、B型脑
β的绝对值越大，SE越大（一般而言）；取值在（0,1）
Hale Waihona Puke 谢谢Logistic回 归分析
一、主要用于流行病学研究中危险因
素的分析（最主要）
二、如果已经建立了logistic回归模型，
则可以根据模型，预测在不同的自变 量情况下，发生某病或某种情况的概 率有多大。
Logistic回归分析
例如：急性心肌梗死合并心源性休克的危险因素分析 AMI：100人（对照组） AMI合并心源性休克：50人（观察组）
急性心肌梗死合并心源性休克的危险因素分析
以急性心肌梗死并出现心源性休克为因 变量，将单因素有显著性影响的因素为 自变量，引入Logistic回归分析模型，进行 多因素分析。
急性心肌梗死合并心源性休克的危险因素分析
急性心肌梗死合并心源性休克的危险因素分析
logistic回归分析
它与自变量x1, x2,…,xp之间的Logistic回
归模型为:
p exp(0 1X1 2 X 2 ... m X m ) 1 exp(0 1X1 2 X 2 ... m X m )
1
1 p
1 exp( 0 1 X 1 p X p )
6
模 型
ln
P 1 P
=0
1
• 按照研究设计类型 –非条件logistic回归（研究对象未经匹配） –条件logistic回归（研究对象经过匹配）
5
Logistic回归模型
应变量Y
1 0
发生 未发生 ,
自变量X1, X 2 ,
, Xm
在m个自变量的作用下阳性结果发生的概率记作:
P P(Y 1| X1, X 2 ,, X m ) 0 P 1
X1
2
X
2
m X m log itP
参 数
常数项 0
表示暴露剂量为0时个体
的
发病与不发病概率之比的自然对数。
意 义
回归系数 j ( j 1,2,, m)
表示自变量 X j 改变一个单位时
logitP 的改变量。 7
优势比OR(odds ratio)
流行病学衡量危险因素作用大小的比数比例指标。 计算公式为:
OR j
P1 P0
/(1 /(1
P1 ) P0 )
式中 P1 和 P0 分别表示在 X j 取值为 c1 及 c0 时 的发病概率， OR j 称作多变量调整后的优势比， 表示扣除了其他自变量影响后危险因素的作用。
8
与 logisticP 的关系:
对比某一危险因素两个不同暴露水平 X j c1 与 X j c0 的发病 情况（假定其它因素的水平相同），其优势比的自然对数为:
《logistic回归分析》课件
信用卡欺诈检测
应用逻辑回归模型检测信用 卡交易中的欺诈行为，保护 用户利益和减少风险。
电影推荐
利用逻辑回归模型根据用户 的历史行为和偏好进行电影 推荐，提供个性化的影片推 荐。
总结与展望
Logistic回归分析的优点和不足
总结逻辑回归分析的优点和限制，讨论其适用范围和局限性。
发展前景
展望逻辑回归分析在未来的发展趋势和应用领域。
探讨Logistic回归分析在实际问题中的广泛应用。
Logistic回归与线性回归的区别
比较Logistic回归和线性回归之间的差异和适用情况。
逻辑回归模型及其基本假设
1 Sigmoid函数
2 逻辑回归的数学模
型
介绍Sigmoid函数及其在
3 基本假设
描述逻辑回归模型中的
逻辑回归中的作用。
解释逻辑回归的数学模
《logistic回归分析》PPT 课件
介绍logistic回归分析的PPT课件，涵盖课程内容、逻辑回归模型、参数估计与 模型拟合、分类结果与型诊断、实战案例、总结与展望以及参考文献。
课程介绍
什么是Logistic回归分析
介绍Logistic回归分析的基本概念和原理。
Logistic回归分析的应用
• [3]C. Bishop (2006) Pattern recognition and machine learning. Springer.
讨论如何评估逻辑回归模型的分类结果，确定 哪些样本属于正类和负类。
ROC曲线
解释ROC曲线在逻辑回归模型中的作用，用于评 估模型的分类性能。
混淆矩阵
介绍混淆矩阵，用于评估逻辑回归模型的分类 准确性和误判情况。
模型的诊断
logistic 回归的例子
logistic 回归的例子
Logistic回归是一种广义线性回归（generalized linear model），其因变量是二分类的分类变量或某事件的发生率，并且是数值型变量。
下面是一个简单的例子：
假设我们有一组数据，其中包含两组人群的特征，例如年龄、性别、饮食习惯、幽门螺杆菌感染等。
我们将这两组人群标记为胃癌组和非胃癌组。
通过Logistic回归分析，我们可以得到每个特征的权重，从而了解哪些特征是胃癌的危险因素。
具体来说，Logistic回归模型的公式为：
p = 1 / (1 + e^(-z))
其中，z = w'x + b，w和b是待求参数，x是特征向量，w是权重向量。
通过最大似然估计法，我们可以求解出w和b的值。
然后，我们可以将权重向量w与特征向量x相乘，再加上偏置项b，得到z值。
最后，将z值代入Logistic函数中，得到每个样本属于胃癌组的概率p值。
在上述例子中，我们假设数据集是平衡的，即两组人群的数量大致相等。
如果数据集不平衡，我们可以通过增加样本数量、采用过采样技术、采用加权Logistic回归等方法来解决。
另外，Logistic回归模型的适用条件包括：因变量为二分类的分类变量或某事件的发生率；自变量和因变量之间存在线性关系；各观测对象间相互独立等。
需要注意的是，Logistic回归模型的应用需要具备一定的统计
学基础和专业知识，并且在实际应用中需要考虑到数据的分布、特征的选取、模型的评估等多个方面。
因此，在进行Logistic回归分析时，需要结合实际情况和具体问题进行分析和处理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、Logistic回归方程 Logistic回归的logit模型
P= 1x1 2 x2 n xn
Logit变换 P转换为ln[P/(1-P)]
logit (P)= 1x1 2 x2 n xn ln[P/(1-P)]= 1x1 2 x2 n xn
Forward: LR （ 向前逐步法：似然 比法 likelihood ratio，LR）→ 再 击下方的 Save 钮，将 Predicted values、 Influence 与 Residuls 窗 口中的预选项全勾选 → Continue → 再击下方的 Options 钮，将 Statistics and Plot 小窗口中的选 项全勾选 → Continue → OK 。
单纯从数学上讲，与多元线性回归分析 中回归系数的解释并无不同，亦即bi表示xi改 变一个单位时， logit P的平均变化量。
Variables in the Equation
Satep 1
性别 年龄 学历 体重 指数 家族 史 吸烟 血压 总胆 固醇 甘油 三脂
B .263 .085 -.699 1.621 1.634 3.126 1.647 .606 2.312
Logistic回归分析
汕大医学院预防医学教研室
Logistic regression：
是研究分类变量统计分析的一种重 要方法。研究两水平或多水平反应变 量与其影响因子间关系的回归分析 （线性回归分析： 应变量为连续计量 资料）。
如二项分类，如某种疾病的患病与否 某一治疗结果有效和无效 器官移植后生存或死亡
• Logit变换
也称对数单位转换
logit P=
ln
P 1 P
( 1x1 2 x2 n xn )
P 1 e e( 1x1 2x2 n xn ) 1
1 P 1 e( 1x1 2x2 nxn )
其中，为常数项，为偏回归系数。
分析糖尿病患者继发肿瘤与否的影响因 素，采用二分类Logistic 回归分析。
步骤是： 程序编辑窗主菜单 Analyze → 选 Regression （回归分析） → 选 Binary Logictic （两分类变量 Logictic 回归分析，出现 Logistic Regression 窗口 → 将 是否肿瘤选入右边 的 Dependent （因变量）窗口中 → 将sex、age 、血脂、血压等均选入右 边的 Covariats（协变量，这里是自变 量） 窗口中，
• Logistic回归中的回归系数（ bi ）表示， 某一因素改变一个单位时，效应指标 发生与不发生事件的概率之比的对数 变化值，即OR的对数值。
ln
1
p -p
0
ln OR j
ln
p1 p2
/(1 /(1
p1 ) p2 )
ln OR j ln j
e (bi u Sbi )
五、 Logistic回归分析方法
基本思想同线性回归分析。
从所用的方法看，有强迫法、前进法、 后退法和逐步法。在这些方法中，筛选变量 的过程与线性回归过程的完全一样。但其中 所用的统计量不再是线性回归分析中的F统计 量，而是以上介绍的参数检验方法中的三种 统计量之一。
OR j exp j
• 分析因素xi为多分类变量时，为方便起 见，常用1，2，…，k分别表示k个不 同的类别。进行Logistic回归分析前需 将该变量转换成k-1个指示变量或哑变 量（design/dummy variable），这样指 示变量都是一个二分变量，每一个指 示变量均有一个估计系数，即回归系 数，其解释同前。
流行病学中的一些基本概念：
相对危险度（relative risk）: RR=P1/P2
比数
Odds=P/(1-P)
比数比
OR=[P１/(1-P１)]/[P２/(1-P２)]
在患病率较小情况下，OR≈RR
设P表示暴露因素X时个体发病的概率，
则发病的概率P与未发病的概率1-P 之
比为优势（odds）， logit P就是odds
1、回归系数的估计：最大似然估计法 （Maximum
likehood estimate）
根据最大似然原理，似然函数 L 应取最大值。
对似然函数取对数形式：
n
ln L i1[Yi ln Pi (1Yi ) ln(1 Pi )]
式中为对数似然函数，对其取一阶导数求解参数。对
于参数 j （ j 1, 2,L , m ），令 ln L 的一阶导数为 0，
的对数值。
• 优势比
• 常把出现某种结果的概率与不出现的概率 之比称为比值（odds),即odds=p/1-p。两个
比值之比称为比值比（Odds Ratio),简称 OR。
• Logistic回归中的常数项（b0）表示， 在不接触任何潜在危险／保护因素条 件下，效应指标发生与不发生事件的 概率之比的对数值。
多项有序分类：某一治疗结果，治愈、显效、 有效、无效；
多项无序分类：肝炎分型 甲、乙、丙、丁、 戊
研究分类反应变量与多个影响因素之间的 相互关系的一种多变量分析方法，进行疾病的 病因分析。
• Logistic回归的分类
Logistic回归 二分类 有序反应变量 多分类 无序反应变量
非条件 1:1配对资料
多因素Logistic回归分析时，对回 归系数的解释都是指在其它所有自变量 固定的情况下的优势比。存在因素间交 互作用时， Logistic回归系数的解释变 得更为复杂，应特别小心。
根据Wald检验，可知Logistic回归 系数bi服从u分布。因此其可信区间为
bi u Sbi
进而，优势比e(bi)的可信区间为
Z
Z 1 x1 2 x2 L n xn
什么叫Logit变换？通常把出现某种结果的概率与不 出现的概率之比称为比值
Odds=P/1-P,将其纳入对数=Ln(P/1-P) • 概率P是以0.5为对称点，分布在0~1的范围内的，
而相应的Logit（P)的大小为 P=0 Logit（P)=Ln(0/1)=-无穷大 P=0.5 Logit（P)=Ln(0.5/0.5)=0 P=1 Logit（P)=Ln(1/0)=+无穷大 Logit（P )取值范围扩展为（-，+ -）
• （1）取值问题
• （2）曲线关联
• 反应变量与自变量的关系通常不是直线关 系，而是S型曲线。曲线回归时，往往采用 变量变化，使得曲线直线化，再进行直线 回归方程的拟合。能否考虑对所预测的因 变量加以变换。1970年，COX引入了用于 人口学领域的Logit变换。
1
P .8
.6
.4
.2
0 -5 -4 -3 -2 -1 0 1 2 3 4 5
即 ln L 0 ， 用
j
Newton-Raphson 迭代方法解方 程组，
得出参数 j 的估计值 b j 和 b j 的渐进标准误 Sbj 。
最大似然法的基本思想是先建立似然 函数与对数似然函数，再通过使对数 似然函数最大求解相应的参数值（使 得一次抽样中获得现有样本的概率为 最大），所得到的估计值称为参数的 最大似然估计值。
为计算方便，通常向前选取 变量用似然比或比分检验，而向 后剔除变量常用Wald检验。
六、 Logistic回归的应用
• 危险/保健因素的筛选，并确定其作用 大小。
• 预测：预测某种情况下或者某个病例， 某特定事件发生的概率。
影响因素为分类变量时，用列联表形式 卡方检验 存在分类的混杂因素时，用Mantel-Haensze 但存在局限性（1）控制混杂因素，但无法描 述作用大小及方向（2）样本量要求大，单元 格划分太细（3）无法对连续性自变量的影响 进行分析
• 哑变量
• 自变量为多分类变量，与应变量之间通常不存在 线性关系，须用哑变量方式分析。若K为该变量 的水平数，则系统将自动产生K-1个哑变量。 Categorical子对话框用于此设置。
二分类Logistic对资料的要求
（1）反应变量为二分类的分类变量。（发病 率等存在重复计数的指标不适用
（2）误差项服从二项分布（不是正态分布）， 不再使用最小二乘法进行参数估计，而使 用最大似然法来解决方程的估计和检验问 题）
（3）观察对象相互独立
（4）所需样本数为自变量个数的5-10倍。
分析实例
S.E. .636 .036 .298 .552 .682 .714 .670 .472
1.042
Wal d .171
5.521 5.513 8.621 5.744 19.174 6.040 1.647 4.929
df 1 1 1 1 1 1 1 1 1
Si g. .679 .019 .019 .003 .017 .000 .014 .199 .026
三、参数检验
• 似然比检验（likehood ratio test）
通过比较包含与不包含某一个或 几个待检验观察因素的两个模型的对 数似然函数变化来进行，其统计量为G （又称Deviance）。
G=-2(ln Lp-ln Lk) 样本量较大时， G近似服从自由
度为待检验因素个数的２分布。
• 比分检验（score test）
Exp(B) 1.301 1.089 .497 5.056 5.124
22.787 5.190 1.832
10.098
hdl
-.914
.432
4.484
1
.034
.401
ldl
.017
.416
.002
1
.967
1.017
Constant