logistic回归、probit回归与poission回归

exp( 0 1 X 1 2 X 2 m X m ) P 1 exp( 0 1 X 1 2 X 2 m X m )
其中， 0 为常数项， 1 , 2 , , m 为偏回归系数。
P logit P = ln 为 P 的 logit 变换， 1 P
ln[exp(0 1 X1 2 X 2
0 1 X1 2 X 2 m X m
限。比数去除了概率的上限，比 数的对数去除了概率的下限；且是以0,5为中点对称的，概率大 于0.5产生正的logit,logit距离0的距离反映了概率距离0.5的距离； 概率上相同的改变与在logits上产生的改变是不同的，logit转化 拉直了X与最初的概率之间的非线性关系。
0 x
模型描述了应变量p与x的关系
P概率 1 p( y 1) 1 1 exp[ ( 0 x)]
z 0 1 x
0.5
-3
-2
-1
0
1
2
3
Z值
图1 Logistic回归函数的几何图形
可看出：当 Z 趋于 时， P 值渐进于 1；当 Z 趋于 时，
i 1
n
（15.7）
式中为对数似然函数，对其取一阶导数求解参数。对 于参数 j （ j 1, 2, 即 ，令 ln L 的一阶导数为 0， ,m ）
ln L 0 ，用 Newton-Raphson 迭代方法解方程组， j
得出参数 j 的估计值 bj 和 bj 的渐进标准误 Sb j 。
统计量 AIC 、SC 似然比卡方 RSQUARE Ｃ统计量 ＨＬ统计量
趋势 越小 越大 越大 越大 越小
拟合 作用 越好 类似于多元回归中的残差平方和 越好 类似于多元回归中的回归平方和 越好 类似于多元回归中的Ｒ＾２ 越好 度量观测值和条件预测的相对一致性 越好 度量观测值和预测值总体的一致性
也可以分为logistic回归和条件logistic回归
问题
1. 令因变量两个水平对应的值为0、1，概率为1-p、 p，则显然我们也可以用多重回归进行分析？为 什么要用logistic回归分析？ 2. logistic回归回归系数、模型评估、参数估计、 假设检验等与之前的回归分析有何不同？ 3. 因变量为二分变量时既可以用logistics回归也可 以用probit回归，那么probit回归及其与logistic 回归的异同之处
备注 P值越小越好
P值越大越好
说明：
在实践中，对以上统计量最为关注的是C统计量， 其次是似然比卡方，最后才是ＨＬ统计量。AIC和 SQUARE极少关注，这一点和多元线性回归有很大的 区别。根本原因就是多元线性回归模型是一个预测模 型，目标变量的值具有实际意义；而logistic是一个分 类模型，目标变量只是一个分类标识，因此更关注预 测值和预测值之间的相对一致性而不是绝对一致性。
若 2 个模型分别包含 l 个自变量和 p 个自变量， 似然比统计量 G 的计算公式为：
G 2(ln Lp ln Ll )
当样本含量 n 较大时，在 H 0 成立的条件下， G 统计量近似服从自由度 d p l 的 分布。 如果只对一个回归系数（或一个自变量）进行检 验，则 1 。
exp(bj u 2 Sbj )
案例：
表 1 为吸烟、饮酒与食管癌关系的病例-对照研究调查 资料，试进行 logistic 回归分析。
表 1 吸烟、饮酒与食管癌关系的病例-对照研究资料 分层 1 2 3 4
g
吸烟 0 0 1 1
X1
饮酒 0 1 0 1
X2
总例数 ng 199 170 101 416
模型评估
（1）Ｈosmer-Lemeshowz指标 HL统计量的原假设Ho是预测值和观测值之间无显著差 异，因此HL指标的P-Value的值越大，越不能拒绝原假设， 即说明模型很好的拟合了数据。 （2）AIC和SC指标 即池雷准则和施瓦茨准则 与线性回归类似AIC和SC越小说明模型拟合的越好 （3）似然比卡方出 从整体上看解释变量对因变量有无解释作用相当于多元 回归中的F检验 在logistic回归中可以通过似然比（likelihood ratio test）进行检验 （4）RSQUARE（ R^2 ）和C统计量 解释变量解释在多大程度上解释了因变量与线性回归中 的R^2作用类似 在logistic回归中可以通过R^2和Ｃ统计量进 行度量
Logit 转化 :
设因变量 Y 是一个二分类变量，其取值为 Y =1 和 Y =0。 影响 Y 取值的 m 个自变量分别为 X 1 , X 2 , , X m 。在 m 个自变量（即暴露因素）作用下阳性结果发生的条件 概率为 P P(Y 1 X 1 , X 2 , , X m ) ，则 logistic 回归模 型可表示为：
OR值
OR的95%CI
对偏回归系数 的假设检验
吸烟与不吸烟的优势比： ˆ exp b exp0.8856 2.42 ，其 OR 的 95%可信区间： OR 1 1 1
exp[b1 u0.05 2 Sb1 ] exp(0.8856 1.96 0.1500) (1.81,3.25)
问题2：
回归系数的意义：
• Logistic回归中的回归系数 i 表示，某一因 素改变一个单位时，效应指标发生与不发生事 件的概率之比的对数变化值，即OR的对数值。 • Logistic回归中的常数项 0 表示，在不接触任 何潜在危险／保护因素条件下，效应指标发生 与不发生事件的概率之比的对数值。 单纯从数学上讲，与多元线 性回归分析中回归系数的解 释并无不同。
2
2. Wald 检验
用 u 检验或 2 检验来检验各参数 j 是否为 0。
u bj Sbj
b j Sb
2

j

2
Sb j 为偏回归系数的标准误。
3.比分检验（score test）
以未包含某个或几个变量的模型为基础，保留模型 中参数的估计值，并假设新增加的参数为零，计算似然函 数的一价偏导数（又称有效比分）及信息距阵，两者相乘 便得比分检验的统计量S 。样本量较大时， S近似服从自 由度为待检验因素个数的２分布。
阳性数 d g 63 63 44 265
阴性数 ng d g 136 107 57 151
首先确定变量的赋值或编码：
1 X1 0
吸烟 不吸烟
1 X2 0
饮酒 不饮酒
1 Y 0
病例 对照
观 察 例 数
在logistic过程步 中加“descending” 选项的目的是使 SAS过程按阳性 率（y=1）拟合模 型，得到阳性病 例对应于阴性病 例的优势比。
P 值渐进于 0； P 值的变化在 0~1 之间，并且随 Z 值的变
化以点（0,0.5）为中心成对称 S 形变化。
线性回归在处理有上限和下限的因变量时面临着 一个问题：X上同样的变化对Y产生的影响不同， 由图1也可以直观的看出这里并不适合进行线性 回归。 虽然有很多非线性的函数可以呈现S形，但由于 Logit转化比较简易，所以更受欢迎。
参数估计
logistic 回归模型的参数估计常采用最大似然估计(与多元线性回 归中的类似)。其基本思想是先建立似然函数与对数似然函数， 求使对数似然函数最大时的参数值，其估计值即为最大 似然估计值。 建立样本似然函数：
n
L P i (1 P i)
Yi i 1
1Yi
（ i 1, 2,
除此以外，logistic回归还可以用优势比估计：
自变量 X j 不同水平 c1 和 c0 优势比的估计值：
ˆ exp[b (c c )] OR j j 1 0
当样本含量 n 较大时， bj 的抽样分布近似服从 正态分布，若 X j 只有暴露和非暴露 2 个水平， 则优势比 OR j 的 100(1 )%可信区间为：
概念
logistic回归是研究因变量为二分类或多分类观察结果与影响 因素（自变量）之间关系的一种多变量分析方法，属概率型非线 性回归。 最常用的是二值型logistic ，即因变量的取值只包含两个类 别 例如：好、坏 ；发生、不发生；常用Y=1或Y=0表示。 自变 量X称为危险因素或暴露因素，可为连续变量、等级变量、分类 变量，可有m个自变量X1， X2，… Xm 。P表示Y=1的概率，是 其他变量的一个函数。 【p（Y=1|X）表示在X的条件下Y=1的概率】 logistic回归的数学表达式为：
问题1：
1 Y 0 出现阳性结果 (发病、有效、死亡等） 出现阴性结果 (未发病、无效、存活等）
p（y=1）表示某暴露因素状态下，结果y=1的概率（P）模型。
或
e P( y 1) 1 e 0 x
1 p( y 1) 1 exp[( 0 x)]
p ln XT 1 p
logistic回归的分类：
（1）二分类资料logistic回归： 因变量为两分类变量的资料， 可用非条件logistic回归和条件logistic回归进行分析。非条 件logistic回归多用于非配比病例-对照研究或队列研究资料， 条件logistic回归多用于配对或配比资料。 （2）多分类资料logistic回归： 因变量为多项分类的资料， 可用多项分类logistic回归模型或有序分类logistic回归模型 进行分析。
第三章：横截面数据：因变量为分类变量及因 变量为频数（计数）变量的情况 • Logistic回归（因变量为二分变量/二项分布） • probit回归 • Poisson （因变量为poisson分布）
第三章：横截面数据：因变量为分类变量及因 变量为频数（计数）变量的情况 • Logistic回归（因变量为二分变量/二项分布） • probit回归 • Poisson （因变量为poisson分布）