2020年多元线性回归logistic回归

Model
1
(Constant)
总 胆 固 醇 x1
甘 油 三 脂 x2
胰 岛 素 x3
糖 化 血 红 蛋 白 x4
a. Dependent Variable: 血 糖 y
Unstandardized Coef ficients
B
Std. Error
5.943
2.829
.142
.366
.351
.204
•检验结果均有意义，因此回归方程保留甘油三酯(X2)、胰岛
素(X3)和糖化血红蛋白(X4)三个因素。
•最后获得回归方程为：
Yˆ 6.500 0.402X2 0.287X3 0.663X4
17
（三）回归方程的评价 1、确定系数（R2）：
R2 SS回 归 SS总
意义：在y的总变异中，由x变量组建立的线性回归方程所能
Unstandardized Coef ficients
B
Std. Error
5.943
2.829
.142
.366
.351
.204
-.271
.121
.638
.243
Standardized Coef ficients
Beta
.078 .309 -.339 .398
t 2.101 .390 1.721 -2.229 2.623
X1
X2
X3
X4
5.68
1.90
4.53
8.2
3.79
1.64
7.32
6.9
6.02
3.56
6.95
10.8
…
…
…
…
5.84
0.92
8.61
6.4
3.84
1.20
6.45
9.6
血糖
(mmol/L) Y
11.2 8.8 12.3 … 13.3 10.4
10
1、建立回归方程
Coef ficientsa
b. Dependent Vari abl e: 血 糖 y
13
3、各个偏回归系数的假设检验——t检验
Coef ficientsa
Model
1
(Constant)
总 胆 固 醇 x1
甘 油 三 脂 x2
胰 岛 素 x3
糖 化 血 红 蛋 白 x4
a. Dependent Variable: 血 糖 y
S ig. .000 a
检验结果有显著性意义。
16
对新方程的偏回归系数进行检验
C oe ffi ci en tas
Uns tandardized Standardized
Coe fficients
Coe fficients
Mo del
1
(C on stan t)
B Std. Error
6. 50 0
多因素分析
1
概念 多因素分析是同时对观察对象的两个或两个以上
的变量进行分析。 常用的统计分析方法有：
多元线性回归、Logistic回归、COX比例风险回归 模型、因子分析、主成分分析等。
2
多变量资料数据格式
例号 X1
X2
…
Xp
Y
1
X11
X12
…
X1p
Y1
2
X21
X22
…
X2p
Y2
┆
┆
┆
…
┆
┆
n
减一个单位对Y 的效应（Y 增减 b 个单位）。
7
适用条件：
线性（linear）、独立性（independent）、正态性（normal）、 方差齐性（equal variance）——“LINE”。 线性——自变量与应变量的关系是线性的。用散点图判断。 独立性——任意两个观察值互相独立。常利用专业知识判断。 正态性——就自变量的任何一个线性组合，应变量y均服从正 态分布。即要求残差服从正态分布。常用残差图分析。 方差齐性——就自变量的任何一个线性组合，应变量y的方差 均相同。即要求残差的方差齐性。用散点图或残差图判断。
Sig. .047 .701 .099 .036 .016
将总胆固醇(X1) 剔除。 注意：通常每次只剔除关系最弱的一个因素。
对于同一资料，不同自变量的t值可以相互比较，t的绝对
值越大，或P越小，说明该自变量对Y所起的作用越大。
14
重新建立不包含提出因素的回归方程
Model 1
(Constant) 甘 油 三 脂 x2
(multiple linear regressoin)
Y，X——直线回归 Y，X1，X2，…Xm——多元回归（多重回归） 例：欲研究血压受年龄、性别、体重、性格、 职业（体力劳动或脑力劳动）、饮食、吸烟、 血脂水平等因素的影响。
5
（一） 多元回归模型
多元回归方程的一般形式
Y 0 1 X1 2 X 2 m X m e
R Square .601
Adjusted R Square .528
Std. Error of the Estimate
2.0095
2
.773b
.598
.546
1.9721
a. Predictors: (Const ant), 糖 化 血 红 蛋 白 x4, 甘 油 三 脂 x2, 胰 岛 素 x3, 总 胆 固 醇 x1 b. Predictors: (Const ant), 糖 化 血 红 蛋 白 x4, 甘 油 三 脂 x2, 胰 岛 素 x3
-.271
.121
.638
.243
Standardized Coef ficients
Beta
.078 .309 -.339 .398
由上表得到如下多元线性回归方程：
t 2.101 .390 1.721 -2.229 2.623
Sig. .047 .701 .099 .036 .016
Yˆ 5.943 0.142X1 0.351X2 0.271X3 0.638X4
解释的比例。 0~1，越大越优。
特点：R2是随自变量的增加而增大。
因此，在相近的情况下，以包含的自变量少者为优。
２、R——复相关系数（multiple correlation coefficient）
表示m个自变量共同对应变量线性相关的密切程
度。0≤R≤1。即Y与 Yˆ 的相关系数。
18
３、校正确定系数（adjusted R-square，R2a ）
越大越优。 R2a不会随无意义的自变量增加而增大。 是衡量方程优劣的常用指标。 校正确定系数的计算：
Ra2

1
(1
R2
)
n
n
1
p1

1
MS残 MS总
p 为方程中包含的自变量个数，p≤ m。
R2一定时， p ↑→ R2 a↓ 19
Model Summary
Model 1
R .775a
8
（二）多元回归分析步骤 （1）用各变量的数据建立回归方程 （2）对总的方程进行假设检验 （3）当总的方程有显著性意义时，应对每个自变量的
偏回归系数再进行假设检验，若某个自变量的偏回归 系数无显著性，则应把该变量剔除，重新建立不包含 该变量的多元回归方程。
对新建立的多元回归方程及偏回归系数按上述程 序进行检验，直到余下的偏回归系数都具有统计意义 为止。最后得到最优方程。
9
例1 27名糖尿病人的血清总胆固醇、甘油三脂、空腹胰岛素、 糖化血红蛋白、空腹血糖的测量值列于表1中，试建立血糖与 其它几项指标关系的多元线性回归方程。
序号i
1 2 3 … 26 27
表1 27名糖尿病人的血糖及有关变量的测量结果
总胆固醇 甘油三脂 胰岛素
糖化血
（mmol/L） (mmol/L) (μU/ml) 红蛋白(%)
Xn1
Xn2
…
Xnp
Yn
Y为定量变量——Linear Regression Y为二项分类变量——Binary Logistic Regression Y为多项分类变量——Multinomial Logistic Regression Y为有序分类变量——Ordinal Logistic Regression Y为生存时间与生存结局——Cox Regression
Beta
.354 -.360 .413
t 2.713 2.612 -2.570 2.880
Sig. .012 .016 .017 .008
Yˆ 6.500 0.402X2 0.287X3 0.663X4
注意：表中偏回归系数已变化。
15
对新建立的回归方程进行检验
ANO VAb
Mo del
11
2、回归方程的假设检验——F检验
结果无显著性 1）表明所观察的自变量与应变量不存在线性回归关系； 2）也可能由于样本例数过少；
结果有显著性 表明至少有一个自变量与应变量之间存在线性回归关系。
H0：β1=β2=…=βm= 0 H1：β1、β2、…βm不等于0或不全等于0
12
ANO VAb
胰 岛 素 x3
糖 化 血 红 蛋 白 x4
a. Dependent Variable: 血 糖 y
Coef ficientsa
Unstandardized Coef ficients
B
Std. Error
6.500
2.396
.402
.154
-.287
.112
.663
.230
Standardized Coef ficients
3
多因素回归分析主要用途：
（1）因素筛选： 例如影响高血压的诸多因素中： 1）哪些是主要因素？ 2）各因素的作用大小？
（2）控制混杂因素 （3）提高回归方程的估计精度
多因素分析只有一个自变量的单因素回归更能缩 小应变量Y对其估计值的离差，在预测和统计控制 方面应用的效果更好。
4
一、多元线性回归
β0为回归方程的常数项（constant)，表示各自变量均为0时y的平 均值；
m为自变量的个数； β1、β2、βm为偏回归系数（Partial regression coefficient）
意义：如β1 表示在X2、X3 …… Xm固定条件下，X1 每增减 一个单位对Y 的效应（Y 增减β个单位）。 e为去除m个自变量对Y影响后的随机误差，称残差（residual)。
Mo del
Sum of Square s
1
Re g re ssi o n
13 3.71 1
df Me an Square
4
33 .4 28
F
S i g.
8.278 .000a
Re si dua l
88 .8 41
22
4.03 8
To tal
22 2.55 2
26
a. P redict ors: (Const ant ), 总 胆 固醇 x1, 胰 岛 素x3, 糖 化 血红 蛋 白 x4, 甘 油 三脂 x2
21
1、全局择优法（最优子集回归） （all possible subsets selection）： 有m个自变量就有2m-1个自变量子集。在
各子集中选择最优的回归方程。 仅适用于自变量个数不太多的情况。
22
2、向前筛选法（Forward selection）： 事先给定一个入选标准，即（通常 =0.05），
然后根据各因素偏回归平方和从大到小，依次逐个引 入回归方程至无显著性自变量可以入选为止，因素一 旦入选便始终保留在方程中而不被剔除。
局限性：后续变量的引入可能会使先进入方程的 变量变得不重要。
23
3、向后剔除法（Backward elimination） 首先建立全部自变量的全回归方程，给定剔除
20
（四）自变量的筛选
基本思路：尽可能将回归效果显著的自变量选入方程 中，作用不显著的自变量排除在外。 （1）全局择优法（all possible subsets selection）： （2）逐步选择法
前进法（Forward selection） 后退法（Backward elimination） 逐步法（Stepwise）
S um o f S qu are s
1
Re g re s s i o n
13 3.09 8
df Me an S qu are
F
3
44 .3 66 11 .4 07
Residual
89 .4 54
23
3.88 9
To tal
22 2.55 2
26
a. P redict ors: (Constant ), 胰 岛 素x3, 甘 油 三脂 x2, 糖 化 血红 蛋 白 x4 b. Dependent Variable: 血 糖 y
2. 39 6
Beta
t
S i g.
2.713 .012
甘 油 三 脂 x2
.402
.154
.35ቤተ መጻሕፍቲ ባይዱ 2.612 .016
糖 化 血 红 蛋 白 x4
.663
.230
.413 2.880 .008
胰 岛 素 x3
-.287
.112
-.360 -2.570 .017
a. Dependent Vari abl e: 血 糖y
6
由样本估计而得的多元回归方程：
Yˆ b0 b1 X1 b2 X2 bm Xm
Yˆ 为y的估计值或预测值（predicted value)； b0为回归方程的常数项（constant)，表示各自变量均为0时y 的估计值；
b1、b2、bm为偏回归系数（Partial regression coefficient） 意义：如 b1 表示在X2、X3 …… Xm固定条件下，X1 每增