多重线性回归解析
第12章-多重线性回归分析
6 因变量总变异的分解
P
(X,Y)
Y
（Y Y） （Y Y）
（Y Y）
Y X
Y
Y
9
Y的总变异分解
Y Y Yˆ Y Y Yˆ
Y Y 2 Yˆ Y 2 Y Yˆ 2
总变异 SS总
回归平方和 剩余平方和
SS回
SS剩
10
Y的总变异分解
病程 (X2)
10.0 3.0 15.0 3.0 4.0 6.0 2.9 9.0 5.0 2.0 8.0 20.0
表 12-1 脂联素水平与相关因素的测量数据
空腹
回归模空型腹 ？
瘦素
脂联 BMI 病程 瘦素
脂联
(X3)
血糖 (X4)
素(Y)
(X1)
(X2)
(X3)
血糖 素(Y) (X4)
5.75 13.6 29.36 21.11 9.0 4.90 6.0 17.28
H 0： 1 2 3 4 0 ，即总体中各偏回归系数均为0； H 1：总体中各偏回归系数不为0或不全为0；
= 0.05。
2 计算检验统计量： 3 确定P值，作出推断结论。
拒绝H0，说明从整体上而言，用这四个自变量构成 的回归方程解释糖尿病患者体内脂联素的变化是有统 计学意义的。
的平方和 (Y Yˆ)2为最小。
只有一个自变量
两个自变量
例12-1 为了研究有关糖尿病患者体内脂联素水平的影响因 素，某医师测定30例患者的BMI、病程、瘦素、空腹血糖， 数据如表12-1所示。
BMI (X1)
24.22 24.22 19.03 23.39 19.49 24.38 19.03 21.11 23.32 24.34 23.82 22.86
第11章 多重线性回归分析2010
22.5 21.5 28.5 26.0 35.0 20.0 23.0 24.8 23.3 27.0 26.0 28.0
2.00 2.40 3.00 1.00 2.80 1.45 1.50 1.50 0.90 0.65 1.83 2.00
资料来源：数据选自《卫生统计学》第 5 版（方积乾主编）人民卫生出版社
20.0 23.0 26.5 23.0 29.5 30.0 22.5 21.8 27.0 27.0 22.0 28.0
0.45 0.50 1.50 0.40 0.90 0.80 1.80 0.60 1.70 0.65 0.40 2.00
0.948 1.440 1.084 1.844 1.116 1.656 1.536 0.960 1.784 1.496 1.060 1.436
Xi Xi X Si
' i
标准化偏回归系数（standardized partial regression coefficient）
自变量筛选的统计学标准：
1. 残差平方和（ SS残差 ）缩小或确定系数（
R2 ）
增大;
2 MS R 2. 残差的均方（ 残差 ）缩小或调整确定系数（ ad）
增大;
偏回归系数的 t 检验与标准化偏回归系数 回归系数 0.116 0.004 -6.5510-6 -0.035 标准误 0.027 0.002 0.001 0.011
t
4.23 2.36 -0.01 -3.21
P
0.0005 0.0289 0.9925 0.005
标准化偏 回归系数 0.592 0.273 -0.001 -0.448
虑对数据进行变量变换 ；
3. 如果方差齐性的假定不成立，可以采用其它的
多重线性回归
多重回归与相关（Multiple regression and correlation）一、基本概念：由于大自然是复杂的，其中的现象大部分不是一对一的关系，不能用线性回归与相关来解决问题。
如：人的体重与身高有关，也与胸围有关；血压值的大小除了与年龄有关外，还受到性别、劳动强度、饮食习惯、吸烟状况、家族史等因素的影响。
多重回归与多重相关是研究一个因变量和多个自变量之间线性关系的统计学分析方法。
1. 多个自变量与一个因变量的数量关系多重回归2. 多个自变量与多个因变量的数量关系多元回归3. 多个变量与一个变量的相关关系多重相关4. 多个变量与多个变量的相关关系典则相关5. 扣除其它变量影响后一变量与另一变量的相关关系 偏相关 本章仅讨论多重线性回归、多重线性相关和偏相关。
二、多重线性回归模型与参数估计：(一) 多重线性回归模型:设观察了n 个对象，每个对象观察了因变量Y 和p 个自变量， 模型表达式：p p p x x x Y X X X ββββμ++++= 22110,...,2,1|样本回归方程： p p X b X b X b a Y++++= 2211ˆβ0(a)为截距，β1,β2,…,βp (b 1,b 2,…,b p )为偏(部分)回归系数，βi (b i )表示除X i 外的其他自变量固定时，X i 改变一个单位后Y 的平均变化。
标准回归系数：偏回归系数因各自变量值的单位不同不能直接比较其大小，对变量值作标准化变换，得到的回归系数为标准回归系数，可直接比较其大小，反映各自变量对因变量的贡献大小。
(二) 参数估计的方法: 最小二乘原则∑=∑=++++-=-=n i p p i n i i )]X b ...X b X b b (Y [)Y Y (Q 122211012 最小。
对方程中的每个待估参数求导并设导数为零，得到一组线性方程组。
由于是线性方程组，可以直接求解。
具体的计算复杂，手工计算几乎不可能，一般需要计算机软件完成。
多元线性回归的原理和应用
多元线性回归的原理和应用1. 原理介绍多元线性回归是一种统计分析方法，用于研究多个自变量与一个因变量之间的关系。
它是线性回归分析的一种拓展，可以同时考虑多个自变量对因变量的影响。
多元线性回归的基本原理可以通过以下公式表示：**Y = β0 + β1X1 + β2X2 + … + βn*Xn + ε**其中，Y表示因变量，X1、X2、…、Xn表示自变量，β0、β1、β2、…、βn表示自变量的系数，ε表示误差项。
多元线性回归通过最小二乘法来估计自变量的系数，使得预测值与实际观测值之间的平方误差最小化。
通过最小二乘法的计算，可以得到自变量的系数估计值，进而可以进行预测和解释因变量的变化。
2. 应用领域多元线性回归在各个领域都有广泛的应用，以下列举了一些常见的应用领域：2.1 经济学多元线性回归在经济学中是一个重要的工具，可以用于研究不同变量对经济发展的影响。
例如，可以通过多元线性回归来分析GDP增长率与投资、消费、出口等变量之间的关系，并进一步预测未来的经济发展趋势。
2.2 市场营销在市场营销领域，多元线性回归可以用于研究市场需求的影响因素。
通过分析不同的市场变量（如产品价格、广告投入、竞争对手的行为等），可以预测市场需求的变化，并制定相应的营销策略。
2.3 医学研究多元线性回归在医学研究中也有广泛的应用。
例如，可以使用多元线性回归来研究不同的遗传、环境和生活方式因素对人体健康的影响。
通过分析这些因素，可以预测患病风险并制定相应的预防措施。
2.4 社会科学多元线性回归在社会科学领域中被广泛应用，用于研究各种社会现象。
例如，可以使用多元线性回归来研究教育、收入、职业等因素对犯罪率的影响，并进一步分析这些因素的相互关系。
2.5 工程与科学研究多元线性回归在工程和科学研究中也有一定的应用。
例如，在工程领域中可以使用多元线性回归来研究不同因素对产品质量的影响，并优化生产过程。
在科学研究中，多元线性回归可以用于分析实验数据，探索不同变量之间的关系。
11-多重线性回归分析
1个
1个
统计方法
简单线性相关
simple linear correlation
简单线性回归
simple linear regression
多重相关
multiple correlation
多重回归
multiple regression
典则相关
cononical correlation
多元回归
multivariate regression
量x 取值均为0时，y的平均估计值。
➢bi：变量xi的偏回归系数(partial regression coefficient)，
是总体参数βi 的估计值；指在方程中其它自变量固定 不变的情况下， xi 每增加或减少一个计量单位，反应 变量Y 平均变化 bi个单位。
Yˆ b0 b1X1 b2 X 2 ... bp X p
问题：对NO浓度的贡献，哪个因素作用的大一点， 哪个小一些？
回归系数的标准化：
1.自变量数据的标准化： 2.求标准化偏回归系数：
X
' i
Xi Xi Si
用标准化的数据进行回归模型的拟合，算出它的方程，
此时所获得的偏回归系数b’，叫~。
b’无单位，可用来比较各个自变量对反应变量的贡献大小
比较：
未标准化的回归系数（偏回归系数）：用来构建回归 方程，即方程中各自变量的斜率。
计值 Yˆ 之间的残差（样
本点到直线的垂直距离) 平方和达到最小。 .
两个自变量时回归平面示意图
通过SPSS等统计软件，拟合X1、X2 、X3 、X4关于空 气中NO浓度的多重线性回归方程，得：
Y 0.142 0.116X1 0.004X 2 6.55106 X3 0.035X 4
多元线性回归模型的估计与解释
多元线性回归模型的估计与解释多元线性回归是一种广泛应用于统计学和机器学习领域的预测模型。
与简单线性回归模型相比，多元线性回归模型允许我们将多个自变量引入到模型中，以更准确地解释因变量的变化。
一、多元线性回归模型的基本原理多元线性回归模型的基本原理是建立一个包含多个自变量的线性方程，通过对样本数据进行参数估计，求解出各个自变量的系数，从而得到一个可以预测因变量的模型。
其数学表达形式为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y为因变量，X1、X2、...、Xn为自变量，β0、β1、β2、...、βn为模型的系数，ε为误差项。
二、多元线性回归模型的估计方法1. 最小二乘法估计最小二乘法是最常用的多元线性回归模型估计方法。
它通过使残差平方和最小化来确定模型的系数。
残差即观测值与预测值之间的差异，最小二乘法通过找到使残差平方和最小的系数组合来拟合数据。
2. 矩阵求解方法多元线性回归模型也可以通过矩阵求解方法进行参数估计。
将自变量和因变量分别构成矩阵，利用矩阵运算，可以直接求解出模型的系数。
三、多元线性回归模型的解释多元线性回归模型可以通过系数估计来解释自变量与因变量之间的关系。
系数的符号表示了自变量对因变量的影响方向，而系数的大小则表示了自变量对因变量的影响程度。
此外，多元线性回归模型还可以通过假设检验来验证模型的显著性。
假设检验包括对模型整体的显著性检验和对各个自变量的显著性检验。
对于整体的显著性检验，一般采用F检验或R方检验。
F检验通过比较回归平方和和残差平方和的比值来判断模型是否显著。
对于各个自变量的显著性检验，一般采用t检验，通过检验系数的置信区间与预先设定的显著性水平进行比较，来判断自变量的系数是否显著不为零。
通过解释模型的系数和做假设检验，我们可以对多元线性回归模型进行全面的解释和评估。
四、多元线性回归模型的应用多元线性回归模型在实际应用中具有广泛的应用价值。
多重线性回归分析1
23:17
4
根据研究的目的和收集到的数据，拟回答如下问题：
单位时间内过往的汽车数(千辆)、气温(℃)、空气 湿度(%)、风速(m/s)这四个因素是否都对空气中一 氧化氮(NO)的浓度(ppm)有影响？
如何定量地描述这些因素对一氧化氮浓度的影响？
哪个因素对一氧化氮浓度的影响最大？哪个因素的 影响最小？
23:17
26
2.6 变量筛选
为确保回归方程包含所有对反应变量有较大 影响的自变量，而把对反应变量作用不大或 可有可无的自变量排除在方程之外，这一统 计过程称为自变量的选择。
23:17
27
自变量筛选的统计学标准
1. 残差平方和（SSE）缩小与确定系数（R2）增大；
R2 1 SSE SST
23:17
12
X
* i
Xi Xi Si
标准化偏回归系数（standardized partial
regression coefficient），又称为通径系数（path coefficient）。标准化偏回归系数b’j较大的自变量对 反应变量Y 的影响较大。
23:17
13
2.2 回归参数的估计：
自由度 回归系数 标准误 t
P 标准化偏回归系数
19
0.116 0.027 4.23 0.0005
0.592
19
0.004 0.002 2.36 0.0289
0.273
19 -6.5510-6 0.001 -0.01 0.9925
-0.001
19
-0.035 0.011 -3.21 0.005
-0.448
一般采用检验推断总体偏回归系数是否为零。检 验的假设为
多重线性回归
x1
x2
2.989 1.292
4.647
F0.05,(1,37)=4.11
23
评价回归方程的标准
• 复相关系数 • 校正复相关系数 • 剩余标准差
24
复相关系数
(multiple correlation coefficient)
• 0≤R≤1
R R2 SS回归 SS总
• R反映的是因变量与所有自变量的总的相关关 系,当方程中自变量个数增加时,R总是增加的。 当只有一个因变量y与一个自变量x时，R就等 于y与x的简单相关系数之绝对值：R= | ryx |。
SS （n k 1) 剩余
1
20
例20-1
总胆固醇和甘油三酯对空腹血糖的影响
• 模型检验结果
A NOVAb
Model 1
R egre ssio n R esidua l To t al
Sum of Sq ua re s
4. 2 81 10 . 293 14 . 574
df 2
37 39
Mean Square 2. 1 40 . 27 8
1 R2
1 MS误差 MS总
26
剩余标准差
• 剩余标准差 小则估计值与实测值接近，反 之则估计值与实测值相差较大，它是反映回 归方程精度的指标
s y,x1x2 xk
n
yi yˆi 2
i 1
n m 1
SS剩余 n m 1
MS剩余
27
自变量的筛选
• 全面分析法 • 前进法 • 后退法 • 逐步回归法
P3=0.223
• Y与x2 ， x5
P4=0.635
• 选入X3 方程中有二个变量
•
1 多元线性回归分析
1、自变量筛选的标准与原则
① 残差平方和SSE缩小与确定系数增大 ② 残差均方缩小与调整确定系数增大 ③ Cp统计量
2、自变量筛选的常用方法
① 所有可能自变量子集选择 ② Forward：前进法（向前选择法） ③ Backward：后退法（向后剔除法） ④ Stepwise：逐步回归法
♦ 是选择变量的有效方法。
前进法、后退法、逐步回归法的侧重点不
同。
当自变量之间不存在简单线性相关关系时，三种方法计算结果 是一致的。 当自变量之间存在简单线性相关关系时，前进法侧重于向模型 中引入单独作用较强的变量，后退法侧重于引入联合作用较强 的变量，逐步回归法则介于两者之间。
注意：剔除变量的标准（0.1）应 大于或等于引入变量的标准 （0.05）。
ANOVA b
Model
Sum of Squares
1
Regression 133.711
Residual Total
88.841 222.552
df Mean Square
4
33.428
22
4.038
26
F 8.278
Sig. .000a
a.Predictors: (Constant), 糖化血红蛋白, 甘油三酯, 胰岛素, 总胆固醇
总变异 23 0.08123
R2=0.06396/0.08123=0.7874
确定系数的取值范围为0≤R2≤1。直接反映了 回归方程中所有自变量解释了反应变量总变异 的百分比。其值越接近于1，表示回归模型的拟 合效果越好。
3、调整的确定系数
调整的R2：记为
R2 = R 2 k(1 R2 )
医学统计学多重线性回归分析
医学统计学多重线性回归分析多重线性回归分析是一种用于确定多个自变量与一个因变量之间关系的统计方法。
在医学研究中，多重线性回归可以用于探讨多个潜在因素对人体健康和疾病发生的影响。
在多重线性回归中，因变量是要被预测或解释的变量，而自变量是可以用来预测或解释因变量的变量。
医学研究中可能存在多个自变量，因为人体健康和疾病发生是受多个因素综合影响的。
多重线性回归分析可以帮助我们确定每个自变量对因变量的相对重要性，并估计它们的效应。
多重线性回归模型可以表示为：Y=β0+β1X1+β2X2+...+βnXn+ε其中，Y是因变量，X1,X2,...,Xn是自变量，β0,β1,β2,...,βn 是模型的回归系数，ε是误差项。
多重线性回归分析的目标是通过估计回归系数来确定自变量对因变量的影响。
回归系数表示自变量单位变化对因变量的影响程度。
通过检验回归系数的显著性，可以判断自变量是否对因变量有统计上显著的影响。
此外，回归系数的符号可以指示自变量与因变量之间的正向或负向关系。
多重线性回归分析的步骤如下：1.收集数据：收集包括因变量和自变量的数据，通常需要足够的样本量来保证结果的可靠性。
2.数据清洗：对数据进行初步的清洗和整理，包括处理缺失值、异常值和离群值等。
3.模型构建：根据研究目的和理论背景选择自变量，并构建多重线性回归模型。
4.模型估计：通过最小二乘法估计回归系数。
最小二乘法通过最小化观测值与模型预测值之间的差异来确定回归系数。
5.模型诊断：对模型进行诊断检验，包括检验残差的正态性、线性性、同方差性等。
如果模型不符合假设条件，需要进行适当的修正。
6.结果解释：通过回归系数的显著性和效应大小来解释结果，确定自变量的影响和重要性。
多重线性回归分析常用的统计指标包括回归系数、标准误、P值和决定系数。
回归系数表示自变量单位变化对因变量的平均影响。
标准误表示回归系数的估计精度。
P值表示回归系数是否统计显著，一般认为P值小于0.05为显著。
多重线性回归
ˆi ； (1) 由自变量解释的部分，即 yi 的估计值 y
(2) 不能由自变量解释的部分，即残差 ei
回归方程的各部分也可用矩阵表示为：
y1 y2 Y yn n1
b0 b1 B＝ bm m 11
i
述。
因此，以 x1.x2 x p 中的一个自变量(记为 xk )为应 变量，以其它 x i k 为自变量建立回归方程，考察其
i
决定系数 Rk ， 若 Rk 较大， 说明 xk 与其它自变量间存在
2 2
近似的线性关系。
方差膨胀因子--VIF多重共线性严重程度的指标。
2 bk 的 回归系数 bk 的方差与 1 Rk2 有关。Rk 越大，
回归的贡献，回归平方和： U l yy Q (Y Y )2 (sum of squares due to regression)
Y的总变异分解为两部分：
• 回归贡献U
• 剩余变异Q
整个方程是否有意义，就看回归所能解释的变 异U比剩余Q大多少而定。
假设检验为：
H 0 ：各总体偏回归系数βj均为0；
R2可用于检验多重回归方程的统计学意义：
H0：2=0； H1：20。
检验统计量为：
R2 n m 1 F ~ F( m ,n m 1) 2 1 R m
复相关系数： R 反映的是应变量与自变量线性组合 的总的相关关系，其性质： 0≤R≤1。
当只有一个因变量y与一个自变量x时，R就等于y与 x的简单相关系数之绝对值：R= | ryx |
估计值与残差
编号 1 3 y 1.75 2.75
多重线性回归分析方法
多重线性回归分析方法多重线性回归分析是一种常用的统计方法，用于揭示自变量对因变量的影响。
它可以帮助我们理解多个自变量如何共同影响因变量，并通过建立一个数学模型来预测因变量的值。
本文将介绍多重线性回归分析的基本原理、步骤以及常见的模型评估方法。
一、基本原理多重线性回归分析是建立在线性回归模型的基础上的。
在简单线性回归模型中，只有一个自变量可以解释因变量的变化；而在多重线性回归模型中，有多个自变量同时对因变量产生影响。
其模型可表示为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y代表因变量，X1, X2, ..., Xn代表自变量，β0, β1, β2, ..., βn代表回归系数，ε代表误差项。
二、分析步骤进行多重线性回归分析时，通常可以遵循以下步骤：1. 收集数据：首先，需要收集相关的自变量和因变量的数据，并确保数据的准确性和完整性。
2. 建立模型：根据收集到的数据，可以利用统计软件或编程工具建立多重线性回归模型。
确保选择合适的自变量，并对数据进行预处理，如去除异常值、处理缺失值等。
3. 模型拟合：利用最小二乘法或其他拟合方法，对模型进行拟合，找到最优的回归系数。
4. 模型评估：通过各种统计指标来评估模型的拟合效果，比如决定系数（R^2）、调整决定系数、F统计量等。
这些指标可以帮助我们判断模型的可靠性和解释力。
5. 解释结果：根据回归系数的正负和大小，以及显著性水平，解释不同自变量对因变量的影响。
同时，可以进行预测分析，根据模型的结果预测未来的因变量值。
三、模型评估方法在多重线性回归分析中，有多种方法可评估模型的拟合效果。
以下是几种常见的模型评估方法：1. 决定系数（R^2）：决定系数是用来衡量模型拟合数据的程度，取值范围为0到1。
其值越接近1，表示模型能够较好地解释数据的变异。
2. 调整决定系数：调整决定系数是在决定系数的基础上，考虑自变量的数量和样本量后进行修正。
多重线性回归的主要原理
多重线性回归的主要原理多重线性回归是一种统计分析方法，用于研究多个自变量与一个因变量之间的关系。
该方法基于最小二乘法，在给定一组自变量的情况下，通过建立一个线性模型来估计因变量的值。
在多重线性回归中，变量可以分为两类：因变量和自变量。
因变量是我们希望预测或者解释的变量，而自变量是用来解释因变量的变量。
多重线性回归可以用以下方程表示：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y表示因变量的值，X1、X2、...、Xn是自变量的值，β0、β1、β2、...、βn是对应的回归系数，ε是误差项。
回归系数表示自变量对因变量的影响程度，误差项表示模型无法解释的部分。
多重线性回归的主要原理是基于最小二乘法来求解回归系数。
最小二乘法的目标是最小化残差平方和，即找到一组回归系数，使得模型预测值与实际观测值之间的差异最小化。
具体而言，多重线性回归的求解过程可以分为以下几步：1. 数据准备：收集自变量和因变量的数据，并进行数据清洗和预处理，包括处理缺失值、异常值和离群值等。
2. 模型建立：根据问题背景和数据特点，确定多重线性回归模型的自变量和因变量，并设置回归方程。
3. 参数估计：使用最小二乘法对回归系数进行估计。
最小二乘法通过最小化实际观测值和模型预测值之间的残差平方和来确定回归系数。
具体计算方法是通过求解方程组来获取回归系数的值。
4. 模型拟合：将估计得到的回归系数代入回归方程，得到多重线性回归模型。
模型能够通过给定自变量值来预测因变量的值。
5. 模型评估：对多重线性回归模型进行评估，包括评价模型的拟合程度和回归系数的显著性等。
常用的指标有R方值、调整R方值和显著性检验等。
6. 模型应用：使用经过验证和评估的多重线性回归模型进行预测、推断和解释。
可以通过改变自变量的值来预测因变量的变化，并对因变量的影响进行解释。
多重线性回归有几个重要的假设前提需要满足。
首先，自变量和因变量之间应该存在线性关系。
十二、多重线性回归模型解读
•
•
n = 样本含量（观察数）
R2 = 未校正的R2
校正R2
• 校正R2是近似无偏的
• 校正R2的优点：
•
只有新引入的自变量对回归方程有贡献时，新的校正R2值才会较原来的
校正R2值增大
•
如新引入的自变量对y不起作用，校正R2值不增加
• 当n >> k时，R2 ≈ 校正R2。
多变量线性回归方程的评价（续）
获得满意结果。
“最优回归模型”
• 所谓“最优回归模型”是指：
• （1）全模型及其各参数估计值均有统计学显著性意义
• （2）如效果相似，模型所包含的变量数越少越好 • （3）各个变量在专业上都有实际意义
变量选择的常用方法
• 逐步回归（stepwise regression） • 在供选的多个自变量xi中，按其对y的作用大小（即偏回归平方和的大小）， 由大到小将自变量逐个引入方程 • 每引入一个自变量，对其作显著性检验，如有显著性才可将其列入方程 • 每引入一个新自变量，再对原方程中的各自变量重新作显著性检验，将退 变为无显著性作用的自变量剔除出方程
•
ν= 自由度
• 算得F值后，查F值表即可知P值
直线回归方程的评价（续）
• t检验 • b b • t = ── = ───────────，ν= n-2 • sb √[Σ（yi-y）2 /（n-2）]
• 上式 b = 回归系数 • • • sb = 回归系数b的标准误 用于衡量y的估计值yi的精确性 可用于估计b的可信区间
• （j = 0,1,2,3……k）
• （i = 观察对象序号）
• 上式 y = 因变量（连续变量）
• b0 = 常数项，其含义同简单直线回归中的a
多重线性回归分析
例：由于改革开放政策，深圳特区中外来人口大幅度增加， 为了考察特区中外来人口对本地经济发展的贡献，深圳特 区统计局收集了所属的宝安县在1987年末18个镇的人口 与工农业总产值数据（见数据文件reg.sav）。此处把工 农业总产值当作因变量（W），而把外地及本地人口数当 作两个自变量（Z1，Z2）。 （有关统计方法的原理及计算参见孙尚拱，《医学多变 量统计与统计软件》，北京医科大学出版社，2000）
练习1
以下实例摘自 Hosmer, David W . (2000). Applied logistic regression . John Wiley, New York. 研究目的是考察与婴儿低出生体重有关的可能危险因素（当体重低于 2500g时，认为是低出生体重婴儿）。研究收集了189例妇女的数据，其中 59例分娩低出生体重婴儿，130例分娩正常体重婴儿（数据见文件 data1.sav）。
2.Logistic模型
g ( x) 0 1 x1 2 x2 .... i xi .... m xm
g(x)是对P的变换，称为logit变换：
P g ( x) ln 1 P
可以得到：
P exp[ g ( x)] 1 exp[ g ( x)]
Logistic回归分析
（一）Logistic回归分析的任务
影响因素分析 logistic回归常用于疾病的危险因素分析，logistic回归 分析可以提供一个重要的指标：OR。
（二）Logistic回归分析的基本原理
1.变量特点 因变量：二分类变量，若令因变量为y，则常用y＝1表 示“发病”，y＝0表示“不发病”（在病例对照研究中， 分别表示病例组和对照组）。 自变量：可以为分类变量，也可以为连续变量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3. 标准化偏回归系数：
在比较各自变量对应变量相对贡献大小时，由于 各自变量的单位不同，不能直接用偏回归系数的 大小作比较，须用标准化偏回归系数。
bi
bi Si SY
标准化偏回归系数的绝对值越大，说明自变
量Xi对应变量Y的影响越大。
四、回归方程中自变量的筛选
多重线性回归方程中并非自变量越多越好 ❖ 逐步回归分析是寻求“较佳”回归方程的一种
H0： βi＝0 ，H1：βi≠0 ， ＝0.05
ti
bi , SE(bi )
df n m 1
三、标准化偏回归系数和决定系数
1.决定系数（ determination coefficient）
R2 SS回 1 SS残
SS总
SS总
表示：回归平方和SS回归在总平方和SS总中所占 的比例。
R2可用来定量评价在Y的总变异中，由M个自变 量建立的线性回归方程所能解释的比例。
人的体重与身高、胸围 血压值与年龄、性别、劳动强度、饮食 习惯、吸烟状况、家族史 糖尿病人的血糖与胰岛素、糖化血红蛋 白、血清总胆固醇、甘油三脂 射频治疗仪定向治疗脑肿瘤过程中，脑 皮质的毁损半径与辐射的温度、照射的时间
多重线性回归
多重线性回归模型 回归模型和偏回归系数的检验 标准化偏回归系数和决定系数 回归模型过程中自变量的筛选 回归分析中的若干问题 多重线性回归的应用
六、多重回归分析的应用
（1）描述变量间的数量依存关系 （2）影响因素分析，控制混杂因素 （3）估计与预测 （4）为进一步学习其他多元统计分析方法提供
基础
实例8-1
例8-1 研究表明，注射乌头碱可以导致心率失常，且 心率失常发生的时间可能与注射速度有关，而预先给予常 咯啉可以延缓心率失常发生的时间，且作用大小与用药剂 量有关，为探讨这两种药物对心率失常的影响，用大白鼠 做受试对象，观察指标为注射乌头碱开始至心率失常发生 的时间。考虑到大百鼠的体重也可能与心率失常发生的时 间有关，实验收集资料如表。分析乌头碱不同注射速度（ X1）、常咯啉的不同剂量（X2）、大鼠体重（X3）3个自变 量与应变量延缓心率失常发生时间（Y）的关系。
方法。 ❖ 选择变量的方法：
向前引入法（forward selection) 向后剔除法（backward selection) 逐步引入－剔除法（stepwise selection
五、回归分析中的若干问题
（一）应用条件
（1）Y与X1，X2，…Xm间存在线性关系 （2）各例观测值Yi相互独立 （3）残差服从正态分布且方差齐
❖ 简单线性回归的大部分内容可用于多重回归，因 其基本概念是一样的。
多重线性回归的主要用途
（1）建立一个可反映应变量与自变量关系的多重回 归方程；
（2）利用多重回归方程，用已知的自变量值去估计 未知应变量；
（3）分析一个应变量与多个自变量的相关关系； （4）可以进行自变量的筛选。
多个变量间关系举例
编号
X1
X2
X3
Y
1
4.88
0.08
230
19.1
2
5.6
0.07
260
15.7
3
H0：β1＝β1＝…＝βm H1： β1，β2，…，βm不全等于0
＝0.05
检验统计量为：
F MS回
SS回 / m
MS 剩 SS剩 /(n m 1)
df回 m，df剩 n m 1
当P<0.05时，拒绝H0，回归模型有统计 学意义。
2.偏回归系数的假设检验
回归模型的假设检验若拒绝H0，则可分别对每 一个偏回归系数βi作统计检验，实质是考察在 固定其它变量后，该变量对应变量 Y 的影响有 无统计学意义。常用t检验
辽宁省第十八届教育教学信息 化大奖赛参赛作品
《医用多元统计分析》
第八讲 多重线性回归
多重线性回归
❖ 多重线性回归是简单线性回归（直线回归）的直 接推广，其包含一个因变量和二个或二个以上的 自变量。
❖ 简单线性回归是研究一个因变量（Y）和一个自 变量（X）之间数量上相互依存的线性关系。而 多重线性回归是研究一个因变量（Y）和多个自 变量（Xi）之间数量上相互依存的线性关系。
Yˆ b0 b1 X1 b2 X2 bm Xm
式
中Yˆ为Y的
估
计
值；常数项b0为
的估计
0
值
，
bi
(i
1,2,，m
)为样
本偏回归系数，
是
的
i
估计值。
二、回归模型和偏回归系数的假设检验
1.回归模型的假设检验：
建立回归方程后，须分析应变量Y与这m 个自变量之间是否确有线性回归关系，可用 方差分析。
ei ~ N(0, 2 )
（二）样本含量
观察个体数n与变量个数m的比例一般至 少应为：
n : m＝5～10
（三）变量的数量化
（1）自变量为连续型变量 ：必要时作变换 （2）自变量为有序变量：依次赋值，如疗效好中 差，可分别赋值3、2、1； （3）自变量为二分类：如令男＝1，女＝0 （4）自变量为无序多分类：需要采用哑变量（ dummy variables）进行编码
例如，中医治疗崩漏，分为肾虚、肝虚、肝郁、血虚
4型，可以定义3个哑变量X1、X2、X3来标识这4个类 别。
崩漏分型
X1
X2
X3
肾虚
1
0
0
肝虚
0
1
0
肝郁
0
0
1
血虚
0
0
0
（四）多重共线性
多重共线性：自变量之间存在较强的线性关关系 。如果共线性存在，将很难求得较为理想的回归 方程。 判断多重共线性方法： （1）相关系数r>0.9，变量间存在共线性； （2）方差膨胀因子VIF，VIF越大，共线性越严重 。
一、多重线性回归模型
Y 0 1X1 2X2 m Xm e
式中0为常数项，又称为截距；i (i 1,2,，m)
称为偏回归系数，表示其它自变量固定不变的条 件下，X i每改变一个单位引起因变量Y的平均改 变量。e是除去m个自变量对Y影响后的随机误差， 也称残差。
多重线性回归分析
目的：利用样本数据建立多重线性回归方程
Hale Waihona Puke 0 R2 1 ，R2越接近1，回归方程的拟合越好
Yˆ
2.校正决定系数（ Adjusted determination coefficient）
Rc2
1－ MS 残 MS 总
1
SS残 /(n 1 m) SS总 /(n 1)
1 (1 R2 ) n 1 (n 1) m
Rc2 R2 , 考虑了自变量个数的影响