第十一章 多重线性回归分析
第11章 多重线性回归分析2010
22.5 21.5 28.5 26.0 35.0 20.0 23.0 24.8 23.3 27.0 26.0 28.0
2.00 2.40 3.00 1.00 2.80 1.45 1.50 1.50 0.90 0.65 1.83 2.00
资料来源：数据选自《卫生统计学》第 5 版（方积乾主编）人民卫生出版社
20.0 23.0 26.5 23.0 29.5 30.0 22.5 21.8 27.0 27.0 22.0 28.0
0.45 0.50 1.50 0.40 0.90 0.80 1.80 0.60 1.70 0.65 0.40 2.00
0.948 1.440 1.084 1.844 1.116 1.656 1.536 0.960 1.784 1.496 1.060 1.436
Xi Xi X Si
' i
标准化偏回归系数（standardized partial regression coefficient）
自变量筛选的统计学标准：
1. 残差平方和（ SS残差 ）缩小或确定系数（
R2 ）
增大;
2 MS R 2. 残差的均方（ 残差 ）缩小或调整确定系数（ ad）
增大;
偏回归系数的 t 检验与标准化偏回归系数 回归系数 0.116 0.004 -6.5510-6 -0.035 标准误 0.027 0.002 0.001 0.011
t
4.23 2.36 -0.01 -3.21
P
0.0005 0.0289 0.9925 0.005
标准化偏 回归系数 0.592 0.273 -0.001 -0.448
虑对数据进行变量变换 ；
3. 如果方差齐性的假定不成立，可以采用其它的
医学统计(11)
• 设臵选项 • 设臵进入、 删除的概率。
• 第3步： 线性回归（7）
• 结果解读：逐步回归指标进入的过程
• 第3步： 线性回归（8）
• 结果解读：复相关系数和决定系数
• 第3步： 线性回归（9）
• 结果解读：回归模型的方差分析
• 第3步： 线性回归（10）
• 结果解读：回归方程： • 血红蛋白=1.129+0.031*血铁-0.043*血钙
1.根据样本数据求得模型参数的估计值，得到 应变量与自变量数量关系的表达式：
ˆ b0 b1 x1 b2 x2 ...... bm xm y
•2.对回归方程及各自变量作假设检验，并对方 程的拟和效果及各自变量的作用大小作出评价.
多元线性回归方程的建立：
模型参数的估计： （最小二乘法，使残差平方和最小）
两种变量
自变量 (independent variable) 应变量 (dependent variable)
x
y
两种关系
函数关系——函数方程:
x , y 呈
确定性关系
y = a + bx
回归关系——回归方程:
Yˆ = a + bx
x , y 呈非
确定性关系
直线回归是分析两变量间线性依存变 化的数量的关系
的资料，可用非条件logistic回归和条件logistic回归
进行分析。非条件logistic回归多用于非配比病例-对 照研究或队列研究资料，条件logistic回归多用于配 对或配比资料。 （2）多分类资料logistic回归： 因变量为多项分类的 资料，可用多项分类logistic回归模型或有序分类 logistic回归模型进行分析。
11-多重线性回归分析
1个
1个
统计方法
简单线性相关
simple linear correlation
简单线性回归
simple linear regression
多重相关
multiple correlation
多重回归
multiple regression
典则相关
cononical correlation
多元回归
multivariate regression
量x 取值均为0时，y的平均估计值。
➢bi：变量xi的偏回归系数(partial regression coefficient)，
是总体参数βi 的估计值；指在方程中其它自变量固定 不变的情况下， xi 每增加或减少一个计量单位，反应 变量Y 平均变化 bi个单位。
Yˆ b0 b1X1 b2 X 2 ... bp X p
问题：对NO浓度的贡献，哪个因素作用的大一点， 哪个小一些？
回归系数的标准化：
1.自变量数据的标准化： 2.求标准化偏回归系数：
X
' i
Xi Xi Si
用标准化的数据进行回归模型的拟合，算出它的方程，
此时所获得的偏回归系数b’，叫~。
b’无单位，可用来比较各个自变量对反应变量的贡献大小
比较：
未标准化的回归系数（偏回归系数）：用来构建回归 方程，即方程中各自变量的斜率。
计值 Yˆ 之间的残差（样
本点到直线的垂直距离) 平方和达到最小。 .
两个自变量时回归平面示意图
通过SPSS等统计软件，拟合X1、X2 、X3 、X4关于空 气中NO浓度的多重线性回归方程，得：
Y 0.142 0.116X1 0.004X 2 6.55106 X3 0.035X 4
管理统计学习题参考答案第十一章
十一章1. 解：回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；在线性回归中，按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。
如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关，则称为多元线性回归分析。
相关分析，相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。
相关分析和回归分析是研究客观现象之间数量联系的重要统计方法。
既可以从描述统计的角度，也可以从推断统计的角度来说明。
所谓相关分析，就是用一个指标来表明现象间相互依存关系的密切程度。
所谓回归分析，就是根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。
它们具有共同的研究对象，在具体应用时，相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。
只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。
由于相关分析不能指出变量间相互关系的具体形式，所以回归分析要对具有相关关系的变量之间的数量联系进行测定，从而为估算和预测提供了一个重要的方法。
在有关管理问题的定量分析中，推断统计加具有更加广泛的应用价值。
需要指出的是，相关分析和回归分析只是定量分析的手段。
通过相关与回归分析，虽然可以从数量上反映现象之间的联系形式及其密切程度，但是现象内在联系的判断和因果关系的确定，必须以有关学科的理论为指导，结合专业知识和实际经验进行分析研究，才能正确解决。
因此，在应用时要把定性分析和定量分析结合起来，在定性分析的基础上开展定量分析。
第11章 多重线性回归精简
2010-6-19
23
多重线性回归的小结
多重线性回归是简单线性回归的拓展，经常用 在筛选危险因素、控制混杂因素、分析交互作 用、预测与控制等。 基本步骤：单因素分析；逐步筛选变量；综合 单因素和多因素模型结果，当有矛盾时，结合 专业知识分析。
2010-6-19 24
1. 应用条件
（1）线性依存关系 应变量与自变量间具有线性依存 关系。 （2）正态性 应变量原则上是连续型可测正态变量， 其预测值与实际观测值的差值（即残差）服从正态 分布，当样本量较大时可以忽略正态性的要求。 （3）独立性 观察单位之间是独立的，即应变量的观 测值相互独立。
2010-6-19 27
思考与练习
1. 多重线性回归分析如何筛 选自变量？ 2.何谓共线性？它对资料分 析有何影响？ 3.如何评价方程的优劣？
？
2010-6-19
28
数据 设计方法
软件
SAS SPSS
？
结果
如何解释？
2010-6-19 29
2010-6-19
30
2010-6-19
9
矛盾出现了：对整体模型而言，获得R2＝0.9542 与整体F检验的概率为P＝0.0039的好结果；但 是，对于每一个偏回归系数而言，却没有一个偏 回归系数的效应具有统计学意义。 问题出在哪里？ 问题就出在X1，X2和X3存在共线性，以致回归系 数极不稳定，计算的结果并不是总体回归系数的 估计值，没有实际意义。
2010-6-19 13
对自变量较少的情况下可用逐步回归试一试？ 例3 按α=0.10水准，对上例8名学生数据进行肺活量
（Y）关于身高X1和体重X2与体重指数X3的逐步回归分 析。
2010-6-19
第11章多重线性回归分析思考与练习参考答案
0.674
5
0.795
0.809
1.734
1.715
0.549
0.654
6
0.787
0.779
1.509
1.474
0.782
0.571
7
0.933
0.880
1.695
1.656
0.737
0.803
8
0.799
0.851
1.740
1.777
0.618
0.682
9
0.945
0.876
1.811
三、计算题
为确定老年妇女进行体育锻炼还是增加营养会减缓骨骼损伤，一名研究者用光子吸收法测量了骨骼中无机物含量,对三根骨头主侧和非主侧记录了测量值，结果见教材表11-20。分别用两种桡骨测量结果作为反应变量对其他骨骼测量结果作多重线性回归分析，提出并拟合适当的回归模型，分析残差。
解：答案提示，需要对自变量进行筛选，而且要考虑是否存在多重共线性，如果存在，应进行适当的处理。
5.如何判断、分析自变量间的交互作用？
答：基于专业背景知识，构造可能的交互作用项，并检验交互作用项是否有统计学意义。
6.多重线性回归模型的基本假定有哪些？如何判断资料是否满足这些假定？如果资料不满足假定条件，常用的处理方法有哪些？
答：多重线性回归的前提条件是线性、独立性、正态性和等方差性，可以借助残差分析等方法判断资料是否满足条件。如果资料不满足前提条件，可以采用变量变换和非线性回归等方法处理。
19
0.856
0.786
1.390
1.324
0.578
0.610
20
0.890
0.950
2.187
《多重线性回归分析》PPT课件电子版本
内容
方法简介 基本原理 分析步骤 几点补充
2
一、方法简介
• 1.1 分析目的与方法选择 研究一个因变量与一个自变量间的线性关系时 简单线性回归分析 研究一个因变量与多个自变量间的线性关系时 多重线性回归分析
3
一、方法简介
• 1.2 概念 用回归方程定量地刻画一个因变量与多个自
SS残差(残差平方和) v残差=n-p-1
自变量的个数
SS总= SS回归+ SS残差 v总= v回归+ v残差
三、分析步骤
• 2. 具体步骤 • 2.2 模型检验
模型的显著性检验步骤为： 第一步，建立检验假设。 H0：b1=b2= … =bk=0 H1: b1, b2, …, bk不同时为0
14
三、分析步骤
故在评价两个包含不同个数自变量的回归模 型的拟合效果时，不能简单地用决定系数作为评 价标准。
此时，必须考虑回归模型中自变量个数的影 响。
36
三、分析步骤
• 2.5 模型拟合效果评价 • 2.5.2 校正决定系数(Rc2)
构造校正决定系数，其公式为：
RC 2=1-M M SS 误 总 差1n n p1 11R2
除此之外，还要求多个自变量之间相关性不 要太强。
8
ห้องสมุดไป่ตู้
二、基本原理
• 2.2 前提条件 线性——指自变量与因变量之间的关系是线性的
独立性——指各观测值之间是相互独立的
正态性——指自变量取不同值时，因变量服从正 态分布
方差齐性——指自变量取不同值时，因变量的方 差相等
9
三、分析步骤
• 1. 基本任务 求出模型中参数的估计值，对模型和参数进行
第11章 多重线性回归分析思考与练习参考答案
第11章多重线性回归分析思考与练习参考答案一、最佳选择题1.逐步回归分析中，若增加自变量的个数，则（D）。
A.回归平方和与残差平方和均增大B.回归平方和与残差平方和均减小C.总平方和与回归平方和均增大D.回归平方和增大，残差平方和减小E.总平方和与回归平方和均减小2.下面关于自变量筛选的统计学标准中错误的是（E）。
A.残差平方和（SS残差）缩小B.确定系数（R）增大2C.残差的均方（MS残差）缩小D.调整确定系数（Rad）增大2E.Cp统计量增大3.多重线性回归分析中，能直接反映自变量解释因变量变异百分比的指标为（C）。
A.复相关系数B.简单相关系数C.确定系数D.偏回归系数E.偏相关系数4.多重线性回归分析中的共线性是指（E）。
A.Y关于各个自变量的回归系数相同B.Y关于各个自变量的回归系数与截距都相同C.Y变量与各个自变量的相关系数相同D.Y与自变量间有较高的复相关E.自变量间有较高的相关性5.多重线性回归分析中，若对某一自变量的值加上一个不为零的常数K,则有（D）。
A.截距和该偏回归系数值均不变B.该偏回归系数值为原有偏回归系数值的K 倍C.该偏回归系数值会改变，但无规律D.截距改变，但所有偏回归系数值均不改变E.所有偏回归系数值均不会改变二、思考题1.多重线性回归分析的用途有哪些？答：多重线性回归在生物医学研究中有广泛的应用，归纳起来，可以包括以下几个方面：定量地建立一个反应变量与多个解释变量之间的线性关系，筛选危险因素，通过较易测量的变量估计不易测量的变量，通过解释变量预测反应变量，通过反应变量控制解释变量。
2.多重线性回归模型中偏回归系数的含义是什么？答：偏回归系数的含义是：在控制其他自变量的水平不变的情况下，该自变量每改变一个单位，反应变量平均改变的单位数。
3.请解释用于多重线性回归参数估计的最小二乘法的含义。
答：最小二乘法的含义是：残差的平方和达到最小。
4.如何判断和处理多重共线性？答：如果自变量之间存在较强的相关，则存在多重共线性。
第十一章多重多元回归分析
X1 11.5 9 7.9 9.1 11.6 13 11.6 10.7 11.1
X2 95.3 97.7 110.7 89 88 87.7 79.7 119.3 87.7
Y1 26.4 30.8 39.7 35.4 29.3 24.6 25.6 29.9 32.2
Y2 39.2 46.8 39.1 35.3 37 44.8 43.7 38.8 35.6
第十一章 多重多元回归分析
第一节 什么是多重多元回归分析
– 在工厂里研究产品的质量指标,而反映产品质量指标 有好几个，产品的质量指标可作为多个因变量；而 影响产品质量指标的因素也有多个，可作为自变量， 如何从数量上揭示这种相互依赖关系，又如何建立 它们的回归式以及预测预报就是一个多重多元回归 分析问题。
回归方程的检验：
即检验
这里，P=2，m2=m=2，N=9
在 所以，回归方程是显著的。
回归系数的检验 （1）检验
即检验
对
有无作用，在
之下，
表明
对
作用显著
（2）再检验
即检验 对
有无作用，在
之下，
表明
对
作用不显著
设
在 其中：
之下的剩余阵为：
且
独立，所以，
例：下表为某农学院育种研究室2002年品种区试的部分资料，其中x1为冬季分 蘖（单位：万），x2为株高（单位：厘米），y1为每穗粒数，y2为千粒重（单 位：克），进行y1、y2关于x1、x2的归归分析。
品种 小偃6号 7576/3矮790 68G(2)8 79190-1 9615_1 9615-13 73(36) 丰产3号 矮丰3号
称为回归方程
将数据写成矩阵的形式：
将n组数据带入到回归模型中：
医学统计学多重线性回归分析
医学统计学多重线性回归分析多重线性回归分析是一种用于确定多个自变量与一个因变量之间关系的统计方法。
在医学研究中，多重线性回归可以用于探讨多个潜在因素对人体健康和疾病发生的影响。
在多重线性回归中，因变量是要被预测或解释的变量，而自变量是可以用来预测或解释因变量的变量。
医学研究中可能存在多个自变量，因为人体健康和疾病发生是受多个因素综合影响的。
多重线性回归分析可以帮助我们确定每个自变量对因变量的相对重要性，并估计它们的效应。
多重线性回归模型可以表示为：Y=β0+β1X1+β2X2+...+βnXn+ε其中，Y是因变量，X1,X2,...,Xn是自变量，β0,β1,β2,...,βn 是模型的回归系数，ε是误差项。
多重线性回归分析的目标是通过估计回归系数来确定自变量对因变量的影响。
回归系数表示自变量单位变化对因变量的影响程度。
通过检验回归系数的显著性，可以判断自变量是否对因变量有统计上显著的影响。
此外，回归系数的符号可以指示自变量与因变量之间的正向或负向关系。
多重线性回归分析的步骤如下：1.收集数据：收集包括因变量和自变量的数据，通常需要足够的样本量来保证结果的可靠性。
2.数据清洗：对数据进行初步的清洗和整理，包括处理缺失值、异常值和离群值等。
3.模型构建：根据研究目的和理论背景选择自变量，并构建多重线性回归模型。
4.模型估计：通过最小二乘法估计回归系数。
最小二乘法通过最小化观测值与模型预测值之间的差异来确定回归系数。
5.模型诊断：对模型进行诊断检验，包括检验残差的正态性、线性性、同方差性等。
如果模型不符合假设条件，需要进行适当的修正。
6.结果解释：通过回归系数的显著性和效应大小来解释结果，确定自变量的影响和重要性。
多重线性回归分析常用的统计指标包括回归系数、标准误、P值和决定系数。
回归系数表示自变量单位变化对因变量的平均影响。
标准误表示回归系数的估计精度。
P值表示回归系数是否统计显著，一般认为P值小于0.05为显著。
11多元(重)线性回归精品PPT课件
编号
收缩压 年龄
(ID)
Y
X1
17
145
49
18
142
46
19
135
57
20
142
56
21
150
56
22
144
58
23
137
53
24
132
50
25
149
54
26
132
48
27
120
43
28
126
43
29
161
63
30
170
63
31
152
62
32
164
65
吸烟
X2
1 1 0 0 1 0 0 0 1 1 0 1 0 1 0 0
多元（重）线性回归
例子
人的体重与身高、胸围 血压值与年龄、性别、劳动强度、饮食习惯、
吸烟状况、家族史 糖尿病人的血糖与胰岛素、糖化血红蛋白、
血清总胆固醇、甘油三脂 射频治疗仪定向治疗脑肿瘤过程中，脑皮质
的毁损半径与辐射的温度、与照射的时间
32例40岁以上男性的年龄、吸烟、 体 重指数与收缩压
0.7967
Adj R-Sq （校正决定系数） 0.7749
Dependent Mean 应变量Y 的均值＝144.43750
剩余标准差（ Root MSE ）
S Y|12...p (YYˆ)2 /(np1)
SS残（np1） MS残 46.044886.78564
反映了回归方程的精度，其值越小说明回归效果越好
2. 逐步选择法
1. 前进法（forward selection） 2. 后退法（backward elimination） 3. 逐步回归法（stepwise regression）
管理统计学习题参考答案第十一章
一章1. 解：回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；在线性回归中，按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。
如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关，则称为多元线性回归分析。
相关分析，相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。
相关分析和回归分析是研究客观现象之间数量联系的重要统计方法。
既可以从描述统计的角度，也可以从推断统计的角度来说明。
所谓相关分析，就是用一个指标来表明现象间相互依存关系的密切程度。
所谓回归分析，就是根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。
它们具有共同的研究对象，在具体应用时，相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。
只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。
由于相关分析不能指出变量间相互关系的具体形式，所以回归分析要对具有相关关系的变量之间的数量联系进行测定，从而为估算和预测提供了一个重要的方法。
在有关管理问题的定量分析中，推断统计加具有更加广泛的应用价值。
需要指出的是，相关分析和回归分析只是定量分析的手段。
通过相关与回归分析，虽然可以从数量上反映现象之间的联系形式及其密切程度，但是现象内在联系的判断和因果关系的确定，必须以有关学科的理论为指导，结合专业知识和实际经验进行分析研究，才能正确解决。
因此，在应用时要把定性分析和定量分析结合起来，在定性分析的基础上开展定量分析。
11杨永利-多重线性回归与相关
一、多重线性回归模型拟合实例
【典型案例】
例17-5 为了研究影响肥胖者瘦素的主要危险因素， 某研究者调查了某医院肥胖门诊的500名肥胖就诊 者的瘦素、年龄、体重指数等因素，为了简化问题， 仅取自变量为年龄（X1，岁）、体重指数(X2， kg/m2)、总胆固醇(X3，mmol/L)、是否患糖尿病 （X4，患糖尿病为1，不患糖尿病为0）和是否患高 血压（X5，患高血压为1，不患高血压为0），应变 量为瘦素（Y，ng/ml）。为了说明的方便，这里仅 从500名肥胖就诊者中随机取30例，具体数据如表 17-11所示，分析肥胖者瘦素的主要影响因素。
ˆ y 0.175x1 0.513x2 0.116 x3 0.945x4 0.348x5 14.658
去掉无意义的变量
ˆ y 0.175x1 0.513x2 14.658
STEPWISE
决定系数越大，说明构建的回归方程越好。
STEPWISE
STEPWISE
先将贡献最大的变量进入方程，再将贡献次大的变量进 入方程……，直到所有有意义的变量都进入方程为止。
关于独立性的核查，可以通过计算 Durbin-Watson统计量来判断。该统计量 的取值一般在0-4之间，如果残差之间相 互独立，则取值在2左右，如果取值接近0 或4，则提示不满足独立性。
例17-5的模型假设诊断—正态性
提示残差满 足正态分布
如果残差不服从正态分布，可以对因变 量进行变量转换，如，取对数，使得因 变量近似服从正态分布。
Descriptives：提供一些变量描述，如有效例数、均数、标准差
等。
Collinearity diagnostics：给出一些用于共线性诊断的统计量，如
特征根（Eigenvalues）、方差膨胀因子(VIF)等。
多重线性回归分析
例：由于改革开放政策，深圳特区中外来人口大幅度增加， 为了考察特区中外来人口对本地经济发展的贡献，深圳特 区统计局收集了所属的宝安县在1987年末18个镇的人口 与工农业总产值数据（见数据文件reg.sav）。此处把工 农业总产值当作因变量（W），而把外地及本地人口数当 作两个自变量（Z1，Z2）。 （有关统计方法的原理及计算参见孙尚拱，《医学多变 量统计与统计软件》，北京医科大学出版社，2000）
练习1
以下实例摘自 Hosmer, David W . (2000). Applied logistic regression . John Wiley, New York. 研究目的是考察与婴儿低出生体重有关的可能危险因素（当体重低于 2500g时，认为是低出生体重婴儿）。研究收集了189例妇女的数据，其中 59例分娩低出生体重婴儿，130例分娩正常体重婴儿（数据见文件 data1.sav）。
2.Logistic模型
g ( x) 0 1 x1 2 x2 .... i xi .... m xm
g(x)是对P的变换，称为logit变换：
P g ( x) ln 1 P
可以得到：
P exp[ g ( x)] 1 exp[ g ( x)]
Logistic回归分析
（一）Logistic回归分析的任务
影响因素分析 logistic回归常用于疾病的危险因素分析，logistic回归 分析可以提供一个重要的指标：OR。
（二）Logistic回归分析的基本原理
1.变量特点 因变量：二分类变量，若令因变量为y，则常用y＝1表 示“发病”，y＝0表示“不发病”（在病例对照研究中， 分别表示病例组和对照组）。 自变量：可以为分类变量，也可以为连续变量。
第11章多重线性回归分析案例辨析及参考答案
第11章多重线性回归分析案例辨析及参考答案案例11-1预测人体吸入氧气的效率。
为了解和预测人体吸入氧气的效率，某人收集了31名中年男性的健康调查资料。
一共调查了 7个指标，分别是吸氧效率（Y , %）、年龄（X1,岁）、体重（X2, kg ）、跑1.5 km所需时间（X3, min ）、休息时的心跳频率（X4，次/min ）、跑步时的心跳频率（X5，次/min）和最高心跳频率（X6，次/min ）（教材表11-9）。
试用多重线性回归方法建立预测人体吸氧效率的模型。
教材表11 -9 吸氧效率调查数据Y X1 X2X3 X4 X5 X6 Y X1 X2X3 X4 X5 X644.609 44 89.47 11.37 62 178 182 40.836 51 69.63 10.95 57 168 17245.313 40 75.07 10.07 62 185 185 46.672 51 77.91 10.00 48 162 16854.297 44 85.84 8.65 45 156 168 46.774 48 91.63 10.25 48 162 16459.571 42 68.15 8.17 40 166 172 50.388 49 73.37 10.08 67 168 16849.874 38 89.02 9.22 55 178 180 39.407 57 73.37 12.63 58 174 17644.811 47 77.45 11.63 58 176 176 46.080 54 79.38 11.17 62 156 16545.681 40 75.98 11.95 70 176 180 45.441 56 76.32 9.63 48 164 16649.091 43 81.19 10.85 64 162 170 54.625 50 70.87 8.92 48 146 15539.442 44 81.42 13.08 63 174 176 45.118 51 67.25 11.08 48 172 17260.055 38 81.87 8.63 48 170 186 39.203 54 91.63 12.88 44 168 17250.541 44 73.03 10.13 45 168 168 45.790 51 73.71 10.47 59 186 18837.388 45 87.66 14.03 56 186 192 50.545 57 59.08 9.93 49 148 15544.754 45 66.45 11.12 51 176 176 48.673 49 76.32 9.40 56 186 18847.273 47 79.15 10.60 47 162 164 47.920 48 61.24 11.50 52 170 17651.855 54 83.12 10.33 50 166 170 47.467 52 82.78 10.50 53 170 17249.156 49 81.42 8.95 44 180 185资料来自：张家放主编•医用多元统计方法•武汉:华中科技大学出版社，2002。
第十一章 多元回归及复相关分析
4. 假设检验
• 对多元线性回归模型,除了参数估计问题外,还有 些假设检验问题:
•
之间的差异一般由两个原因引起:
一是当y与
之间确有线性关系时,
由于
取值不同,而引起yi取值的不同;
另一个是除去y与
之间线性关系以
外的一切因素引起的,包括
对y的非线性
影响及其它一切未加控制的随机因素.
多元线性回归在医学上的应用
• 1.确定多个指标变量与一个反应变量之间的线性 关系。
• 2.筛选疾病的危险因素和有利于健康的促进因素。 • 3.从较容易测得的自变量来推测较难测得的自变
量。 • 4.从已发生的x来预测将发生的y。 • 5.用于建立专家辅助诊断系统。
• 所以正规方程用矩阵形式表示即为:
为了求σ2的估计,先给出几个名词
补充：随机向量的特征函数和矩阵的迹的性质
(1)E( AX ) AE( X ) (2)D( X ) E( X EX )( X EX ) (3)D( AX ) AD( X ) A (4)tr( AB) tr(BA) (5)tr( A) tr( A) (6)tr( A B) tr( A) tr(B)
11.1 多元线性回归方程
观测次数 Y 1 2
p
n
• 1.多元线性回归模型 基本形式为：
第p个样本的观察值满足：
其中
相互独立且服从正态分布
• 2.基本假设 （1）因变量y是服从正态分布的连续型随机
变量。
（2）k个自变量是固定变量。 （3）k个自变量之间不存在多重共线性。 （4）k个自变量与残差独立。 （5） （6） （7）
通常用总的偏差平方和来衡量
波
动的大小:
第11章 多重线性回归分析1
t= b =
Sb
S Y ⋅X /
b
∑ (X − X )2
两个结果一致：
t= F
10
多重线性回归分析的基本目的是用以上的一组 自变量（X1,X2,…，XP）的数值估计一个反应变
量（Y）及其变异性的统计分析方法。
多重线性回归的数学模型为: Y的平均数 = β0 + β1X1 + β2 X 2 + ⋅⋅⋅ + βP X P （11-1）
5
3. Cp统计量 C即Criterion，p为所选模型中变量的个数
由Mallows（1966）提出的Cp统计量近年来受 到了广泛的重视，其定义为:
CP
=
SS残，p MS残，全
+ （2 P +1）− n
（11-9）
模拟多个预测值，选择较小的Cp值，相应
的回归方程最优。详见下表。
31
32
结论：体重指数和瘦素每减少一个单位，脂联 素的平均水平改变1.08和0.75单位，从标准化回 归系数可看出瘦素对脂联素的影响较大。
此标准的缺陷？
每增加一个自变量，残差平方和总会减 少一些，决定系数总会增大，即使增加 无统计学意义的自变量，也会如此。
建议选用所有自变量进入进行分析比较。
29
2.残差均方（MS残）缩小或调整决定 系数（R2）增大
残差均方与残差平方和的关系式为:
MS残
=
n
SS残 − p −1
希望MS残愈小愈好，作为选择自变量的准则。 事实上，调整决定系数R2愈大愈好与MS残最小 化完全等价，分析见教材p198中段 。
33
二、自变量筛选的常用方法
α1：设为入选标准；α2设为剔除标准。
11-多重线性回归分析(省医2015)
【Statistics 】Regression Coefficients：回归系数
Estimate：非标准化及标准化回归系数β、标准误，及其显
著性检验结果（t值和P值）。 Confidence intervals：非标准化回归系数的95%可信区间。 Model fit：模型拟合优度检验，给出复相关系数R，决定系 数R2，调整R2及方差分析结果 R squared change：每剔出或引入一个自变量所引趋同的R2 的变化量及相应的F值和P值。 Descriptives：输出每个变量的均数、标准差，样本容量， 相关系数及单侧检验P值的矩阵。 Part and partial correlations：简单相关系数及偏相关系数。 Collinearity diagnostics：输出共线性诊断的统计量。 Residuals：用于选择输出残差诊断的信息All cases：给出所 有观察单位的残差、标准化残差和预测值。
3. 结果及结果输出：
⑴ Enter：强制引入法
决定系数越大，说明构建的回归方程越好 ⑵
未标准化的 回归系数及标准误
标准化的 回归系数
回归系数 的t检验
ˆ 0.142 0.116 x1 0.004 x2 0.000006 x3 0.035 x4 y
11.2 自变量筛选
有些自变量对反应变量无影响或影
Y是分类 型变量
① 简单回归
1个自变量X
② 多重回归
2个以上自变量X
③ Logistic 回归
Logistic regression
Simple regression
Multiple regression
线性回归
曲线回归
概念区分：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、作业
教材P214 三。
二、自我练习
（一）教材P213 一。
（二）是非题
1．当一组资料的自变量为分类变量时，对这组资料不能做多重线性回归分析。
( )
2．若多重线性方程模型有意义．则各个偏回归系数也均有统计学意义。
〔)
3．回归模型变量的正确选择在根本上依赖于所研究问题本身的专业知识。
（）
4.从各自变量偏回归系数的大小．可以反映出各自变量对应变量单位变化贡献的大小。
( )
5.在多元回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数不变。
( )
（三）选择题
1. 多重线性回归分析中，共线性是指（），导致的某一自变量对Y的作用可以由其他自变量的线性函数表示。
A. 自变量相互之间存在高度相关关系
B. 因变量与各个自变量的相关系数相同
C. 因变量与自变量间有较高的复相关关系
D. 因变量与各个自变量之间的回归系数相同
2. 多重线性回归和Logistic 回归都可应用于（）。
A. 预测自变量
B. 预测因变量Y 取某个值的概率π
C. 预测风险函数h
D. 筛选影响因素（自变量）
3．在多重回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数：
A．不变
B．增加相同的常数
C．减少相同的常数
D．增加但数值不定
4．在多元回归中，若对某个自变量的值都乘以一个相同的常数k，则：
A．该偏回归系数不变
B．该偏回归系数变为原来的 1/k倍
C．所有偏回归系数均发生改变
D．该偏回归系数改变，但数值不定
5．作多重线性回归分析时，若降低进入的F 界值，则进入方程的变量一般会：
A．增多 B．减少 C．不变 D．可增多也可减少（四）筒答题
1.为什么要做多重线性回归分析？
2.多重线性模型中，标准化偏回归系数的解释意义是什么？
3.简述确定系数的定义及意义。
4.多重线性回归中自变量的筛选共有哪几种方法．请比较它们的优缺点？
5.何谓多重共线性，多重共线性对资料分析有何影响?出师表
两汉：诸葛亮
先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚危急存亡之秋也。
然侍卫之臣不懈于内，忠志之士忘身于外者，盖追先帝之殊遇，欲报之于陛下也。
诚宜开张圣听，以光先帝遗德，恢弘志士之气，不宜妄自菲薄，引喻失义，以塞忠谏之路也。
宫中府中，俱为一体；陟罚臧否，不宜异同。
若有作奸犯科及为忠善者，宜付有司论其刑赏，以昭陛下平明之理；不宜偏私，使内外异法也。
侍中、侍郎郭攸之、费祎、董允等，此皆良实，志虑忠纯，是以先帝简拔以遗陛下：愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。
将军向宠，性行淑均，晓畅军事，试用于昔日，先帝称之曰“能”，是以众议举宠为督：愚以为营中之事，悉以咨之，必能使行阵和睦，优劣得所。
亲贤臣，远小人，此先汉所以兴隆也；亲小人，远贤臣，此后汉所以倾颓也。
先帝在时，每与臣论此事，未尝不叹息痛恨于桓、灵也。
侍中、尚书、长史、参军，此悉贞良死节之臣，愿陛下亲之、信之，则汉室之隆，可计日而待也。
臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。
先帝不以臣卑鄙，猥自枉屈，三顾臣于草庐之中，咨臣以当世之事，由是感激，遂许先帝以驱驰。
后值倾覆，受任于败军之际，奉命于危难之间，尔来二十有一年矣。
先帝知臣谨慎，故临崩寄臣以大事也。
受命以来，夙夜忧叹，恐托付不效，以伤先帝之明；故五月渡泸，深入不毛。
今南方已定，兵甲已足，当奖率三军，北定中原，庶竭驽钝，
攘除奸凶，兴复汉室，还于旧都。
此臣所以报先帝而忠陛下之职分也。
至于斟酌损益，进尽忠言，则攸之、祎、允之任也。
愿陛下托臣以讨贼兴复之效，不效，则治臣之罪，以告先帝之灵。
若无兴德之言，则责攸之、祎、允等之慢，以彰其咎；陛下亦宜自谋，以咨诹善道，察纳雅言，深追先帝遗诏。
臣不胜受恩感激。
今当远离，临表涕零，不知所言。