多重线性回归与相关

Y 0.14166 0.0001161X 1 0.00449 X 2 0.00000655 X 3 0.03468 X 4

第二节 多重线性回归的假设检验
回归方程检验
目的：自变量的组合对反应变量的影响是 否有统计学意义。
偏回归系数检 验
目的：每个自变量对反应变量的影响是否 有统计学意义。
2
说明用包含汽车流量、气温、气湿与风速这四个 变量的回归方程可以解释交通点空气NO浓度变 异性的78.74%
复相关系数(multiple correlation coefficient) R,定 义为决定系数的算术平方根，即
R
SS回 SS总
表示变量Y与p个自变量线性相关的密切程度。 本例R=0.8703，表示交通点空气NO浓度与汽车 流量、气温、气湿与风速等四个变量的复相关系 数为0.8703
SS回 R SS总
2
取值范围为0≤R2≤1，越接近与1，说明样本 数据越好的拟合了所选用的线性回归模型。 对总体确定系数R2=0的假设检验完全等价 于对回归方程的整体方差分析，因为
2 SS回 / p R /p F= SS残 / (n p 1) (1 R2 ) / (n p 1)
其中，n为样本含量，p为方程中自变量的个数。 右端第二项旨在对回归方程中自变量个数实施惩 2 罚，较大的p会使 Ra 值减小。 对例13-1，R =0.7874，n=24,p=4,则
2 a
4(1 0.7874) R 0.7874 0.7426 24 4 1
2 a
二.偏相关系数
二.回归参数的估计
多重线性回归分析的前提条件完全与简单线性回 归的条件相同：线性、独立、正态和等方差，即 LINE。 采用最小二乘法(LSE)来估计未知参数
基本原理：利用收集到的因变量和自变量的一组 数据，建立一个因变量关于自变量的线性函数模 型，使得这个模型的理论值和观察值之间的离差 平方之和尽可能地小。
二.回归系数的t检验
回归方程具有统计学意义时，检验某个总体偏回 归系数是否等于0，以判断相应的变量对回归是 否的确有贡献。
H0:βj=0
H1:βj≠0
检验统计量为
tj
bj sbj
其中Sbj为第j偏回归系数的标准误。 SAS结果如表13-3所示。
表 13-3
偏回归系数的 t 检验与标准化偏回归系数
其中，β0为常数项，也称截距； βj为自变量Xj 的偏回归系数（partial regression coefficient）, 表示当方程中其他自变量保持不变时，自变量 变化一个单位，反应变量Y的平均值变化的单 位数；而e则是除去p个自变量对Y影响后的随 机误差，也称残差。
相应的由样本估计而得到的多重线性回归方程为：
可见，这四个变量中，变量 X1 、X2和X4的偏回归 系数在0.05概率水平具有统计学意义，而气湿 (X3)对NO浓度的影响无统计学意义。
第三节 复相关系数与偏相关系数
一.决定系数、复相关系数与调整决定系数 回归平方和在总平方和的百分比称为确定系数 或决定系数(coefficient of determination) ，记 为R2,用以反映线性回归模型能在多大程度上 解释反应变量Y的变异性。其定义为：
其中， 为Xi（X1 ，X2 ，... Xp）时反应变量Y的 总体平均值的估计值； b0和b1，b2，… bp为偏 Y 回归系数的估计值。 P个自变量都有各有计量单位，所以不能直接用普 通偏回归系数的数值大小来比较方程中各个自变 量对反应变量的影响大小。 怎么办？将数据标准化，求标准化偏回归系数。
其中，p为回归模型中自变量的个数，n为 样本含量。
R2是联系多重回归与相关的纽带，反映回
归模型拟合数据的优良程度。
对例13-1，由方差分析表可得： SS回=0.06396 SS残=0.01727 SS总=0.08122
0.06396 0.01727 R 1 0.7874 0.08123 0.08123
Y b0 b1 X1 b2 X 2 bp X p

将原始观测数据进行标准化，即
Xi Xi X Si
* i
然后用标准化的数据进行回归模型拟合，得 到标准化回归系数(standardized partial regression coefficient )。标准化偏回归系数 （没有单位）较大的自变量在数值上对反 应变量Y的影响较大。
Residual SS
注意检验假设：
H0:β1=β2=β3=β4=0 H1:总体偏回归系数不全为0
表 13-2 检验回归方程整体意义的方差分析 变异来源 自由度 SS MS F P 回归模型 4 0.06396 0.01599 17.59 ＜0.0001 残差 19 0.01727 0.00090903 总变异 23 0.08123
只有一个自变量时，回归的结果为二维平 面上的一条直线； 有两个自变量时，回归结果为三维空间的 一个平面（如图13-1）； 有更多变量时，回归结果则是在三维以上 空间的“超平面”，无法用直观图形表达， 只能想象。
Y
X1
X2
图13-1 两个自变量时，回归平面示意图
根据最小二乘法可以得到如下方程组：
l11b1 l12b2 l1 p b p l1Y l21b1 l22b2 l2 p b p l2Y l b l b l b l pp p pY p1 1 p 2 2
b0 Y (b1 X 1b2 X 2 bp X p )
调整的R2(adjusted R-square) 随着回归方程的自
变量的增加， R2值表现为只增加不减少(可能贡 献极小)，这是负相关系数R2的缺点。一个好的 模型尽可能用少的自变量或者更为简约的形式解 释反应变量的变异性，这时用调整的R2
p(1 R ) R R n p 1
2 2 a 2
(a)冷饮销售量与游泳人数的散点图，正相 关： （r=0.97239）
(b)冷饮销售量与气温98909 ）
(c)游泳人数与气温的散点图和游泳人数关 于气温的回归与残差： （r=0.97617） (d)冷饮销售量残差关于游泳人数残差的散 点图，扣除气温的影响之后，冷饮销售量 残差和游泳人数残差的相关性几乎不存在 了： （r=0.21495）
第十三章 多重线性回归与相关
卫生统计与流行病学教研室
2010年11月22日
理论复习与拓展
图 11-0 回归与相关类型 自变量 反应变量 一个 多个 多个 多个 多个 一个 一个 一个 多个 一个 多个 一个 一个 一个 研究关系 数量 数量 数量 相关 相关 相关 相关 （扣除其他变量影响） 方法 简单回归 多元回归(Multivariate regression) 多重回归(Multiple regression) 典则相关/典型相关 多重相关 简单相关 偏相关
暑假期间双胞胎兄弟大明和小明参加勤 工俭学，大明在超级市场帮助卖冷饮，小 明在游泳池收门票。一个月下来，他们发 现，冷饮销售量和游泳人数呈正相关。是 不是爱吃冷饮的人想游泳？或爱游泳的人 喜欢冷饮？教统计学的爸爸将他们11天的 数据汇集于表13-4，并画了几幅示意图 （图13-2）。
表 13-4 冷饮销售量、游泳人数与气温数据 冷饮销售量（元） 游泳人数（人） 气温（oC） X1 X2 X3 267 722 29 397 814 30 451 924 31 528 1066 32 618 1253 33 655 1369 34 690 1593 35 740 1761 36 780 1931 37 889 2231 38 996 2749 39
本章内容
多重线性回归的概念及其统计描述
多重线性回归的假设检验 复相关系数与偏相关系数 自变量筛选
多重回归(Multiple linear regression)与 多重相关(Multiple correlation)是研究一个 连续性因变量和多个自变量之间的线性关 系的统计学方法。其基本原理和方法与简 单回归和相关完全一致。 本章讨论多重回归与相关的一些基本概 念。学完后应掌握如何收集准确的数据、 正确调用统计分析的程序以及对输出结果 进行合理解释。
第一节 多重线性回归的概念 及其统计描述
一.数据与模型 例13-1 为了研究空气中一氧化氮(NO)的浓度与
汽车流量等因素的关系，有人测定了某城市交通
点在单位时间内过往的汽车数、气温、空气湿度、
风速以及空气中的NO的浓度，数据如表13-1所
示。
车流 (X1) 1300 1444 786 1652 1756 1754 1200 1500 1200 1476 1820 1436
一.回归方程检验（方差分析）
将应变量Y 的离差平方和分解成两部分：
SS总 SS回 SS 残差
其中回归平方和可用下式计算：
SS回 b1l1 y b2l2Y bm lmY b j l jY
残差平方和：
SS 残差 SS总 SS回
Y
X1
X2
Total SS
Model SS
变量 自由度 回归系数 标准误 t值 P 值 标准化偏回归系数 截距 1 -0.14166 0.06916 -2.05 0.0546 0 X1 1 0.00011619 0.00002748 4.23 0.0005 0.59249 X2 1 0.00449 0.00190 2.36 0.0289 0.27274 X3 1 -0.00000655 0.00069083 -0.01 0.9925 -0.00110 X4 1 -0.03468 0.01081 -3.21 0.0046 -0.44770
冷饮销售量和游泳人数的正相关是气温造 成的假象，扣除气温的影响之后两者就不 相关了。