多元线性回归分析

X
' j
=
X
j
− X Sj
j
标准化回归方程
标准化回归系数 bj ’ 的绝对值用来比较各个自变量 Xj 对 Y 的影响程度大小； 绝对值越大影响越大。标准化回归方程的截距为 0。 标准化回归系数与一般回归方程的回归系数的关系：
b 'j = b j
l jj l YY
⎛ Sj ⎞ = b j⎜ ⎜S ⎟ ⎟ ⎝ Y⎠
R = R2
^
�
说明所有自变量与 Y 间的线性相关程度。即 Y 与 Y 间的相关程度。联系了回归和相关
-5-
�
如果只有一个自变量，此时
R=r 。
3) 剩余标准差（ Root MSE ）
SY |12... p =
∑ (Y − Yˆ )
2
/( n − p − 1)
= SS 残 （n − p − 1 ） = MS 残 = 46.04488 = 6.78564 反映了回归方程的精度，其值越小说明回归效果越好
（SS 残） p Cp = − [n − 2(p + 1)] （ MS 残） m p≤m
2
P 为方程中自变量个数。 最优方程的 Cp 期望值是 p+1。应选择 Cp 最接近 P+1 的回归方程为最优。
5、决定模型好坏的常用指标和注意事项：
• 决定模型好坏的常用指标有三个：检验总体模型的 p-值，确定系数 R2 值和检验每一 个回归系数 bj 的 p-值。 • 这三个指标都是样本数 n、模型中参数的个数 k 的函数。样本量增大或参数的个数增 多，都可以引起 p-值和 R2 值的变化。但由于受到自由度的影响，这些变化是复杂 的。 • 判断一个模型是否是一个最优模型，除了评估各种统计检验指标外，还要结合专业知 识全面权衡各个指标变量系数的实际意义，如符号，数值大小等。 • 对于比较重要的自变量，它的留舍和进入模型的顺序要倍加小心。
（2）全局选择法
对自变量各种不同的组合所建立的回归方程进行比 c 选择法
MS 残 n −1 2 Rc = 1− （ 1 − R2 ） = 1− n−p −1 MS 总
-4-
�R2 可用来评价回归方程优劣。 �随着自变量增加，R2 不断增大，对两个不 同个数自变量回归方程比较， 须考虑方程包含自变量个数影响，应对 R2 进行校正。 �所谓“最优”回归方程指 R c 最大者。 2） C p 选择法
-6-
7、多元线性回归应用的注意事项
（1）变量数量化
1 2 3 4
自变量为连续型变量 (必要时作变换) 自变量为有序变量(依次赋值，如疗效好中差，可分别赋值 3、2、 1) 自变量为二分类(可令男＝1，女＝0） 自变量为名义分类（需要采用哑变量（dummy variables）进行编码） （2）样本含量 n 至少是 X 个数 m 的 5～10 倍 （3）多重共线性
ˆ （5）残差分析 e i = Y i − Y i e 'i =
（6）偏相关系数
ei MS
标准化残差
残
-7-
（1）估计偏回归系数
最小二乘法：使得残差的平方和
ˆ 2 = Σ[Y − (b0 + b1 X 1 + b2 X 2 )]2 Q = Σ Y −Y
达到最小。
(
)
（2）检验参数 t 检验法： H0：βj =0 vs H1： βj ≠0 (j=1,2,…,k)
tj =
（3）模型检验
bj Sb j
～t（N-k-1）
（1）模型
Y = β 0 + β1 X 1 + β 2 X 2 + ⋯ + β m X m + e
β0 βj 常数项 偏回归系数(partial regression coefficient)：在其它自变量保持不变时，Xj 增加 或减少一个单位时 Y 的平均变化量。 e 去除 m 个自变量对 Y 影响后的随机误差。
-1-
（2）数据的假设条件：
① 因变量是连续随机变量； ② 自变量是固定数值型变量，且相互独立； ③ 每一个自变量与因变量呈线性关系； ④ 每一个自变量与随机误差相互独立； ⑤ 观察个体的随机误差之间相互独立； ⑥ 随机误差 {ei}～N(0, )。
3、多元线性回归分析的方法步骤
（1）估计偏回归系数 b0,b1…bk； （2）检验回归系数 b0，b1…bk 的统计意义； （3）检验模型 y=b0+b1x1+…+bkxk 的统计意义； （4）诊断模型； （5）解释模型参数的实际意义。
vs H1：βj≠0
1） F 检验法：H0：β1=…= βk = 0
-2-
2）判断模型的另一个指标：决定系数 R2
R2 =
SS 回 133 .7107 = ——它表示了因变量 = 0.6008 y 的总体变异中被所有自变量所 SS 总 222 .5519
解释的比例。
（4）模型的诊断
数据应满足的假设条件(assumption)： a) 自变量之间不存在多重共线性； b) 自变量与残差独立； c) 残差 的均值为零，方差为常数； d) 残差之间相互独立 ； e) 残差服从正态分布。 例如： 多重共线性 分析结果不稳定——显著性消失、符号错误 不满足条件导致的后果： a) 结论不唯一； b) 模型中缺少重要自变量； c) 参数估计出现偏倚； d) 结果失真； e) 统计检验结果出现偏倚。
（2）各自变量的假设检验评价 1)偏回归平方和 表示模型中含有其它 m-1 个自变量的条件下该自变量对 Y 的回归贡献。 其值 愈大说明相应的自变量愈重要。
H 0 : β j = 0,
H1 :βj ≠ 0
α = 0.05 SS 回 /1 （X） j Fj = SS 残 / （n − m − 1 ）
2)标准偏回归系数 标准：即变量进行标准化转换，标准化后，结局变量 Y 和原因变量 X 均转换 为无单位的标准分 Z 分。 偏：在统计上指控制了其他变量后单个因素的作用。 因此，标准偏回归系数是没有测量单位的值。取值范围在－1～＋1 之间。 该系数的作用是： （1）比较不同 X 对 Y 的作用大小 （2）控制混杂因素的影响
自变量间存在着相关关系，使一个或几个自变量可以由另外的自变量线性表示时，称为 该变量与另外的自变量间存在有共线性(collinearity) 。 自变量共线性识别方法： � � � � 回归系数的符号与专业知识不符； 变量的重要性与专业不符； R2 高，但各自变量对应的回归系数均不显著； 方差膨胀因子（Variance Inflation Factors ，VIF) >10 （4）变量间的交互作用 当某一自变量对应变量的作用大小与另一个自变量的取值有关时， 则表示两个 变量有交互作用（interaction） 。 检验两变量间有无交互作用， 普遍的做法是在方程中加入它们的乘积项再做检验。 如考 察 X1、X2 间的交互作用，可在模型中加入 X1X2 项。 自变量共线性消除方法： � � � 主成分回归； 剔除某个造成共线性的自 变量。 岭回归
多元线性回归分析
1、多元线性回归分析的基本思想及目的
多元线性回归分析： 研究一个因变量与一组自变量的依存关系， 即， 研究一组自变量是如何直接影响一个因变量 的。其目的：
1 2 3
分析原因变量对结局变量的作用大小； 用已知的原因变量预测结果变量的变化； 控制混杂因素，评价研究因素的独立效应
2、多元线性回归分析的数学模型
• 当自变量较多时，获得最优模型的方法一般采用逐步回归的方法，即依次分析所有可 能的模型，逐步地达到最优模型的条件。 • 常用的有三种逐步回归法： （1）向前选择法 (forward selection) 自变量从无到有、从少到多 1. Y 对每一个自变量作直线回归， 对回归平方和最大的自变量作 F 检验， 有意义 （P 小） 则引入。 2. 在此基础上，计算其它自变量的偏回归平方和，选取偏回归平方和最大者作 F 检 验，…。 局限性：即后续变量的引入可能会使先进入方程的自变量变得不重要。
6、多元回归中有关参数的解释
（1）评价回归方程的参数 1）决定系数 R2
R2 =
� �
SS回 SS总
测量 Y 变量的变异（SS 总）有多大比例能为 X 变量（一个自变量或自变量集）所解释。 变化范围：0～1，决定系数越大，说明方程的预测准确性越高，原因变量对结果变量 变 化的解释程度越高。 2）复相关系数 R
（2）向后消去法
(backward elimination)
先将全部自变量放入方程，然后逐步剔除 1. 2. 偏回归平方和最小的变量， 作 F 检验及相应的 P 值， 决定它是否剔除 （P 大） 。 建立新的回归方程。重复上述过程。
局限性：自变量高度相关时，可能得不出正确的结果 。 （3）逐步过程法 (stepwise procedure) 双向筛选 ；引入有意义的变量（前进法） ，剔除无意义变量（后退法） 小样本检验水准 a 定为 0.10 或 0.15， 大样本把值定为 0.05。 值越小表示选取自变量的 标准越严。 注意，引入变量的检验水准要小于或等于剔除变量的检验水准。
（5）模型参数的解释及意义 1）
其中，b0, b1,…, bk 是偏回归系数β 0, β1, …. ,βk 的估计值。 bj 表示了当其它自变量不变时，xj 改变一个单位所引起的 y 的改变量。
2）标准偏回归系数估计值及其作用：
标准偏回归系数消除了量纲的影响， 可以相互比较， 用来判断自变量对因变量的影响强弱。 同一模型中对参数估计值进行大小比较，绝对值大的 b' j 的影响大，或者说，与因变量 y 的关联性强。 对应的自变量 x j 对因变量 y
4、多元线性回归分析自变量筛选 （1）逐步选择法
• 判断一个模型是否是一个最优模型，既要考虑总体模型的检验结果，还要考虑每一个 参数的检验结果，并且要将两者结合起来。