多重线性回归

多重回归与相关
（Multiple regression and correlation）
一、基本概念：
由于大自然是复杂的，其中的现象大部分不是一对一的关系，不能用线性回归与相关来解决问题。

如：人的体重与身高有关，也与胸围有关；血压值的大小除了与年龄有关外，还受到性别、劳动强度、饮食习惯、吸烟状况、家族史等因素的影响。

多重回归与多重相关是研究一个因变量和多个自变量之间线性关系的统计学分析方法。

1. 多个自变量与一个因变量的数量关系多重回归
2. 多个自变量与多个因变量的数量关系多元回归
3. 多个变量与一个变量的相关关系多重相关
4. 多个变量与多个变量的相关关系典则相关
5. 扣除其它变量影响后一变量与另一变量的相关关系 偏相关 本章仅讨论多重线性回归、多重线性相关和偏相关。

二、多重线性回归模型与参数估计：
(一) 多重线性回归模型:
设观察了n 个对象，每个对象观察了因变量Y 和p 个自变量， 模型表达式：
p p p x x x Y X X X ββββμ++++= 22110,...,2,1|
样本回归方程： p p X b X b X b a Y
++++= 2211ˆ
β0(a)为截距，β1,β2,…,βp (b 1,b 2,…,b p )为偏(部分)回归系数，βi (b i )表示除X i 外的其他自变量固定时，X i 改变一个单位后Y 的平均变化。

标准回归系数：偏回归系数因各自变量值的单位不同不能直接比较其大小，对变量值作标准化变换，得到的回归系数为标准回归系数，可直接比较其大小，反映各自变量对因变量的贡献大小。

(二) 参数估计的方法: 最小二乘原则
∑=∑=++++-=-=n i p p i n i i )]X b ...X b X b b (Y [)Y Y (Q 1
2
221101
2 最小。

对方程中的每个待估参数求导并设导数为零，得到一组线性方程组。

由于是线性方程组，可以直接求解。

具体的计算复杂，手工计算几乎不可能，一般需要计算机软件完成。

例：重庆医科大学附属第二医院的资料，住院人数与门诊人数、病床利用率和病床周转次数的回归关系分析。

参数估计如下：
变量 回归系数 标准误 t P 截距 -4848.944 3128.707 -1.55 0.1407 门诊人数X 1
55.886 18.001 3.10 0.0068
病床利用率X 2 21.930 39.813 0.55 0.5894 病床周转次数X 3 319.047 96.593 3.30 0.0045 得到回归方程：
32192998.31214931.1919851.5605583.4510ˆX X X Y
+++-=
三、多重线性回归的假设检验：
1. 回归方程的方差分析：
(1) 检验假设：H 0：021====p ...βββ
H 1：p ,..,,βββ21不全为0。

050.=α
(2)计算统计量F 值：
9461837)ˆ(1
2=-=
∑=n i i e y
y SS SS T =36528242
SS r =SS T -SS e =36528242-9461837=27066405
26.1516
/94618373/27066405//====e r e e r r MS MS SS SS F νν
(3)确定概率和判断结果： p<0.001，拒绝零假设，认为各偏回归系数不全为零，多重回归方程成立。

2. 回归系数的假设检验：
(1)检验假设：H 0：01=β H 1：01≠β 050.=α
(2)计算统计量：10.3001
.18886
.55)(011==-=
b SE b t
(3)确定概率和判断结果：P=0.0068，偏回归系数不是来自0的总体。

3. 决定系数计算:
决定系数为：741.036528343
2706640512
==-==SST SSE SST SSM R
说明在该医院住院人数的变异有74.1％可以用门诊人数，病床利用率及病床周转次数来解释。

由于引进变量越多，决定系数肯定越大，决定系数不能反映回归方程的优良性。

特别是作模型间的比较时，用校正决定系数较好。

6924.0)1/()1/(112
=----=-=n SST p n SSE MST MSE AdjR
四、回归分析中的变量筛选：
多重回归分析时，不是引入模型的变量越多越好。

与Y 不相干的变量引入模型不但不能改善模型的预测效果，可能还会增加预测误差。

因此筛选“较优”的模型是多重回归分析的重要任务之一。

（一）筛选变量的统计学标准：
1. 决定系数2
R 或SSE 最小。

2. MSE 最小。

等价于MST
MSE
AdjR -=12。

3. C p 最小。

1973年由Mallows C L 提出，目前认为是较好的标准。

)1(2)(＋）（p n MSE
p SSE C p +-=
此统计量由两部分组成，当入选自变量增多即p 增大时，上式中第一项变小，第二项变大；而p 减小时，上式中第一项变大，第二项变小。

想得到较小的C p 值，必须是这两项的折衷，即入选自变量的数目p 较为适中，不能过大也不能过小。

（二）逐步筛选变量的方法：
1. 所有可能子集法：较好的方法。

但计算量大。

2．后退法（Backward）: 开始全部引入，然后逐个剔除(偏回归平方和最小，F<F剔除)，使方程内无统计学意义的变量全部剔除为止。

3．向前法（Forward）：从引入一个自变量（偏回归平方和最大，F>F引入）开始，自变量由少到多逐个引入，使方程外有统计学意义的变量全部引入为止。

优点：计算量小。

缺点：一次只能引入一个变量。

4．逐步法（Stepwise）：开始一个或全部变量引入，然后上述两种方法交替使用，引入变量后立即考虑是否要剔除，剔除变量后立即考虑是否要引入，直到方程内的变量全部有统计学意义，方程外的变量全部无统计学意义为
止。

较好的方法。

五、多重回归分析的主要用途：
1．筛选有关变量（主要用途）。

2．获得有实际意义的回归方程。

六、多重回归分析的一般步骤：
1．单因子模型分析。

2．逐步筛选变量，建立多因素模型。

3．综合单因子和多因素模型的结果，当两者矛盾时，结合专业知识分析原因（因素之间是否存在拮抗或协同作用）。

七、多重相关和部分相关：
应用条件：同简单线性相关一样，仅当X 1，X 2，…， Y 为多元正态分布的随机变量时才能考虑相关分析。

1. 复相关系数(多重相关系数)：多重相关的实质就是Y 的实际观察值与由p
个自变量预测的Y
ˆ值的相关。

前面计算的决定系数是Y 与Y
ˆ相关系数的平方，那么复相关系数就是决定系数的平方根。

8608.0741.0)ˆ,(2====Y
Y Corr R R
2. 偏相关系数（部分相关系数）：部分相关系数反映校正其它变量后某一变量与另一变量的相关关系，校正的意思可以理解为假定其它变量都取值为均数。

计算公式： )
r )(r (r r r r ,22321323131231211---=
3. 偏相关系数的假设检验：
用t 检验。

总体中扣除q 个变量影响的偏相关系数为ρ(-q)，样本中相应的偏相关系数为r(-q)。

检验假设：H 0: ρ(-q)＝0， H 1: ρ(-q)≠0
可采用统计量： 2)()(12q q r q n r t -----=
ν＝n-q-2
偏相关系数的假设检验等同于偏回归系数的t 检验。

复相关系数的假设检验等同于回归方程的方差分析。

出师表
两汉：诸葛亮
先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚危急存亡之秋也。

然侍卫之臣不懈于内，忠志之士忘身于外者，盖追先帝之殊遇，欲报之于陛下也。

诚宜开张圣听，以光先帝遗德，恢弘志士之气，不宜妄自菲薄，引喻失义，以塞忠谏之路也。

宫中府中，俱为一体；陟罚臧否，不宜异同。

若有作奸犯科及为忠善者，宜付有司论其刑赏，以昭陛下平明之理；不宜偏私，使内外异法也。

侍中、侍郎郭攸之、费祎、董允等，此皆良实，志虑忠纯，是以先帝简拔以遗陛下：愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。

将军向宠，性行淑均，晓畅军事，试用于昔日，先帝称之曰“能”，是以众议举宠为督：愚以为营中之事，悉以咨之，必能使行阵和睦，优劣得所。

亲贤臣，远小人，此先汉所以兴隆也；亲小人，远贤臣，此后汉所以倾颓也。

先帝在时，每与臣论此事，未尝不叹息痛恨于桓、灵也。

侍中、尚书、长史、参军，此悉贞良死节之臣，愿陛下亲之、信之，则汉室之隆，可计日而待也。

臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。

先帝不以臣卑鄙，猥自枉屈，三顾臣于草庐之中，咨臣以当世之事，由是感激，遂许先帝以驱驰。

后值倾覆，受任于败军之际，奉命于危难之间，尔来二十有一年矣。

先帝知臣谨慎，故临崩寄臣以大事也。

受命以来，夙夜忧叹，恐托付不效，以伤先帝之明；故五月渡泸，深入不毛。

今南方已定，兵甲已足，当奖率三军，北定中原，庶竭驽钝，攘除奸凶，兴复汉室，还于旧都。

此臣所以报先帝而忠陛下之职分也。

至于斟酌损益，进尽忠言，则攸之、祎、允之任也。

愿陛下托臣以讨贼兴复之效，不效，则治臣之罪，以告先帝之灵。

若无兴德之言，则责攸之、祎、允等之慢，以彰其咎；陛下亦宜自谋，以咨诹善道，察纳雅言，深追先帝遗诏。

臣不胜受恩感激。