主成分回归多重共线性

实验八：主成分回归

实验题目：对例5.5的Hald水泥问题用主成分方法建立模型，并与其他方法的结果进行比较。

例5.5如下：本例为回归经典的Hald水泥问题。某种水泥在凝固时放出的热量y（卡/克，cal/g）与水泥中的四种化学成分的含量（%）有关，这四种化学成分分别是x1铝酸三钙（3CaO.Al2O3），x2硅酸三钙（3CaO.SiO2），x3铁铝酸四钙（4CaO.Al2O3.Fe2O3），x4硅酸三钙（2CaO.SiO2）。现观测到13组数据，如表5-3所示。

表5-3

实验目的：多重共线性的诊断及解决方法、利用主成分回归解决多重共线性问题。SPSS输出结果及答案：

一、主成分法：

多重共线性诊断：

已提取了4 个成份。

由解释的总方差表中累计贡献性知，f1和f2的累计贡献性就在85%~95%之间。所以主成分取f1,f2。

得到因子得分的数值，并对其进行处理：sqrt(2.236)* FAD1_1, sqrt(1.576)* FAD2_1可以得出主

成分表（f1 f2）。

对f1 f2进行普通最小二乘线性回归

系数a

模型非标准化系数标准系数

t Sig.

B 标准误差试用版

1 (常量) 95.423 .855 111.635 .000

f1 9.882 .595 .982 16.610 .000

f2 .125 .709 .010 .176 .864

a. 因变量: y

由系数表可得，主成分回归方程为：

^y=95.423+9.882 f1+0.125 f2

分别对两个主成分f1和f2做因变量，以4个原始自变量为自变量做线性回归

模型非标准化系数标准系数

t Sig.

B 标准误差试用版

1 (常量) -.643 .000 . .

x1 .081 .000 .318 . .

x2 .036 .000 .377 . .

x3 -.062 .000 -.264 . .

x4 -.033 .000 -.366 . .

a. 因变量: f1

f1=-0.643+0.081x1+0.036x2-0.062x3-0.033x4 对f2和x1x2x3x4进行回归

模型非标准化系数标准系数

t Sig.

B 标准误差试用版

1 (常量) -.938 .000 -1119037.661 .000

x1 -.087 .000 -.405 -9710099.545 .000

x2 .027 .000 .330 3071727.057 .000

x3 .094 .000 .482 10459854.955 .000

x4 -.027 .000 -.359 -3177724.589 .000

a.因变量: f2

f2=-0.938-0.087x1+0.027x2+0.094x3-0.027x4

所以还原后的主成分回归方程为：

^y=88.951624+0.789567x1+0.359127x2-0.600934x3-0.329481x4

从主成分法得出的方程中我们可以看出某种水泥在凝固时放出的热量与铝酸三钙，硅酸三钙成正比，与铝酸四钙和硅酸二钙成反比，且当该水泥放出1单位的热量时，需要消耗0.789567g的铝酸三钙和0.359127g的硅酸三钙；当该水泥吸收1单位的热量时，需要消耗0.600934g的铝酸四钙和0.329481g的硅酸二钙。

二．岭回归法

首先做普通二乘回归，得到结果如下：

由系数表中的方差扩大因子VIF可以初步看出直接建立的线性模型具有严重的共线性，所以我们直接用岭回归方法进行处理，与再与主成分法进行比较。

岭回归

INCLUDE 'C:\Program Files\IBM\SPSS\Statistics\19\Samples\English\RIDGE regression.sps'.

RIDGEREG enter x1 x2 x3 x4

/dep=y

R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K

K RSQ x1 x2 x3 x4

______ ______ ________ ________ ________ ________

.00000 .98238 .606512 .527706 .043390 -.160287

.05000 .98092 .465987 .298422 -.092800 -.394132

.10000 .97829 .429975 .299810 -.115702 -.382409

.15000 .97492 .403545 .300180 -.129867 -.370747

.20000 .97105 .382726 .299130 -.139136 -.360181

.25000 .96676 .365601 .297070 -.145317 -.350594

.30000 .96212 .351071 .294335 -.149432 -.341806

.35000 .95717 .338452 .291156 -.152107 -.333674

.40000 .95195 .327295 .287687 -.153747 -.326089

.45000 .94649 .317289 .284036 -.154628 -.318970

.50000 .94082 .308211 .280279 -.154942 -.312254

.55000 .93497 .299900 .276467 -.154827 -.305892

.60000 .92897 .292231 .272638 -.154384 -.299846

.65000 .92284 .285109 .268820 -.153688 -.294083

.70000 .91660 .278460 .265032 -.152797 -.288577

.75000 .91027 .272222 .261287 -.151756 -.283306

.80000 .90386 .266349 .257597 -.150598 -.278251

.85000 .89740 .260798 .253968 -.149351 -.273396

.90000 .89089 .255537 .250406 -.148037 -.268726

.95000 .88436 .250537 .246913 -.146671 -.264228

1.0000 .87780 .245775 .243491 -.145269 -.259892