主成分回归多重共线性

实验八：主成分回归

实验题目：对例5.5的Hald水泥问题用主成分方法建立模型，并与其他方法的结果进行比较。

例5.5如下：本例为回归经典的Hald水泥问题。某种水泥在凝固时放出的热量y（卡/克，cal/g）与水泥中的四种化学成分的含量（%）有关，这四种化学成分分别是x1铝酸三钙（3CaO.Al2O3），x2硅酸三钙（3CaO.SiO2），x3铁铝酸四钙（4CaO.Al2O3.Fe2O3），x4硅酸三钙（2CaO.SiO2）。现观测到13组数据，如表5-3所示。

表5-3

实验目的：

SPSS输出结果及答案：

一、主成分法：

多重共线性诊断：

已提取了 4 个成份。

由解释的总方差表中累计贡献性知，f1和f2的累计贡献性就在85%~95%之间。所以主成分取f1,f2。

得到因子得分的数值，并对其进行处理：sqrt(2.236)*FAD1_1,sqrt(1.576)*FAD2_1可以得出

主成分表（f1 f2）。

对f1 f2进行普通最小二乘线性回归

f1=-0.643+0.081x1+0.036x2-0.062x3-0.033x4

对f2和x1x2x3x4进行回归

模型非标准化系数标准系数

t Sig.

B 标准误差试用版

1 (常量) -.938 .000 -1119037.661 .000

x1 -.087 .000 -.405 -9710099.545 .000

x2 .027 .000 .330 3071727.057 .000

x3 .094 .000 .482 10459854.955 .000

x4 -.027 .000 -.359 -3177724.589 .000 a.因变量: f2

f2=-0.938-0.087x1+0.027x2+0.094x3-0.027x4

所以还原后的主成分回归方程为：

^y=88.951624+0.789567x1+0.359127x2-0.600934x3-0.329481x4

从主成分法得出的方程中我们可以看出某种水泥在凝固时放出的热量与铝酸三钙，硅酸三钙成正比，与铝酸四钙和硅酸二钙成反比，且当该水泥放出1单位的热量时，需要消耗0.789567g的铝酸三钙和0.359127g的硅酸三钙；当该水泥吸收1单位的热量时，需要消耗0.600934g的铝酸四钙和0.329481g的硅酸二钙。

二．岭回归法

由系数表中的方差扩大因子VIF可以初步看出直接建立的线性模型具有严重的共线性，所以我们直接用岭回归方法进行处理，与再与主成分法进行比较。

岭回归

INCLUDE 'C:\Program Files\IBM\SPSS\Statistics\19\Samples\English\RIDGE regression.sps'. RIDGEREG enter x1 x2 x3 x4

/dep=y

R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K

K RSQ x1 x2 x3 x4

______ ______ ________ ________ ________ ________

.00000 .98238 .606512 .527706 .043390 -.160287

.05000 .98092 .465987 .298422 -.092800 -.394132

.10000 .97829 .429975 .299810 -.115702 -.382409

.15000 .97492 .403545 .300180 -.129867 -.370747

.20000 .97105 .382726 .299130 -.139136 -.360181

.25000 .96676 .365601 .297070 -.145317 -.350594

.30000 .96212 .351071 .294335 -.149432 -.341806

.35000 .95717 .338452 .291156 -.152107 -.333674

.40000 .95195 .327295 .287687 -.153747 -.326089

.45000 .94649 .317289 .284036 -.154628 -.318970

.50000 .94082 .308211 .280279 -.154942 -.312254

.55000 .93497 .299900 .276467 -.154827 -.305892

.60000 .92897 .292231 .272638 -.154384 -.299846

.65000 .92284 .285109 .268820 -.153688 -.294083

.70000 .91660 .278460 .265032 -.152797 -.288577

.75000 .91027 .272222 .261287 -.151756 -.283306

.80000 .90386 .266349 .257597 -.150598 -.278251

.85000 .89740 .260798 .253968 -.149351 -.273396

.90000 .89089 .255537 .250406 -.148037 -.268726

.95000 .88436 .250537 .246913 -.146671 -.264228

1.0000 .87780 .245775 .243491 -.145269 -.259892

由上述的岭迹图可以看出，所有的回归系数的岭迹线的稳定性较强，整个系统呈现比较平稳的现象，所以我们可以对最小二乘有信心，且x1，x2的岭迹线一直在零的上，对y产生