Removed_应用回归分析 第七章答案

第七章
岭回归
1.岭回归估计是在什么情况下提出的？
答：当解释变量间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘法的效果变得很不理想，为了解决这一问题，统计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影响，这时，岭回归作为一种新的回归方法被提出来了。

2.岭回归估计的定义及其统计思想是什么？
答：一种改进最小二乘估计的方法叫做岭估计。

当自变量间存在多重共线性，∣X'X ∣≈0时，我们设想给X'X 加上一个正常数矩阵kI(k>0),那么X'X+kI
接近奇异的程度小得多，考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计阵仍然用X 表示，定义为()()1
ˆ''X X I X y β
κκ-=+
，称为β的岭回归估计，其中k 称为岭参数。

3.选择岭参数k 有哪几种主要方法？
答：选择岭参数的几种常用方法有1.岭迹法，2.方差扩大因子法，3.由残差平方和来确定k 值。

4.用岭回归方法选择自变量应遵从哪些基本原则？答：用岭回归方法来选择变量应遵从的原则有：
（1）在岭回归的计算中，我们假定设计矩阵X 已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。

（2）当k 值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k
的增加迅速趋于零。

像这样的岭回归系数不稳定,震动趋于零的自变量，我
们也可以予以删除。

（3）去掉标准化岭回归系数很不稳定的自变量，如果有若干个岭回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某
个变量后重新进行岭回归分析的效果来确定。

5.对第5章习题9的数据，逐步回归的结果只保留了3个自变量x1，x2，x5，用y对这3个自变量做岭回归分析。

答：依题意，对逐步回归法所保留的三个自变量做岭回归分析。

程序为：
include'C:\Program Files\SPSSEVAL\Ridge regression.sps'.
ridgereg dep=y/enter x1 x2 x5
/start=0.0/stop=1/inc=0.01.
计算结果为：
可以看到，变量x1、x2迅速由负变正，x5迅速减小，在0.01-
0.1之间各回归系数的岭估计基本稳定，重新做岭回归。

岭迹图如下：
先取k=0.08：
语法命令如下：
include'C:\Program Files\SPSSEVAL\Ridge regression.sps'.
ridgereg dep=y/enter x1 x2 x5
/k=0.08.
运行结果如下：
得到回归方程为：
123ˆ0.160.080.06738.84y
x x x =+++再取k=0.01：语法命令如下：
include'C:\Program Files\SPSSEVAL\Ridge regression.sps'.ridgereg dep=y/enter x1 x2 x5/k=0.01.
运行结果：
****** Ridge Regression with k = 0.01 ******Mult R .9931857RSquare .9864179Adj RSqu .9840210
SE 329.6916494
ANOVA table
df SS MS
Regress 3.000 134201841 44733947
Residual 17.000 1847841.9 108696.58
F value Sig F
411.5487845 .0000000
--------------Variables in the Equation----------------
B SE(B) Beta B/SE(B)
x1 .0556780 .0615651 .0981355 .9043751
x2 .0796395 .0218437 .3291293 3.6458814
x5 .1014400 .0108941 .5621088 9.3114792
Constant 753.3058478 121.7381256 .0000000 6.1879205
回归方程为：y=753.3058-0.05568x1－0.0796x2＋0.1014x5从上表可看出，方程通过F检验，R检验，经查表，所有自变量均通过t检验，说明回归方程通过检验。

从经济意义上讲，x1（农业增加值）、x2（工业增加值）x5（社会消费总额）的增加应该对y（财政收入）有正方向的影响，岭回归方程中三个自变量的系数均为正值，与实际的经济意义相符。

比逐步回归法得到的方程有合理解释。

6.对习题3.12的
问题，分别用普通最小二乘和岭回归建立GDP对第二产业增加值x2，和第三产业增加值x3的二元线性回归，解释所得到的回归系数？
答：（1）普通最小二乘法：
根据上表得到y 与x2，x3的线性回归方程为：
=4352.859+1.438x2+0.679x3y
ˆ上式中的回归系数得不到合理的解释.
的数值应该大于1，实际上，x 3的年增长幅度大于x 1和x 2的年增长幅度，因此3ˆβ合理的的数值应大于1。

这个问题产生的原因仍然是存在共线性， 3
ˆβ所以采用岭回归来改进这个问题。

（2）岭回归法：
程序为：
include'C:\Program Files\SPSSEVAL\Ridge regression.sps'.ridgereg dep=GDP/enter x2 x3/start=0.0/stop=0.5/inc=0.01.
根据岭迹图（如下图）可知，和很不稳定，但其和大体上稳定)(ˆ2
k β)(ˆ3k β，说明x2和x3存在多重共线性。

取k=0.1，SPSS 输出结果为：
Mult R .998145， RSquare .996294Adj RSqu .995677，SE 2364.837767
ANOVA table
df SS MS
Regress 2.000 1.80E+010 9.02E+009
Residual 12.000 67109492 5592457.7
F value Sig F
1613.140715 .000000
--------------Variables in the Equation----------------
B SE(B) Beta B/SE(B)
x2 .907990 .021842 .489067 41.571133
x3 1.393800 .035366 .463649 39.410560
Constant 6552.305986 1278.903452 .000000 5.123378
y
得岭参数=0.01时，岭回归方程为= 3980.2+1.0912+1.227 x3，
ˆ
岭回归系数=1.227与前面的分析是吻合的，其解释是当第二产业增加值3
x2保持不变时，第三产业增加值
x3每增加1亿元GDP增加1.227亿元，这个解释是合理的。

7.一家大型商业银行有多家分行，近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法，表7.5是该银行所属25家分行2002年的有关业务数据。

（1）计算y与其余四个变量的简单相关系数。

（2）建立不良贷款y对4个自变量的线性回归方程，所得的回归系数是否合理？（3）分析回归模型的共线性。

（4）采用后退法和逐步回归法选择变量，所得回归方程的回归系数是否合理，是否还存在共线性？
（5）建立不良贷款y对4个自变量的岭回归。

（6）对第4步剔除变量后的回归方程再做岭回归。

（7）某研究人员希望做y对各项贷款余额，本年累计应收贷款.贷款项目个数这三个变量的回归，你认为这种做是否可行，如果可行应该如何做？
R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K
K RSQ x1 x2 x3 x4
______ ______ ________ ________ ________ ________
.00000 .79760 .891313 .259817 .034471 -.324924
.05000 .79088 .713636 .286611 .096624 -.233765
.10000 .78005 .609886 .295901 .126776 -.174056
.15000 .76940 .541193 .297596 .143378 -.131389
.20000 .75958 .491935 .295607 .153193 -.099233
.25000 .75062 .454603 .291740 .159210 -.074110
.30000 .74237 .425131 .286912 .162925 -.053962
.35000 .73472 .401123 .281619 .165160 -.037482
.40000 .72755 .381077 .276141 .166401 -.023792
.45000 .72077 .364000 .270641 .166949 -.012279
.50000 .71433 .349209 .265211 .167001 -.002497
.55000 .70816 .336222 .259906 .166692 .005882
.60000 .70223 .324683 .254757 .166113 .013112
.65000 .69649 .314330 .249777 .165331 .019387
.70000 .69093 .304959 .244973 .164397 .024860
.75000 .68552 .296414 .240345 .163346 .029654
.80000 .68024 .288571 .235891 .162207 .033870
.85000 .67508 .281331 .231605 .161000 .037587
.90000 .67003 .274614 .227480 .159743 .040874
.95000 .66508 .268353 .223510 .158448 .043787 1.0000 .66022 .262494 .219687 .157127 .046373
Run MATRIX procedure:
****** Ridge Regression with k = 0.4 ******
Mult R .802353780
RSquare .643771588
Adj RSqu .611387187
SE 2.249999551
ANOVA table
df SS MS
Residual 22.000 111.375 5.062
F value Sig F
19.87906417 .00001172
--------------Variables in the Equation----------------
B SE(B) Beta B/SE(B)
x1 .025805860 .003933689 .574462395 6.560218798 x4 .004531316 .007867533 .050434658 .575951348 Constant .357087614 .741566536 .000000000 .481531456
------ END MATRIX -----
Y对x1 x2 x3 做岭回归
Run MATRIX procedure:
****** Ridge Regression with k = 0.4 ******
Mult R .850373821
RSquare .723135635
Adj RSqu .683583583
SE 2.030268037
ANOVA table
df SS MS
Residual 21.000 86.562 4.122
F value Sig F 18.28313822 .00000456
--------------Variables in the Equation---------------- B SE(B) Beta B/SE(B)
x1 .016739073 .003359156 .372627316 4.983118685x2 .156806656 .047550034 .275213878 3.297719120x3 .067110931 .032703990 .159221005 2.052071673Constant -.819486727 .754456246 .000000000 -1.086195166
------ END MATRIX -----
由图及表可知，
（1）y 与x1 x2 x3 x4 的相关系数分别为0.844,0.732,0.700,0.519.
（2）y 对其余四个变量的线性回归方程为
1234ˆy =-1.022+0.40x 0.1480.0150.029x x x ++-
由于
4x 的系数为负，说明存在共线性，固所得的回归系数是不合理的。

（3）由于条件数
5k =11.25>10，说明存在较强的共线性。

（4）由上表可知由后退法和逐步回归法所得到的线性回归方程为
14ˆy =-0.443+0.050x 0.032x - 由于4x 的系数为负，说明仍然存在共线性。

（5）Y 对其余四个自变量的岭回归如上表所示。

（6）选取岭参数k=0.4,得岭回归方程14ˆy =0.357+0.0258x 0.0453x -，回归系数都能有
合理的解释。

（7）用y 对x1
x2
x3
做岭回归，选取岭参数k=0.4，岭回归方程为
123ˆy =-0.819+0.0167x 0.1570.067x x ++回归系数都能有合理的解释，由 B / SE(B)
得近似的t 值可知，x1 x2 x3 都是显著的，所以y 对x1 x2 x3的岭回归是可行的。