应用回归分析讲义_十三 岭回归

应用回归分析讲义---十三

岭回归

一、岭回归的引入 二、岭回归的SPSS 程序

三、岭回归参数K 的选取,参数粗估计,参数精估计,确定参数模型 四、岭回归模型的应用

1962年由A.E.Feorl 提出,R.W.Kennard 在1970年发展的岭回归(Ridge regression)，

回归系数的有偏估计—岭回归

1

(')'X X X y

β∧

-=

'

'

1

1

0,()(')

'当为了存在且稳定，

定义β--≈=+P X X X X X X K I X Y

K 称为岭参数

K=0时为最小二乘估计，K>0,小于1。K 从0到1逐渐增大，选择一个最合适的K 值。

岭回归用于解决模型的自变量共线性问题。

P92

建立回归模型,共线性诊断

1、VIF，容忍度，条件指数，

2、变量X2的系数为负值，经济理论认为应为正相关。说明共线性造成后果。

进行岭回归分析

一、岭迹

模型系数随参数K变化的曲线

岭迹图

根据岭迹确定K。

K=0时表示古典回归

二、岭回归根据岭迹图确定参数K P193

图A,系数趋于0,变量不重要

图B.系数由正变负,变化大,对Y有显著影响

图C. 古典模型时系数为正,岭回归时系数为负.

图D. 两个系数不稳定,一个增大时另一个减少, 但其和稳定,可以考虑保留一个变量.

图E. 变量对Y不显著

图F. 变量对Y的影响趋于稳定

选择标准：

1、各回归系数基本稳定

2、用最小二乘法时不合理的系数用岭回归变得合理

3、残差平方和增长不大

例

岭回归SPSS程序和岭回归模型应用P199

变量标准化

1、参数K粗估计

INCLUDE 'c:/program files/SPSS/Ridge regression.sps'. RIDGEREG DEP=zy /ENTER = zx1,zx2,zx3,zx4,zx5.

默认参数K从0 开始，到1，步长为0.05

2、参数K精估计

INCLUDE 'c:/program files/SPSS/Ridge regression.sps'. RIDGEREG DEP=zy /ENTER = zx1,zx2,zx3,zx4,zx5

/START=0.0 /STOP=0.5/INC=0.01.

3、确定参数K=0.08时，建立模型

INCLUDE 'c:/program files/SPSS/Ridge regression.sps'. RIDGEREG DEP=zy /ENTER = zx1,zx2,zx3,zx4,zx5

/k=0.08 .

岭回归选择变量

1. 删除系数趋于0的变量

2. 删除不稳定的变量

例

例1

INCLUDE 'c:/program files/SPSS/Ridge regression.sps'. RIDGEREG DEP=y /ENTER = x1,x2,x3,x4,x5.

默认参数K从0 开始，到1，步长为0.05

例2

INCLUDE 'c:/program files/SPSS/Ridge regression.sps'. RIDGEREG DEP=y /ENTER = x1,x2,x3,x4,x5

/START=0.01 /STOP=0.8/INC=0.01.

例3

例2

确定系数为0.35时，

INCLUDE 'c:/program files/SPSS/Ridge regression.sps'. RIDGEREG DEP=y /ENTER = x1,x2,x3,x4,x5

/k=0.35 .

SPSS宏

ridge regression macro,ridge regression macro,ridge regression macro INCLUDE '[SPSS installdir]\Ridge regression.sps'.

RIDGEREG DEP=varname /ENTER = varlist

[/START={0**}] [/STOP={1**}] [/INC={0.05**}]

{value} {value} {value }

[ /K=value] .

[SPSS installdir] is the directory in which SPSS is installed.