多重共线性论文：高维多重共线性数据的变量选择问题

多重共线性论文：高维多重共线性数据的变量选择问题
【中文摘要】变量降维问题一直在统计研究学习以及实际应用领域起到至关重要的作用,对于存在多重共线性问题的数据,一般的最
小二乘方法基本失效。

本文介绍了一般的共线性变量选择方法包括惩罚的似然方法,如岭估计,桥估计和一些降维方法,如主成分回归,偏
最小二乘回归以及高维数据降维方法Elastic Net方法。

本文从新的角度来解释岭回归的惩罚作用,借助于这个方法我们为Elastic Net 方法l2惩罚部分增加了权重,本文也提供了两种选择权重的方法,在保证了变量选择的有效性下,通过对实际数据以及模型的模拟验证了其有效地减小了预测误差。

【英文摘要】Variables selection plays a pivotal role in the contemporary statistical learn-ing and practical backgrounds.For collinearity, ordinary least square regression tends to be inefficient.Some dimension reduction methods are introduced,such as penalized likelihood ridge estimator,bridge estimator,principal component
re-gression,partial least square regression and
high-dimensional variables selection method elastic net method.By giving a new explaination on ridge penalty,we add the weight to l2 penalty of elastic net method and two kinds of weight selection methods are proposed.The real data
performance and numerical stimulations in-dicate that mean prediction error on the weighted elastic net can be improved.
【关键词】多重共线性岭估计主成分回归权重选择 Elastic Net
【英文关键词】collinearity ridge regression principal component regression weight selction Elastic Net
【目录】高维多重共线性数据的变量选择问题摘要
8-9Abstract9 1 引言10-15 1.1 变量选择方
法的历史回顾10 1.2 高维变量选择方法的回顾
10-13 1.3 多重共线性问题以及危害13-14 1.4 文章
的结构14-15 2 一般共线性的变量选择方法15-22 2.1 岭估计15-18 2.1.1 岭估计的引入15 2.1.2 岭估计的新角度解释15-17 2.1.3 岭估计与贝叶斯方法的联系
17 2.1.4 岭估计变量选择的方法17-18 2.2 主成分回归与偏最小二乘方法18-20 2.2.1 主成分回归的提出与计算18-19 2.2.2 偏最小二乘方法19-20 2.3 Bridge Estimator20-22 2.3.1 Bridge Estimator的提出
20 2.3.2 参数选择方法20-21 2.3.3 Bridge Estimator与贝叶斯方法的联系21-22 3 高维共线性数据参数估计以及变量选择方法22-29 3.1 Elastic Net定义与解
22-23 3.2 与lasso的等价性23-24 3.3 组效应
24-25 3.4 处理共线性问题25-26 3.5 与贝叶斯方法的联系26-27 3.6 适应性的elastic net方法及其大样本性质27-29 4 实证分析与数值模拟29-35 4.1 实证分析-前列腺癌样本29-32 4.2 数值模拟32-35参考文献
35-38致谢38-39学位论文评阅及答辩情况表39。