自变量选择
简述自变量选择的几个常用准则
简述自变量选择的几个常用准则
自变量选择是统计建模中非常重要的一步，常用的准则包括以下几个：
1. 前向选择法（Forward Selection），从一个空模型开始，逐步加入自变量，每次加入一个自变量后，检验其对模型的贡献，选择对模型贡献最大的自变量加入模型。
2. 后向消元法（Backward Elimination），从包含所有自变量的模型开始，逐步剔除对模型贡献最小的自变量，直到剩下的自变量都对模型有显著影响。
3. 逐步回归法（Stepwise Regression），结合了前向选择法和后向消元法，既可以加入自变量，也可以剔除自变量，直到找到最佳的模型。
4. 最优子集选择法（Best Subset Selection），考虑所有可能的自变量组合，通过某种评价准则（如AIC、BIC等）选择最佳的自变量子集。
5. 正则化方法（Regularization），如岭回归（Ridge Regression）和Lasso回归（Lasso Regression）等，通过对系数施加惩罚来选择自变量，防止过拟合。
以上几种准则各有优缺点，选择合适的自变量选择方法需要根据具体问题和数据情况来决定。
同时，还需要考虑模型的解释性、预测准确性等因素，综合考虑选择最合适的自变量。
心理学研究中的自变量选择与因变量测量问题
心理学研究中的自变量选择与因变量测量问题心理学研究是一门研究人类心智和行为的学科，它使用一系列科学方法和工具来探索、理解和解释个体和群体的思维、情感和行为。
在心理学研究中，自变量选择与因变量测量是关键的环节，对研究结果的可信度和准确性有着重要影响。
本文将探讨自变量选择与因变量测量问题，并提出相关的解决方法。
一、自变量选择问题自变量是心理学研究中的独立变量，是研究者用来控制和操作的变量。
在选择自变量时，应该考虑研究的目的、理论基础和可操作性。
以下几个方面是在自变量选择中需要考虑的重要因素：1.1 研究目的：自变量的选择应与研究目的相符。
研究者需要明确自己的研究目标是什么，想要了解和解释的是什么现象，从而选择合适的自变量。
1.2 理论基础：自变量的选择应该基于有关的理论框架和研究假设。
理论基础可以提供研究的指导，帮助研究者明确要考察的变量，并避免无目标的研究。
1.3 可操作性：自变量应该是可以操作和控制的。
研究者需要确保能够对自变量进行有效的干预和操纵，以观察其对因变量的影响。
二、因变量测量问题因变量是心理学研究中的依赖变量，是研究者用来衡量和观察的变量。
在测量因变量时，应该考虑测量的准确性、可靠性和效度。
以下几个方面是在因变量测量中需要考虑的重要因素：2.1 准确性：测量因变量的工具和方法应该能够准确地衡量所研究的心理现象或行为。
研究者需要选择合适的测量工具，并进行必要的确认和检验。
2.2 可靠性：测量因变量的工具和方法应该具有一定的可靠性，即在不同的时间和场合下测量得到的结果应该是相似的。
研究者需要使用可靠性检验方法来确保测量的稳定性和一致性。
2.3 效度：测量因变量的工具和方法应该具有一定的效度，即能够真实地反映所研究的心理现象或行为。
研究者需要进行效度检验，以确保测量得到的结果能够正确反映研究对象的状态或特征。
三、自变量选择与因变量测量的解决方法在解决自变量选择与因变量测量问题时，研究者可以采取以下几个方法：3.1 文献回顾：通过对相关文献的回顾与分析，研究者可以了解已有研究中使用的自变量和因变量，从中汲取经验和借鉴。
第5章逐步回归与自变量选择。
由上式知：尽管1－R2随着变量的增加而减少 ， 但由于其前面的系数 n -1 起到制衡作用，
n -p -1 才使R 2随着自变量的增加并不 一定增大。 当所增加的自变量对回 归的贡献很小时， R 2反而可能减少。
浙江财经学院 倪伟才
11
准则2：回归的标准误
回归误差项方差? 2的无偏估计为：??2＝ 1 SSR n-p-1
引入自变量显著性水平记为： ? 进
剔除自变量显著性水平记为：? 出
要使用逐步回归法的前提： ? 进<? 出
Spss中默认的? 进 =0.05
? 出=0.1
例：用逐步回归法建立例3.1回归方程
练习课本例5.5关于香港股市的研究
练习课本152页的习题浙5江.9财经学院 倪伟才
Stata ,SPSS结果一致(课本例5.1)
④直到未被引入方程的p值>0.05为止。
例：用前进法建立例3.1的 回归方程
浙江财经学院 倪伟才
二、后退法
后退法（ backwad ）的基本 思想：首先用全部的 p个自变量建立一个回归方程，然后将最不重 要的自变量 一个一个地删除 。
具体步骤：①作 y对全部的p个自变x1,x2,….,xp 的回归②在回归方程中，将 x1,x2,….,xp 对y的 影响最小（最不重要或 p值最大）的自变量剔 除，不妨令 x1；③在② 中的回归方程（已没有 x1 ），将x2,….,xp 对y的影响最小（最不重要 或p值最大）的自变量剔除，④直到回归方程 中，自变量对 y的影响都重要为止。 例：用后退法建立例 3.1回归方程
的增加，SSR能够快速减少，虽然作为除数的
惩罚因子n-p-1也随之减少，但由于SSR减小的速度
回归自变量选择三个准则
回归自变量选择三个准则
1. 嵌入式方法：嵌入式方法是指在模型训练过程中，根据模型的性能自动选择特征的方法。
常见的嵌入式方法包括Lasso回归、Ridge 回归、Elastic Net等。
这些方法可以同时考虑特征的重要性和模型的复杂度，从而实现自变量的选择。
2. 包裹式方法：包裹式方法是指通过构建不同的模型，然后根据模型表现来选择特征的方法。
常见的包裹式方法包括递归特征消除（Recursive Feature Elimination, RFE）、基于模型的选择（Model-based Selection）等。
这些方法可以通过交叉验证等技术来评估特征的重要性，从而选择最佳的自变量。
3. 过滤式方法：过滤式方法是指通过统计指标或特征之间的相关性来选择自变量的方法。
常见的过滤式方法包括方差选择法、相关性选择法等。
这些方法可以快速筛选出具有较高相关性或者显著性的自变量，从而简化模型并提高预测性能。
应用回归分析第5章课后习题答案
第5章自变量选择与逐步回归思考与练习参考答案5.1 自变量选择对回归参数的估计有何影响？答：回归自变量的选择是建立回归模型得一个极为重要的问题。
如果模型中丢掉了重要的自变量, 出现模型的设定偏误，这样模型容易出现异方差或自相关性，影响回归的效果；如果模型中增加了不必要的自变量, 或者数据质量很差的自变量, 不仅使得建模计算量增大, 自变量之间信息有重叠，而且得到的模型稳定性较差，影响回归模型的应用。
5.2自变量选择对回归预测有何影响？答：当全模型（m元）正确采用选模型（p元）时，我们舍弃了m-p个自变量，回归系数的最小二乘估计是全模型相应参数的有偏估计，使得用选模型的预测是有偏的，但由于选模型的参数估计、预测残差和预测均方误差具有较小的方差，所以全模型正确而误用选模型有利有弊。
当选模型（p元）正确采用全模型（m 元）时，全模型回归系数的最小二乘估计是相应参数的有偏估计，使得用模型的预测是有偏的，并且全模型的参数估计、预测残差和预测均方误差的方差都比选模型的大，所以回归自变量的选择应少而精。
5.3 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣？C统计量达到最小的准则来衡量回答：如果所建模型主要用于预测，则应使用p归方程的优劣。
5.4 试述前进法的思想方法。
答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m个一元线性回归方程, 并计算F检验值，选择偏回归平方和显著的变量（F值最大且大于临界值）进入回归方程。
每一步只引入一个变量，同时建立m－1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的两变量变量（F值最大且大于临界值）进入回归方程。
在确定引入的两个自变量以后，再引入一个变量，建立m－2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的三个变量（F值最大）进入回归方程。
不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值Fα(1,n-p-1)，回归过程结束。
自变量选择与逐回归
自变量选择与逐回归————————————————————————————————作者：————————————————————————————————日期：自变量选择与逐步回归一、全模型和选模型设研究某一实际问题，涉及对因变量有影响的因素共有m 个，由因变量y 和m 个自变量构成的回归模型εββββ+++++=m m x x x y Λ22110称为全模型。
如果从可供选择的m 个变量中选出p 个，由选出的p 个自变量组成的回归模型p pp pp p p p x x x y εββββ+++++=Λ22110称为选模型。
二、自变量选择对预测的影响自变量选择对预测的影响可以分为两种情况考虑，第一种情况是全模型正确而误用了选模型；第二种情况是选模型正确而无用了全模型。
以下是这两种情况对回归的影响。
1、全模型正确而误用选模型的情况性质1，在j x 与m p x x ,,1Λ+的相关系数不全为0时，选模型回归系数的最小二乘估计是全模型相应参数的有偏估计，即jjp jp E βββ≠=)ˆ(（p j ,,2,1Λ=） 性质2，选模型的预测是有偏的。
性质3，选模型的参数估计有较小的方差。
性质4，选模型的预测残差有较小的方差。
性质5，选模型的均方误差比全模型预测的方差更小。
性质1和性质2表明，当全模型正确时，而舍去了m-p 个自变量，用剩下的p 个自变量去建立选模型，参数估计值是全模型相应参数的有偏估计，用其做预测，预测值也是有偏的。
这是误用选模型产生的弊端。
性质3和性质4表明，用选模型去作预测，残差的方差比用全模型去作预测的方差小，尽管用选模型所作的预测是有偏的，但得到的预测残差的方差下降了，这说明尽管全模型正确，误用选模型是有弊也有利的。
性质5说明，即使全模型正确，但如果其中有一些自变量对因变量影响很小或回归系数方差过大，丢掉这些变量之后，用选模型去预测，可以提高预测的精度。
由此可见，如果模型中包含了一些不必要的自变量，模型的预测精度就会下降。
应用回归分析,第5章课后习题参考答案
第5章自变量选择与逐步回归思考与练习参考答案自变量选择对回归参数的估计有何影响答：回归自变量的选择是建立回归模型得一个极为重要的问题。
如果模型中丢掉了重要的自变量, 出现模型的设定偏误，这样模型容易出现异方差或自相关性，影响回归的效果；如果模型中增加了不必要的自变量, 或者数据质量很差的自变量, 不仅使得建模计算量增大, 自变量之间信息有重叠，而且得到的模型稳定性较差，影响回归模型的应用。
自变量选择对回归预测有何影响答：当全模型（m元）正确采用选模型（p元）时，我们舍弃了m-p个自变量，回归系数的最小二乘估计是全模型相应参数的有偏估计，使得用选模型的预测是有偏的，但由于选模型的参数估计、预测残差和预测均方误差具有较小的方差，所以全模型正确而误用选模型有利有弊。
当选模型（p元）正确采用全模型（m 元）时，全模型回归系数的最小二乘估计是相应参数的有偏估计，使得用模型的预测是有偏的，并且全模型的参数估计、预测残差和预测均方误差的方差都比选模型的大，所以回归自变量的选择应少而精。
如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣C统计量达到最小的准则来衡量回答：如果所建模型主要用于预测，则应使用p归方程的优劣。
试述前进法的思想方法。
答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m 个一元线性回归方程, 并计算F检验值，选择偏回归平方和显着的变量（F值最大且大于临界值）进入回归方程。
每一步只引入一个变量，同时建立m－1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的两变量变量（F 值最大且大于临界值）进入回归方程。
在确定引入的两个自变量以后，再引入一个变量，建立m－2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的三个变量（F值最大）进入回归方程。
不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值Fα(1,n-p-1)，回归过程结束。
自变量选择准则范文
自变量选择准则范文
自变量选择准则是用于描述识别和选择自变量的标准和步骤。
它是相关数据分析和研究的基础，也是影响结果精确度的重要因素之一、在建立和评估统计模型时将重点放在自变量的选择上是很有必要的。
因此使用合适的自变量选择准则是很重要的。
一般而言，自变量选择准则包括五个步骤：（1）定义一个可行的研究目标。
（2）认识数据。
（3）识别有效解释变量。
（4）对自变量进行定量评估。
（5）为自变量制定一致的评估指标。
首先，为了解决特定问题，必须先定义可行的研究目标。
它将激发分析过程的开始，提供了对自变量进行量化定义的重要依据。
研究目标可以是属性相关性、变量依赖性或者任何与研究有关的统计目标。
回归分析、特征选择、聚类分析等技术可以运用在不同类型的问题上。
其次，认识数据是自变量选择准则中的关键步骤。
仔细研究数据可以确定特征之间的相互关系和冗余性。
这一步可以帮助衡量不同变量的重要性，从而识别有效解释变量。
统计模型的分析应该基于变量之间的相关性和独立性，因此这一步对自变量选择也是至关重要的。
第三，在识别有效解释变量之后，应该对所有变量能量定量评估。
自变量选择
课程设计（论文）课程名称：应用回归分析设计题目：自变量的选择院系：数学与统计学院专业：概率论与数理统计设计者：沈铁学号： ***********自变量选择一.自变量选择概述在应用回归分析去处理实际问题时，回归自变量选择是首先要解决的重要问题。
通常，在做回归分析时，人们根据所研究问题的目的，结合经济理论罗列出对因变量可能有影响的的一些因素作为自变量引进回归模型，其结果是把一些对因变量影响很小的，有些甚至没有影响的自变量也选入了回归模型中，这样一来，不但计算量变大，而且估计和预测的精度也会下降。
此外，如果遗漏了某些重要变量，回归方程的效果肯定不好。
在一些情况下，某些自变量的观测数据的获得代价昂贵，如果这些自变量本身对因变量的影响很小或根本没有影响，我们不加选择的引进回归模型，势必造成观测数据收集和模型应用的费用不必要的加大。
因此，在应用回归分析中，对进入模型的自变量作精心的选择是十分必要的。
在多元线性回归模型中，自变量的选择实质上就是模型的选择。
现设一切可供选择的变量是t 个 ,它们组成的回归模型称为全模型（记：1+=t m ），在获得n 组观测数据后，我们有模型⎩⎨⎧+=),0(~2n n I N X Y σεεβ其中：Y 是1⨯n 的观测值，β是1⨯m 未知参数向量，X 是m n ⨯结构矩阵，并假定X 的秩为m 。
现从tx x x ,,,21 这t 个变量中选t '变量，不妨设t x x x ',,,21 ，那么对全模型中的参数β和结构矩阵X 可作如下的分块（记：1+'=t p ）：()'=q p βββ,，()q p X X X =我们称下面的回归模型为选模型：⎩⎨⎧+=),0(~2n p p I N X Y σεεβ 其中：Y 是1⨯n 的观测值，pβ是1⨯p 未知参数向量， p X是p n ⨯结构矩阵，并假定pX 的秩为p 。
自变量的选择可以看成是这样的两个问题，一是究竟是用全模型还是用选模型，二是若用选模型，则究竟应包含多少变量最适合。
第九讲 自变量的选择
实际经济问题中的多重共线性现象
• 3、一般经验 对于采用时间序列数据作样本、以简单线 性形式建立的计量经济学模型，往往存在多 重共线性。 以截面数据作样本时，问题不那么严重， 但多重共线性仍然是存在的。
多重共线性的后果
• 1、当自变量之间存在多重共线性时，用OLS对模型进行 估计仍然满足无偏性，但回归系数的方差会越大，减少估 计精度。 • 在一般共线性（或称近似共线性）下，虽然可以得到OLS OLS 法参数估计量，但是由参数估计量方差的表达式为
F
* j
=
[SSE (x1 ) − SSE (x1 , x 2 ) / 1] SSE ( x 1 , x 2 ) / (n − 1 − 2 )
逐步回归法的步骤
• 第三步，在第二个自变量被引入以后，需 要检验由于此自变量的引入而影响到原变 量与因变量的显著关系。如果由于新变量 的引入使原变量与因变量关系不再显著， 则需要把原变量剔除掉。 • 反复以上过程，直到没有新的变量能满足 被引进的要求，没有原有变量能满足被驱 逐的要求为止，这个过程由SPSS来实现。
强迫进入法（Enter Model）
• 就是把原始数据库中所有自变量全部放置 进入回归模型 • SPSS系统默认这种方法 • 看每个回归自变量的系数检验过程以及模 型的拟合优度
逐步回归法（Stepwise Method）
• 是逐步引入回归作用显著的自变量，并从 回归模型中逐步驱除回归作用变得不再显 著的自变量，以最终得到最优化的模型； • SPSS软件可以自动实现
3、方差--膨胀因子法
我们计算模型中每个解释变量 Xj 对其余解释变量 X1,…XJ-1,Xj+1,…,Xk 的辅助方程，并由此计算出其判断系 数R2 j。 可以构造一个测度多重共线性的指标为：
(整理)自变量选择与逐步回归
自变量选择与逐步回归一、全模型和选模型设研究某一实际问题，涉及对因变量有影响的因素共有m 个，由因变量y 和m 个自变量构成的回归模型εββββ+++++=m m x x x y 22110称为全模型。
如果从可供选择的m 个变量中选出p 个，由选出的p 个自变量组成的回归模型p pp pp p p p x x x y εββββ+++++= 22110称为选模型。
二、自变量选择对预测的影响自变量选择对预测的影响可以分为两种情况考虑，第一种情况是全模型正确而误用了选模型；第二种情况是选模型正确而无用了全模型。
以下是这两种情况对回归的影响。
1、全模型正确而误用选模型的情况性质1，在j x 与m p x x ,,1 +的相关系数不全为0时，选模型回归系数的最小二乘估计是全模型相应参数的有偏估计，即jjp jp E βββ≠=)ˆ(（p j ,,2,1 =） 性质2，选模型的预测是有偏的。
性质3，选模型的参数估计有较小的方差。
性质4，选模型的预测残差有较小的方差。
性质5，选模型的均方误差比全模型预测的方差更小。
性质1和性质2表明，当全模型正确时，而舍去了m-p 个自变量，用剩下的p 个自变量去建立选模型，参数估计值是全模型相应参数的有偏估计，用其做预测，预测值也是有偏的。
这是误用选模型产生的弊端。
性质3和性质4表明，用选模型去作预测，残差的方差比用全模型去作预测的方差小，尽管用选模型所作的预测是有偏的，但得到的预测残差的方差下降了，这说明尽管全模型正确，误用选模型是有弊也有利的。
性质5说明，即使全模型正确，但如果其中有一些自变量对因变量影响很小或回归系数方差过大，丢掉这些变量之后，用选模型去预测，可以提高预测的精度。
由此可见，如果模型中包含了一些不必要的自变量，模型的预测精度就会下降。
2、选模型正确而误用全模型的情况全模型的预测值是有偏估计；选模型的预测方差小于全模型的预测方差；全模型的预测误差将更大。
第五章自变量选择与逐步回归
D(e0 p ) D(e0m )
记(
X
X
)1
X X
p q
X X
p p
X
p
X
q
1
X
q
X
q
(
X
p
X
p
)1
ADA
B
B
D
ˆ 的前p 1个分量记为ˆp ,则
cov(ˆp ) 2 (( X p X p )1 ADA)
又 cov( p ) 2 ( X p X p )1, ADA 0
（3）依上法继续进行，到第 s 步，所有的 F ms j F (1, n m s) 为止，则第 s 1 步得到
的方程为最终方程。
三．逐步回归法
前进法与后退法都有各自的不足之处。 前进法的问题是不能反映引进新的自变量后 的变化情况。如某个自变量开始可能是显著 的，当引入其他变量后他变得不显著了，但 没有机会将其剔除。这种只考虑引进，不考 虑剔除的方法是不全面的。
X p ( p ( X p X p )1 X p X q q )
X p p X p ( X p X p )1 X p X q q
而
E(Yˆ)
E
(
X
ˆ
)
(
X
p
,
X
q
)(
p q
)
X pp Xqq
（3）选模型的参数估计有较小的方差，即
D(ˆ jp ) D(ˆ jm ), j 0,1,..., p
y 7.8 8.4 8.7 9 9.6 10.3 10.6 10.9 11.3 12.3 13.5 14.2 14.9 15.9 18.5 19.5 19.9 20.5
回归分析10：自变量的选择（2）
回归分析10：⾃变量的选择（2）⽬录Chapter 10：⾃变量的选择(2)5.2 ⾃变量选择的准则5.2.3 C p 统计量准则C p 统计量准则是从预测的⾓度提出来的⾃变量选择的准则。
对于选模型，定义 C p 统计量为C p =RSS qˆσ2−[n −2(q +1)] ,这⾥ RSS q 是选模型的残差平⽅和，ˆσ2是全模型中 σ2 的最⼩⼆乘估计。
我们按照 C p 统计量越⼩越好的准则选择⾃变量，并称其为 C p 准则。
提出 C p 统计量的想法如下：假设全模型为真，但为了提⾼预测的精度，⽤选模型做预测，因此需要 n 个预测值与期望值的相对偏差平⽅和的期望值（定义为 Γq ）达到最⼩。
计算可得：Γqdef=En∑i =1˜y iq −E(y i)σ2=E 1σ2n∑i =1x ′iq ˜βq −x ′i β2=1σ2n∑i =1E x ′iq ˜βq −E x ′iq ˜βq+E x ′iq ˜βq−x ′iβ2=1σ2n∑i =1E x ′iq ˜βq −E x ′iq ˜βq2+E x ′iq ˜βq−x ′iβ2def=1σ2I 1+I 2.其中，第⼀部分 I 1 容易计算：I 1=n∑i =1Ex ′iq ˜βq−Ex ′iq ˜βq2=n∑i =1Varx ′iq ˜βq=σ2n∑i =1x ′iq X ′q X q−1x iq=σ2tr X ′q X q−1n∑i =1xiq x ′iq=(q +1)σ2 .第⼆部分 I 2 可利⽤定理 5.1.1 (1) 的结论和 (4) 的证明过程计算：[()][()]{[()][()]}{[()][()]}()[()]()()[()]I2=n∑i=1E x′iq˜βq−x′iβ2=n∑i=1x′iqβq+B−1Cβt−x′iqβq−x′itβt2=n∑i=1β′tC′B−1x iq−x it C′B−1x iq−x it′βt=n∑i=1β′tC′B−1x iq x′iqB−1C−x it x′iqB−1C−C′B−1x iq x′it+x it x′itβt=β′tC′B−1BB−1C−C′B−1C−C′B−1C+Dβt=β′tM−1βt=(n−q−1)E(˜σ2q)−σ2 .其中M=D−C′B−1C−1。
现代统计分析方法与应用第7章：自变量选择与逐步回归
前面曾提到模型：
y 0 p 1 p x1 2 p x2 pp x p p
对于该模型现将它的残差平方和记为SSEp，当再增加一个新的自变量xp+1 时，相应的残差平方和记为SSEp+1。根据最小二乘估计的原理，增加自变量 时残差平方和将减少，减少自变量时残差平方和将增加。因此有：
是y0的有偏估计。 从预测方差的角度看，根据性质4，选模型的预测方差小于全模型的预 测方差，即：
ˆ ˆ Dy0 p D y0m
2
从均方预测误差的角度看，全模型的均方预测误差为：
ˆ ˆ ˆ E y0m y0 D y0m E y0m E y0
SSEp1 SSEp
又记它们的复判定系数分别为：
R p1 1
2
SSEp 1
R2 1 p
SST SSEp
SST
由于SST是因变量的离差平方和，因而：
R 21 R 2 p p
即当自变量子集在扩大时，残差平方和随之减少，而复判定系数随之增 大 。 如果按残差平方和越小越好的原则来选择自变量子集，或者为提高复相 关系数，不论什么变量只要多取就行，则毫无疑问选的变量越多越好。这 样由于变量的多重共线性，给变量的回归系数估计值带来不稳定性，加上 变量的测量误差积累，参数数目的增加，将使估计值的误差增大。如此构 造的回归模型稳定性差，使得为增大复相关系数R而付出了模型参数估计稳 定性差的代价。
因变量 自变量和模型选择
因变量、自变量和模型选择
(2013-11-22 10:28:03)
分类：数据分析与数据挖掘
标签：
it
1.因变量为连续变量，自变量至少有一个连续变量，进行多元线性回归；
2.因变量为连续变量，自变量全部为分类变量，进行方差分析；
3.因变量为分类变量，自变量至少有一个连续变量，使用Logit模型或者Probit模型；
4.因变量为分类变量，自变量全部为分类变量，进行交叉表分析和卡方检验；
5.因变量在某个闭区间内分布，并且有较多样本落在闭区间的边界上，使用Tobit模型；
6.因变量不唯一，如多产出问题，进行数据包络分析（DEA）;
7.因变量为整数，数值小，取零个数较多，使用计数（Count）模型；
8.数据具有层次结构（嵌套结构），使用多层线性模型（HLM）。
自变量选择和逐步回归分析
y
（X，u)bu
，
逐步回归的数学模型
在新模型 y
（X，u)
bu
中，
bˆu (uRu)1uRy, R I X ( X X )1 X
ˆ(u) ˆ ( X X )1 X ubˆu
残差平方和 Q(u) Q bˆu2 (uRu)
检验新变量的显著性
修正的复决定系数
Rs2
1
(1
Rs2 )
n
n
， s
s :回归方程中参数的个数 。
n : 样本容量，n s。
Rs2 : 复决定系数。 Rs2：修正的复决定系数。
修正的复决定系数最大
设回归方程中原有 r个自变量，后来又增加 了s个自变量，检验这 s个增加的自变量是否 有意义的统计量为
F
Rr2s Rr2 1 Rr2s
全模型与选模型
全模型 因变量y与所有的自变量x1,, xm的回归模型, 称为全模型
y 0 1x1 mxm
选模型 从所有m个变量中所选的p个自变量组成的回归模型 称为选模型.?
y 0 p 1p x1 2 p x2 pp xp p
准则2：C p 统计量达到最小
用选模型
y 0 p 1p x1 2 p x2 pp xp p
数据标准化
Z ij
xij x j
j
, yi
yi y ,
y
i 1,2,, n, j 1,2,, p
x j
1 n
nyi ,
n
n
j
(xij x j )2 , y
( yi y)2
i 1
i 1
标准化数据的模型及回归步骤
数据标准化后模型（1）变为
应用回归分析,第5章课后习题参考答案
第5章自变量选择与逐步回归思考与练习参考答案自变量选择对回归参数的估计有何影响？答：回归自变量的选择是建立回归模型得一个极为重要的问题。
如果模型中丢掉了重要的自变量, 出现模型的设定偏误，这样模型容易出现异方差或自相关性，影响回归的效果；如果模型中增加了不必要的自变量, 或者数据质量很差的自变量, 不仅使得建模计算量增大, 自变量之间信息有重叠，而且得到的模型稳定性较差，影响回归模型的应用。
自变量选择对回归预测有何影响？答：当全模型（m元）正确采用选模型（p元）时，我们舍弃了m-p个自变量，回归系数的最小二乘估计是全模型相应参数的有偏估计，使得用选模型的预测是有偏的，但由于选模型的参数估计、预测残差和预测均方误差具有较小的方差，所以全模型正确而误用选模型有利有弊。
当选模型（p元）正确采用全模型（m 元）时，全模型回归系数的最小二乘估计是相应参数的有偏估计，使得用模型的预测是有偏的，并且全模型的参数估计、预测残差和预测均方误差的方差都比选模型的大，所以回归自变量的选择应少而精。
如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣？C统计量达到最小的准则来衡量回答：如果所建模型主要用于预测，则应使用p归方程的优劣。
试述前进法的思想方法。
答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m个一元线性回归方程, 并计算F检验值，选择偏回归平方和显著的变量（F 值最大且大于临界值）进入回归方程。
每一步只引入一个变量，同时建立m－1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的两变量变量（F值最大且大于临界值）进入回归方程。
在确定引入的两个自变量以后，再引入一个变量，建立m－2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的三个变量（F值最大）进入回归方程。
不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值Fα(1,n-p-1)，回归过程结束。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
课程设计（论文）课程名称：应用回归分析设计题目：自变量的选择院系：数学与统计学院专业：概率论与数理统计设计者：沈铁学号： ***********自变量选择一.自变量选择概述在应用回归分析去处理实际问题时，回归自变量选择是首先要解决的重要问题。
通常，在做回归分析时，人们根据所研究问题的目的，结合经济理论罗列出对因变量可能有影响的的一些因素作为自变量引进回归模型，其结果是把一些对因变量影响很小的，有些甚至没有影响的自变量也选入了回归模型中，这样一来，不但计算量变大，而且估计和预测的精度也会下降。
此外，如果遗漏了某些重要变量，回归方程的效果肯定不好。
在一些情况下，某些自变量的观测数据的获得代价昂贵，如果这些自变量本身对因变量的影响很小或根本没有影响，我们不加选择的引进回归模型，势必造成观测数据收集和模型应用的费用不必要的加大。
因此，在应用回归分析中，对进入模型的自变量作精心的选择是十分必要的。
在多元线性回归模型中，自变量的选择实质上就是模型的选择。
现设一切可供选择的变量是t 个 ,它们组成的回归模型称为全模型（记：1+=t m ），在获得n 组观测数据后，我们有模型⎩⎨⎧+=),0(~2n n I N X Y σεεβ其中：Y 是1⨯n 的观测值，β是1⨯m 未知参数向量，X 是m n ⨯结构矩阵，并假定X 的秩为m 。
现从tx x x ,,,21 这t 个变量中选t '变量，不妨设t x x x ',,,21 ，那么对全模型中的参数β和结构矩阵X 可作如下的分块（记：1+'=t p ）：()'=q p βββ,，()q p X X X =我们称下面的回归模型为选模型：⎩⎨⎧+=),0(~2n p p I N X Y σεεβ 其中：Y 是1⨯n 的观测值，pβ是1⨯p 未知参数向量， p X是p n ⨯结构矩阵，并假定pX 的秩为p 。
自变量的选择可以看成是这样的两个问题，一是究竟是用全模型还是用选模型，二是若用选模型，则究竟应包含多少变量最适合。
如果全模型为真，而我们用了选模型，这就表示在方程中丢掉了部分有用变量，相反，如果选模型为真，而我们选用了全模型，这就表示在方程中引入了一些无用变量，下面从参数估计和预测两个角度来看一看由于模型选择不当带来的后果。
为了讨论方便起见，先引入几个记号：全模型中参数2,σβ的估计：1ˆ()'X X X Y β-'=211ˆ[()]()Y I X X X X Yn R X σ-'''=--其中：)(X R 为矩阵X 的秩。
在点)(1'=t x x x 点上的预测值为ˆˆy x β'=在选模型中参数2,σβ的估计：121()1[()]()p p p p p p p p p p X X X YY I X X X X Yn R X βσ--''=''=--在()'''='''=+),(),()(11tppqpxxxxxxx上的预测值为pppxyβ~~'=二.自变量选择发展简史.从20世纪60年代开始，关于回归自变量的选择成为统计学中研究的热点问题，统计学家提出了许多回归选元的准则，并提出了许多行之有效的选元方法. 黄荣坦(1992) 就自变量的选择准则进行了分析比较, 并提出建议, 在编制最优回归方程选择软件时, 只要采用3 种准则, 即广义K 2L 差异度准则、Cp 准则和PRESS 准则, 并指出第一种准则在计算机上较容易实现. 胡代清(1990) 就逐步回归方程的更新也提出了自己的解决办法, 若原观测数据序列长度为N 0, 并已建立相应的回归方程, 现继续观测了N 1 次, 当N 1 较大时, 就需要重新建立回归方程. 这时可利用原数据序列的特征值和新观测的延长序列, 更新逐步回归方程.关于多元线性回归方程自变量选择, 还有如下的一些探讨. 朱颖元(1992) 建议选择因子时, 将F a 作为选择因子的门限值, 而不作为假设检验的显著性界限, 在逐步回归分析的基础上提出了以剩余标准差最小为准则的改进算法; 陈迪(1988) 在模型残差矩阵的迹损失下, 讨论了多元线性模型的自变量选择的问题, 证明了自变量子集可丢弃的充要条件, 并讨论了当设计阵是列正交时最优回归模型的求法; 郑忠国(1991) 利用多重假设检验理论找到逐步回归中选入或删除一个变量的方法, 指出利用偏相关系数构造出来的检验统计量具有一定的优越性.三.自变量选择准则若一个多元回归的问题中有t可供选择的自变量，那么所有可能的回归方程有12-t 个，下面给出一些自变量选择的准则，希望能从12-t 个回归方程中选择一个最合理的方程. 先给出一些记号：对全模型，记：SST SSE R X X X X H Y H I Y SSE -=''=-'=-1,)(,)(21对选模型，记：SST SSE R X X X X H Y H I Y SSE p p p p p p p p p -=''=-'=-1,)(,)(21对一切p 有22p p R R SSE SSE ≥≤，即全模型的残差平方和总达到最小，而复相关系数总达到最大，因此残差平方和和复相关系数均不能作为选择变量的准则。
下面从不同的角度给出自变量选择的准则。
从模型拟合角度考虑准则1 平均残差平方和达到最小.p n SSE Pp -=2~σpSSE 随p 的增加而减少,但p n -也随p 的增加而减少。
但前面的i x，由于其对y 的作用很显著,使pSSE 减少得较快,能使p n SSE p-随的p 增加而减少,但当ix 对y 的作用不明显时, 随差p 的增加，pSSE 减少的很慢，而p n -1随p 的增加继续增加，这就使()P SSE n p -随p 的增加而增加，取()P SSE n p -的最小值所对应的p 。
当然相应入选p 个变量是所有t 个变量是所有自变量中最显著的。
（其显著性由计算t 统计量或F 统计量得出）。
准则2 修正的复相关系数2P R 达到最大。
其中2P R 的定义为， )1)(12---=n SST p n SSE R P P p n n R p ----=1)1(12可以证明在=q β时，22qp p R R +≥，故取2pR 达到最大的方程为好。
从预测角度考虑。
为了叙述方便，先给出下面记号。
记：⎪⎪⎪⎪⎪⎭⎫⎝⎛''''''=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=nqnpq p q pn x x x x x x x x x X 2211''2'1 其中: ⎪⎪⎭⎫ ⎝⎛=iq ip i x x x ，n i 2,1=从而有⎪⎪⎭⎫ ⎝⎛''''='q qp q qp p p X X X X X X X X X X其中：∑=''ip ip p p x x X X ，'iqip q p x x X X ∑='， 'ip iq p qx x X X ∑='，∑=''iq iq q qx x X X准则3 预测偏差的方差p JJ 达到最小2~)(pp p n JJ σ+=而()p p x y D β~'-=21'))(1(σp pppx XX x -'+，所以在n 个样本点上的预测偏差的平方和为：''12()(1())iipp ip p p ip iiD y xx X X x βσ-'-=+∑∑2'12)(σσ⎥⎦⎤⎢⎣⎡'+=∑-i ip ip p p x x X X tr n 2)(σp n +=2σ是未知参数，用2~pσ作为2σ的估计。
准则4 平均预测均方误差pS 达到最小。
2~11pp p n S σ--=由于py ~不一定是Ey 的无偏估计，从而预测偏差 的方差改用均方误差来描述。
准则5pC 统计量22s SSE n p C p p +-=其中2s 是全模型中2σ的无偏估计.考虑在n 个样本点上，用选模型作预测时，预测值与期望值的相对偏差平方和为：∑∑'-'=-=ii p ip ii i p x x Ey y J 2222)~(1)~(1ββσσ而∑'-'+'-'=ii p ip p ip p ip p x x E x E x E EJ ])~()~~([1222ββββσ)(1ˆ212I I +=σ∑∑∑-''='='=iiiipp p ip ip p ip p ip x X X x x D x x D I 121)(~~σββ∑∑''=''=--iiip ip p p ipip p p x x x x tr x x x x tr 1212)()(σσp 2σ= ∑='-'=ni i p ipx x E I 122)~(ββ∑=-'-'=ni q iq q ip x C B x 121)(ββ∑=--'-'-''=ni q iq ip iq ip qx C B x x x B C 111))((ββq iq iq iq ip ip iq ip ip ni qx x x x B C C B x x c B x x B C ββ)(11111'+''-'-'''=----=∑q iq iq ni iq ip ip iq ipipq x x x x B C C B x x C B x xB C ββ)(11111∑∑∑∑'+''-'-'''==----q qD C B C C B C C BB B C ββ)1111+'-'-''=--q qC B CD ββ)(1-'-'= ))(~(22p nE p--=σσ由此可知：{}{}np ESSE n P P N E p n p n E EJ pppp -+=-+-=---=2)2()(~1)2()(~12222222σσσσσσσ故选22s SSE n p C p p +-=。
从上面pC 统计量的定义可知，要选pC 值小，并且PC p -的回归方程。
准则6 预测平方和pPRESS 达到最小。