十三自变量的选择

多重共线性的后果
2、参数估计量经济含义不合理
如果模型中两个解释变量具有线性相关性，例 如X1 和X2 ，那么它们中的一个变量可以由另一个 变量表征。
这时，X1和X2前的参数并不反映各自与被解释 变量之间的结构关系，而是反映它们对被解释变 量的共同影响。 所以各自的参数已经失去了应有的经济含义， 于是经常表现出似乎反常的现象，例如本来应该 是正的，结果恰是负的。
强迫进入法（Enter Model）
• 就是把原始数据库中所有自变量全部放置 进入回归模型 • SPSS系统默认这种方法 • 看每个回归自变量的系数检验过程以及模 型的拟合优度
逐步回归法（Stepwise Method）
• 是逐步引入回归作用显著的自变量，并从 回归模型中逐步驱除回归作用变得不再显 著的自变量，以最终得到最优化的模型；
它们之间有着很强的相关性。
举例说明
●例如，建立某地区粮食产量回归模型
以粮食产量为因变量Y，以化肥用量为x1， 以水浇地面积为x2，以农业投入资金为x3 等作为自变量。
农业投入资金与化肥用量、水浇地面积有很 强的相关性。
多重共线性的定义
对于模型 Yi=0+1X1i+2X2i++kXki+i i=1,2,…,n 其基本假设之一是解释变量X1,X2 , …, Xk是互 相独立的。
多重共线性的后果
• 1、当自变量之间存在多重共线性时，用OLS对模型进行 估计仍然满足无偏性，但回归系数的方差会越大，减少估 计精度。 • 在一般共线性（或称近似共线性）下，虽然可以得到OLS 法参数估计量，但是由参数估计量方差的表达式为
ˆ ) 2 ( XX) 1 Cov(
• 可见，由于此时|X’X|0，引起(X’X) -1主对角线元素较大， 从而使参数估计值的方差增大，OLS参数估计量非有效。
p 1 p
e
'X
odds
P – 称为比数（odds） 1 P
原理
• 对应的患病率 • 可见，Odds与p是一一对应的。如果两个患病率相等 p1=p2 ，则可得两个比数相等Odds1=Odds2 ； • 因此我们可以把两个患病率大小的比较转化为两个Odds大 小的比较。并引入比数比(Odds Ratio, OR)
多重共线性的诊断
• 1、直观判断法 • 一般出现下列情况之一，可认为存在多重 共线性： • （4）有些自变量的回归系数符号与定性分 析的不一致； • （5）在自变量的相关系数矩阵中，简单相 关系数较大； • （6）一些重要的自变量的回归系数的方差 较大。
2、 逐步引入法
• 以Y为被解释变量，逐个引入解释变量，构成
商务调查与分析
第十三讲：自变量的选择和逻辑回归
国际商学院 技术经济及管理学系 讲授：杨震宁 副教授
多元回归分析：一个研究示例
对总经理（CEO）年度报酬决定 因素进行实证分析（管理世界2005年第8期）
问题 理论和研究假设
1、内部所有权比例与年度报酬之间正相关
2、独立董事比例与年度报酬之间负相关
3、行业变量（无形资产占总资产的比率）与年 度报酬之间正相关
• 现在我们用解释变量来对被解释变量取值为1时的概率值 进行回归分析!!
原理
• 对概率进行转换，可建立线性回归模型
P ln 1 x1 2 x2 ... n xn X 1 P
– 该转换称为logit转换。P为事件发生的概率，1P为事件不发生的概率 –
多重共线性的诊断
• 1、直观判断法 • 一般出现下列情况之一，可认为存在多重共线性： • （1）拟合优度很大，但模型中全部或部分参数统 计检验不显著； • （2）当增加或剔除一个自变量时，回归系数估计 值会发生较大的变化； • （3）从定性分析得知某个自变量对因变量有重要 影响，但此变量回归系数未通过统计检验；
一个多重共线性检验与逐步回 归的例子：销售业绩的预测
三、LOGESTIC回归
前言
• Logistic回归模型是适用于反应变量（因变 量）为分类变量的回归分析 • 按设计类型：
– 条件Logistic回归：配对设计 – 非条件Logistic回归：未配对
• 按变量类型：
– 两分类反应变量 – 多分类有序反应变量 – 多分类无序反应变量
样本和方法
• 2002年上市公司的截面数据作为总体
– （1）剔除在2000年1月1日之后上市的公司；（2）剔 除有外资法人股、B股和H股上市的公司；（3）剔除 ST和PT公司；（4）剔除净资产收益率为负数的公司； （5）剔除净资产、主营业务利润、净利润为负的公司； （6）剔除在2002年更换总经理的公司；（7）剔除以 上变量指标数据不完备的公司。 – 收集到了143家公司
• 方法
– 普通最小二乘模型
内容
• 一、多重共线性及其诊断
• 二、自变量的选择 • 三、LOGESTIC回归
一、多重共线性及其诊断
多重共线性产生的背景和原因
●解释变量之间完全不相关的情形是非常少见的， 尤其是研究某个经济问题时，涉及的自变量较多， 我们很难找到一组自变量，它们之间互不相关， 而且它们又都对因变量有显著影响。
Logistic回归模型
e P ( b0 b1 x1 b2 x2 bk xk ) 1 e
( b0 b1 x1 b2 x2 bk xk )
参数估计
• 最大似然估计法 （Maximum likehood estimate） 似然函数：L=∏Pi 对数似然函数： lnL=∑(ln P)=ln P1+ln P2+…+ln Pn 非线性迭代方法—— Newton-Raphson法
3、变量的显著性检验失去意义
存在多重共线性时 值增大）
容易使通过样本计算的t值小于临界值， 误导作出参数为0的推断
可能将重要的解释变量排除在模型之外
多重共线性的后果
• 4、存在多重共线性，会出现很多回归系数 统计检验不显著，但拟合优度却很高的情 况，以至于很难作出合理的经济解释，直 接影响到最小二乘法的应用效果，降低了 回归模型的预测价值。
回归模型，进行模型估计。
• 根据拟合优度的变化决定新引入的变量是否可 以用其它变量的线性组合代替，而不作为独立的 解释变量。 • 如果拟合优度变化显著，则说明新引入的变量 是一个独立解释变量；
• 如果拟合优度变化很不显著，则说明新引入的 变量不是一个独立解释变量，它可以用其它变量 的线性组合代替，也就是说它与其它变量之间存 在共线性关系。
原理
• 多元线性回归模型：Y 1 x1 2 x2 ... n xn X 是参数向量，X是自变量向量。表示n – 其中是 截距， 个自变量x与反应变量Y间的关系，Y为任意实数 ，属 于连续变量
• 当反应变量为离散型变量时，如研究不同治疗方法对某病 治疗的效果，反应变量疗效Y的值为1（治愈）和0（未 愈），要研究的是某种事件（如治愈）发生的可能与自变 量（治疗方法）的关系，反应变量为事件发生的概率P （Y=1）。
●客观地说，某个经济现象，涉及到多个影响因素 时，这多个影响因素之间大都有一定的相关性。 它们之间相关性较弱时，我们一般就认为符合线 性回归模型的要求。
什么是多重共线性 图形表示：巴伦坦图
Y
Y
X1
X2
X1
X2
低度多重共线性
高度多重共线性
举例说明
●例如：研究我国居民消费状况
一般有职工平均工资、农民平均收入、银 行利率、全国零售物价指数、国债利率、 货币发行量、储蓄额、前期消费额等。
• SPSS软件可以自动实现
逐步回归法的步骤
• 第一步，拟合K个简单线性回归方程，比较 F值或拟合优度，只有当统计量F＞F*，自 变量才有可能被引进；如果有两个以上的F ＞F*，则选择F值最大的自变量。在给定 α=0.05前提下，F*为3.84，这个前提条件是 SPSS系统默认的显著性水平。
逐步回归法的步骤
3、方差--膨胀因子法
我们计算模型中每个解释变量 Xj 对其余解释变量 X1,…XJ-1,Xj+1,…,Xk 的辅助方程，并由此计算出其判断系 数 R2 j 。 可以构造一个测度多重共线性的指标为：
VIF 2 j


1 1 R2 j
该指标称为方差膨胀因子。如果解释变量 Xj 与其余 解释变量都不相关，则辅助回归方程的判定系数 R 2 j 等于 0,其方差膨胀因子为 1，说明解释变量之间不存在多重共 线性；如果其方差膨胀因子大于 1,就意味着该解释变量与 其它解释变量有一定程度的相关性，即存在多重共线性。 一般来说，VIF 大于 5 说明解释变量之间多重共线性 很严重。
二、自变量的选择
问题的提出
• 在建立多元回归模型时，我们是根据定性 分析，确定解释变量，但定性分析带有很 大的主观性，况且，在回归模型中，并不 是解释变量越多越好，所以必须在定性分 析的基础上，应用定量的方法确定哪些变 量应引入模型，减少多重共线性带来的影 响。 • 强迫进入法，前进法，后退法及逐步回归 法
逐步回归法的步骤
• 第三步，在第二个自变量被引入以后，需 要检验由于此自变量的引入而影响到原变 量与因变量的显著关系。如果由于新变量 的引入使原变量与因变量关系不再显著， 则需要把原变量剔除掉。 • 反复以上过程，直到没有新的变量能满足 被引进的要求，没有原有变量能满足被驱 逐的要求为止，这个过程由SPSS来实现。
Odds e P(Y 1| x ) x 1 Odds 1 e
x
p2 Odds2 e 2 1 p2 OR e p1 Odds1 e 1 p1
原理
• Logistic回归模型 Logistic回归的logit模型
logit P=b0 b1 x1 b2 x2 bk xk