一种新的多元回归思路——因子与回归联合分析法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｘ１－／１＝ａｌＦｌ＋口１Ｆ２＋ … 口１ Ｆｍ＋８１ １ ， ｌ ２ ｍ
一
第１ ３卷
２＝ （ １ ／ Ｆ１＋口２ ， ２ ２ ＋ … 口２ Ｆ ＋０２ ｍ ￣
（） １
一
， ｕｐ＝ａ ｌ ｐＦｌ＋ 口 ２ ｐ
＋…
Ｆ ＋占 ｐ
用矩 阵表示为 ：
Ｘ ＝／ ｚ＋ＡＦ ＋
（） ２
其中， Ｆ＝（ 一 Ｆ ）， Ｆ ， Ｆ 称为 Ｘ的公共 因子； 矩阵 Ａ＝（ 是待估的系数矩阵， 口） 称为因子载
一
‘ 。
： ：
”
，，
／． Ｌｚ －
一
（） ５
＼ Ｊ
１ 【
＝ 一 口 （ ”，） ＝１２ ｐ
ｍ
公因子个数 ／ 的确定方法一般有两种 ， ７ ／ ＂ ， 一是根据实际问题 的意义或专业理论知识来确定 ， 二是用 确定主成份个数的原则 ， 看方差累计贡献率 ， ／满足 ， Ｆ的估计值 Ｆ 使得 （ ） ｍｎ （ ） 求 ， Ｆ ＝ ｉ Ｆ． ＠
由
＝Ａ（ — Ｆ ＝ ， ２ Ａ ） ０ 得到的估计值 ：
Ｆ＝（ Ａ Ａ Ａ） （） ９
１２ 被解 释变量 ｙ与 因子得 分估计 值 Ｆ的 回归 拟合 ．
根据上面讨论 ， 被解释变量 ｌ ， 与因子得分估计值 Ｆ回归模型形式为
Ａ 的最 小整数．
１ １ ２ 利用极 小化 法求 因子得 分 Ｆ ．．
１＋ … ＋ Ａｍ＋ … ＋Ａ口
（） ６
、
不妨设 ＝ ， ２ 式知 ０ 由（ ）
Ｘ＝ Ｆ＋ Ａ ｓ
因为
．
（） ７
＝ ８＝（ — ）（ — ＡＦ ＡＦ）ｅ＝ｂＦ） ｄ ｑ（
（） ８
传统上， 通过容忍度 、 方差膨胀 因子、 特征值和方差比、 条件指数等方式测度解释变量间的多重共线 性问题． 该方法的缺点是它没有在 回归分析之前对变量进行预处理 ， 来解决变量之间可能存在 的多重共
线性问题 ， 而是问题出来 了再进行必要的处理 ， 显然这种思路有些被动． 另外 ， 通过变量筛选策略可以剔
想方法， 笔者称之为因子与回归联合分析法． 该 方法 的数学原 理如 下 ： １１ 利用因子分析法求出因子得分估计值 ． 设 Ｘ＝ ， ， ， ）是 可观测 的随机变量 Ｅ（ ）＝ Ｄ（ （ … ， Ｘ）＝∑， 且设 Ｆ＝（ …， ） Ｆ， （ ｐ 是不可观测的随机变量 ， Ｆ ＝ ， Ｆ ＝ （ Ｆ的各分量方差为 １且互不相关 ）又设 占＝ ｍ＜ ） 层（ ） ０Ｄ（ ） 即 ， ．
变量的多重共线性问题是多元回归分析中的一个相当重要的环节． 所谓多重共线性是指解释变量 之间存在线性相关关系的现象． 解释变量间高度的多重共线性会给回归方程带来许多影响， 如偏回归系 数估计困难、 偏回归系数 的估计方差随解释变量相关性的增大而增大、 回归系数 的置信区间增大、 偏 偏 回归系数估计值 的不稳定性增强、 偏回归系数假设检验的结果不显著等．
收稿 日期 ：０ ０ ２０ ２ １ － －８ ０
作者简介 ： 曹苏娜 （９ ３ ）女 ， １８ 一 ， 北京人 ， 甲兵工程学院基础部助教 ， 学硕 士． 装 理 研究方 向： 渗流理论．
西安 文理 学院学报 ： 自然科 学版 （ “ ）与 Ｆ互 不相关 ， ， 且 Ｅ（ ）＝ ， ）＝ ｉ （ｒ， ， ） ＝ 对 角矩 阵 ） ｏ Ｄ（ ｄａ ｔ … Ｄ（ ｇ 则 随机 变量 Ｘ 的正 交 因子模 型为 ： ，
除对被解释变量没有显著影响的变量 ， 保留下对被解释变量有显著影响的变量 ， 但变量间可能存在的多 重共线性问题仍然没有得到解决． 因此 ， 为了保证 回归方程拟合 的显著性和处理问题 的简洁性， 有必要 找出一种合理的分析方法对多元回归分析 中的多重共线性问题进行处理． 在本文中， 笔者借助因子分析 方法成功地解 决 了此 问题 ．
第２期
曹苏娜， ： 等 一种新的多元回归思路—— 因子与 回归联合分析法
４ ｌ
（ ０ １）
１ Ｆ１ … ｌ
＾
…
Ｆ１
＾
ｙ ｌ
记 Ｃ＝
１ Ｆ２ … １
● ●
…
＝
●
：
节． 针对传统的多元 回归分析 中变量 间的多重共线性问题 ， 出一种新 的求解 多元 回归 问题 的思路 ， 提 该 思路与传统方法相 比具有明显的优势． 关键 词： 多元 回归分析 ； 因子分析 ； 多重共线性； 因子得分
中图分类号 ： ２２ ４ Ｏ １ ． 文献标识码 ： Ａ
０ 引言
Ａｐ ．２０ ０ ｒ １
文章 编 号 ：０ ８５６ （００ ０ －０ ９０ １０ －５ ４ ２ １ ）２０ ３ － ５
一
种 新 的多元 回归 思 路
— —
因子 与 回 归联 合 分析 法
曹苏娜 ， 王素云 ， 曹贻鹏
（ 装甲兵工程 学院 基础部 ， 北京 １０７ ） ０ ０ ２
摘
要 ： 回归分 析是 一种重要 的数据 处理方 法 ， 量的多重 共线性 诊断 是 回归 分析 的重 要环 多元 变
第 １ 第 ２期 ３卷
２１ ０ ０年 ４月
西安 文理 学院 学报 ： 自然科 学版
Ｊｕ ａ ｏ ｉ ｎＵ ｉ ｒ ｔ ｏ ｒ ｏ ｒ ｌ ｆ ’ ｎｖ ｓｙ ｆ ｔ Ｓ ｉ ｃ （ ａ Ｓ ｉ ｄ ｎ Ｘ ａ ｅ ｉ Ａ ｓ＆ ｃｅ ｅ Ｎ ｔ ｃ Ｅ ） ｎ
Ｖ Ｉ １ Ｎｏ ２ ｏ＿３ ．
１ 因子与 回归联合分析法
为 了克 服多元 回归分 析 中可 能存 在 的变量之 间 的多重共 线 性 问题 ， 首先 可 以借助 因子分 析方 法对
原来的解释变量进行降维处理 ， 在保证信息提取较充分 的情况下 ， 提取出较少的几个 因子 ， 然后把所得 的因子得分估计值作为解释变量， 对被解释变量进行回归拟合 ， 这样的一套求解多元回归分析问题的思
一
第１ ３卷
２＝ （ １ ／ Ｆ１＋口２ ， ２ ２ ＋ … 口２ Ｆ ＋０２ ｍ ￣
（） １
一
， ｕｐ＝ａ ｌ ｐＦｌ＋ 口 ２ ｐ
＋…
Ｆ ＋占 ｐ
用矩 阵表示为 ：
Ｘ ＝／ ｚ＋ＡＦ ＋
（） ２
其中， Ｆ＝（ 一 Ｆ ）， Ｆ ， Ｆ 称为 Ｘ的公共 因子； 矩阵 Ａ＝（ 是待估的系数矩阵， 口） 称为因子载
一
‘ 。
： ：
”
，，
／． Ｌｚ －
一
（） ５
＼ Ｊ
１ 【
＝ 一 口 （ ”，） ＝１２ ｐ
ｍ
公因子个数 ／ 的确定方法一般有两种 ， ７ ／ ＂ ， 一是根据实际问题 的意义或专业理论知识来确定 ， 二是用 确定主成份个数的原则 ， 看方差累计贡献率 ， ／满足 ， Ｆ的估计值 Ｆ 使得 （ ） ｍｎ （ ） 求 ， Ｆ ＝ ｉ Ｆ． ＠
由
＝Ａ（ — Ｆ ＝ ， ２ Ａ ） ０ 得到的估计值 ：
Ｆ＝（ Ａ Ａ Ａ） （） ９
１２ 被解 释变量 ｙ与 因子得 分估计 值 Ｆ的 回归 拟合 ．
根据上面讨论 ， 被解释变量 ｌ ， 与因子得分估计值 Ｆ回归模型形式为
Ａ 的最 小整数．
１ １ ２ 利用极 小化 法求 因子得 分 Ｆ ．．
１＋ … ＋ Ａｍ＋ … ＋Ａ口
（） ６
、
不妨设 ＝ ， ２ 式知 ０ 由（ ）
Ｘ＝ Ｆ＋ Ａ ｓ
因为
．
（） ７
＝ ８＝（ — ）（ — ＡＦ ＡＦ）ｅ＝ｂＦ） ｄ ｑ（
（） ８
传统上， 通过容忍度 、 方差膨胀 因子、 特征值和方差比、 条件指数等方式测度解释变量间的多重共线 性问题． 该方法的缺点是它没有在 回归分析之前对变量进行预处理 ， 来解决变量之间可能存在 的多重共
线性问题 ， 而是问题出来 了再进行必要的处理 ， 显然这种思路有些被动． 另外 ， 通过变量筛选策略可以剔
想方法， 笔者称之为因子与回归联合分析法． 该 方法 的数学原 理如 下 ： １１ 利用因子分析法求出因子得分估计值 ． 设 Ｘ＝ ， ， ， ）是 可观测 的随机变量 Ｅ（ ）＝ Ｄ（ （ … ， Ｘ）＝∑， 且设 Ｆ＝（ …， ） Ｆ， （ ｐ 是不可观测的随机变量 ， Ｆ ＝ ， Ｆ ＝ （ Ｆ的各分量方差为 １且互不相关 ）又设 占＝ ｍ＜ ） 层（ ） ０Ｄ（ ） 即 ， ．
变量的多重共线性问题是多元回归分析中的一个相当重要的环节． 所谓多重共线性是指解释变量 之间存在线性相关关系的现象． 解释变量间高度的多重共线性会给回归方程带来许多影响， 如偏回归系 数估计困难、 偏回归系数 的估计方差随解释变量相关性的增大而增大、 回归系数 的置信区间增大、 偏 偏 回归系数估计值 的不稳定性增强、 偏回归系数假设检验的结果不显著等．
收稿 日期 ：０ ０ ２０ ２ １ － －８ ０
作者简介 ： 曹苏娜 （９ ３ ）女 ， １８ 一 ， 北京人 ， 甲兵工程学院基础部助教 ， 学硕 士． 装 理 研究方 向： 渗流理论．
西安 文理 学院学报 ： 自然科 学版 （ “ ）与 Ｆ互 不相关 ， ， 且 Ｅ（ ）＝ ， ）＝ ｉ （ｒ， ， ） ＝ 对 角矩 阵 ） ｏ Ｄ（ ｄａ ｔ … Ｄ（ ｇ 则 随机 变量 Ｘ 的正 交 因子模 型为 ： ，
除对被解释变量没有显著影响的变量 ， 保留下对被解释变量有显著影响的变量 ， 但变量间可能存在的多 重共线性问题仍然没有得到解决． 因此 ， 为了保证 回归方程拟合 的显著性和处理问题 的简洁性， 有必要 找出一种合理的分析方法对多元回归分析 中的多重共线性问题进行处理． 在本文中， 笔者借助因子分析 方法成功地解 决 了此 问题 ．
第２期
曹苏娜， ： 等 一种新的多元回归思路—— 因子与 回归联合分析法
４ ｌ
（ ０ １）
１ Ｆ１ … ｌ
＾
…
Ｆ１
＾
ｙ ｌ
记 Ｃ＝
１ Ｆ２ … １
● ●
…
＝
●
：
节． 针对传统的多元 回归分析 中变量 间的多重共线性问题 ， 出一种新 的求解 多元 回归 问题 的思路 ， 提 该 思路与传统方法相 比具有明显的优势． 关键 词： 多元 回归分析 ； 因子分析 ； 多重共线性； 因子得分
中图分类号 ： ２２ ４ Ｏ １ ． 文献标识码 ： Ａ
０ 引言
Ａｐ ．２０ ０ ｒ １
文章 编 号 ：０ ８５６ （００ ０ －０ ９０ １０ －５ ４ ２ １ ）２０ ３ － ５
一
种 新 的多元 回归 思 路
— —
因子 与 回 归联 合 分析 法
曹苏娜 ， 王素云 ， 曹贻鹏
（ 装甲兵工程 学院 基础部 ， 北京 １０７ ） ０ ０ ２
摘
要 ： 回归分 析是 一种重要 的数据 处理方 法 ， 量的多重 共线性 诊断 是 回归 分析 的重 要环 多元 变
第 １ 第 ２期 ３卷
２１ ０ ０年 ４月
西安 文理 学院 学报 ： 自然科 学版
Ｊｕ ａ ｏ ｉ ｎＵ ｉ ｒ ｔ ｏ ｒ ｏ ｒ ｌ ｆ ’ ｎｖ ｓｙ ｆ ｔ Ｓ ｉ ｃ （ ａ Ｓ ｉ ｄ ｎ Ｘ ａ ｅ ｉ Ａ ｓ＆ ｃｅ ｅ Ｎ ｔ ｃ Ｅ ） ｎ
Ｖ Ｉ １ Ｎｏ ２ ｏ＿３ ．
１ 因子与 回归联合分析法
为 了克 服多元 回归分 析 中可 能存 在 的变量之 间 的多重共 线 性 问题 ， 首先 可 以借助 因子分 析方 法对
原来的解释变量进行降维处理 ， 在保证信息提取较充分 的情况下 ， 提取出较少的几个 因子 ， 然后把所得 的因子得分估计值作为解释变量， 对被解释变量进行回归拟合 ， 这样的一套求解多元回归分析问题的思