回归分析与因子分析之比较

回归分析与因子分析之比较

刘婷玉 数学与统计学院06级

【摘 要】回归分析与因子分析是数理统计中常用的两种数据处理方法，本文对他们进行比较，分析了两种方法的区别与联系，各自的使用和适用范围，对教学质量的提高及在实际中对于有效选择此两种统计方法提供了依据。

【关键词】回归分析 因子分析 比较

一、 问题提出

回归分析和因子分析都是研究因变量与因子间关系的一种数据处理方法，在模型上看，只是因子结构不一样，他们之间到底有什么内在联系，值得我们研究并加以利用。 二、 问题分析

1、

统计模型和类型

多元线性回归模型表示方法为

i

ki k i i i ki i i i k k u X b X b X b b Y n

i X X X Y n u X b X b X b b Y +++++==+++++= 221102122110,,2,1)

,,,,(得：个样本观测值

其解析表达式为:

⎪⎪⎩⎪⎪⎨

⎧+++++=+++++=+++++=n kn k n n n k k k k u X b X b X b b Y u X b X b X b b Y u X b X b X b b Y 2211022222121021121211101

多元模型的矩阵表达式为

⎪⎪

⎪⎪

⎪⎭⎫ ⎝⎛+

⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⎪⎪⎪⎪⎪⎭⎫ ⎝

⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛u u u b b b b X X X X

X X X

X X Y Y Y n k kn k k n

n

n

2121021222

21112

1121111 ⎪⎪⎪

⎪⎪⎭

⎫ ⎝⎛=⎪⎪⎪⎪

⎪⎪⎭

⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭

⎫

⎝⎛=⎪⎪⎪

⎪⎪⎭⎫ ⎝⎛=+=u u u b b b b X X

X X

X X X

X X

Y Y Y n k kn k k n

n

n U B X Y U XB Y

2121021

222

21112

1121111

一般地，设X=(x1， x2， …，xp)’为可观测的随机变量，且有

i

m im i i i i e f a f a f a X +⋅+⋅⋅⋅+⋅+⋅+=2211μ 。在因子分析中，p 维的变量

向量x 被赋予一个随机结构，x =α+Af+ε具体也可以写成以下形式：

1111122112211222221122m m m m p p p pm m p

x a f a f a f x a f a f a f x a f a f a f μεμεμε-=++++-=++++-=++

++ (1)

其中α是p 维向量，A 是p ×r 参数矩阵，f 是r 维潜变量向量，称为

公共因子(Common factors)，而ε是p维的变量向量，称为特殊因子(Specific factors)，满足下列假定：

E(ε) =0，cov(ε) =Δ(对角矩阵)E(f) =0，cov (f，ε)=0，cov(f) =I (2) 它把每个变量分解为两部分，一部分是由这些变量内含的公共因子所构成的，即公共因子部分，另一部分是每个变量各自独有的因子，即所谓特殊因子部分。应当注意，因子模型不具有唯一性，设T是一个正交矩阵，由I

'可知，因子模型x =α+Af+ε与模型x =α

TT

+(AT)(T′f)+ε等价。后者载荷矩阵为AT，新的公共因子T′f。正是由于因子模型的不唯一性，所以当原模型不适合专业解释时，则作一个正交变换T，把原模型改变为新模型，在新模型中再去寻找因子的专业解释，这就为因子旋转提供了理论的基础。

由两者的比较可知，两种模型都是用某几个因子来解释变量的，只是因子构成不一样，回归分析的因子之间可能存在相关关系，但是后者却是独立的。回归分析模型写成了原观测变量的线性组合，因子分析是描述原指标X协方差阵结构的一种模型，对原观测变量分解成公共因子和特殊因子两部分，当公共因子的个数m=原变量个数p 时，就不能考虑特殊因子了，此时因子分析也对应于一种线性组合了，饿而且因子模型的系数矩阵表明了原变量和公共因子的相关程度。

2、目的和作用

回归分析是为了分析一个变量如何依赖其它变量而提出的一种统计分析方法，它的目的是要确定引起因变量变化的各个因素，多元线性回归是研究一个因变量（Y）和多个自变量（Xi）之间数量上相

互依存的线性关系。利用回归分析可以进行因素分析、调整混杂因素和统计预测。

因子分析是用于研究个体测量指标的协方差(或相关)结构的探索性数据分析的多元技术。它找出若干可以解释可观测指标之间的变差或者联系的潜变量从而简化高维数据，并对相似指标进行分组及检测多重共线性，将高维数据在低维空间中图示以利于直观考察数据的分布情况及检测异常值。目标是通过减少变量的个数来了解数据的结构，在某种意义上可以取代原始数据，而且通过图示和多元推断技术更容易进行研究。它就是用少数几个有意义因子来描述多个指标或因素之间的联系，与此同时，又能保存住原有数据结构所提供的大部分信息，这样就可以找出潜在的特征。其目的为化简数据、浓缩信息、探讨内在结构，也就是说将分散在多个变量中的同类信息集中起来、提纯，从而便于分析、解释和利用。

同样是因变量和因子之间的关系，但是回归分析却能得出确切的数值关系，而且通常是定量的（不过对定性因素可以采用虚拟变数的处理方法）。但因子分析一般适用于定性的，不可观测的数据。不过，回归分析的关系不精简明了，而且确定的因子也是根据人为经验事先定好的，不如因子分析的全面，可能还得做逐步回归等才能剔除或增加变量。

3、适用原则

首先，回归分析和因子分析使用的数据不一样。回归分析同时需要因子和因变量的数据，数据结构为因变量和因子对应的顺序数据，