回归分析与因子分析之比较

回归分析与因子分析之比较

刘婷玉数学与统计学院 06 级

【摘要】回归分析与因子分析是数理统计中常用的两种数据处理方

法，本文对他们进行比较，分析了两种方法的区别与联系，各自的使

用和适用范围，对教学质量的提高及在实际中对于有效选择此两种统

计方法提供了依据。

【关键词】回归分析因子分析比较

一、问题提出

回归分析和因子分析都是研究因变量与因子间关系的一种数据处理

方法，在模型上看，只是因子结构不一样，他们之间到底有什么内在

联系，值得我们研究并加以利用。

二、问题分析

1、统计模型和类型

多元线性回归模型表示方法为

Y b0b1 X 1b2 X 2b k X k u

n 个样本观测值(Y,X

1i , X

2 i

,, X

ki

)i 1,2, , n

i

得： Y b

0b X

1 i

b X

2 i

b X

ki

u

i

i12k 其解析表达式为 :

Y 1 b 0 b 1 X

11

b 2 X

21

b k X Y 2

b 0

b 1

X

12

b 2

X

22

b k X

k 1 u

1

k 2

u

2

Y

n

b

b 1

X

1n

b 2

X

2 n

b k

X

kn

u

n

多元模型的矩阵表达式为

Y

1

1 X Y 2

1

X Y

n

1

X

YXB

U

11

12

1 n

X

X

X

21 22 2 n

X

X

X

k1

b 0

u 1

b 1

k 2

u

2

b

2

kn

b

k

u

n

Y 1

1 X 11 X Y

Y 2

1

X 12

X X

Y n

1

X

1 n

X

b 0

u 1

b 1

U u 2

B

b

2

21

22

2 n

X X

X

k 1

k 2

kn

b k

u n

一般地，设 X=(x1 ， x2， ⋯，xp) ’为可观测的随机变量，且有

X i

i

a i 1 f 1 a i 2 f 2 a im f m e i

。在因子分析中， p 维的变量

向量 x 被赋予一个随机结构， x = α+Af+ε具体也可以写成以下形式：

x 1

a 11 f

1

a 12 f

2

a 1m f

m

1

x 2 a 21 f

1

a 22 f

2

a 2 m f

m

2

x p

a p1 f 1a p 2

f

2

a pm f

m

p

(1)

其中 α是 p 维向量， A 是 p ×r 参数矩阵， f 是 r 维潜变量向量，称为

公共因子 (Common factors)，而ε是 p 维的变量向量，称为特殊因子(Specific factors)，满足下列假定：

E(ε) =0，cov(ε) = (对角矩阵 )E(f) =0，cov (f，ε)=0，cov(f) =I(2)它把每个变量分解为两部分，一部分是由这些变量内含的公共因

子所构成的，即公共因子部分，另一部分是每个变量各自独有的因子，即所谓特殊因子部分。应当注意，因子模型不具有唯一性，设T 是一个正交矩阵，由TT 'I 可知，因子模型x =α+Af+ε与模型x =α+(AT)(T ′f)+ ε等价。后者载荷矩阵为 AT ，新的公共因子 T′f 。正

是由于因子模型的不唯一性，所以当原模型不适合专业解释时，则作一个正交变换 T ，把原模型改变为新模型，在新模型中再去寻找因子的专业解释，这就为因子旋转提供了理论的基础。

由两者的比较可知，两种模型都是用某几个因子来解释变量的，

只是因子构成不一样，回归分析的因子之间可能存在相关关系，但是后者却是独立的。回归分析模型写成了原观测变量的线性组合，因子分析是描述原指标X 协方差阵结构的一种模型，对原观测变量分解

成公共因子和特殊因子两部分，当公共因子的个数 m=原变量个数 p 时，就不能考虑特殊因子了，此时因子分析也对应于一种线性组合了，饿而且因子模型的系数矩阵表明了原变量和公共因子的相关程度。

2、目的和作用

回归分析是为了分析一个变量如何依赖其它变量而提出的一种

统计分析方法，它的目的是要确定引起因变量变化的各个因素，多元线性回归是研究一个因变量（Y）和多个自变量（ Xi）之间数量上相