多元统计分析第五章第一部分课件

殊因子向量，A aij : p m 称为因子载荷矩阵。通常假定
E f 0 E ε 0 V f I V ε D diag 2 , 2 , , 2 1 2 p Cov f , ε E fε 0
2 2 2 , i 1, 2,, p,则 i i hi i , 令 hi2 aij
j 1
m
i 1, 2,, p
2
hi2反映了公共因子对Xi的影响，可以看成是公共因子f1,f2,⋯,fm
对Xi的方差贡献，称为共性方差(communality)；而 i 是特殊 因子εi对Xi的方差贡献，称为特殊方差(specific variance)。
当X为各分量已标准化了的随机向量时，σii=1，此时有
hi2 i2 1, i 1,2,, p
2 2 g a 3.A的列元素平方和 j ij i 1
p
V X a V f a V f V
i 1 i i 1 2 i1 1 i 1 2 im m i 1 i 2 g12 gm i2 i 1 p
因为 E(f*)=T′E(f)=0; V(f*)=T′V(f)T=T′T=I; Cov(f*,ε)=E(f*ε′)=T′E(fε′)=0 所以仍满足模型条件。Σ也可分解为 Σ=A*A*′+D
因此，因子载荷矩阵A不是惟一的，在实际应用中常常利用这
一点，通过因子的旋转（见稍后的§5.4），使得新的因子有 更好的实际意义。
5
Σ=AA′+D 其中
2 1 4 4 3 0 , D A 1 7 0 9 2 0
0 0 0 2 0 0 0 2 0 0 0 1
若取 A Σ , D 0，则有分解式
1 2
Σ Σ Σ 0
此时m=p，没有达到降维目的，故所作的因子分析没有意义。
注：
因子分析与回归分析不同，因子分析中的因子是一个
比较抽象的概念，而回归因子有非常明确的实际意义； 主成分分析与因子分析也有不同，主成分分析仅仅是 变量变换，而因子分析需要构造因子模型。 主成分分析:原始变量的线性组合表示新的综合变量，
即主成分；
因子分析：潜在的假想变量和随机影响变量的线性组 合表示原始变量。
述原始变量间的协方差关系。
查尔斯· 爱德华· 斯皮尔曼（Charles Edward Spearman, 1863-1945）英国理论和实验心理学家。 他大器晚成，1906年在德国获博士学位。 1911年任伦敦大学心理学、逻辑学教授。 1923至1926期间年任英国心理学会主席。 1924年当选为英国皇家学会院士。 作为实验心理学的先驱，斯皮尔曼对心理统计的发展做 了大量的研究，他对相关系数概念进行了延伸，导出了等级 相关的计算方法。他还创立因素分析的方法，这是他学术上 最伟大的成就。他还将之与智力研究相结合，从而于1904年 提出智力结构的“二因素说”，即‘G’因素（一般因素）和 ‘S’因素（特殊因素）。他反对联想理论，著有《智力的性 质和认知的原理》、《人的能力》、《创造的心》等。
该假定和上述关系式构成了正交因子模型。由上述假定可以
看出，公共因子彼此不相关且具有单位方差，特殊因子也彼 此不相关且和公共因子也不相关。
二、正交因子模型的性质
1. X的协差阵Σ的分解 2.模型不受单位的影响
3.因子载荷是不惟一的
1. X的协差阵Σ的分解
V X V Af ε Cov Af ε , Af ε AV f A A Cov f , ε Cov ε , f A V ε AV f A V ε
因子分析的用途与主成分分析类似，它也是一种降
维方法。由于因子往往比主成分更易得到解释，故
因子分析比主成分分析更容易成功，从而有更广泛
的应用。
从方法上来说，因子分析比主成分分析更为精细，
理论上也就更为复杂。主成分分析只涉及一般的线性变
换，不涉及模型，仅需假定二阶矩存在。而因子分析需
建立一个数学模型，并作一定的假定。 因子分析起源于20世纪初，K.皮尔逊(Pearson)和C. 斯皮尔曼(Spearman)等学者为定义和测定智力所作的努 力，主要是由对心理测量学有兴趣的科学家们培育和发 展了因子分析。因子分析的目的是为了降维，降维的方 式是试图用少数几个潜在的、不可观测的随机变量来描
第五章 因子分析
§5.1 引言
§5.2 正交因子模型 §5.3 参数估计 §5.4 因子旋转 §5.5 因子得分
§5.6 实例分析
§5.1 引言
主成分分析的成功需满足如下两点：
(1)前(少数)几个主成分具有较高的累计贡献率；
(通常较易得到满足)
(2)对主成分给出符合实际背景和意义的解释 。
(往往正是主成分分析的困难之处)
子分析表明，十项得分基本上可归结于他们的短跑速度、爆 发性臂力、爆发性腿力和耐力这四个方面，每一方面都称为
一个因子。十项得分与这四个因子之间的关系可以描述为如
下的因子模型： Xi=μi+ ai1 f1+ ai2 f2+ ai3 f3+ ai4 f4+εi, i=1,2,⋯,10 其中f1, f2, f3, f4表示四个因子，称为公共因子(common factor) ，aij称为Xi在因子fj上的载荷(loading)，μi是Xi的均值，εi是xi 不能被四个公共因子解释的部分，称之为特殊因子(specific factor)。
k 1 m
即aij是Xi与fj之间的协方差。 若X为各分量已标准化了的随机向量，则Xi与fj的相关 系数
Xi , f j
Cov X i , f j V X i V f j Cov X i , f j aij
此时aij表示Xi与fj之间的相关系数。
其中f1, f2, ⋯, fm为公共因子，ε1, ε2, ⋯, εp为特殊因子，它们 都是不可观测的随机变量。公共因子出现在每一个原始变量的 表达式中，可理解为原始变量共同具有的公共因素。上式可用 矩阵表示为： X=μ+Af+������
ε 1 , 2 ,, p 为特 式中 f f1 , f 2 , , f m 为公共因子向量，
三、因子载荷矩阵的统计意义
1.A的元素aij
2 2 h a 2.A的行元素平方和 i ij
2 2 g a 3.A的列元素平方和 素aij
Xi=μi+ai1f1+ai2f2+⋯+aimfm+εi
Cov X i , f j aik Cov fk , f j Cov i , f j aij
§5.2 正交因子模型
一、数学模型
二、正交因子模型的性质
三、因子载荷矩阵的统计意义
一、数学模型
设有p维可观测的随机向量 X ( X1 , X 2 ,, X p ) ，其均值为
μ (1 , 2 ,, p )，协差阵为 Σ=(σij)。因子分析的一般模型为
X1 1 a11 f1 a12 f2 a1m fm 1 X a f a f a f 2 2 21 1 22 2 2m m 2 X p p a p1 f1 a p 2 f2 a p m fm p
出于降维的需要，我们常常希望m要比p小得多，这样前述Σ的 分解式通常只能近似成立，即有 Σ=AA′+D 近似程度越好，表明因子模型拟合得越佳。一般来说，m选取
1 2
1 2
得越小，上述近似效果就越差，即因子模型拟合得越不理想。
拟合得太差的因子模型是没有什么实际意义的，故实践中m也 不应选得过小。
2.模型不受单位的影响
将X的单位作变化，通常是作一变换X*=CX，这里
C=diag(c1,c2,⋯,cp),ci＞0,i=1,2,⋯,p，于是X*=C μ+CAf+Cε
令μ*=C μ，A*=CA，ε*=C ε，则有X*=μ*+A*f+ε* 这个模型能满足类似于前述因子模型的假定，即 E f 0 * E ε 0 V f I V ε* D* Cov f , ε* Cov f , ε C 0
例1 林登(Linden)根据他收集的来自139名运动员的比赛数据，
对第二次世界大战以来奥林匹克十项全能比赛的得分作了因
子分析研究。这十个全能项目为：100米跑(X1)，跳远(X2)，铅 球(X3)，跳高(X4)，400米跑(X5)，11米跨栏(X6)，铁饼(X7)，撑
杆跳高(X8)，标枪(X9)，1500米跑(X10)。经标准化后所作的因
例如，在商业企业的形象评价中，消费者可以通过一系列指 标构成的一个评价指标体系，评价百货商场的各个方面的优 劣。但消费者真正关心的只是三个方面：商店的环境、商店 的服务和商品的价格。这三个方面除了价格外，商店的环境 和服务质量，都是客观存在的、抽象的影响因素，都不便于 直接测量，只能通过其它具体指标进行间接反映。因子分析 就是一种通过显在变量测评潜在变量，通过具体指标测评抽 象因子的统计分析方法。又比如，在研究区域社会经济发展 中，描述社会与经济现象的指标很多，过多的指标容易导致 分析过程复杂化。一个合适的做法就是从这些关系错综复杂 的社会经济指标中提取少数几个主要因子，每一个主要因子 都能反映相互依赖的社会经济指标间共同作用，抓住这些主 要因素就可以帮助我们对复杂的社会经济发展问题进行深入 分析、合理解释和正确评价。
2 h a 2.A的行元素平方和 ij 2 i j 1
m
Xi=μi+ai1f1+ai2f2+⋯+aimfm+εi