概率统计教案(11)

第七章因子分析（补充教材）§7.1 因子分析的意义和作用一、因子分析的概念和意义因子分析是将多个实测变量转换为少数几个不相关的综合指标的多元统计方法，在教育领域和若其它领域的科学研究中，往往需要对反映事物、现象从多个角度进行观测，也就设计出多个观测变量，从多个变量收集大量数据以便进行分析寻找规律。

多变量大样本虽然会为我们的科学研究提供丰富的信息，但确增加了数据采集和处理的难度。

更重要的是在大多数情况下，许多变量之间存在一定的相关关系，从而增加了问题分析的复杂性。

因子分析就是将大量的彼此可能存在相关关系的变量转换成较少的，彼此不相关的综合指标的一种多元统计方法。

这样既可减轻收集信息的工作量，且各综合指标代表的信息不重叠。

便于分析。

二、因子分析的基本过程因子分析的基本过程可分为两个步骤：第一步主因子分析是通过原始变量的相关系数矩阵内部结构的研究，导出能控制所有变量的少数几个综合变量，通过这少数几个综合变量去描述原始的多个变量之间的相关关系。

一般来说，这少数的几个综合变量是不可观测的，故称其为因子，我们又称这种通过原始变量相关系数矩阵出发的因子分析为R型因子分析。

因子分析所获得的反映变量间本质联系、变量与公共因子的关系的全部信息通过导出的因子负荷矩阵体现。

第二步对因子解释和命名从因子分析导出的负荷矩阵的结构出发，把变量按与公共因子相关性大小的程度分组，使同组内变量间的相关性较高，不同组的变量的相关性较低，按公因子包含变量的特点(即公因子内涵)对因子作解释命名。

例1 (见教材P162)三、因子分析教材在分析测验中的作用(见教材P163-P164)§7.2 因子分析的原理和数学模型一、数学模型(正交因子模型)设m个可能存在相关关系的测试变量z1,z2,……,z m含有P个独立的公共因子F 1,F 2,……,F p (m ≥p),测试变量z i 含有独特因子U i (i=1…m)，诸U i 间互不相关，且与F j (j=1…p)也互不相关，每个z i 可由P 个公共因子和自身对应的独特因子U i 线性表出：⎪⎪⎩⎪⎪⎨⎧++++=++++=++++=m m p mp m m m p p p p U c F a F a F a Z U c F a F a F a Z U c F a F a F a Z 221122222211221112121111 (7.2-1) 用矩阵表示：⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛+⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛⨯m m p p m ij m U c U c U c F F F a Z Z Z22112121.)( (参见教材p 164)简记为)1(()()1()()1(⨯⨯⨯⨯⨯+⋅=m m m p p m m U C F A Z 对角阵）)12.7('且满足：(I) P ≤m(II) COV(F .U )=0 （即F 与U 是不相关的） (III) E(F )=0 COV(F )= p p p I =⨯)(11即F 1,……F P 不相关，且方差皆为1，均值皆为0(IV) E(U)=0 COV(U)=I m 即U 1,……,U m 不相关，且都是标准化的变量，假定z 1,……,z m也是标准化的，但并不相互独立。

式中A 称为因子负荷矩阵，其元素(即(7.2-1)中各方程的系数)a ij 表示第i 个变量(z i )在第j 个公共因子F j 上的负荷，简称因子负荷，如果把z i 看成P 维因子空间的一个向量，则a ij 表示z i 在坐标轴F j 上的投影。

因子分析的目的就是通过模型(7.2-1)或)12.7('-。

以F 代Z ，由于一般有P ＜m ，从而达到简化变量维数的愿望。

二、因子分析中的几个重要结论因子分析数学处理的最后结果通常以因子负荷矩阵的形式给出，这个矩阵的一般形式如下表所示。

因子负荷矩阵的一般格式根据对模型(7.2-1)(或)12.7('-)的假定(I) ——(IV)可以证明有如下结论：结论1 因子负荷a ij 是Z i 与F j 的相关系数，C i 是Z i 与U i 的相关系数，即a ij =j i F Z P , C i =j i U Z P证明提示：将(7.2-1)的第i 个方程两边乘以F j ，并求期望，运用假设条件即得a ij =j i F Z P ； 将(7.2-1)的第i 个方程两边乘以U i 后求期望，由假设条件，可得C i =i i U Z P 结论2 ∑==PK jk ikZ Z a aP j i 1(即z i ,z j 的相关系数为矩阵A 中第i,j 两行向量之内积)证明提示：将(7.2-1)中第i,j 两个方程两边分别相乘后各取数学期望并利用假设条件可得结论。

结论3 矩阵A 中 第i 行平方和记为21221i pk ik ic a h -==∑= 证明提示：将(7.2-1)中第i 个方程两边自乘再各自求期望并运用假设条件可得。

结论4 每个测试变量的方差由两部分组成：22)(1i i i c h Z D +==证明提示：对(7.2-1)第i 个方程两边分别求方差并运用假设条件，我们称2i c 为测试变量Z i 的特殊度，它表示Z i 所含独特因子U i 对Z i 方差所作的贡献。

称2i h 为Z i 的共同度或公共度，它代表全部公共因子对变量Z i 的方差所作的贡献，特别地2ik a 表示第k 个公共因子F k 对Z i 的方差所作的贡献。

2i h 越接近1，说明Z i 的原始信息被所选P 个公共因子解释得越好。

例如：根据例1的因子负荷阵(教材P162表7-2)，932.023=h ，表明Z 3有93.2%的信息被三个公共因子说明了。

反之，当2i h 靠近0时，说明公共因子对Z i 的解释很少，共信息主要由其独特因子U i 描述。

结论5 A =(a ij )中，第j 列的平方和(j=1,……,p) ∑==mk kjjaS 122代表公共因子F j 对所有原始变量Z 1,Z 2,……,Z m 提供的方差贡献总和。

证：由前述2kj a 的统计意义立得结论5。

由上可知：2j S 是衡量公因子F j 相对重要性的指标。

百分比：%100)(212⨯=∑=mS Z D Sj mi ij表示F j 对所有测试变量的方差贡献率，其越大，F j 就越重要，一般选择几个公因子，就看所有公因子的方差贡献率之和(称为累计方差贡献率)达到我们预想的百分比有几个公因子。

以上是对正态因子模型导出的因子负荷矩阵作分析的全部依据，在实用中，我们得到的仅是各Z i 的一个容量为n 的观测值，然后求出Z '=(Z 1,……,Z m )的样本相关系数矩阵R 用R 估计总体Z 的相关系数，导出因子负荷阵，故称为R 型因子分析。

§7.3 公共因子的求解要建立实际问题的因子模型，关键要根据样本数据估计因子负荷矩阵A ，对A 的估计方法很多，这里仅介绍霍特林(H.Hotelling)创立的，现使用较为普遍的主成份方法，(教材中称为主因子法)。

只介绍方法，不作论证。

一、因子分析从测试变量的样本相关矩阵出发。

设对变量Z i 进行测试得容量为n 的观测值)1(,,21m i z z z ini i —=记jjii ij ij L L L r =其中∑∑∑=-=nk k jk k ik jkik ij z z n z z l 1))((1∑∑==-=nk k ik ikii z n z l 1212)(1 称r ij 为Z i ，Z j 的样本相关系数记mm m m m m m ij r r r r r r r r r r R ⨯⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==111)(3212232111312此为Z 的 样本相关矩阵，是一个m 阶对称阵，再记对角阵⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=m c c c C 000000011其中C i 为模型(12.7-)所示。

可以证明R 与因子负荷阵A 及C 之间满足如下形式：2C A A R +'=记R*=A A '，则有 R*=R-C 2=⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛---22121111m ji ij c r c r c 称R*为剩余相关矩阵，R*与R 相比，仅主对角线上的元素不同，后者，主对角线全是1，前者为221i i h c =-由于严格估计2i h 存在困难，实际计算中有时忽略独特因子的作用，即取C i =0 (i=1…m)，也就是令m m ij r A A R ⨯='=)( （7.3-3）这里∑==ni jk ikij a ar 1上式就是求A 的出发点，这种方法相当于预置12=i h ，在此情况下提取主因子的方法称为主分量分析，如预置的12<i h ，则提取主因子的方法称为主因子分析。

二、求主因子解的步骤得到测试变量Z 的样本相关矩阵R 之后，求主因子解还需按以下几步进行。

1、求R 的特征根，即解方程：0111||21221112=---------=-λλλλm m mm r r r r r r R E由R 是非负定阵，解出的特征值都是非负的，将其非零特征值按从大到小排序并重新编码：λ1≥λ2≥ 02、按预先规定所取的P 个公共因子的累计方差贡献率达到的百分比(一般取85%)使85.011≥∑∑=m ipi iλλ的P 即为所取的公因子数(可以证明ms kmi i k=∑=1λλ第k 个公共因子F k 的方差贡献率)。

3、对选定的前P 个特征值λ1≥λ2≥……≥λp ＞0求相应的单位特征向量p u u u ,,21。

为此求λj (1≤j ≤p)的特征向量u j ，即解方程组：⎪⎩⎪⎨⎧=-+--=----vx x r x r x r x r x m j m m m m j )1(0)1(221112121λλ (0)=⎪⎪⎪⎭⎫⎝⎛-m i jx x R E λ即（) 便得),,(21'=m j j j j u u u u (见教材P169说明) 再标准化便得j u4、写出因子负荷阵⎪⎪⎪⎪⎪⎭⎫⎝⎛=p mp m m p p p p u u u u u u u u u A λλλλλλλλλ221121221211212111三、简例(教材P170略写)§7.4 求出主因子解后的进一步分析一、因子旋转建立因子分析数学模型的目的不仅要找出公共因子并对变量进行分组，更重要的是要知道每个公共因子的意义，以便对实际问题作出科学分析。

不难理解，由(7.3-3)出发解出的因子负荷阵是不唯一的，事实上，用一个正交矩阵T 右乘A ：R A A A T T A AT AT ='=''=')())((即知A 在正交变换T 下也是因子负荷阵为此，当A 的结构不便对主因子进行解释时，我们根据因子负荷阵的不唯一性，可用一个正交阵右乘A(即对A 实施一个正交变换)由线性代数的知识，对A 施行一个正交变换，对应坐标系就有一次施转。