07第6章 因子分析

第6章 因子分析本章提要在第一章中我们已经知道，在由p 个变量x 1, x 2, … , x p 组成的空间内，每个样品依其p 个变量的测定值为空间内的一个点(或矢量)，所有样本点构成空间的一个点群(簇)，第二章中正是根据各样本点之间的相似性进行样本的分类。

但在许多情况下，样本点的划分可能主要依赖于少数几个6.1 主成分分析主成分分析(principal component analysis)是将多个指标约简为少数指标的一种统计方法。

设有n 个样品，每个样品不则得p 个指标。

如何从p 个指标中找出很少几个综合性的指标，并能尽可能地反映原指标的变化性，称为主成分。

1. 主成分分析方法设1⨯p x 是p 维随机向量，μ=)(x E ，V x V =)(。

现求x 的线性函数p p x a x a x a x a y 122111111...+++='= (6.1)并使得新变量y 1的方差1111)()(Va a x a V y V '='= (6.2)尽可能地大。

11⨯p a 为待定系数向量。

由于对于任何常数c ，有 112111)(Va a c Vca ca x ca V '='='因此对a 1不加限制就没有意义了，所以通常要求111='a a 。

在实际问题中，用样本协方差阵S 估计随机变量的协方差阵V 。

不妨设各变量的样本均值0=x ，否则可用x x i -)(代替，即进行变量中心化，则有X X n S '-=11于是问题归结为在条件111='a a 下求11Sa a '的极值问题。

利用拉格朗日乘数法()1111111)(2)1(a I S a a Sa a a λλ-='-+'∂∂其中λ1为拉格朗日乘数，I 为单位矩阵。

令导数为零得 0)(11=-a I S λ (6.3) 这是求解系数a 1的线性方程组，其有非零解的充要条件是 01=-I S λ即λ1是矩阵S 的特征值，a 1为对应于λ1的特征向量(规一到长度为1)。

改写(6.3)式为 111a a S λ= 上式前乘a 1’得111111λλ='='a a Sa a由(6.2)可见λ1恰好是新的综合指标y 1的方差，为使其方差最大，只要取λ1为S 的最大特征值。

在确定了第一主成分后，再来确定第二主成分，它也是x 的线性函数p p x a x a x a x a y 222211222...+++='= (6.4)同样它必须满足标准化条件122='a a ，与第一主成分不相关，使方差贡献11Sa a '尽可能地大。

y 2与y 1不相关即有 0),c o v (),c o v (211212121='='=''=a a a S a x a x a y y λ因01≠λ，所以必须有021='a a 。

同样应用拉格朗日乘数法()12221222221)(2)1(a a I S a a a a a S a a μλμλ+-='+'-+'∂∂其中λ2 和μ 为拉格朗日乘数。

令导数为零，得0)(2122=+-a a I S μλ (6.5) 上式前乘'1a 并注意到条件021='a a 和111='a a ，有0221=+'μa S a (6.6) 前面(4.3)式前乘'2a 可得012='a S a (6.7)比较(6.6)和(6.7)得μ =0，于是(6.5)式成为 0)(22=-a I S λ (6.8)这与(4.3)式具有同样的形式，可知λ2 应为矩阵S 的次最大特征值，a 2为对应于λ2的特征向量。

类似地可得到第3主因子等。

总结前面的推导，我们得出结论：变量)...,,,(21p x x x x =的第j 个主成分y j 是x 的线性函数p j p j j j j x a x a x a x a y +++='=...2211， (6.9)其中a j 是对应于样本协方差矩阵S 的第j 个最大特征值λ j 的特征向量(规一到长度为1)，主成分y j 的方差恰为j λ。

在理论上，p p S ⨯为正定阵，具有p 个正特征值，其和为矩阵S 的迹，亦即系统的总方差，S ptr ...11=+++λλλ 因此，第j 个主成分的方差贡献率为S i tr /λ，而前m 个主成分)(p m <的方差贡献率为S m tr /) (11)λλ+++一般只计算前m 个主成分，使其方差贡献率达到85%以上。

以后的成分的方差贡献已较小，可略去。

(6.9)式也可表示为 x A y '=⎪⎪⎪⎪⎭⎫ ⎝⎛''='⨯q p q a a A 1即各主成分的系数构成A ’的各行向量。

若我们取q=p ，也就是说把所有主成分都表示出来，或者更严格地说，是把所有主成分和非主成分都表示出来，因为事实上我们是把重要的成分才叫主成分的，则A ’为p×p 矩阵，又由于其为正交阵，A ’= A -1，可得 Ay x =各主成分的系数构成A 的各列向量。

主成分分析的Matlab 函数见文字框6.1。

2. 主成分的几何意义主成分分析的几何实质是一种坐标变换。

在原来p 维变量空间中，n 个样品构成该p 维空间的点群。

点群内各点的差异可能主要反映在沿某一个或某几个正交的几个方向上，p =2时如图 6.1。

第一主成分即是最能反映各点差异性的方向，以后渐次类推。

3. 主成分得分在确定了q (q <p )个主成分以后，每个样品，例如第i 个样品的p 个测试值)...,,,(21)('=ip i i i x x x x 代入的各主成分，例如第j 个主成分的值y ij ，称之为i 个样品在第j 个主因子上的得分(scores)。

由(6.9)得ip pj i j i j i j ij x a x a x a x a y +++='=...2211)(表示成矩阵的形式即有XA Y = (6.10)称m n Y ⨯为主成分得分矩阵。

m p A ⨯为主成分解矩阵，其中各列向量对应于各主成分的系数向量，亦即S 阵的前m 个特征向量。

),...,,(21m m p a a a A =⨯4. 相关矩阵的主成分分析前面我们是从观测的样本协方差阵S 出发进行主成分分析的。

变量之间的协方差与变量的量纲有关，如果改变某些变量的量纲就会得到不同的S ，因而得到不同的主因子解。

因此需要对变量进行归一化处理。

若我们采用第1章中介绍的变量标准化进行变量的归一化，即变换jjij ij s x x x -='则标准化变量的协方差矩阵即为相关矩阵R ，也就是说我们可以从初始变量的样本相关R 出发进行主成分分析。

如果主成分是从相关矩阵R 提取的，则其特征值之和将为p R =tr ，第j 个主成分的方差贡献为λi /p 。

5. 与主成分分析有关的Matlab 函数6.2 因子分析我们先从两个具体的例子出发。

例1 考虑人的5个生理指标：x 1：收缩压，x 2：舒张压，x 3：心跳间隔，x 4：呼吸间隔，x 5：舌下温度。

从生理学的知识知道，这5个指标是受植物神经支配的，植物神经分为交感神经和副交感神经，因此这5个指标的变化均主要起因于这两个公共的因子。

例2 研究某地区地表水的环境污染状况。

水样的多个指标，包括各种有机组分、无机元素含量、pH 、Eh 、溶解氧等进行了测试，但水体中这些污染指标主要由少量几个因素或称因子所造成，如区域内主要的某类工业对水体的污染、农业污染、生活污染和水所流经的地层中微量元素的溶出。

不失一般性，设对研究对象的n 个样品测试了p 个变量x 1, x 2, … , x p ，可认为这p 个变量共同起因于q 因子(即因素) f 1, f 2, … , f q 。

假定这q 个共因子(可理解为新的变量)对每个指标(变量)的影响或作用是线性的(我们总是讨论线性模型)，则可表示为⎪⎪⎩⎪⎪⎨⎧++++=++++=++++=p p q pq p p p q q q q u b f a f a f a x u b f a f a f a x u b f a f a f a x 221122222212121112121111 (6.11)或u b f A x += (6.12)其中f 是1⨯q 的随机向量，u 是1⨯p 的随机向量，A 是q p ⨯的常数矩阵，且要求(1) p q ≤，事实上，一般共因子数总是要小于原始变量数(2) 各共因子相互独立(即正交)并规一化到方差为1，即有 q I f V =)((3) 单一因子相互独立(即正交)并规一化到方差为1，即有 q I u V =)((4) 单一因子与公因子之间也相互独立，即有 0),(cov =u f则称x 具有因子结构，(6.12)式称为x 的因子模型。

系数a jk (j =1, …, p , k =1, … , q )为变量x j 在公因子f k 上的因子载荷(factor load)，系数矩阵A ＝(a jk )称为因子载荷矩阵。

u j (j =1, …, p )相当于各变量x j 不能被公因子表达的部分，称单一因子；相应地，b j (j =1, …, p )称单一因子载荷。

b 为对角矩阵，其对角元素为b j (j =1, …, p )。

不妨设x 为标准化变量，则x 的相关系数矩阵R 即协方差阵。

根据因子分析基本定理，可得b b A A b u V b A f V A u b f A V x V R '+'='+'=+==)()()()( (6.13) 由(6.1)式知j j qk k jk j j q jq j j j u b f a u b f a f a f a x +=++++=∑=12211(6.14)所以1)(212=+=∑=jjk b a x V qk j记∑==qk j jka h 122， (6.15) 则p j b h j j ...,,2,1,122==+ (6.16)2j h (因子载荷阵A 的行元素平方和)反映了公因子对x j 的影响，称公因子对x j 的“贡献”，也称公因子方差；2j b 则称特殊因子方差。

当2j h 接近1时，2j b 接近于0，x j 的方差基本上已为q个公因子所穷尽， x j 能很好地被q 个公因子的线性组合所表征；当2j h 接近0时，表明公因子对x j 的影响不大，x j 主要是由特殊因子来表达。

另一方面，对于特定的公因子f k ，其对各变量的x j 的影响由A 的列元素平方和来描述，记∑==pj kjka g 122 (6.17) 称为公因子f k 对x 的贡献。