主成分分析法实例

1、主成分法：

用主成分法寻找公共因子的方法如下：

假定从相关阵出发求解主成分，设有p 个变量，则可找出p 个主成分。将所得的p 个主成分按由大到小的顺序排列，记为1Y ，2Y ，…，P Y ， 则主成分与原始变量之间存在如下关系：

11111221221122221122....................p p p p p

p p pp p Y X X X Y X X X Y X X X

γγγγγγγγγ=+++⎧⎪

=+++⎪⎨⎪

⎪=+++⎩ 式中，ij γ为随机向量X 的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从X 到Y 得转换关系是可逆的，很容易得出由Y 到

X 得转换关系为：

11112121212122221122....................p p p p p

p p pp p X Y Y Y X Y Y Y X Y Y Y

γγγγγγγγγ=+++⎧⎪

=+++⎪⎨⎪

⎪=+++⎩ 对上面每一等式只保留钱m 个主成分而把后面的部分用i ε代替，则上式变为：

111121211

2121222221122.................

...m m m m p p p mp m p X Y Y Y X Y Y Y X Y Y Y γγγεγγγεγγγε=++++⎧⎪=++++⎪⎨⎪⎪=++++⎩

上式在形式上已经与因子模型相一致，且i Y （i=1,2，…，m ）之间相互独立，且i Y 与i ε之间相互独立，为了把i Y 转化成合适的公因子，现在要做的工作只是把主成分i Y 变为方差为1的变量。为完成此变换，必须将i Y 除以其标准差，由主成

分分析的知识知其标准差即为特征根的平方根

/i i F Y =

，

12m ，则式子变为：

1111122112211222221122....................m m m m p p p pm m p X a F a F a F X a F a F a F X a F a F a F εεε=++++⎧⎪=++++⎪⎨⎪

⎪=++++⎩

这与因子模型完全一致，这样，就得到了载荷A 矩阵和 初始公因子(未旋转)。

一般设A ∧

为样本相关矩阵R 的特征根，12,,...,p γγγ为对应的标准正交化特征向量。设m

A ∧

=(12m )

共同度的估计为：

2

2

2

2

12...i i i im h a a a ∧∧∧∧=+++

下面用主成分法分析以下数据：

步骤：

第一步，把Excel 中的数据导入到SPSS 中：File →Open →Data ； 第二步，数据标准化：Analyze →Descriptive Statistics →Descriptives 如图：

第三步，检验数据：如图：

得到结果如下：

Sig小于0.05，所以该数据可用；

第四步,用主成分法分析数据：Analyze→Dimension Reduction→Factor 如图：

得到结果如下图：

Communalities

其中Communalities给出了该次分析从每个原始变量中提取的信息，表格下面注示表明，该次分析是用Factor analysis模块默认的信息提取方法即主成分分析完成的。可以看到除100元工业总产值实现利税，100元销售收入实现利税和全员劳动生产率以外，主成分几乎包括了各个原始变量至少80%的信息。

由输出结果看到，前面2个主成分y1，y2的方差和占全部方差的比例为84.7%.我们就选取1y 为第一主成分，2y 为第二主成分，且这两个主成分之方差和占全部方差的84.7%，即基本上保留了原来指标的信息，这样由原来的9个指标转化为2个新指标，起到了降维的作用。

由上表得到两个主成分，12,y y 的线性组合为：

11234567890.2130.1140.0720.1550.0650.1860.1980.1480.172y x x x x x x x x x *********

=++--++++2123456789

0.1530.1560.2560.5670.4060.080.1280.050.051y x x x x x x x x x *********=-++++--+-

2、主轴因子法：

假定m 个公因子只能解释原始变量的部分方差，利用公因子方差（或共同度）来代替相关矩阵对角线上的元素1，并以新得到的这个矩阵为出发点，对其分别求解特征根与特征向量并得到因子解。

在因子模型中，不难得到如下关于X 的相关矩阵R 的关系式：

12,,...,m γγγ***

式中，A 为因子载荷矩阵；ε∑为一对角阵，其对角元素为相应特殊因子的方差。则称R R AA ε*'=-∑=为调整相关矩阵，显然R *的主对角元素不再是1，而是共同度2i h 。分别求解R *的特征值与标准正交特征向量，进而求出因子载荷矩阵A 。

此时，R *有m 个正的特征值。设12...m λλλ***≥≥≥为R *的特征根，12,,...,m γγγ***

为

对应的标准正交化特征向量。m

A ∧

=12m ***

）

用轴因子法分析上述数据：Analyze →Dimension Reduction →Factor 如图：

只需在这步把Methoct 选择为Principal axis factoring （主轴因子法），其他的方法与主成分法一致。 得到的结果如下图: