第5章 主成分分析
主成分分析法
一、概述在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。
为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点：↓主成分个数远远少于原有变量的个数 原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。
↓主成分能够反映原有变量的绝大部分信息 因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。
↓主成分之间应该互不相关通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
↓主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。
二、基本原理主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多的具有一定相关性的指标X1，X2，…，XP （比如p 个指标），重新组合成一组较少个数的互不相关的综合指标Fm 来代替原来指标。
那么综合指标应该如何去提取，使其既能最大程度的反映原变量Xp 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。
主成分分析 ppt课件
ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
主成分分析
一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看，这是一种降维处理技术。
思路：一个研究对象，往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。
原理：假定有n 个样本，每个样本共有p 个变量，构成一个n ×p 阶的数据矩阵，记原变量指标为x 1，x 2，…，x p ，设它们降维处理后的综合指标，即新变量为 z 1，z 2，z 3，… ，z m (m ≤p)，则系数l ij 的确定原则：①z i 与z j （i ≠j ；i ，j=1，2，…，m ）相互无关；②z 1是x 1，x 2，…，x P 的一切线性组合中方差最大者，z 2是与z 1不相关的x 1，x 2，…，x P 的所有线性组合中方差最大者； z m 是与z 1，z 2，……，z m －1都不相关的x 1，x 2，…x P ， 的所有线性组合中方差最大者。
新变量指标z 1，z 2，…，z m 分别称为原变量指标x 1，x 2，…，x P 的第1，第2，…，第m 主成分。
从以上的分析可以看出，主成分分析的实质就是确定原来变量x j （j=1，2 ，…， ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=np n n p p x x x x x x x x x X ΛM M M ΛΛ212222111211⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=p mp m m m p p pp x l x l x l z x l x l x l z x l x l x l z ΛΛΛ22112222121212121111............p ）在诸主成分z i （i=1，2，…，m ）上的荷载 l ij （ i=1，2，…，m ； j=1，2 ，…，p ）。
主成分分析
引言：主成分分析也称主分量分析，是由霍特林于1933 年首先提出的。
主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。
通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。
这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使得问题得到简化，提高分析效率。
本文用主成分分析的方法对某市14 家企业的经济效益进行分析。
[1] 在处理涉及多个指标问题的时候，为了提高分析的效率可以不直接对p 个指标构成的P维随机向量X=(X1, X2, X3, , Xp)进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量，使得个综合变量之间相互独立且能解释原始变量尽可能多的信息，这样在意损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。
主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。
而这里对于随机变量X1，X2，X3,……,Xp而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反映，而相关矩阵不过是将原始变量标准化后的协方差矩阵我们所说的保留原始变量尽可能多的信息，也就是指生成的较少的综合变量 (主成分)的方差和尽可能接近原始变量方差的总和。
因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。
一般来说从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的本文我们用从原始变量的相关矩阵出发求得的主成分进行分析。
[5]一、材料与方法1.1数据材料表1 14 家企业的利润指标的统计数据1.2分析方法本文采用多元统计学方法，选取14家企业作为样本收集每家企业的8个不同的利润指标，利用spss统计软件做主成分分析，给出载荷阵，并通过载荷阵给出主成分系数表，写出主成分表达式以此给出14个企业的得分值，最后根据主成分构造一个综合性评价指标，对14个企业进行综合排名。
主成分分析
主成分分析主成分分析、因子分析等在多元统计分析中属于协方差逼近技术。
主要是从协方差矩阵出发，实现一种正交变换，从而将高维系统表示为低维系统，在此过程中可以揭示研究对象的许多性质和特征。
主成分分析的结果可以用于回归分析、聚类分析、神经网络分析等等。
只要懂得线性代数中二次型化为标准型的原理，就很容易掌握主成分分析的原理，进而掌握因子分析的原理。
在理解正交变换数学原理的基础上，我们可以借助Excel 开展主成分分析。
为了清楚地说明主成分的计算过程，不妨给出一个简单的计算实例。
【例】2000 年中国各地区的城、乡人口的主成分分析。
这个例子只有两个变量（m=2）：城镇人口和乡村人口；31 个样品：即中国的31 个省、自治区和直辖市（n=31）。
资料来自2001 年《中国统计年鉴》，为2000 年全国人口普查快速汇总的11 月1 日零时数。
由于变量太少，这个例子仅仅具有教学意义——简单的实例更容易清楚地展示计算过程的细节。
计算步骤5.1.1 详细的计算过程首先，录入数据，并对数据进行适当处理（图5-1-1）。
计算的详细过程如下。
第一步，将原始数据绘成散点图主成分分析原则上要求部分变量之间具有线性相关趋势。
如果所有变量彼此之间不相关（即正交），则没有必要进行主成分分析，因为主成分分析的目的就是用正交的变量代替原来非正交的变量。
如果原始变量之间为非线性关系，则有必要对数据进行线性转换，否则效果不佳。
从图5-1-2 可见，原始数据具有非线性相关趋势，可以近似匹配幂指数函数，且测定系数R2=0.5157，相应地，相关系数R=0.7181（图5-1-2a）；取对数之后，点列具有明显的线性趋势（图5-1-2b）。
第二步，对数据进行标准化标准化的数学公式为我们将对对数变换后的数据开展主成分分析，因此只对取对数后的数据标准化。
根据图5-1-1所示的数据排列，应该按列标准化，用xij 代表取对数之后的数据，则下式分别为第j 列数据的均值和标准差，xij 为第i 行（即第i 个样本）、第j 列（即第j 个变量）的数据，xij*为相应于xij 的标准化数据，n=31 为样品数目（参见图5-1-1）。
主成分分析
什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，就使我们在研究复杂的科普效果评估问题时，容易抓住主要矛盾。
主成分分析实例和含义讲解
• 这x文6来个）表表，示说hism明toa六rtyh（个（历变数史量学）和），因，e子pnhg的ylis关s（h（系物英。理语为））简，等单ch变记em量，（。我化这们学样用）因x1，,子xli2ft,1e和xr3a,ft2x（与4,语这x5, 些原变量之间的关系是（注意，和主成分分析不同，这里把成分（因
• 主成分分析与因子分析的公式上的区别
y1 a11x1 a12 x2 a1 p x p y2 a21x1 a22 x2 a2 p x p
y p a p1x1 a p2 x2 a pp xp
主成分分析
x1 a11 f1 a12 f2 a1m fm 1 x2 a21 f1 a22 f2 a2m fm 2
2 .353
3 -.040
4 .468
5 .021
6 .068
PHYS
-.674
.531 -.454 -.240 -.001 -.006
CHEM
-.675
.513
.499 -.181
.002
.003
LITERAT .893
.306 -.004 -.037
.077
.320
HISTORY .825
.435
子）写在方程的右边，把原变量写在左边；但相应的系数还是主成分 和各个变量的线性相关系数，也称为因子载荷）：
x1 -0 .3 8 7 f1 0 .7 9 0 f2; x2 -0 .1 7 2 f1 0 .8 4 1 f2 ; x3 -0 .1 8 4 f1 0 .8 2 7 f2 x4 0 .8 7 9 f1 - 0 .3 4 3 f2; x5 0 .9 1 1 f1 - 0 .2 0 1 f2; x6 0 .9 1 3 f1 - 0 .2 1 6 f2
主成分分析
（1 ）、 数学模型
设有 n 个样品，每个样品观测p项指标(变量), X1,
X2，202…0/7/7，Xp，得到原始数据资料阵：
5
其中
用数据矩阵X的p个向量(即p个指标向量)X1，…，Xp作线
性组合(即综合指标向量)为：
2020/7/7
6
简写成
(注意：Xi是n维向量，所以Fi也是 n 维向量) 上述方程组要求：
主成分分析
2020/7/7
1
一、什么是主成分分析及基本思想
1 、什么是主成分分析
主成分概念首先由Karl parson在1901年引进，不 过当时只对非随机变量来讨论的。1933年Hotelling将 这个概念推广到随机向量：
在实际问题中，研究多指标(变量)问题是经常遇到的，
然而在多数情况下，不同指标之间是有一定相关性。由于
一般情况，p个变量组成p维空间，n个样本就是p维 空间的n个点，对p元正态分布变量来说，找主成分的问 题就是找p维空间中椭球体的主轴问题。
3 主成分的推导及性质
在下面推导过程中，要用到线性代数中的两个定理先 作一下复习：
定理一 若矩阵A是p阶实对称阵，则一定可以找到 正交阵
定理二 若上述矩阵A的特征根所对应的单位特征向量
X1，…，Xp构成的坐标系旋转产生的新坐标系，新坐标 轴使之通过样品变差最大的方向(或说具有最大的样品
方差)。下面以最简单的二元正态变量来说明主成分的
几何202意0/7/7义。
9
设有 n 个样本，每个样本有p个变量记为X1，…，Xp，
它们的综合变量记为F1，F2，…，Fp。当p＝2时，原变
量是X1，X2，设
指标较多再加上指标之间有一定的相关性，势必增加了分
多元统计分析陈钰芬课后答案
多元统计分析陈钰芬课后答案第1章多元正态分布1、在数据处理时，为什么通常要进行标准化处理？第1章多元正态分布1、在数据处理时，为什么通常要进行标准化处理？数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。
在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
其中最典型的就是0-1标准化和Z标准化。
2、欧氏距离与马氏距离的优缺点是什么？欧氏距离也称欧几里得度量、欧几里得度量，是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。
在二维和三维空间中的欧氏距离的就是两点之间的距离。
缺点：就大部分统计问题而言，欧氏距离是不能令人满意的。
每个坐标对欧氏距离的贡献是同等的。
当坐标表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的方法是对坐标加权，使变化较大的坐标比变化较小的坐标有较小的权系数，这就产生了各种距离。
当各个分量为不同性质的量时，“距离”的大小与指标的单位有关。
它将样品的不同属性之间的差别等同看待，这一点有时不能满足实际要求。
没有考虑到总体变异对距离远近的影响。
马氏距离表示数据的协方差距离。
为两个服从同一分布并且其协方差矩阵为Σ的随机变量与的差异程度:如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离,如果协方差矩阵为对角阵,则其也可称为正规化的欧氏距离。
优点：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关。
由标准化数据和中心化数据计算出的二点之间的马氏距离相同。
马氏距离还可以排除变量之间的相关性的干扰。
缺点：夸大了变化微小的变量的作用。
受协方差矩阵不稳定的影响，马氏距离并不总是能顺利计算出。
3、当变量X1和X2方向上的变差相等，且与互相独立时，采用欧氏距离与统计距离是否一致？统计距离区别于欧式距离，此距离要依赖样本的方差和协方差，能够体现各变量在变差大小上的不同，以及优势存在的相关性，还要求距离与各变量所用的单位无关。
主成分分析
解得：1 378 .9,2 132
3.求特征值所对应的单位特征向量
S 130233..14 187.5
1所对应的单位特征向量 (S 1)
0
，其中
a11 a21
(323.4 103.1a11
378.9)a11 103.1a21 (187.5 378.9)a21
胸围x2(cm)
69.5 77.0 78.5 87.5 74.5 74.5 76.5 81.5 74.5 79.0
体重x3(kg)
38.5 55.5 50.8 65.5 49.0 45.5 51.0 59.5 43.5 53.5
对此进行主成分分析。
1. 求样本均值和样本协方差矩阵
x1 161.2 x2 77.3 x3 51.2
0 0
a121 a221 1
解得 （ a11, a21 ）= (0.88,0.47)
2 所对应的单位特征向量 (S 2) 0，其中
(323.4 103.1a12
132)a12 103.1a22 (187.5 132)a22
0 0
a122
a2 22
1
解得： (a12 , a22 ) (0.47,0.88)
平移、旋转坐标轴
x 2
F 1
主
F
成
2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
•
•
•
• •••
• •• •
•• •
• ••
x1
解
••
释
平移、旋转坐标轴
x 2
F 1
[统计学]多元统计分析(何晓群 中国人民大学)5第五章主成分分析
![[统计学]多元统计分析(何晓群 中国人民大学)5第五章主成分分析](https://img.taocdn.com/s3/m/71b4f5042f60ddccdb38a008.png)
1 μ 2
则上述二元正态分布的密度函数有如下矩阵形式：
2019/1/20
中国人民大学六西格玛质量管理研究中心
16
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
1 1 / 2 ( X μ )'Σ 1 ( X μ ) f ( X1, X 2 ) e 1/ 2 2 | Σ |
Y1 X 1 cos X 2 sin Y2 X 1 sin X 2 cos
2019/1/20
中国人民大学六西格玛质量管理研究中心
13
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
其矩阵形式为：
Y1 cos Y2 sin sin X1 U X cos X 2
2012318中国人民大学六西格玛质量管理研究中心11目录上页下页返回结束52主成分分析的几何意义由第一节的介绍我们知道在处理涉及多个指标问题的时候为了提高分析的效率可以不直接对个指标构成的随机向量进行分析而是先对向量进行线性变换形成少数几个新的综合变量使得各综合变量之间相互独立且能解释原始变量尽可能多的信息这样在以损失很少部分信息为代价的前提下达到简化数据结构提高分析效率的目的
U 为旋转变换矩阵，由上式可知它是正交阵， 其中， 即满足
U' U1 ,
U 'U I
2019/1/20
中国人民大学六西格玛质量管理研究中心
14
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
经过这样的旋转之后，N 个样品点在 Y1 轴上的离散程度最 大，变量 Y1代表了原始数据绝大部分信息，这样，有时在研 究实际问题时，即使不考虑变量 Y2 也无损大局。因此，经过 上述旋转变换就可以把原始数据的信息集中到 Y1 轴上，对数 据中包含的信息起到了浓缩的作用。进行主成分分析的目的 就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义 也就很明了了。下面我们用遵从正态分布的变量进行分析， 以使主成分分析的几何意义更为明显。为方便，我们以二元 正态分布为例。对于多元正态总体的情况，有类似的结论。
(完整版)主成分分析SPSS操作步骤
主成分分析SPSS操作步骤以教材第五章习题8的数据为例，演示并说明主成分分析的详细步骤：一．原始数据的输入注意事项:关键注意设置好数据的类型（数值?字符串?等等）以及小数点后保留数字的个数即可。
二．选项操作1. 打开SPSS的“分析"→“降维”→“因子分析”，打开“因子分析"对话框（如下图）2. 把六个变量：食品、衣着、燃料、住房、交通和通讯、娱乐教育文化输入到右边的待分析变量框.3. 设置分析的统计量打开最右上角的“描述”对话框，选中“统计量"里面的“原始分析结果”和“相关矩阵”里面的“系数”。
（选中原始分析结果，SPSS自动把原始数据标准差标准化，但不显示出来;选中系数，会显示相关系数矩阵。
）。
然后点击“继续".打开第二个的“抽取”对话框：“方法”里选取“主成分”;“分析”、“输出"和“抽取”这三项都选中各自的第一个选项即可。
然后点击“继续”。
第三个的“旋转”对话框里,选取默认的也是第一个选项“无”。
第四个“得分”对话框中，选中“保存为变量"的“回归”；以及“显示因子得分系数矩阵”。
第五个“选项"对话框，默认即可.这时点击“确定”，进行主成分分析。
三．分析结果的解读按照SPSS输出结果的先后顺序逐个介绍1.相关系数矩阵：是6个变量两两之间相关系数大小的方阵。
2。
共同度：给出了这次主成分分析从原始变量中提取的信息，可以看出交通和通讯最多,而娱乐教育文化损失率最大。
CommunalitiesInitial Extraction食品 1.000.878衣着 1.000.825燃料1。
000.841住房 1.000.810交通和通讯 1.000。
919娱乐教育文化 1.000.5843.总方差的解释：系统默认方差大于1的为主成分，所以只取前两个,前两个主成分累加占到总方差的80。
939％。
并且第一主成分的方差是3。
568,第二主成分的方差是1.288。
主成分分析讲义
1
2
p
平移、旋转坐标轴
x 2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
•
•
•
• •••
• •• •
•• •
• ••
x1
解
••
释
平移、旋转坐标轴
x 2
F1
主 成 分 分 析 的 几 何
F2
•
•••
•••
• •
•
•••••••••••••••••••••••
这种由讨论多个指标降为少数几个综合指 标的过程在数学上就叫做降维。主成分分析通 常的做法是，寻求原指标的线性组合Fi。
F1 u11X1 u21X2 up1Xp F2 u12X1 u22X2 up2Xp
Fp u1p X1 u2p X2 uppXp
满足如下的条件：
u11 u12 u1p
i
U(u1,,up)u21
u22
u2p
up1 up2 upp
U iu 1 i， u2i， ， upi i1,2, ,P
下面我们来看，是否由U的第一列元素所构成为原始 变量的线性组合是否有最大的方差。
设有P维正交向量 a1a1,1a2,1 ,ap1
F 1 a 1 1 X 1 a p 1 X p a X
1
V(F1)a1a1 a1U
2
1
a1u1,u2, ,up
2
Ua1
p
u1 u2a1
pup
p
iauiuia i 1
主成分分析法
主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析法简介-principal component analysis(PCA) 主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。
在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。
依次类推，I个变量就有I个主成分。
其中Li为p维正交化向量（Li*Li=1），Zi之间互不相关且按照方差由大到小排列，则称Zi为X的第I个主成分。
设X的协方差矩阵为Σ，则Σ必为半正定对称矩阵，求特征值λi（按从大到小排序）及其特征向量，可以证明，λi所对应的正交化特征向量，即为第I个主成分Zi所对应的系数向量Li，而Zi的方差贡献率定义为λi/Σλj,通常要求提取的主成分的数量k满足Σλk/Σλj>0.85。
编辑本段主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。
通常是选出比原始变量个数少，能解释大部分资料中的变异的几个新变量，即所谓主成分，并用以解释资料的综合性指标。
由此可见，主成分分析实际上是一种降维方法。
编辑本段分析步骤数据标准化;求相关系数矩阵;一系列正交变换，使非对角线上的数置0，加到主对角上;得特征根xi（即相应那个主成分引起变异的方差),并按照从大到小的顺序把特征根排列;求各个特征根对应的特征向量;用下式计算每个特征根的贡献率Vi;Vi=xi/(x1+x2+........)根据特征根及其特征向量解释主成分物理意义。
第五讲 主成分分析(PCA)
Clementine中 PCA/Factor 的应用主成分分析P C A（P r i n c i p a lc o m p o n e n t sa n a l y s i s ）主成 分分析 主成分分析思想和作用 主成分分析的数学模型 主成分分析的性质 主成分分析的分析步骤1主成分分析的基本思想主成分分析的实质：降维，即用较少的变量来 代替原来较多的变量。
基本思想：由于多个变量之间存在着一定程度 的相关性，可以通过对原始变量相关矩阵或协 方差矩阵内部结构关系的研究，利用原始变量 的线性组合形成几个综合指标（主成份），在 保留原始变量主要信息的前提下起到降维和简 化问题的作用。
作用：处理多变量（多指标）问题，减少分析 问题的复杂性。
2主成分分析的数学模型设p 个变量构成的p 维随机向量为 设随机向量均值为 µ ，变异系数矩阵为 Σ 。
对X 进行线性变换，可以形成新的综合变量Y 。
Y1 = µ11 X 1 + µ12 X 2 + … + µ1 p X pY2 = µ 21 X 1 + µ 22 X 2 + … + µ 2 p X p…………Yp = µ p1 X 1 + µ p 2 X 2 + … + µ pp X p3主成分分析的数学模型用矩阵表示为 Y = µ ′X ，对上述方程组加以约束： 1 . ，即 ( i = 1 , 2 , …p ) 2 . 与 不相关( ; i ,j= 1 , 2 , …p ) 3 . 是 的一切满足原则1 的线性组合中方 差最大者； 是与 不相关的所有线性组合中方差 次大者；以此类推。
基于以上三条原则决定的综合变量 分别称 为原始变量的第一、第二、……、第p 个主成分。
4主成分分析的性质性质1 主成分的协方差矩阵是由特征根组成的 对角阵 性质2 主成分的总方差等于原始变量的总方差 性质3 主成分与原始变量的相关系数与特征根 有关，称之为因子载荷量 性质4 忽略一些带有较小方差的主成分不会给 总方差带来太大的影响。
数学建模第五讲主成分分析
数学建模第五讲主成分分析主成分分析的基本思想是寻找数据中最重要的方向，这些方向被称为主成分。
每个主成分都与其他主成分正交，即彼此之间没有相关性。
通过找到主成分，我们可以将高维数据投影到低维空间中，以找到数据的主要结构和模式。
要进行主成分分析，首先需要对数据进行标准化，使得每个变量的均值为0，方差为1、然后，通过计算数据的协方差矩阵，可以得到数据中变量之间的相关性。
协方差矩阵对角线上的元素表示各个变量的方差，非对角线上的元素表示变量之间的协方差。
接下来，需要计算协方差矩阵的特征值和对应的特征向量。
特征值表示数据在特定方向上的方差，而特征向量表示数据在该方向上的投影。
特征向量将数据投影到一个新的方向，这个方向上的方差最大，即数据在这个方向上的信息量最大。
根据特征值的大小，可以选择最重要的特征向量作为主成分。
在选择主成分时，通常选择特征值较大的特征向量，因为它们对应的方差较大，即数据在这些方向上的信息量较多。
选择的主成分的个数通常由用户自行指定，可以根据实际应用中的需求和数据的维度进行调整。
选取主成分后，可以通过对数据进行投影来进行降维。
投影的结果是一个低维空间的表示，可以更容易地可视化和分析。
在投影后的空间中，样本之间的距离仍然能够保持原始数据中的信息，但是可以大大减少数据的维度。
除了降维外，主成分分析还可以用于特征选择、噪声过滤、数据可视化等领域。
通过主成分分析，我们可以从高维数据中提取出最重要的信息，简化数据分析过程。
在应用主成分分析时，还需要注意一些问题。
首先，主成分分析假设数据服从多元正态分布，如果数据不满足该假设，则结果可能会失真。
另外，当数据的维度较高时，计算协方差矩阵和特征值分解可能会变得非常耗时，并且需要大量的内存空间。
因此，在应用主成分分析时，需要考虑这些因素，选择合适的算法和工具。
总之，主成分分析是一种重要的降维方法，在数学建模中具有广泛的应用。
通过寻找数据中最重要的方向，主成分分析可以简化数据的结构，提取出数据中的主要信息。
主成分分析
主成分分析专题§1引言我们在作数据分析处理时，涉及的样品往往包含有多个测量指标（比如p 个指标），较多的指标会带来分析问题的复杂性。
然而，这些指标彼此之间常常存在着一定程度的、有时甚至是相当高的相关性，这就使含在观测数据中的信息在一定程度上有所重叠。
主成分分析就是一种通过降维技术把多个指标约化为少数几个综合指标的统计分析方法。
这些综合指标能够反映原始指标的绝大部分信息，它们通常表示为原始p 个指标的某种线性组合。
为了使这些综合指标所含的信息互不重叠，应要求它们互不相关。
例如，考虑p ＝2的情形，假设共有n 个样品，每个样品都测量了两个指标),(21x x ，它们大致分布在一个椭圆内。
如图所示。
显然，在坐标系21Ox x 中，n 个点的坐标1x 和2x 呈现某种线性相关性。
我们将该坐标系按逆时针方向旋转某个角度 变成新坐标系21Oy y ，这里1y 是椭圆的长轴方向，2y 是短轴方向。
旋转公式为易见，n 个点在新坐标系下的坐标1y 和2y 几乎不相关。
1y 和2y 称为原始变量1x 和2x 的综合变量，n 个点在1y 轴上的方差达到最大，即在此方向上所含的有关n 个样品间差异的信息是最多的。
因此，若欲将二维空间的点投影到某个一维方向，则选择1y 轴方向能使信息的损失降低到最小。
我们称1y 轴为第一主成分，而与1y 轴正交的2y 轴，有着较小的方差，称为第二主成分。
第一主成分的效果与椭圆的形状有很大关系，椭圆越是扁平，n 个点在1y 轴上的方差就相对越大，在2y 轴上的方差就相对越小。
考虑这样两种极端的情形：一种是椭圆的长轴与短轴的长度相等，即椭圆变成圆，第一主成分只含有二维空间点的约一半信息，若仅用这一个综合变量，则将损失约50％的信息，这显然是不可取的。
造成它的原因是，原始变量1x 和2x 的相关程度几乎为零，也就是说，1x 和2x 所包含的信息几乎互不重叠，因此无法用一个一维的综合变量来代替它们。
主成分分析的方法
主成分分析的方法
主成分分析（Principal Component Analysis，PCA）是一种常用的降维方法，通过线性变换将原始数据投影到一个新的空间中，使得数据在新的空间中的最大方差出现在第一个主成分上，第二大方差出现在第二个主成分上，以此类推。
这样可以保留较多的原始数据信息，同时减少数据的维度。
主成分分析的方法可以简洁地总结为以下几个步骤：
1. 标准化数据：将原始数据进行标准化处理，使得各个特征具有相同的尺度。
2. 计算协方差矩阵：计算标准化后的数据各个特征之间的协方差矩阵。
3. 计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。
4. 选择主成分数量：根据特征值的大小选择主成分的数量，通常选择特征值大于某个阈值的主成分。
5. 构造变换矩阵：将特征值较大的特征向量作为基向量构造出变换矩阵，以实现数据的降维。
6. 数据投影：将原始数据通过变换矩阵进行投影，得到降维后的数据。
主成分分析的目标是选择能够最大程度保留原始数据信息的主成分，这可以通过保留最大方差或者最小重构误差来衡量。
主成分分析在数据预处理、特征提取和可视化等领域有广泛的应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章主成分分析
一、填空题
1．主成分分析就是设法将原来众多的指标，重新组合成一组新的的综合指标来代替原来指标。
2．主成分分析的数学模型可简写为，该模型的系数要求。
3．主成分分析中，利用的大小来寻找主成分。
4．第k个主成分
y的贡献率为，前k个主成分的累积贡献率
k
为。
5．确定主成分个数时，累积贡献率一般应达到，在spss中，系统默认为。
6．主成分的协方差矩阵为_________矩阵。
7．原始变量协方差矩阵的特征根的统计含义是________________。
8．原始数据经过标准化处理，转化为均值为__ __，方差为__ __的标准值，且其________矩阵与相关系数矩阵相等。
9．在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为________。
10．SPSS中主成分分析采用______________命令过程。
二、判断题
1．主成分分析就是设法将原来众多具有一定相关性的指标，重新组合成一组新的相互无关的综合指标来代替原来指标。
（ ） 2．主成分y 的协差阵为对角矩阵。
（ ） 3.p x x x ,,,21 的主成分就是以∑的特征向量为系数的一个组合，它们互不相关，其方差为∑的特征根。
（ ） 4．原始变量i x 的信息提取率()m i V 表示这m 个主成分所能够解释第i 个原始变量变动的程度。
（ ） 5．在spss 中，可以直接进行主成分分析。
（ ） 6．主成分分析可用于筛选回归变量。
（ ） 7．SPSS 中选取主成分的方法有两个：一种是根据特征根≥1来选取； 另一种是按照累积贡献率≥85%来选取。
（ ） 8．主成分方差的大小说明了该综合指标反映p 个原始观测变量综合变动程度的能力的大小。
（ ） 9．主成分表达式的系数向量是协方差矩阵∑的特征向量。
（ ） 10．主成分k y 与原始变量i x 的相关系数()i k x y ,ρ反映了第k 个公共因子对第i 个原始变量的解释程度。
（ ）
四、计算题
1．假设3个变量1x 、2x 和3x 的协方差矩阵为：
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡--=∑20
053
03
2 要求用此协差阵和相应的相关阵对这3个变量进行主成分分析，根据计算结果说明应选取多少个主成分以代表原来的3个变量，并说明理由。
2．在一项研究中，测量了376只鸡的骨骼，并利用相关系数矩阵进行主成分分析，见下表：
（1）解释6个主成分的实际意义。
（2）计算前三个主成分各自的贡献率和累积贡献率。
（3）对于y4,y5,y6的方差很小这一点，你怎样对实际情况作出推断。
3．假设某商场棉鞋1x 、凉鞋2x 、布鞋3x 三种商品销售量的协方差矩阵如下：
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡--=∑20
052
02
1 试求各主成分，并对各主成分的贡献率和各个原始观测变量的信息提取率进行讨论。
4．对某市15个大中型工业企业进行经济效益分析，经研究确定，从有关经济效益指标中选取7个指标作分析，即固定资产产值率(X1)，固定资产利税率(X2)，资金利润率(X3)，资金利税率(X4)，流动资金周转天数(X5)，销售收入利税率(X6)和全员劳动生产率(X7)。
数据资料如下：
根据下面SPSS软件的输出信息，回答：
（1）这个数据的7个变量可以用几个综合变量（主成分）来表示？
（2）这几个综合变量（主成分）包含有多少原来的信息？
（3）写出这几个综合变量（主成分）的模型。
Total Variance Explained
Extraction Method: Principal Component Analysis.
Component Matrix(a)
Extraction Method: Principal Component Analysis.
a 2 components extracted.
六、SPSS操作题
1.下面是8个学生两门课程的成绩表：
（1）求出两个特征根及其对应的单位特征向量；
（2）求出主成分，并写出表达式；
（3）求出主成分的贡献率，并解释主成分的实际意义；
（4）求出两个主成分的样本协方差矩阵；
（5）第1个样本主成分与第2个变量样本之间的相关系数为多少
（6）求出8个学生第一主成分得分并进行排序 2.某中学十二名女生的身高x 1，体重x 2的数据如下：
（1）两个变量的协方差矩阵与相关系数阵； （2）两个特征根及其对应的单位特征向量；
（3）主成分的表达式并解释各贡献率的大小意义和主成分的实际意义； （4）如果舍弃主成分y 2，则哪一个原变量的信息损失量最大； （5）画出全部样本的主成分散点图。
3．根据下列某地区11年数据
（1）计算地区总产值、存储量和总消费的相关系数矩阵。
（2）求特征根及其对应的特征向量。
（3）求出主成分及每个主成分的方差贡献率；
（4）利用主成分方法建立y 与x 1,x 2,x 3的回归方程(取两个主成分)。