第11章(1)主成分分析
主成分分析
差 在测定。如果仅考虑X1或X2中的任何一个分量，那么包含
另一分量中的信息将会损失，因此，直接舍弃某个分量 不是“降维”的有效办法。
图6.1 主成分的几何意义
如 标果 系我y1们Oy将2 ，该这坐里标y系1 是按椭逆圆时的针长方轴向方旋向转，某y2个是角椭度圆的变短成轴新方坐向。
主要内容
主成分分析的基本思想 主成分分析的基本理论 主成分分析的几何意义 主成分的性质
引言
例子
如何评价一个学生在大学期间的表现
◦ 课程考试成绩 ◦ 社会工作 ◦ 科研
为了尽可能全面地评价，我们会引入很 多变量，目的是通过这些变量将学生的 差异显示出来
最终需要提供一种方法能够简单地概括 学生的特点和相对排名
所以
p
p
i ii
i 1
i 1
p
p
或 D(Yi ) D( X i )
i 1
i 1
性质 3 主成分 Yk 与原始变量 X i 的相关系数为
(6.20） (6.21）
(Yk , Xi )
k ii
tki
并称之为因子负荷量（或因子载荷量）。
(6.22）
证明：事实上
(Yk , Xi )
Cov(Yk , Xi ) Cov(TkX, eiX)
◦ 另条一线种，是第椭 一圆 主扁 成平 分到 包了 含极 有限二，维变空成间点y1轴的上全的部一信 息，仅用这一个综合变量代替原始数据不会有 任何的信息损失，此时的主成分分析效果是非 常理想的，其原因是，第二主成分不包含任何 信息，舍弃它当然没有信息损失。
主成分分析 ppt课件
ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
主成分分析法
主成分分析法一、主成分分析（principal components analysis ）也称为主分量分析，是由Holtelling 于1933年首先提出的。
主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。
二、应用背景：对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp ，它们都是相关的, 一时难以综合。
这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。
我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。
任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。
如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。
由这一点来看，一项指标在个体间的变异越大越好。
因此我们把“变异大”作为“好”的标准来寻求综合指标。
例1、考察对象股票业绩（这里单个股票为观察个体）。
（1）确定影响股票业绩主要因素：主营业务收入（X1），主营业务利润（X2）利润总额（X3），净利润（X4），总资产（X5），净资产（X6），净资产收益率（X7），每股权益（X8），每股收益（X9），每股公积金（X10），速动比率（X11）作为变量。
因此对单个股票来说，用11个随机变量综合刻化。
但这些因素过多，各因素区别不明显，有交叉反映。
通过主成分分析，可降为少数几个综合指标加以刻化。
（2）考察20支不同的股票。
从数学角度看，每种影响因素是随机变量（X i ），观察一支股票便得到影响该股票的11个随机变量取值；观察20支股票，便得到了20×11的原始数据阵X20×11（略）。
三、问题：作为主成分？严格的数学定义？相应的性质有哪些？主成分取多少？1、主成分的一般定义设有随机变量X1，X2，…，Xp ， 其样本均数记为1X ，2X ，…，p X，样本标准差记为S1，S2，…，Sp 。
主成分分析法
.972 .581 .497 .906 .781 .642 .805 .364 .426 .282 .540 .489 .661 .673 .513 .811 .765 .788 .827
提取方法 :主成份。 旋转法 :具有 Kaiser 标准化的正交旋
转法。 a. 旋转在 3 次迭代后收敛。
5、碎石图分析
主成分分析法
精选完整ppt课件
1
一、主成分分析法概述
二、主成分分析法的基本原理
三、主成分分析法的应用
四、主成分分析法的步骤和方法
五、主成分分析法的操作流程
六、主成分分析法的结果分析
七、应用主成分分析法的注意事项
八、与因子分析法的区别
精选完整ppt课件
2
一、主成分分析法概述
每个人都会遇到有很多变量的数据。
如果将选取的第一个线性组合即第一个综合变量
记为F1，自然希望F1尽可能多的反映原来变量的
信息。怎样反映?
精选完整ppt课件
5
最经典的方法就是用方差来表达，即var(F1)越大， 表示F1包含的信息越多。因此在所有的线性组合 中所选取的F1应该是方差最大的，故称之为第一 主成分（principal component I）。
精选完整ppt课件
7
2、基于主成分分析的新疆与全国旅游产业竞争力评价
本文采用主成分分析(PCA)方法,对新疆旅游业的竞争能力与全 国其他省、区、直辖市进行比较。对全国31个省、区、直辖市的 310个原始数据,根据PCA方法的原理和步骤进行计算机处理,可以 得到主成分因子的特征值、贡献率与累积贡献率及因子提取结果 。前3个主成分因子的累积贡献率达87.154%,根据累积贡献率大于 85%的主成分因子选取原则,选择前3个主成分因子,而且选择的3个 主成分因子相互之间不存在相关性。
主成分分析
一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看，这是一种降维处理技术。
思路：一个研究对象，往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。
原理：假定有 n 个样本，每个样本共有p 个变量，构成一个n ×p 阶的数据矩阵，x11x12 x1px21 x22 x2p Xxn 1xn2xnp记原变量指标为x1，x2，,，xp ，设它们降维处理后的综合指标，即新变量为 z1，z2，z3，,，zm(m ≤p)，则z 1l11x 1 l 12x 2l1p xpz 2 l 21x1 l22x2l2p xp ............ z mlm1x 1 l m2x 2lmp xp系数lij 的确定原则：①zi 与zj （i ≠j ；i ，j=1，2，,，m ）相互无关；②z 是x 1 ，x ，,，x 的一切线性组合中方差最大者，z 是与z 不相关的x ，x ，,，1 2P2 1 1 2 xP 的所有线性组合中方差最大者；zm 是与z1，z2，,,， zm －1都不相关的x1，x ，,x P ，的所有线性组合中方差最大者。
2新变量指标z1，z2，,，zm 分别称为原变量指标x1，x2，,，xP 的第1，第2，,，第m 主成分。
从以上的分析可以看出，主成分分析的实质就是确定原来变量xj （j=1，2 ，,，p ）在诸主成分zi （i=1，2，,，m ）上的荷载lij （i=1，2，,，m ；j=1，2，,，p ）。
从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤1、计算相关系数矩阵r11 r12 r1 pr21 r22 r2 pRrp1 rp2 rpprij（i，j=1，2，,，p）为原变量xi与xj的相关系数，rij=rji，其计算公式为n(x ki x i)(x kj x j)r ijk1n n(x ki2(x kj x j)2 x i)k1k12、计算特征值与特征向量解特征方程I R0，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列1 2 p0；p 分别求出对应于特征值i的特征向量e i(i1,2,L,p)，要求ei=1，即e ij21j1其中e ij表示向量e i的第j 个分量。
多元分析：主成分分析与因子分析
第十一章 多元分析：主成分分析与因子分析引言主成分分析和因子分析在多元分析框架内是数据结构分析技术，与第六章的多元回归、第七章的多变量协整一起是多变量分析中广泛使用的技术。
它们不同于多元回归。
回归的目标是识别外生变量与内生变量的关系，而在主成分分析和因子分析情形下，仅确定内生变量间的结构关系。
它们也不像协整，变量间不需要平稳性。
在金融、社会科学或其它领域，通常需要识别多变量结构的特征，其有两个特征是被子广泛关心的：1． 多变量结构中的波动性。
2． 变量间的相关或共线性。
在结构的整体变化中，通常是一些变量起产生主要的影响，而其它变量仅有次要的或不显著的影响。
困难的是要了解哪些变量能被确定在这个结构中和它在结构中应怎样度量。
例如，如果两个变量是完全相关的，则不需要第二个变量，它不会带来进一步的信息。
这类似多元回归的共线问题。
在一般情况下，包含哪个变量，剔除哪个变量并不是很清楚的，我们需要有能够程序化的有效方法来识别带有最可用信息的变量或变量组合。
主成分分析（PCA ）是分析多变量结构波动时有用的技术。
因子分析（F A ）在分析多变量结构变量的相关时很有用。
两者都依赖于方差/协方差矩阵，因为这个矩阵在一定范围内包含了变量间有用的全部信息。
因此在一定范围内，两者是重复的或相互补充的。
在这章，我们将方差/协方差矩阵记为C 。
尽管PCA 和F A 都利用方差/协方差矩阵，但它们不同于第四章和第九章中的均值—方差分析。
均值—方差分析度量了一组变量的总体变异性，而没有特别指明一部分变量对总变异性的贡献。
PCA 识别和排序了部分变量在总变异性中的贡献,每个部分变量称为“主成分”。
它识别了部分变量间组成的协方差的强度，每个主成分对总的变异性的贡献，并根据部分变量组的方差进行排序。
使用PCA ，数据内的总体变异性由特征值之和（它等于C矩阵主对角线上元素之和，也称为迹）度量，成分（变量的线性组合）的选择是依次序减少特征值，直到满足总变异性的一个足够大的比例。
主成分分析(主元分析,PCA)原理
PCA原理1因为经常做一些图像和信号处理的工作，要用到主元分析（Principal Components Analysis）作为工具。
写出来供自己和朋友参考。
PCA是一种统计技术，经常应用于人面部识别和图像压缩以及信号去噪等领域，是在高维数据中提取模式的一种常用技术。
要了解PCA首先要了解一些相关的数学知识，这里主要介绍协方差矩阵、特征值与特征矢量的概念。
1、协方差矩阵协方差总是在两维数据之间进行度量，如果我们具有超过两维的数据，将会有多于两个的协方差。
例如对于三维数据（x, y, z维），需要计算cov(x,y)，cov(y,z)和cov(z,x)。
获得所有维数之间协方差的方法是计算协方差矩阵。
维数据协方差矩阵的定义为（1）这个公式告诉我们，如果我们有一个n维数据，那么协方差矩阵就是一个n行n 列的方矩阵，矩阵的每一个元素是两个不同维数据之间的协方差。
对于一个3维数据（x,y,z），协方差矩阵有3行3列，它的元素值为：(2)需要注意的是：沿着主对角线，可以看到元素值是同一维数据之间的协方差，这正好是该维数据的方差。
对于其它元素，因为cov（a,b）=cov（b,a），所以协方差矩阵是关于主对角线对称的。
2、特征值和特征矢量只要矩阵大小合适，就可以进行两矩阵相乘，特征矢量就是其中的一个特例。
考虑图2.1中两个矩阵和矢量乘法。
图2.1 一个非特征矢量和一个特征矢量的例子图2.2 一个缩放的特征矢量仍然是一个特征矢量在第一个例子中，结果矢量不是原来因子矢量与整数相乘，然而在第二个例子中，结果矢量是原来因子矢量的4倍，为什么会这样呢？该矢量是一个2维空间矢量，表示从原点(0,0)指向点(3,2)的箭矢。
方矩阵因子可以看作是转换矩阵，一个矢量左乘该转换矩阵，意味着原始矢量转换为一个新矢量。
特征矢量来自于转换特性。
设想一个转换矩阵，如果用其左乘一个矢量，映射矢量是它自身，这个矢量（以及它的所有尺度缩放）就是该转换矩阵的特征矢量。
主成分分析
语言表达就是要求Cov(F1，F2)＝0，称F2为第二主成分， 依此类推可以造出第三，四，…，第p个主成分。不难 想像这些主成分之间不仅不相关，而且它们的方差依次 递减。因此在实际工作中，就挑选前几个最大主成分， 虽然这样做会损失一部分信息，但是由于它使我们抓住 了主要矛盾，并从原始数据中进一步提取了某些新的信 息，因而在某些实际问题的研究中得益比损失大，这种 既减少了变量的数目又抓住了主要矛盾的做法有利于问 题的分析和处理。
第p个特征值所对应特征向量处达到。
这里要说明两点：一个是数学模型中为什么作线性组合? 基于两种原因：①数学上容易处理；②在实践中效果很好。 另一个要说明的是每次主成分的选取使Var(Fi)最大，如果 不加限制就可使Var(Fi) 则就无意义了，而常用的 限制是要求 （2 ）主成分的几何意义 从代数学观点看主成分就是p个变量X1…，Xp的 一些特殊的线性组合，而在几何上这些线性组合正是把 X1，…，Xp构成的坐标系旋转产生的新坐标系，新坐标 轴使之通过样品变差最大的方向(或说具有最大的样品 方差 )。下面以最简单的二元正态变量来说明主成分的 9 2015/12/16 几何意义。
我们看到F1，F2是原变量 X1 和 X2 的线性组合，用矩阵表 示是
显然
且是正交矩阵，即
从上图还容易看出二维平面上的n个点的波动(可用方 差表示)大部分可以归结为在 F1 轴上的波动，而在F2轴上 的波动是较小的。如果上图的椭园是相当扁平的，那么我 们可以只考虑F1方向上的波动，忽略F2方向的波动。这样 一来，二维可以降为一维了，只取第一个综合变量 F1即可。 2015/12/16 11 而F1是椭园的长轴。
2、主成分分析的数学模型及几何解释
（1 ）、 数学模型
设有 n 个样品，每个样品观测p项指标(变量), X1, X2， …，Xp，得到原始数据资料阵： 2015/12/16 5
主成分分析( principal components analysis,PCA )
主成分分析的主要作用
3．多维数据的一种图形表示方法。 我们知道当维数大于3时便不能画出几何图形，多元统 计研究的问题大都多于3个变量。要把研究的问题用图形 表示出来是不可能的。然而，经过主成分分析后，我们可 以选取前两个主成分或其中某两个主成分，根据主成分的 得分，画出n个样品在二维平面上的分布况，由图形可直 观地看出各样品在主分量中的地位，进而还可以对样本进 行分类处理，可以由图形发现远离大多数样本点的离群点。 4．由主成分分析法构造回归模型。即把各主成分作为 新自变量代替原来自变量x做回归分析。
主成分分析（ PRINCIPAL COMPONENTS ANALYSIS，PCA ）
主成分分析介绍 基本思想 基本原理 作用 计算 主成分个数选取原则 例题 SPSS操作
主成分分析介绍
在统计学中，主成分分析（principal components analysis, PCA）是一种简化数据集的技术。它是一个线 性变换。这个变换把数据变换到一个新的坐标系统中， 使得任何数据投影的第一大方差在第一个坐标(称为第 一主成分)上，第二大方差在第二个坐标(第二主成分)上， 依次类推。主成分分析经常用减少数据集的维数，同时 保持数据集的对方差贡献最大的特征。这是通过保留低 阶主成分，忽略高阶主成分做到的。这样低阶成分往往 能够保留住数据的最重要方面。但是，这也不是一定的， 要视具体应用而定。
x3
的
例题
1. 求样本均值和样本协方差矩阵
46.67 S 17.12 21.11 30.00 32.58 55.53 2. 求解协方差矩阵的特征方程 S I 0
46.67 17.12 30.00 17.12 30.00 21.11 32.பைடு நூலகம்8 0 32.58 55.53
主成分分析
x12 x22 M xn 2
L x1 p L x2 p M L xnp
主成分分析的概念（续）
由于实测的变量间存在一定的相关关系， 由于实测的变量间存在一定的相关关系， 因此有可能用较少数的综合指标分别综 合存在于各变量中的各类信息， 合存在于各变量中的各类信息，而综合 指标之间彼此不相关， 指标之间彼此不相关，即各指标代表的 信息不重叠。综合指标称为主成分（ 信息不重叠。综合指标称为主成分（提 取几个因子），一般有两种方法： ），一般有两种方法 取几个因子），一般有两种方法： 特征值>1 特征值 累计贡献率>0.8 累计贡献率
0.198 99.015
0.049 100.000
Component Matrix(a) Component 1 X1 X2 X3 X4 X5 .808 .814 -.791 .101 .846 2 -.487 .397 .479 .977 .415
由此可建立第一、二主成分（即两个新的综合指标） 由此可建立第一、二主成分（即两个新的综合指标） Z1=0.808X1+0.814X2-0.791X3+0.101X4+0.846X5; Z2=-0.487X1+0.397X2+0.479X3+0.977X4+0.415X5;
主成分分析的基本思想
主成分分析是研究如何通过原来变量的少数几个线性 组合来解释原来变量绝大多数信息的一种多元统计方法. 组合来解释原来变量绝大多数信息的一种多元统计方法 既然研究某一个问题涉及的众多变量之间有一定的相 关性,就必然存在着起支配作用的共同因素 根据这一点 关性 就必然存在着起支配作用的共同因素,根据这一点 就必然存在着起支配作用的共同因素 根据这一点, 通过对原始变量相关矩阵或协方差矩阵内部结构关系的 研究,利用原始变量的线性组合形成几个综合指标 主成分 研究 利用原始变量的线性组合形成几个综合指标(主成分 利用原始变量的线性组合形成几个综合指标 主成分) 在保留原始变量主要信息的前提下起到降维与简化问题 的作用,从而在研究复杂问题时抓住主要矛盾 的作用 从而在研究复杂问题时抓住主要矛盾. 从而在研究复杂问题时抓住主要矛盾
主成分分析1
主成分分析法（1）数据压缩。
经过主成份变换，多光谱图像变成了新的主成份图像，像元的亮度信息不再表示地物原来的光谱值。
但变换后的前几个主分量包含了绝大部分的地物信息，在一些情况下几乎是100%，因此可以只取前几个主分量，既获得绝大部分的信息，又减少了数据量。
如ＴＭ图像，经过主成份变换后可只取前３个主分量，波段数由７个减少到３个，数据量减少到４３％，实现了数据压缩。
（2）图像增强。
主成份变换的前几个主分量包含了主要的信息，噪声相对较少；而随着信息量的逐渐减少，最后的主分量几乎全部是噪声信息。
因此，主成份变换突出了主要信息，抑制了噪声，达到了图像增强的目的。
（3）分类前预处理。
多波段图像的每一个波段并不都是分类最好的信息源，因而分类前的一项重要工作就是特征选择，即减少分类的波段数并提高分类效果。
主成份变换即是特征选择最常用的方法。
由表9-4看出可以选择前三个主分量，它所构成的信息量为总信息量的94.50％，即前三个主分量几乎反映了全部信息量，这三个主分量为F1、F2、F3。
第一主分量的主要代表变量为x1和x2（即淤泥含量和粘土含量），它们的权重系数分别为0.918和0.909，由相关系数矩阵知道，变量x1与x2有较强的相关性，因此在实际处理中，还可以简化结构，即可以只选取这两个变量中的一个来进行处理即可，如选取淤泥变量，而淘汰粘土变量。
第二主分量F2的代表变量为第三个变量（有机物），其权重系数为0.898。
第三个主分量F3的代表变量为第4个变量（pH值），其权重系数为0.872。
主分量是原来p个变量的线性组合，它不能简单地解释为单个变量的属性的作用，因而不能直接说明原变量属性对主分量的作用。
但是与主分量相对应的特征向量中各元素的数值反映了各个变量属性对该主分量作用的大小，即可理解特征向量中各分量对该主分量作用的权数。
主成分分析讲解学习
用数学语言描述就是要求：
(1)aiai 1 (i 1,L , p) (2)当i 1时，Cov(Fi , Fj ) 0
( j 1,L ,i 1)
(3)Var(Fi ) max Var(x) aa1,Cov( Fi ,Fj )0
( j 1,L ,i 1)
§11.2 主成分分析数学模型及几何解释
§11.3 总体主成分的推导及性质
(1)主成分的推导：
设F a1X1 a2X2 L apX p @aX,其中，a (a1,a2,L ,ap), X (X1, X2,L X p),
求主成分就是寻找X的线性函数 aX 使相应的方差尽可能地大，即
使
Var(aX ) E(aX E(aX ))(aX E(aX )) aE( X EX ) (X EX )a a a
主成分分析
§11.1 什么是主成分分析及其基本思想
问题的提出： 在对某一事物进行实证分析研究中，为了更全面准确反映出事
物的特征及其发展规律，往往考虑与其有关系的多个指标，因此会 产生的问题： （1）为避免漏掉重要信息而考虑尽量多的指标 （2）随着考虑指标的增多增加了问题的复杂性，并且多指标之间 不可避免会造成信息的大量重叠（相关性），这种重叠有时甚至会 掩盖事物的真正特征与内在规律。
§11.1 什么是主成分分析及其基本思想
实际工作中，挑选前几个最大的主成分代替原来的指标信息， 虽然会损失一部分信息，但是由于我们抓住了主要矛盾，在实际问 题的研究中得益比损失大，这种既减少了变量的数目又抓住了主要 矛盾的做法有利于问题的分析和处理。
主成分分析流程图：
尽可能多地找出 相关指标作为原
x
作线性组合
p
（即综合指标）为：
F1 =a11 X1 a21 X1 L
主成分分析
表1是某市工业部门13个行业的8项重要经济指标的数
主成分分析实例 2
据，这8项经济指标分别是： X1：年末固定资产净值，单位：万元； X2：职工人数据，单位：人； X3：工业总产值，单位：万元； X4：全员劳动生产率，单位：元/人年； X5：百元固定资产原值实现产值，单位：元； X6：资金利税率，单位：%； X7：标准燃料消费量，单位：吨； X8：能源利用效果，单位：万元/吨。
主成分分析的目的与功能
在多变量分析中，分析者所面临的最大难题是
解决众多变量之间的关系问题。进行数据降维 可以用尽可能少的新指标取代原来较多的指标 变量，并能包含原来指标变量所包含的大部分 信息 。 解决多元回归分析中的多重共线性问题。 综合评价中，人们总是尽可能多地选取评价指 标，而这些评价指标之间往往相互重叠，信息 冗余是不可避免的。主成分分析则可以把这众 多指标所蕴含的信息压缩到少数几个主成分指 标，然后给出这几个主成分指标的权重，综合 到一个评价指标中。
y1 是反映学生身材魁梧与否的综合指标
y2 是反映学生体形特征的综合指标。
表1是某市工业部门13个行业的8项重要经济指标的数 据，这8项经济指标分别是： X1：年末固定资产净值，单位：万元； X2：职工人数据，单位：人； X3：工业总产值，单位：万元； X4：全员劳动生产率，单位：元/人年； X5：百元固定资产原值实现产值，单位：元； X6：资金利税率，单位：%； X7：标准燃料消费量，单位：吨； X8：能源利用效果，单位：万元/吨。
表1 某市工业部门13个行业8项指标
X1 冶金 电力 煤炭 化学 机器 建材 森工 食品 纺织 缝纫 皮革 造纸 文教 90342 4903 6735 49454 139190 12215 2372 11062 17111 1206 2150 5251 14341 X2 52455 1973 21139 36241 203505 16219 6572 23078 23907 3930 5704 6155 13203 X3 101091 2035 3767 81557 215898 10351 8103 54935 52108 6126 6200 10383 19396 X4 19272 10313 1780 22504 10609 6382 12329 23804 21796 15586 10870 16875 14691 X5 82 34.2 36.1 98.1 93.2 62.5 184.4 370.4 221.5 330.4 184.2 146.4 94.6 X6 16.1 7.1 8.2 25.9 12.6 8.7 22.2 41 21.5 29.5 12 27.5 17.8 X7 197435 592077 726396 348226 139572 145818 20921 65486 63806 1840 8913 78796 6354 X8 0.172 0.003 0.003 0.985 0.628 0.066 0.152 0.263 0.276 0.437 0.274 0.151 1.574
主成分分析完整ppt课件
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成
的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；
主成分分析法的步骤和原理
（一）主成分分析法的基本思想主成分分析（PrincipalComponentAnalysis ）是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。
[2]采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺点，引进多方面的财务指标，但又将复杂因素归结为几个主成分，使得复杂问题得以简化，同时得到更为科学、准确的财务信息。
（二）主成分分析法代数模型 假设用p 个变量来描述研究对象，分别用X 1，X 2…X p 来表示，这p 个变量构成的p 维随机向量为X=(X 1，X 2…X p )t 。
设随机向量X 的均值为μ，协方差矩阵为Σ。
假设X 是以n 个标量随机变量组成的列向量，并且μk 是其第k 个元素的期望值，即，μk=E(xk)，协方差矩阵然后被定义为： Σ=E{(X -E[X])(X-E[X])}=(如图对X 进行线性变化，考虑原始变量的线性组合： Z 1=μ11X 1+μ12X 2+…μ1p X p Z 2=μ21X 1+μ22X 2+…μ2p X p ………………Z p =μp1X 1+μp2X 2+…μpp X p主成分是不相关的线性组合Z 1，Z 2……Z p ，并且Z 1是X 1，X 2…X p 的线性组合中方差最大者，Z 2是与Z 1不相关的线性组合中方差最大者，…，Z p 是与Z 1，Z 2……Z p-1都不相关的线性组合中方差最大者。
（三）主成分分析法基本步骤 第一步：设估计样本数为n ，选取的财务指标数为p ，则由估计样本的原始数据可得矩阵X=(x ij )m×p ，其中x ij 表示第i 家上市公司的第j 项财务指标数据。
第二步：为了消除各项财务指标之间在量纲化和数量级上的差别，对指标数据进行标准化，得到标准化矩阵（系统自动生成）。
主成分分析
主成分分析专题§1 引言我们在作数据分析处理时，涉及的样品往往包含有多个测量指标（比如p 个指标），较多的指标会带来分析问题的复杂性。
然而，这些指标彼此之间常常存在着一定程度的、有时甚至是相当高的相关性，这就使含在观测数据中的信息在一定程度上有所重叠。
主成分分析就是一种通过降维技术把多个指标约化为少数几个综合指标的统计分析方法。
这些综合指标能够反映原始指标的绝大部分信息，它们通常表示为原始p 个指标的某种线性组合。
为了使这些综合指标所含的信息互不重叠，应要求它们互不相关。
例如，考虑p ＝2的情形，假设共有n 个样品，每个样品都测量了两个指标),(21x x ，它们大致分布在一个椭圆内。
如图所示。
显然，在坐标系21Ox x 中，n 个点的坐标1x 和2x 呈现某种线性相关性。
我们将该坐标系按逆时针方向旋转某个角度θ变成新坐标系21Oy y ，这里1y 是椭圆的长轴方向，2y 是短轴方向。
旋转公式为112212cos sin sin cos y x x y x x θθθθ=+⎧⎨=-+⎩ 易见，n 个点在新坐标系下的坐标1y 和2y 几乎不相关。
1y 和2y 称为原始变量1x 和2x 的综合变量，n 个点在1y 轴上的方差达到最大，即在此方向上所含的有关n 个样品间差异的信息是最多的。
因此，若欲将二维空间的点投影到某个一维方向，则选择1y 轴方向能使信息的损失降低到最小。
我们称1y 轴为第一主成分，而与1y 轴正交的2y 轴，有着较小的方差，称为第二主成分。
第一主成分的效果与椭圆的形状有很大关系，椭圆越是扁平，n 个点在1y 轴上的方差就相对越大，在2y 轴上的方差就相对越小。
考虑这样两种极端的情形：一种是椭圆的长轴与短轴的长度相等，即椭圆变成圆，第一主成分只含有二维空间点的约一半信息，若仅用这一个综合变量，则将损失约50％的信息，这显然是不可取的。
造成它的原因是，原始变量1x 和2x 的相关程度几乎为零，也就是说，1x 和2x 所包含的信息几乎互不重叠，因此无法用一个一维的综合变量来代替它们。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
汇报什么？
假定你是一个公司的财务经理，掌握了公司的
所有数据，比如固定资产、流动资金、每一笔 借贷的数额和期限、各种税费、工资支出、原 料消耗、产值、利润、折旧、职工人数、职工 的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些 指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个 指标简单明了地把情况说清楚。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
68.337 95.416 62.901 86.624 91.394 76.912 51.274 68.831 77.301 76.948 99.265 118.505 141.473 137.761 117.612 122.781
k 1 k 1 p i k
(i 1,2, , p)
k
一般取累计贡献率达85—95%的特征值 1 , 2 ,, m 所对应的第一、第二、…、第m（m≤p）个主成分。
④ 计算主成分载荷
lij p( zi , x j ) i eij (i, j 1,2,, p)
（5 ）
构成一个n×p阶的地理数据矩阵
x11 x 21 X xn 1 x12 x22 xn 2 x1 p x2 p xnp
（1）
当p较大时，在p维空间中考察问题比较麻烦。 为了克服这一困难，就需要进行降维处理，即用 较少的几个综合指标代替原来较多的变量指标， 而且使这些较少的综合指标既能尽量多地反映原 来较多变量指标所反映的信息，同时它们之间又 是彼此独立的。
系数lij的确定原则：
(2)
① zi与zj（i≠j；i，j=1，2，…，m）相互 无关；
② z1是x1，x2，…，xP的一切线性组合中方差 最大者，z2是与z1不相关的x1，x2，…，xP的 所有线性组合中方差最大者； …… zm是与z1，z2，……，zm－1都不相关的x1， x2，…xP， 的所有线性组合中方差最大者。 则新变量指标z1，z2，…，zm分别称为原变量 指标x1，x2，…，xP的第一，第二，…，第m 主成分。
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2
•• • • • • • • • • • • •• •• • • •• • • • •• • • • • •• • • • • • •
x1
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2
•
• •• • • • • •••• • • • • •• • • • •• • • • •• • • • •• •• • ••
x1
平移、旋转坐标轴
x2
F1
•
主 成 分 分 析 的 几 何 解 释
F2
• • • • • • • • • • • • •• • • • • •
• • • • • • • • • • • •• • •
x1
多维变量的情形类似，只不过是一个高维椭球，无法 直观地观察 每个变量都有一个坐标轴，所以有几个变量就有几主 轴。首先把椭球的各个主轴都找出来，再用代表大多 数数据信息的最长的几个轴作为新变量，这样，降维 过程也就完成了
② 分别求出对应于特征值 i的特征向量
ei (i 1,2,, p) ，要求 ei =1，即
2 其中 表示向量 e ij 1 j 1 p
，
eij j个分量。 的第 ei
③ 计算主成分贡献率及累计贡献率
▲贡献率:
i
k 1
p
(i 1,2, , p)
k
▲累计贡献率:
找出的这些新变量 是原来变量的线性 组合，叫做主成分
三变量主成分分析示意图
PC1=a1xi1+a2xi2+a3xi3 PC2= b1xi1+b2xi2+b3xi3
主成分变换将三维空间的样本显示
一、主成分分析的基本原理
假定有n个样本，每个样本共有p个变量，
对主成分的要求
上例可见，用总分有时可以反映原分数表
的情况，保留原有信息，有时则把信息丢 尽，不能反映原理的情况和差异。根据总 分所对应的方差可以确定其代表了多大比 例的原始数据（分数）信息。
一般来说，我们希望能用一个或少数几个
综合指标（分数）来代替原来分数表做统 计分析，而且希望新的综合指标能够尽可 能地保留原有信息，并具有最大的方差。
11.4 主成分分析实例分析
例1 根据表1给出的数据，对某农业生态经济系统做 主成分分析。体验处理过程。
表1 某农业生态经济系统各区域单元的有关数据
x 8 ：果 x 9 ：灌溉 园与林 田占耕地 地面积 面积之比 之比(％) (％) 2.231 1.455 7.474 1.892 0.303 26.262 27.066 12.489 17.534 22.932
从以上的分析可以看出，主成分分析的 实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。 从数学上容易知道，从数学上可以证明， 它们分别是相关系数矩阵的m个较大的特征值 所对应的特征向量。
二、计算步骤
定义：记x1，x2，…，xP为原变量指标，z1， z2，…，zm（m≤p）为新变量指标
z1 l11 x1 l12 x 2 l1 p x p z 2 l 21 x1 l 22 x 2 l 2 p x p z m l m1 x1 l m 2 x 2 l mp x p
(以两个变量为例)
对这两个相关变量所携带的信息(在统计上信息往往是 指数据的变异)进行浓缩处理 假定只有两个变量 x1 和 x2 ，从散点图可见两个变量存 在相关关系，这意味着两个变量提供的信息有重叠 如果把两个变量用 一个变量来表示， 同时这一个新的变 量又尽可能包含原 来的两个变量的信 息，这就是降维的 过程
rij
(x
k 1 n k 1
n
ki
xi )(xkj x j )
2 2 ( x x ) kj j k 1 n
( xki xi )
（4）
（二）计算特征值与特征向量：
① 解特征方程 I R 0 ，常用雅可比法 （Jacobi）求出特征值，并使其按大小顺序排 列 1 2 , p 0 ；
主成分分析(Principal Component Analysis, 简称
PCA)是一种常用的基于变量协方差矩阵对信息进 行处理、压缩和抽提的有效方法。
为什么要根据方差确定主成分？
情形II下总分的方差为0，显然不能反映三个学生各科 成绩各有所长的实际情形，而红色标记的变量对应的 方差最大，可反映原始数据的大部分信息
（一）计算相关系数矩阵
r11 r 21 R r p1 r12 r22 rp 2 r1 p r2 p r pp
（3）
rij （ i ， j=1 ， 2 ， … ， p ）为原变量 xi 与 xj 的相关系数， rij=rji，其计算公式为：
11.1 什么是主成分分析？
我们来看一个例子：小学各科成绩的评估可
以用下面的综合成绩来体现： a1×語文＋a2×数学＋a3×自然＋a4×社会 科学 确定权重系数的过程就可以看作是主成分分 析的过程，得到的加权成绩总和就相对于新 的综合变量——主成分
推而广之，当某一问题需要同时考虑好几个
椭圆中有一个长轴和一个短轴，称为主轴。在长轴方向，数据 的变化明显较大，而短轴方向变化则较小 如果沿着长轴方向设定一个新的坐标系，则新产生的两个变量 和原始变量间存在一定的数学换算关系，同时这两个新变量之 间彼此不相关，而且长轴变量携带了大部分的数据变化信息，而
短轴变量只携带了一小 部分变化的信息(变异) 此时，只需要用长轴方 向的变量就可以代表原 来两个变量的信息 。这 样也就把原来的两个变 量降维成了一个变量 。 长短轴相差越大，降维 也就越合理(见图示)
1540.29 926.35 1501.24 897.36 911.24 103.52 968.33 957.14 824.37 1255.42 1251.03 1246.47 814.21 1124.05 805.67 1313.11
216.39 291.52 225.25 196.37 226.51 217.09 181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
2.032 0.801 1.652 0.841 0.812 0.858 1.041 0.836 0.623 1.022 0.654 0.661 0.737 0.598 1.245 0.731
76.204 71.106 73.307 68.904 66.502 50.302 64.609 62.804 60.102 68.001 60.702 63.304 54.206 55.901 54.503 49.102
每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变
量的数据；各个学校的研究、教学等各种变量 的数据等等。 这些数据的共同特点是变量很多，在如此多的 变量之中，有很多是相关的。人们希望能够找 出它们的少数“代表”来对它们进行描述。 把变量维数降低以便于描述、理解和分析的方 法 ： 主 成 分 分 析 （ principal component analysis）和因子分析（factor analysis）。 实际上主成分分析可以说是因子分析的一个特 例。本章介绍主成分分析法。