主成分分析
主成分分析方法
主成分分析方法主成分分析（Principal Component Analysis, PCA）是一种常用的数据降维技术，它可以通过线性变换将原始数据转换为一组各维度之间线性无关的表示，从而实现数据的降维和特征提取。
在实际应用中，主成分分析方法被广泛应用于数据预处理、特征提取、模式识别和数据可视化等领域。
主成分分析的基本思想是通过寻找数据中的主要信息，并将其转化为一组新的互相无关的变量，即主成分，以达到降维的目的。
在进行主成分分析时，我们首先需要计算数据的协方差矩阵，然后对协方差矩阵进行特征值分解，得到特征值和特征向量。
特征向量构成的矩阵即为数据的主成分矩阵，而特征值则代表了数据在各个主成分方向上的方差大小。
通过主成分分析，我们可以将原始数据映射到主成分空间中，从而实现数据的降维。
在降维后的主成分空间中，我们可以选择保留的主成分数量，以达到对数据特征的提取和压缩。
同时，主成分分析还可以帮助我们发现数据中的内在结构和模式，从而更好地理解数据的特性和规律。
在实际应用中，主成分分析方法有着广泛的应用。
例如，在图像处理领域，主成分分析可以用于图像压缩和特征提取；在金融领域，主成分分析可以用于资产组合的风险分析和优化；在生物信息学领域，主成分分析可以用于基因表达数据的分析和分类等。
需要注意的是，在应用主成分分析方法时，我们需要考虑数据的标准化和中心化处理，以避免不同量纲和尺度对主成分分析结果的影响。
此外，我们还需要注意选择合适的主成分数量，以保留足够的数据信息同时实现降维的效果。
总之，主成分分析方法是一种强大的数据分析工具，它可以帮助我们实现数据的降维和特征提取，发现数据中的内在结构和模式，从而更好地理解和利用数据。
在实际应用中，我们可以根据具体问题和需求，灵活运用主成分分析方法，从而实现更加有效的数据分析和应用。
主成分分析
但是这种线性组合，如果丌加限制，则可以有很多，应 该如何去选取呢？
对a加以限制
对组合系数ai' = (a1i，a2i，…，api)作如下要求：
a a ... a
2 1i 2 2i
2 pi
1,
i 1, 2 ,..., p
即：ai为单位向量。 此外，
对F限制
1) Fi不Fj（i≠j, i, j = 1, …, p）互丌相关，即 协方差:Cov(Fi，Fj) = 0
2) F1是X1，X2，…，Xp的一切线性组合（系数满足上述要 求）中方差最大的，即
Var ( F1 ) max Var ( c i X i )
c ' c 1 i 1 p
其中c = (c1，c2，…，cp)' 3)F2是不F1丌相关的X1，X2，…，Xp一切线性组合中方差最 大的，…，Fp是不F1，F2，…，Fp-1都丌相关的X1，X2，… ，Xp的一切线性组合中方差最大的。 满足上述要求的综合指标向量F1，F2，…，Fp就是主成分。
i 1 k 1
达到足够大（一般在85%以上）为原则。
3.5 计算主成分得分
计算n个样品在m个主成分上的得分：
Fi a1i X 1 a 2 i X 2 ... a pi X p
i = 1，2，…，m
主成分分析程序代码
例 输出原始数据矩阵x x=[7.47,1.73,7.20,0.13,0.40,1.33,1.07,36.05;6.67,1.67,18.00,0.67,4.67,19. 00,5.50,26.00;3.32,2.48,36.43,2.17,7.15,22.99,11.95,60.95;3.00,2.29,19.0 2,1.62,6.90,3.57,18.50,49.14;1.67,3.08,48.98,3.69,29.66,31.50,65.53,272. 23;1.96,3.23,14.44,1.64,18.02,33.12,33.10,68.73;1.25,3.69,42.00,4.25,22. 22,19.94,53.50,70.00;1.47,9.87,49.15,3.48,4.11,22.37,19.92,67.10;2.02,0. 97,16.99,12.29,18.00,17.36,3.66,16.59;2.41,1.56,2.81,15.79,3.42,21.61,2. 44,24.26;1.00,2.15,40.16,14.27,5.74,53.90,9.24,27.90;1.70,0.77,3.13,5.00, 6.32,11.48,10.23,30.77;0.97,0.12,2.39,21.16,8.08,16.21,41.26,18.84;2.86, 3.29,29.70,1.91,17.04,41.90,12.05,31.90;1.41,5.58,44.18,6.51,10.88,31.98 ,12.92,31.69;1.02,0.86,13.08,1.59,11.15,21.91,26.67,22.28;0.84,0.24,2.16, 21.14,3.56,24.94,18.73,25.61;1.00,0.23,6.11,13.95,4.59,17.19,26.95,18.01 ;0.74,1.39,14.21,20.55,4.29,15.54,54.11,38.96;0.49,0.83,9.03,13.69,1.39,2 4.35,59.15,49.86;1.20,0.23,2.01,20.99,1.06,25.23,23.84,52.05;1.38,0.31,0. 71,5.27,0.98,3.97,68.88,33.79;1.79,0.63,8.00,4.67,4.58,6.92,65.92,61.50;1. 53,2.84,17.27,3.06,18.51,11.59,19.65,49.50;0.78,2.33,33.11,2.78,18.17,7. 28,75.46,51.56;3.83,1.00,53.83,3.53,3.50,0.17,52.67,111.67;2.50,2.67,49. 88,3.14,3.83,8.33,48.33,43.33;1.48,4.32,27.61,1.68,47.29,1.81,69.42,443. 10]
主成分分析
一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看，这是一种降维处理技术。
思路：一个研究对象，往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。
原理：假定有 n 个样本，每个样本共有p 个变量，构成一个n ×p 阶的数据矩阵，x11x12 x1px21 x22 x2p Xxn 1xn2xnp记原变量指标为x1，x2，,，xp ，设它们降维处理后的综合指标，即新变量为 z1，z2，z3，,，zm(m ≤p)，则z 1l11x 1 l 12x 2l1p xpz 2 l 21x1 l22x2l2p xp ............ z mlm1x 1 l m2x 2lmp xp系数lij 的确定原则：①zi 与zj （i ≠j ；i ，j=1，2，,，m ）相互无关；②z 是x 1 ，x ，,，x 的一切线性组合中方差最大者，z 是与z 不相关的x ，x ，,，1 2P2 1 1 2 xP 的所有线性组合中方差最大者；zm 是与z1，z2，,,， zm －1都不相关的x1，x ，,x P ，的所有线性组合中方差最大者。
2新变量指标z1，z2，,，zm 分别称为原变量指标x1，x2，,，xP 的第1，第2，,，第m 主成分。
从以上的分析可以看出，主成分分析的实质就是确定原来变量xj （j=1，2 ，,，p ）在诸主成分zi （i=1，2，,，m ）上的荷载lij （i=1，2，,，m ；j=1，2，,，p ）。
从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤1、计算相关系数矩阵r11 r12 r1 pr21 r22 r2 pRrp1 rp2 rpprij（i，j=1，2，,，p）为原变量xi与xj的相关系数，rij=rji，其计算公式为n(x ki x i)(x kj x j)r ijk1n n(x ki2(x kj x j)2 x i)k1k12、计算特征值与特征向量解特征方程I R0，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列1 2 p0；p 分别求出对应于特征值i的特征向量e i(i1,2,L,p)，要求ei=1，即e ij21j1其中e ij表示向量e i的第j 个分量。
主成分分析概要
什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，就使我们在研究复杂的科普效果评估问题时，容易抓住主要矛盾。
主成分分析法
主成分分析法什么事主成分分析法:主成分分析（principal components analysis , PCA 又称：主分量分析，主成分回归分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
主成分分析的基本思想：在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
什么是主成分分析
主成分分析（principal component analysis, PCA）如果一组数据含有N个观测样本，每个样本需要检测的变量指标有K个, 如何综合比较各个观测样本的性质优劣或特点？这种情况下，任何选择其中单个变量指标对本进行分析的方法都会失之偏颇，无法反映样本综合特征和特点。
这就需要多变量数据统计分析。
多变量数据统计分析中一个重要方法是主成份分析。
主成分分析就是将上述含有N个观测样本、K个变量指标的数据矩阵转看成一个含有K维空间的数学模型，N个观测样本分布在这个模型中。
从数据分析的本质目的看，数据分析目标总是了解样本之间的差异性或者相似性，为最终的决策提供参考。
因此，对一个矩阵数据来说，在K维空间中，总存在某一个维度的方向，能够最大程度地描述样品的差异性或相似性(图1)。
基于偏最小二乘法原理，可以计算得到这个轴线。
在此基础上，在垂直于第一条轴线的位置找出第二个最重要的轴线方向，独立描述样品第二显著的差异性或相似性；依此类推到n个轴线。
如果有三条轴线，就是三维立体坐标轴。
形象地说，上述每个轴线方向代表的数据含义，就是一个主成份。
X、Y、Z轴就是第1、2、3主成份。
由于人类很难想像超过三维的空间，因此，为了便于直观观测，通常取2个或者3个主成份对应图进行观察。
图（1）PCA得到的是一个在最小二乘意义上拟合数据集的数学模型。
即，主成分上所有观测值的坐标投影方差最大。
从理论上看，主成分分析是一种通过正交变换，将一组包含可能互相相关变量的观测值组成的数据，转换为一组数值上线性不相关变量的数据处理过程。
这些转换后的变量，称为主成分（principal component, PC）。
主成分的数目因此低于或等于原有数据集中观测值的变量数目。
PCA最早的发明人为Karl Pearson，他于1901年发表的论文中以主轴定理（principal axis theorem）衍生结论的形式提出了PCA的雏形，但其独立发展与命名是由Harold Hotelling于1930年前后完成。
主成分分析
Extraction Method: Principal Component Analysis. Component Scores.
主成分系数矩阵，从而得出各主成分的表达式， 主成分系数矩阵，从而得出各主成分的表达式，注意在表达 式中各变量已经不是原始变量，而是标准化变量。 式中各变量已经不是原始变量，而是标准化 身高（X1,cm）、头围（X2,cm）、 体重（X3,g）的数据。
实验报告
写出X1， ， 的相关矩阵 的相关矩阵。 写出 ，X2，X3的相关矩阵。 写出KMO与球形检验的结果（P值）， 与球形检验的结果（ 值 写出 与球形检验的结果 并做出判断， 并做出判断，该数据是否适合主成分分 析。 写出3个主成分的贡献率 个主成分的贡献率。 写出 个主成分的贡献率。 写出3个主成分关于 个主成分关于X1， ， 的标准 写出 个主成分关于 ，X2，X3的标准 化的数值的线性组合。 化的数值的线性组合。
Rotation子对话框：用于因子分析。 子对话框：用于因子分析。 子对话框 Score子对话框 子对话框
选择是否将因子得分存入文件，以及具体的得分计算方法。 （1）Save as Variables：将计算出的因子得分作为新变量 加入数据文件，注意此处加入的是经过标准化的因子得分。 （2）Method单选框组：用于选择计算因子得分用的方法， 使用默认的回归法即可。 （3）Display factor score coefficient maxtrix：很重要。显 示因子得分系数阵，通过该系数阵就可以将所有公因子表示 为各个变量的线性组合，也就是我们所需要的主成分分析的 结果，系统同时会给出因子得分的协方差阵。
主 成 分 分 析
主成分分析
每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变量 的数据；各个学校的研究、教学等各种变量的数 据等等。 这些数据的共同特点是变量很多，在如此多的变 量之中，有很多是相关的。人们希望能够找出它 们的少数“代表”来对它们进行描述。 主成分分析（principal component analysis） 就是把变量维数降低以便于描述、理解和分析的 方法。
主成分分析
2.主成分的总方差 由于
tr ( A ) = tr ( T′ΣT ) = tr ( ΣTT′ ) = tr ( Σ )
故
∑ λ = ∑σ
i =1 i i =1
p
p
ii
或
∑V ( y ) = ∑V ( x )
i =1 i i =1 i
p
p
总方差中属于第 i 主成分 yi（或被 yi 所解释)的比例 为
ˆ 三、从R 出发求主成分
ˆ ˆ* ˆ* ˆ R 的 p 个特征值为λ1* ≥ λ2 ≥ L ≥ λ p， 设样本相关阵 ˆ* ˆ 2 ˆ t1 , t * ,L , t *p 为相应的正交单位特征向量，则第 i 样本
主成分
ˆ ˆi yi* = t*x* , i = 1, 2,L , p
其中 x* 是各分量经（样本）标准化了的向量，即
S
主成分得分 在实际应用中，我们常常让 x j 减去 x ，使样本数据 中心化。这不影响样本协差阵 S ，在前面的论述中 惟一需要变化的是，将第 i 主成分改写成中心化的 形式，即
ˆ ˆi yi = t′ ( x − x ) , i = 1, 2,L , p 若将各观测值 x j 代替上式中的观测值向量 x ，则第i
现比较本例中从R 出发和例7.2.2中从 Σ 出发的主成 分计算结果。从R 出发的 y1* 的贡献率0.705明显小于 从 Σ 出发的 y1的贡献率0.938，事实上，原始变量方 差之间的差异越大，这一点也就倾向于越明显， * * * （7.2.15）式有助于我们理解之。 y1 , y2 , y3 可用标准 化前的原变量表达如下： x3 − µ3 x1 − µ1 x2 − µ2 *
主成分的值
ˆi ˆ y ji = t′ ( x j − x ) , i = 1, 2,L , p
主成分分析
（1 ）、 数学模型
设有 n 个样品，每个样品观测p项指标(变量), X1,
X2，202…0/7/7，Xp，得到原始数据资料阵：
5
其中
用数据矩阵X的p个向量(即p个指标向量)X1，…，Xp作线
性组合(即综合指标向量)为：
2020/7/7
6
简写成
(注意：Xi是n维向量，所以Fi也是 n 维向量) 上述方程组要求：
主成分分析
2020/7/7
1
一、什么是主成分分析及基本思想
1 、什么是主成分分析
主成分概念首先由Karl parson在1901年引进，不 过当时只对非随机变量来讨论的。1933年Hotelling将 这个概念推广到随机向量：
在实际问题中，研究多指标(变量)问题是经常遇到的，
然而在多数情况下，不同指标之间是有一定相关性。由于
一般情况，p个变量组成p维空间，n个样本就是p维 空间的n个点，对p元正态分布变量来说，找主成分的问 题就是找p维空间中椭球体的主轴问题。
3 主成分的推导及性质
在下面推导过程中，要用到线性代数中的两个定理先 作一下复习：
定理一 若矩阵A是p阶实对称阵，则一定可以找到 正交阵
定理二 若上述矩阵A的特征根所对应的单位特征向量
X1，…，Xp构成的坐标系旋转产生的新坐标系，新坐标 轴使之通过样品变差最大的方向(或说具有最大的样品
方差)。下面以最简单的二元正态变量来说明主成分的
几何202意0/7/7义。
9
设有 n 个样本，每个样本有p个变量记为X1，…，Xp，
它们的综合变量记为F1，F2，…，Fp。当p＝2时，原变
量是X1，X2，设
指标较多再加上指标之间有一定的相关性，势必增加了分
主成分分析
主成分分析试图在力保数据信息丢失最少的原则下，
在力求数据信息丢失最少的原则下，对高维的变 量空间降维，即研究指标体系的少数几个线性组合， 并且这几个线性组合所构成的综合指标将尽可能多 地保留原来指标变异方面的信息。这些综合指标就 称为主成分。
要解决的问题是： （1）选择几个主成分？主成分分析的目的是简 化变量，一般情况下主成分的个数应该小于原始变 量的个数。关于保留几个主成分，应该权衡主成分 个数和保留的信息。 （2）如何解释主成分所包含的经济意义。
为了方便，我们在二维空间中讨论主成分的几何意义。
设有n个样品，每个样品有两个观测变量xl和x2，在由变量
xl和x2 所确定的二维平面中，n个样本点所散布的情况如
椭圆状。由图可以看出这n个样本点无论是沿着xl 轴方向 或x2轴方向都具有较大的离散性，其离散的程度可以分别 用观测变量xl 的方差和x2 的方差定量地表示。显然，如果 只考虑xl和x2 中的任何一个，那么包含在原始数据中的信
•可以把第一和第二主成分的载荷点画在一个二维图上， 以直观地显示它们如何解释原来的变量的。这个图叫做 载荷图。
Component Plot
1.0
.5
phys chem math
history english literat
0.0
-.5
-1.0 -1.0 -.5 0.0 .5 1.0
Component 1
Fl，F2除了可以对包含在Xl，X2中的信息起着 浓缩作用之外，还具有不相关的性质，这就使得
在研究复杂的问题时避免了信息重叠。二维平面
上的n个点的方差大部分都归结在Fl轴上，而F2轴
上的方差很小。Fl和F2称为原始变量x1和x2的综
合变量。F简化了系统结构，抓住了主要矛盾。
主成分分析
解得：1 378 .9,2 132
3.求特征值所对应的单位特征向量
S 130233..14 187.5
1所对应的单位特征向量 (S 1)
0
，其中
a11 a21
(323.4 103.1a11
378.9)a11 103.1a21 (187.5 378.9)a21
胸围x2(cm)
69.5 77.0 78.5 87.5 74.5 74.5 76.5 81.5 74.5 79.0
体重x3(kg)
38.5 55.5 50.8 65.5 49.0 45.5 51.0 59.5 43.5 53.5
对此进行主成分分析。
1. 求样本均值和样本协方差矩阵
x1 161.2 x2 77.3 x3 51.2
0 0
a121 a221 1
解得 （ a11, a21 ）= (0.88,0.47)
2 所对应的单位特征向量 (S 2) 0，其中
(323.4 103.1a12
132)a12 103.1a22 (187.5 132)a22
0 0
a122
a2 22
1
解得： (a12 , a22 ) (0.47,0.88)
平移、旋转坐标轴
x 2
F 1
主
F
成
2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
•
•
•
• •••
• •• •
•• •
• ••
x1
解
••
释
平移、旋转坐标轴
x 2
F 1
什么是主成分分析
什么是主成分分析
主成分分析（Principal Component Analysis，PCA）是一种常用的统计分析方法，主要用于数据降维和特征提取。
通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，这些线性不相关的变量称为主成分。
每个主成分都是原始变量的线性组合，且主成分按照其反映的原始变量的方差大小依次排序。
在实际应用中，主成分分析首先对数据进行标准化处理，然后计算出变量间的协方差矩阵，通过特征值分解或者奇异值分解得到特征值和特征向量。
选取前几个特征值最大的主成分，这些主成分能够解释大部分的方差，从而实现对高维数据的降维处理。
主成分分析有助于简化复杂问题的分析，揭示事物的本质，被广泛应用于多个领域，如经济学、生物学、医学、心理学等。
主成分分析数据
主成分分析数据主成分分析（PCA，Principal Component Analysis）是一种最常用的降维技术和数据探索方法。
通过主成分分析，可以将高维的数据集转换为低维的数据集，同时最大程度地保留原始数据的信息。
主成分分析的核心思想是将原始的高维数据转换为一组新的正交变量，称为主成分。
这些主成分是原始数据中的线性组合，其按照方差递减的顺序排列，保留了原始数据中最多的方差。
因此，通过选择前几个主成分，我们可以捕获数据中最重要的变化。
主成分分析的步骤如下：1. 数据预处理：首先，需要对原始数据进行预处理。
常见的预处理技术包括去除异常值、标准化数据（使其均值为0，方差为1）等。
2. 计算协方差矩阵：将预处理后的数据计算协方差矩阵。
协方差矩阵度量了数据之间的线性相关性。
其元素C(i, j)表示第i个变量与第j个变量之间的协方差。
3. 计算特征值和特征向量：通过对协方差矩阵进行特征值分解，可以得到特征值和对应的特征向量。
特征值表示各个主成分的重要性，而特征向量则定义了主成分的方向。
4. 选择主成分：根据特征值，选择前k个主成分。
通常，我们选择特征值较大的前几个主成分，因为它们保留了较多的原始数据的方差。
5. 转换数据：通过特征向量对原始数据进行转换，得到降维后的数据集。
转换后的数据集可以用于后续的数据分析任务，如数据可视化、聚类分析等。
主成分分析在各个领域都有广泛的应用。
在数据可视化中，主成分分析可以将高维数据集转换为二维或三维空间，以便更好地理解数据的结构。
在数据探索中，主成分分析可以揭示数据之间的潜在关系，帮助我们找到数据中的重要特征。
此外，主成分分析还可以用于数据降维。
通过选择前几个主成分，我们可以将高维数据集转换为低维数据集，从而减少计算的复杂性，并提高模型的表现和效率。
这在机器学习和模式识别任务中尤为重要。
然而，主成分分析也有一些限制和注意事项。
首先，主成分分析是基于数据的线性关系假设，因此对于非线性数据，效果可能不佳。
主成分分析
表1是某市工业部门13个行业的8项重要经济指标的数
主成分分析实例 2
据，这8项经济指标分别是： X1：年末固定资产净值，单位：万元； X2：职工人数据，单位：人； X3：工业总产值，单位：万元； X4：全员劳动生产率，单位：元/人年； X5：百元固定资产原值实现产值，单位：元； X6：资金利税率，单位：%； X7：标准燃料消费量，单位：吨； X8：能源利用效果，单位：万元/吨。
主成分分析的目的与功能
在多变量分析中，分析者所面临的最大难题是
解决众多变量之间的关系问题。进行数据降维 可以用尽可能少的新指标取代原来较多的指标 变量，并能包含原来指标变量所包含的大部分 信息 。 解决多元回归分析中的多重共线性问题。 综合评价中，人们总是尽可能多地选取评价指 标，而这些评价指标之间往往相互重叠，信息 冗余是不可避免的。主成分分析则可以把这众 多指标所蕴含的信息压缩到少数几个主成分指 标，然后给出这几个主成分指标的权重，综合 到一个评价指标中。
y1 是反映学生身材魁梧与否的综合指标
y2 是反映学生体形特征的综合指标。
表1是某市工业部门13个行业的8项重要经济指标的数 据，这8项经济指标分别是： X1：年末固定资产净值，单位：万元； X2：职工人数据，单位：人； X3：工业总产值，单位：万元； X4：全员劳动生产率，单位：元/人年； X5：百元固定资产原值实现产值，单位：元； X6：资金利税率，单位：%； X7：标准燃料消费量，单位：吨； X8：能源利用效果，单位：万元/吨。
表1 某市工业部门13个行业8项指标
X1 冶金 电力 煤炭 化学 机器 建材 森工 食品 纺织 缝纫 皮革 造纸 文教 90342 4903 6735 49454 139190 12215 2372 11062 17111 1206 2150 5251 14341 X2 52455 1973 21139 36241 203505 16219 6572 23078 23907 3930 5704 6155 13203 X3 101091 2035 3767 81557 215898 10351 8103 54935 52108 6126 6200 10383 19396 X4 19272 10313 1780 22504 10609 6382 12329 23804 21796 15586 10870 16875 14691 X5 82 34.2 36.1 98.1 93.2 62.5 184.4 370.4 221.5 330.4 184.2 146.4 94.6 X6 16.1 7.1 8.2 25.9 12.6 8.7 22.2 41 21.5 29.5 12 27.5 17.8 X7 197435 592077 726396 348226 139572 145818 20921 65486 63806 1840 8913 78796 6354 X8 0.172 0.003 0.003 0.985 0.628 0.066 0.152 0.263 0.276 0.437 0.274 0.151 1.574
主成分分析
求第一主成分，构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1)
对目标函数 1(T1, ) 求导数有：
1
T1
2ΣT1
2T1
0
即
(6.5) (6.6)
(Σ I)T1 0
(6.7)
由 6.7 式两边左乘 T1 得到
T1ΣT1
(6.8)
由于 X 的协差阵 Σ 为非负定的，其特征方程(6.7)的根均大于零，
p
变量 Y1,Y2 , ,Yp 的方差之和 k 。主成分分析的目的是 k 1
减少变量的个数，所以一般不会使用所有 p 个主成分的，
忽略一些带有较小方差的主成分将不会给总方差带来太
大的影响。这里我们称
p
k k
k
k 1
(6.23）
为第k 个主成分 Yk 的贡献率。第一主成分的贡献率最大，这表
明 Y1 T1X 综 合 原 始 变 量 X1, X 2 , , X p 的 能 力 最 强 ， 而
图6.1 主成分的几何意义
如 标果 系我y1们Oy将2 ，该这坐里标y系1 是按椭逆圆时的针长方轴向方旋向转，某y2个是角椭度圆的变短成轴新方坐向。
旋转公式为
YY21
X1 cos X1 sin
X2 sin X2 cos
(6.1）
我们看到新变量 Y1 和 Y2 是原变量 X1 和 X 2 的线性组合，它的
主成分分析的基本思想
人们为了避免遗漏重要的信息而考虑尽可 能多的指标
随着考虑指标的增多增加了问题的复杂性 由于各指标均是对同一事物的反映，不可
避免地造成信息的大量重叠，这种信息的 重叠有时甚至会抹杀事物的真正特征与内 在规律。 希望在定量研究中涉及的变量较少，而得 到的信息量又较多。 主成分分析正是研究如何通过原来变量的 少数几个线性组合来解释原来变量绝大多 数信息的一种多元统计方法。
主成分分析法
yi*在原变量 x1 , x2 , x3 上的载荷相对大小与例 可见， 7.2.2中 yi 在 x1 , x2 , x3 上的载荷相对大小之间有着非
常大的差异。这说明，标准化后的结论完全可能会 发生很大的变化，因此标准化不是无关紧要的。
§7.3 样本的主成分
我们可以从协差阵 Σ 或相关阵 R 出发求得主成分。 但在实际问题中， Σ 或 R一般都是未知的，需要通 过样本来进行估计。设数据矩阵为
y1 = 0.627 + 0.497 + 0.600 4 1 10 = 0.157 ( x1 − µ1 ) + 0.497 ( x2 − µ 2 ) + 0.060 ( x3 − µ3 )
x3 − µ3 x1 − µ1 x2 − µ2 y = −0.241 + 0.856 − 0.457 4 1 10 = −0.060 ( x1 − µ1 ) + 0.856 ( x2 − µ2 ) − 0.046 ( x3 − µ3 )
现比较本例中从R 出发和例7.2.2中从 Σ 出发的主成 分计算结果。从R 出发的 y1* 的贡献率0.705明显小于 从 Σ 出发的 y1的贡献率0.938，事实上，原始变量方 差之间的差异越大，这一点也就倾向于越明显， * * * （7.2.15）式有助于我们理解之。 y1 , y2 , y3 可用标准 化前的原变量表达如下： x3 − µ3 x1 − µ1 x2 − µ2 *
§7.3 样本的主成分
一、样本主成分的定义 二、从 S 出发求主成分 ˆ 三、从 R 出发求主成分 四、主成分分析的应用 五、若干补充及应用中需注意的问题
一、样本主成分的定义
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、主成分分析的计算步骤
（一）计算相关系数矩阵
r11 r 21 R rp1 r12 r22 rp 2 r1 p r2 p rpp
（3.5.3）
rij（ i ， j=1， 2 ， … ， p ）为原变量 xi 与xj的相关系数， rij=rji，其计算公式为
第八章 地理系统的主成分分析
（Principal Component Analysis）
汇报什么？
假定你是一个公司的财务经理，掌握了公司的
所有数据，比如固定资产、流动资金、每一笔 借贷的数额和期限、各种税费、工资支出、原 料消耗、产值、利润、折旧、职工人数、职工 的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些 指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个 指标简单明了地把情况说清楚。
4.861 4.862 3.201 6.167 4.477 6.165 5.402 5.79 8.413 3.425 5.593 8.701 12.945 12.654 8.461 10.078
73.307 1 501.24 225.25
68.001 1 255.42 211.55 60.702 1 251.03 220.91 63.304 1 246.47 242.16 54.206 54.503 814.21 805.67 193.46 175.23 55.901 1 124.05 228.44 49.102 1 313.11 236.29
1540.29 926.35 897.36 911.24 103.52 968.33 957.14 824.37
216.39 291.52 196.37 226.51 217.09 181.38 194.04 188.09
8.128 8.135 18.352 16.861 18.279 19.793 4.005 9.11 19.409 11.102 4.383 10.706 11.419 9.521 18.106 26.724
2.032 0.801 1.652 0.841 0.812 0.858 1.041 0.836 0.623 1.022 0.654 0.661 0.737 0.598 1.245 0.731
76.204 71.106 68.904 66.502 50.302 64.609 62.804 60.102
测值是6维空间中的一个点。我们希望把6维空 间用低维空间表示。 先假定只有二维，即只有两个变量，它们由横 坐标和纵坐标所代表；因此每个观测值都有相 应于这两个坐标轴的两个坐标值；如果这些数 据形成一个椭圆形状的点阵（这在变量的二维 正态的假定下是可能的） 那么这个椭圆有一个长轴和一个短轴。在短轴 方向上，数据变化很少；在极端的情况，短轴 如果退化成一点，那只有在长轴的方向才能够 解释这些点的变化了；这样，由二维到一维的 降维就自然完成了。
人们希望能够找出它们的少数“代表” 来对它们进行描述；把变量维数降低 以便于描述、理解和分析的方法。
主成分分析方法通过分析各指标（变量）
之间相关关系，用较少的新指标（变量） 代替原来较多的指标（变量），并使新 变量尽可能保留原来信息。
主成分分析-几何分析
例中的的数据点是六维的；也就是说，每个观
② 分别求出对应于特征值 i 的特征向量
ei (i 1,2,, p) ，要求 ei =1，即
2 其中 表示向量 e ij 1 j 1 p
，
ei eij j个分量。 的第
③ 计算主成分贡献率及累计贡献率
贡献率
i
k 1
p
(i 1,2, , p)
k
累计贡献率
步骤如下： （ 1）将表中的数据作标准差标准化处理， 然后将它们代入公式,计算相关系数矩阵，如 表7.2所示.
表7.2
x1 x1 x2 x3 x4 x5 x6 x7 x8 x9 1 -0.327 x2 1 x3 -0.035 1 0.07 -0.74 -0.93 x4 0.644 0.07 1 0.383 0.069 -0.046 0.073
(3.5.2)
系数lij的确定原则：
① zi与zj（i≠j；i，j=1，2，…，m）相 互无关；
② z1是x1，x2，…，xP的一切线性组合 中方差最大者，z2是与z1不相关的x1，x2，…， xP的所有线性组合中方差最大者;…; zm是与 z1，z2，……，zm－1都不相关的x1，x2，…xP， 的所有线性组合中方差最大者。
则新变量指标z1，z2，…，zm分别称为原 变量指标x1，x2，…，xP的第1，第2，…，第 m主成分。 m<p
从以上的分析可以看出，主成分分析的 实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。 从数学上可以证明，它们分别是相关矩 阵m个较大的特征值所对应的特征向量。
（3）对于特征值=4.661 0，=2.089 0， =1.0430分别求出其特征向量e1，e2，e3，再 用公式计算各变量x1，x2，…，x9在主成分z1， z2，z3上的载荷（表7.4）。
表7.4
z1 x1 x2 x3 x4 x5 x6 x7 x8 x9 0.739 0.123 -0.964 0.004 2 0.813 0.819 0.933 0.197 0.964
-4
-2
0
2
4
-4
-2
0
2
4
注意，和二维情况类似，高维椭球的主轴也是互相 垂直的。这些互相正交的新变量是原先变量的线性 组合，叫做主成分(principal component)。
一、主成分分析的基本原理
假定有n个地理样本，每个样本共有p个 变量，构成一个n×p阶的地理数据矩阵
x11 x 21 X xn1
经济作 农民人均 人均粮食 耕地占 灌溉田占 人口密度 人均耕 森林覆 果园与林 物占农 样本 纯收入 产量 土地面 耕地面积 x 1 /(人.km 地面积 盖率 地面积之 作物播 序号 x /(元. x /(kg. 积比率 之比x 4 5 -2 2 x 3 /% 比x 8 /％ ) x 2 /hm 面比例 x 7 /％ 9/％ 人-1 ) 人-1 ) x 6 /％ 1 2 3 4 5 363.912 141.503 100.695 143.739 131.412 0.352 1.684 1.067 1.336 1.623 16.101 192.11 295.34 452.26 270.12 354.26 586.59 26.724 32.314 18.266 17.486 40.683 18.492 14.464 0.162 11.805 14.401 2.231 1.455 7.474 1.892 0.303 26.262 27.066 12.489 17.534 22.932
主成分载荷
占方差的百分数/% z2 -0.532 0.887 z3 -0.0061 -0.0028 0.009 5 0.003 7 -0.0011 0.125 -0.251 0.97 0.009 2 82.918 80.191 92.948 75.346 85.811 71.843 95.118 98.971 92.939
相关系数矩阵
x5 0.309 0.42 -0.74 0.383 1 0.734 0.672 0.098 0.747 x6 0.408 0.255 -0.755 0.069 0.734 1 0.658 0.222 0.707 x7 0.79 -0.93 -0.05 0.672 0.658 1 -0.03 0.89 x8 0.156 -0.109 -0.031 0.098 0.222 -0.03 1 0.29 x9 0.744 0.094 -0.924 0.073 0.747 0.707 0.89 0.29 1
k 1 k 1 p
i
k
(i 1,2, , p)
k
1 , 2 ,, m 一般取累计贡献率达85%~95%的特征值 所对应的第1、第2、…、第m（m≤p）个主成分。
④ 计算主成分载荷
lij p( zi , x j ) i eij (i, j 1,2,, p)
（3.5.5）
4.065 4.063 2.645 5.176 5.643 4.881 4.066 4.484 5.721 3.133 4.615 6.053 6.442 7.881 5.789 7.162
0.011 0.012 0.034 0.055 0.076 0.001 0.015 0.002 5.055 0.01 0.011 0.154 0.012 0.069 0.048 0.092
x12 x22 xn 2
x1 p x2 p xnp
（3.5.1）
定义：记x1，x2，…，xP为原变量指标， z1，z2，…，zm（m≤p）为新变量指标
z1 l11 x1 l12 x2 l1 p x p z 2 l21 x1 l22 x2 l2 p x p .......... .. z m lm1 x1 lm 2 x2 lmp x p
当坐标轴和椭圆的长短轴平行，那么代表
长轴的变量就描述了数据的主要变化，而 代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平 行。因此，需要寻找椭圆的长短轴，并进 行变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信 息，就用该变量代替原先的两个变量（舍 去次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也 越有道理。
rij
(xk Leabharlann 1 n k 1nki