第十讲 主分量(主成分)分析
主分量分析方法及
主分量分析方法及在故障诊断中的应用
三、主分量分析在设备诊断中的应用 在设备故障诊断时，通常使用一些判别设备各种状态的特征参数，
例如：有效值、峰值、峭度、频带能量等等。由于每个特征参数往往仅 对设备的某种状态敏感，而对其它状态可能不敏感，所以为了全面准确 地对设备进行诊断，一般都是同时采用多种特征参数。而因多个特征参 数的相关性，往往又造成了分析数据的困难。通过变量变换的方法把相 关的变量变为不相关的若干新变量，这对于分析数据带来很大的方便。 而且选择少数无关的主分量来概括原来的多个参数的特征，实现了多诊 断参数的融合，既提取出了对我们有用的信息，又能使设备诊断工作简 化，并有可能通过简易诊断的方法达到精密诊断的目的。下面介绍具体 做法。
r1n
r2n
0
rn1
rn2 1
求出n个非负实根并按值从大到小进行排列：
1 2 n 0
主分量分析方法及在故障诊断中的应用
将λi代入下方程组求出特征向量aI(ｉ＝１，…，ｒ)， 也称为主分量系数。
1 i
r21 rn1
r12
1 i
rn 2
r1n ai1 0
r2n
主分量分析方法及在故障诊断中的应用
Z1 a11 x1 a12 x2 Z 2 a21 x1 a22 x2
主分量分析方法及在故障诊断中的应用
二、主分量分析的一般方法步骤
在实际工作中，由于n个特征变量的相关性，往往 造成了分析数据的困难。主分量分析的目的在于： l、选择少数无关的新变量来概括原来的n个特征。 2、通过对观测数据和几个主分量的数据的整理和分析， 提取出对我们有用的信息。 3、利用这些信息进行决策．
Z1
Z 2
S 0.514
S 0.239
主成分分析
引言：主成分分析也称主分量分析，是由霍特林于1933 年首先提出的。
主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。
通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。
这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使得问题得到简化，提高分析效率。
本文用主成分分析的方法对某市14 家企业的经济效益进行分析。
[1] 在处理涉及多个指标问题的时候，为了提高分析的效率可以不直接对p 个指标构成的P维随机向量X=(X1, X2, X3, , Xp)进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量，使得个综合变量之间相互独立且能解释原始变量尽可能多的信息，这样在意损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。
主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。
而这里对于随机变量X1，X2，X3,……,Xp而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反映，而相关矩阵不过是将原始变量标准化后的协方差矩阵我们所说的保留原始变量尽可能多的信息，也就是指生成的较少的综合变量 (主成分)的方差和尽可能接近原始变量方差的总和。
因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。
一般来说从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的本文我们用从原始变量的相关矩阵出发求得的主成分进行分析。
[5]一、材料与方法1.1数据材料表1 14 家企业的利润指标的统计数据1.2分析方法本文采用多元统计学方法，选取14家企业作为样本收集每家企业的8个不同的利润指标，利用spss统计软件做主成分分析，给出载荷阵，并通过载荷阵给出主成分系数表，写出主成分表达式以此给出14个企业的得分值，最后根据主成分构造一个综合性评价指标，对14个企业进行综合排名。
主成分分析
一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看，这是一种降维处理技术。
思路：一个研究对象，往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。
原理：假定有 n 个样本，每个样本共有p 个变量，构成一个n ×p 阶的数据矩阵，x11x12 x1px21 x22 x2p Xxn 1xn2xnp记原变量指标为x1，x2，,，xp ，设它们降维处理后的综合指标，即新变量为 z1，z2，z3，,，zm(m ≤p)，则z 1l11x 1 l 12x 2l1p xpz 2 l 21x1 l22x2l2p xp ............ z mlm1x 1 l m2x 2lmp xp系数lij 的确定原则：①zi 与zj （i ≠j ；i ，j=1，2，,，m ）相互无关；②z 是x 1 ，x ，,，x 的一切线性组合中方差最大者，z 是与z 不相关的x ，x ，,，1 2P2 1 1 2 xP 的所有线性组合中方差最大者；zm 是与z1，z2，,,， zm －1都不相关的x1，x ，,x P ，的所有线性组合中方差最大者。
2新变量指标z1，z2，,，zm 分别称为原变量指标x1，x2，,，xP 的第1，第2，,，第m 主成分。
从以上的分析可以看出，主成分分析的实质就是确定原来变量xj （j=1，2 ，,，p ）在诸主成分zi （i=1，2，,，m ）上的荷载lij （i=1，2，,，m ；j=1，2，,，p ）。
从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤1、计算相关系数矩阵r11 r12 r1 pr21 r22 r2 pRrp1 rp2 rpprij（i，j=1，2，,，p）为原变量xi与xj的相关系数，rij=rji，其计算公式为n(x ki x i)(x kj x j)r ijk1n n(x ki2(x kj x j)2 x i)k1k12、计算特征值与特征向量解特征方程I R0，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列1 2 p0；p 分别求出对应于特征值i的特征向量e i(i1,2,L,p)，要求ei=1，即e ij21j1其中e ij表示向量e i的第j 个分量。
主成分分析课件
标轴 Y 1 和Y 2 ，坐标旋转公式如下：
Y1 X1cosX2sin Y2 X1sinX2cos
2021/4/7
13
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
其矩阵形式为： Y Y1 2 csoisn cso insX X1 2UX
vaYir) (vauri'X ()= ui 'ui
而对任给的常数 c，有
vacru(i'X)cui'uicc 2 ui'ui
2021/4/7
8
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
因此对 u i不加限制时，可使var(Yi )任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
minx'Ax x0 x'x
n
（5.2）
证明：对 A与单位阵I进行谱分解，可以写成下面的式子：
Y1 γ1'X,
Y2 γ2'X,所以，Y1 ,Y2就是原始变量X1, X2的两个主成分，它们的方 差分别为1,2，在 Y 1 方向上集中了原始变量 1 的变差，在Y 2方向 上集中了原始变量 2 的变差，经常有 1远大于 2 ，这样，我们就
可以只研究原始数据在 Y 1 方向上的变化而不致于损失过多信息， 而 γ就1,γ是2 椭圆在原始坐标系中的主轴方向，也是坐标轴转换
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/4/7
14
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最 大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研 究实际问题时，即使不考虑变量Y 2 也无损大局。因此，经过 上述旋转变换就可以把原始数据的信息集中到 Y 1 轴上，对数 据中包含的信息起到了浓缩的作用。进行主成分分析的目的 就是找出转换矩阵U ，而进行主成分分析的作用与几何意义 也就很明了了。下面我们用遵从正态分布的变量进行分析， 以使主成分分析的几何意义更为明显。为方便，我们以二元 正态分布为例。对于多元正态总体的情况，有类似的结论。
主成分分析法
主成分分析法什么事主成分分析法:主成分分析（principal components analysis , PCA 又称：主分量分析，主成分回归分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
主成分分析的基本思想：在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
主成分分析法
设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。 二、主成分分析的基 Nhomakorabea思想及步骤
1、基本思想
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
2、步骤
Fp=a1iZX1+a2iZX2+……+apiZXp 其中a1i, a2i, ……,api(i=1,……,m)为X的协方差阵Σ的特征值所对应的特征向量，ZX1, ZX2, ……, ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化，本文所采用的数据就存在量纲影响[注：本文指的数据标准化是指Z标准化]。 A=(aij)p×m=(a1,a2,…am,)，Rai=λiai，R为相关系数矩阵，λi、ai是相应的特征值和单位特征向量,λ1≥λ2≥…≥λp≥0 。 进行主成分分析主要步骤如下： 1. 指标数据标准化（SPSS软件自动执行）； 2. 指标之间的相关性判定； 3. 确定主成分个数m； 4. 主成分Fi表达式； 5. 主成分Fi命名；
主成分分析
1 主成分分析定义在许多实际问题中，我们经常用多个变量来刻画某一事物，但由于这些变量之间往往具有相关性，很多变量带有重复信息，这样就给分析问题带来了很多不便，同时也使分析结论不具有真实性和可靠性，因此，人们希望寻找到少量几个综合变量来代替原来较多的变量，使这几个综合变量能较全面地反映原来多项变量的信息，同时相互之间不相关。
主成分分析正是满足上述要求的一种处理多变量问题的方法。
主成分分析（Principal Component Analysis，PCA），将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。
又称主分量分析。
2 主成分分析基本思想主成分分析是考察多个变量间相关性的一种多元统计方法。
它是研究如何通过少数几个主分量来解释多个变量间的内部结构。
也就是说，从原始变量中导出少数几个主分量，使它们尽可能多地保留原始变量的信息，且彼此间互不相关。
主成分分析的应用目的可以被简单归结为两句话:数据的压缩、数据的解释。
它常被用来寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以适当的解释，从而更加深刻的揭示事物的内在规律。
但是在实际应用中，主成分分析更多的只是一种达到目的的中间手段，而并非目的本身，它往往会被作为许多大型研究的中间步骤，在对数据进行浓缩后继续采用其他多元统计方法以解决实际问题。
主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。
假定有n个地理样本，每个样本共有p个变量描述，这样就构成了一个n×p阶的地理数据矩阵：如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题，自然要在p维空间中加以考察，这是比较麻烦的。
为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。
主成分分析原理及详解
第14章主成分分析1 概述1.1 基本概念1.1.1 定义主成分分析是根据原始变量之间的相互关系，寻找一组由原变量组成、而彼此不相关的综合变量，从而浓缩原始数据信息、简化数据结构、压缩数据规模的一种统计方法。
1.1.2 举例为什么叫主成分，下面通过一个例子来说明。
假定有N 个儿童的两个指标x1与x2，如身高和体重。
x1与x2有显著的相关性。
当N较大时，N观测量在平面上形成椭圆形的散点分布图，每一个坐标点即为个体x1与x2的取值，如果把通过该椭圆形的长轴取作新坐标轴的横轴Z1，在此轴的原点取一条垂直于Z1的直线定为新坐标轴的Z2，于是这N个点在新坐标轴上的坐标位置发生了改变；同时这N个点的性质也发生了改变，他们之间的关系不再是相关的。
很明显，在新坐标上Z1与N个点分布的长轴一致，反映了N个观测量个体间离差的大部分信息，若Z1反映了原始数据信息的80%，则Z2只反映总信息的20%。
这样新指标Z1称为原指标的第一主成分，Z2称为原指标的第二主成分。
所以如果要研究N个对象的变异，可以只考虑Z1这一个指标代替原来的两个指标（x1与x2），这种做法符合PCA提出的基本要求，即减少指标的个数，又不损失或少损失原来指标提供的信息。
1.1.3 函数公式通过数学的方法可以求出Z1和Z2与x1与x2之间的关系。
Z1=l11x1+ l12x2Z2=l21x1+ l22x2即新指标Z1和Z2是原指标x1与x2的线性函数。
在统计学上称为第一主成分和第二主成分。
若原变量有3个，且彼此相关，则N个对象在3维空间成椭圆球分布，见图14-1。
通过旋转和改变原点（坐标0点），就可以得到第一主成分、第二主成分和第三主成分。
如果第二主成分和第三主成分与第一主成高度相关，或者说第二主成分和第三主成分相对于第一主成分来说变异很小，即N个对象在新坐标的三维空间分布成一长杆状时，则只需用一个综合指标便能反映原始数据中3个变量的基本特征。
1.2 PCA满足条件1.2.1 一般条件一般来说，N个对象观察p个指标，可以得到N*p个数据（矩阵）。
主成分分析法
四、主成份分析法旳环节
1）数据归一化处理：数据原则化（Z） 2）Βιβλιοθήκη 算有关系数矩阵R： 3）计算特征值；
特征值越大阐明主要程度越大。
4）计算主成份贡献率及方差旳合计贡献率； 5）计算主成份载荷与特征向量：
主成份旳负荷值大小反应了主成份因子对可测变量旳影响程 度；载荷值越大阐明此变量对主成份旳解释越多，及贡献越大。
• 因子分析 优点：第一它不是对原有变量旳取舍，而是根据原始变 量旳信息进行重新组合，找出影响变量旳共同因子，化简 数据；第二，它经过旋转使得因子变量更具有可解释性， 命名清楚性高。 缺陷 ：在计算因子得分时，采用旳是最小二乘法，此法 有时可能会失效。
总之，主成份分析是因子分析旳一种特例。
谢 谢 观 看！
旋转后旳主成份因子载荷矩阵
景区满意度旋转前后成份矩阵图对比
5、碎石图分析
选用主成份旳个数，急转处是拟定主成份旳个数处。
景区满意度碎石图
八、与因子分析法旳区别
1、基本概念
➢ 主成份分析就是将多项指标转化为少数几项综合 指标,用综合指标来解释多变量旳方差- 协方差构 造。综合指标即为主成份。所得出旳少数几种主 成份，要尽量多地保存原始变量旳信息，且彼此 不有关。
注意：进行主成份旳变量之间必须要有有关性， 经过分析后变量之间独立。
二、主成份分析法基本原理
主成份分析就是设法将原来众多具有一定有关性 旳变量(如p个变量)，重新组合成一组新旳相互无 关旳综合变量来替代原来变量。怎么处理？
一般数学上旳处理就是将原来p个变量作线性组合 作为新旳综合变量。怎样选择？
假如将选用旳第一种线性组合即第一种综合变量 记为F1，自然希望F1尽量多旳反应原来变量旳信 息。怎样反应?
主成分分析法
11.2 主成分分析主成分分析（Principal Components Analysis ）也称主分量分析，是由Hotelling 于1933年首先提出的。
主成分分析是利用降维的思想，把多个指标转化为少数几个综合指标的多元统计分析方法。
本节主要介绍主成分分析的基本理论和方法，并结合实例讨论该方法在社会、经济研究中的应用。
11.2.1主成分分析的基本思想在经济实证问题研究中，为了全面、系统地分析问题，必须考虑众多对某经济过程有影响的因素。
所涉及的因素称为指标。
在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得到的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增大计算量和增加分析问题的复杂性，人们自然希望在进行定量分析的过程中涉及的变量较少，而得到的信息量又较多。
主成分分析是解决这一问题的理想工具。
因为经济问题涉及的众多变量之间既然有一定的相关性，就必然存在着支配作用的共同因素，找出影响某一经济过程的几个综合指标，使综合指标为原来变量的线性组合。
综合指标不仅保留了原始变量的主要信息，彼此之间又不相关，又比原始变量具有某些更优越的性质，使得在研究复杂的经济问题时容易抓住主要矛盾。
(1)主成分的几何意义与一般数学模型1．主成分的几何意义为了方便，在二维空间中讨论主成分的几何意义。
设有n 个样本单位，每个样本单位有两个观测变量21x x 和，在由变量21x x 和所确定的二维平面中，n 个样本点所散布的情况如带状，可以看出这n 个样本点无论是沿着1x 轴方向或2x 轴方向都具有较大的离散性，其离散的程度可以分别用观测变量1x 的方差和2x 的方差定量地表示。
显然，如果只考虑1x 和2x 中的任何一个，那么包含原始数据中的经济信息将会有较大的损失。
如果将1x 轴和2x 轴同时按逆时针方向旋转 角度，得到新坐标轴1y 和2y 是两个新变量。
主成分分析(principal components analysis,PCA)又称：主分量分析,主成分回归分析法
主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
主成分分析简介课件
4、如未收敛则回到步骤3
注：其中 k和 k 是两个待调整的参数；
函数g(y)的选择见参考文献[2]P68
逐次提取独立成分
—投影追踪方法
度量非正态性（非高斯性）：
可以认为，两个独立变量之和形成的分布比两 个原始变量中的任意一个都更接近于正态分布
由于Z是Y的线性组合，只要找到一个度 量非正态性的量，使达到最大，就可以 使Y中各分量独立性最大
所找到的矩阵起到将 Qz (M ) 对角化的作 用
基于四阶累积量的JADE法
步骤： 1、取一组矩阵 M i ， 由定义分别求 Qz (M i ) （矩阵的简单取法：取N*N个矩阵，分别
只有一个元素为1，或取一组对称/反对 称的基矩阵，引自[2]P53） 通过优化求解U，使各 Qz (M i ) 联合 对角化（使 (M i ) 中非对角元素的平方 和最小）
此法的矩阵集合可取为 Z [K ijkliikk ijkl (Z )]2
分解结果：
Aˆ W U , Bˆ Aˆ 1 U W , Y BX U WX
非线性PCA的自适应算法
以均方误差最小作为收敛判据， 非线性PCA引入非线性因素等效于考虑高
阶矩 算法具体步骤为： 1、对观测值求均值，用递归法求白化阵
—投影追踪方法
5、归一化： ui (k 1) ui (k 1) 2
ui (k 1)
如果 u p 未收敛，回到步骤3；
令p加1，当p<=m时，回到步骤3。
参考文献
[1] A.Hyvarinen等著，周宗潭等译，独 立成分分析，北京：电子工业出版社， 2007年
[2]杨福生、洪波著，独立分量分析的原 理与应用，北京：清华大学出版社， 2006年
主成分分析的概念及基本思想主成分分析PrincipleComponent演示教学
主成分分析的概念及基本思想主成分分析P r i n c i p l e C o m p o n e nt1、主成分分析的概念及基本思想主成分分析(Principle Component Analysis, PCA)是最为常用的特征提取方法，被广泛应用到各领域，如图像处理、综合评价、语音识别、故障诊断等。
它通过对原始数据的加工处理，简化问题处理的难度并提高数据信息的信噪比，以改善抗干扰能力。
主成分概念首先由Karl parson在1901年引进，不过当时只是对非随机变量进行讨论，1933年Hotelling将这个概念推广到随机向量。
在实际问题中，研究多指标(变量)问题是经常遇到的，然而在多数情况下，不同指标之间是有一定相关性。
由于指标较多并且指标之间有一定的相关性，势必增加了分析问题的复杂性。
主成分分析就是设法将原来众多具有一定相关性的指标(比如p个指标)，重新组合成一组新的相互无关的综合指标来代替原来指标。
通常数学上的处理就是将原来p个指标作线性组合，作为新的综合指标，但是这种线性组合，如果不加限制，则可以有很多，我们应该如何去选取呢？如果将选取的第一个线性组合即第一个综合指标记为F1，自然希望F1尽可能多的反映原来指标的信息，这里的“信息”用什么来表达？最经典的方法就是用F1的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1，F2)=0 ，称F2为第二主成分，依此类推可以构造出第三，四，…，第p个主成分。
不难想象这些主成分之间不仅不相关，而且它们的方差依次递减。
因此在实际工作中，就挑选前几个最大主成分，虽然这样做会损失一部分信息，但是由于它使我们抓住了主要矛盾，并从原始数据中进一步提取了某些新的信息。
主成分分析的基本思想和应用
主成分分析的基本思想和应用主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维方法，通过保留数据集中的主要特征分量，将高维数据映射到低维空间中，从而实现对数据集的简化。
本文将详细介绍主成分分析的基本思想和应用。
一、基本思想主成分分析的基本思想是将数据集中的多个变量通过线性变换转换为几个线性不相关的变量，这几个变量称为主成分。
在转换过程中，主成分能够最大化数据的方差，从而保留数据集中的主要信息。
通过这种方式，我们可以将高维数据降到较低维度，实现对数据集的简化。
二、数学原理主成分分析的数学原理可以概括为以下几个步骤：1.数据标准化：对数据集进行标准化处理，使得每个变量的均值为0，标准差为1。
2.计算协方差矩阵：根据标准化后的数据计算协方差矩阵，表示数据集中各个变量之间的相关性。
3.计算特征值和特征向量：对协方差矩阵进行特征分解，得到一组特征值和对应的特征向量。
4.选择主成分：根据特征值的大小，降序排列特征值，并选择前k个最大的特征值对应的特征向量作为主成分。
5.形成新的数据集：将原始数据集投影到新的空间中，使得新空间中的数据线性无关，从而实现数据降维。
三、应用主成分分析在许多领域都有广泛的应用，下面列举几个典型的例子：1. 图像处理在图像处理领域，主成分分析可以用于图像降维和图像压缩。
通过保留图像中的主要特征分量，可以将高维的图像数据降到较低维度，从而减少数据量，提高计算效率。
此外，主成分分析还可以用于图像去噪和图像增强等任务。
2. 机器学习在机器学习领域，主成分分析常用于特征提取和特征选择。
通过降维，可以减少模型训练过程中的计算复杂度，提高模型的预测性能。
此外，主成分分析还可以用于数据可视化，将高维数据映射到二维或三维空间中，便于观察数据之间的关系。
3. 金融领域在金融领域，主成分分析可以用于风险管理和资产定价。
通过分析金融市场中的多个变量，提取主要的风险因素，可以帮助投资者更好地理解和预测市场走势。
主成分分析法
主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析法简介-principal component analysis(PCA) 主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。
在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。
依次类推，I个变量就有I个主成分。
其中Li为p维正交化向量（Li*Li=1），Zi之间互不相关且按照方差由大到小排列，则称Zi为X的第I个主成分。
设X的协方差矩阵为Σ，则Σ必为半正定对称矩阵，求特征值λi（按从大到小排序）及其特征向量，可以证明，λi所对应的正交化特征向量，即为第I个主成分Zi所对应的系数向量Li，而Zi的方差贡献率定义为λi/Σλj,通常要求提取的主成分的数量k满足Σλk/Σλj>0.85。
编辑本段主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变异，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。
通常是选出比原始变量个数少，能解释大部分资料中的变异的几个新变量，即所谓主成分，并用以解释资料的综合性指标。
由此可见，主成分分析实际上是一种降维方法。
编辑本段分析步骤数据标准化;求相关系数矩阵;一系列正交变换，使非对角线上的数置0，加到主对角上;得特征根xi（即相应那个主成分引起变异的方差),并按照从大到小的顺序把特征根排列;求各个特征根对应的特征向量;用下式计算每个特征根的贡献率Vi;Vi=xi/(x1+x2+........)根据特征根及其特征向量解释主成分物理意义。
主成分分析
求第一主成分，构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1)
对目标函数 1(T1, ) 求导数有：
1
T1
2ΣT1
2T1
0
即
(6.5) (6.6)
(Σ I)T1 0
(6.7)
由 6.7 式两边左乘 T1 得到
T1ΣT1
(6.8)
由于 X 的协差阵 Σ 为非负定的，其特征方程(6.7)的根均大于零，
p
变量 Y1,Y2 , ,Yp 的方差之和 k 。主成分分析的目的是 k 1
减少变量的个数，所以一般不会使用所有 p 个主成分的，
忽略一些带有较小方差的主成分将不会给总方差带来太
大的影响。这里我们称
p
k k
k
k 1
(6.23）
为第k 个主成分 Yk 的贡献率。第一主成分的贡献率最大，这表
明 Y1 T1X 综 合 原 始 变 量 X1, X 2 , , X p 的 能 力 最 强 ， 而
图6.1 主成分的几何意义
如 标果 系我y1们Oy将2 ，该这坐里标y系1 是按椭逆圆时的针长方轴向方旋向转，某y2个是角椭度圆的变短成轴新方坐向。
旋转公式为
YY21
X1 cos X1 sin
X2 sin X2 cos
(6.1）
我们看到新变量 Y1 和 Y2 是原变量 X1 和 X 2 的线性组合，它的
主成分分析的基本思想
人们为了避免遗漏重要的信息而考虑尽可 能多的指标
随着考虑指标的增多增加了问题的复杂性 由于各指标均是对同一事物的反映，不可
避免地造成信息的大量重叠，这种信息的 重叠有时甚至会抹杀事物的真正特征与内 在规律。 希望在定量研究中涉及的变量较少，而得 到的信息量又较多。 主成分分析正是研究如何通过原来变量的 少数几个线性组合来解释原来变量绝大多 数信息的一种多元统计方法。
第十讲主分量(主成分)分析
•概 述 • 主分量分析的基本原理 • 主分量分析的计算步骤 • 主分量分析主要的作用 • 使用PRINCOMP过程进行主成分分析 • 主分量分析方法应用实例
一、概述
一般情况下，系统是由多要素构成的复杂结构， 多变量问题是经常会遇到的.变量太多，无疑会增加 分析问题的难度与复杂性，而且在许多实际问题中， 多个变量之间是具有一定的相关关系的.
从以上的分析可以看出，主成分分析的实质就
是确定原来变量xj（j=1，2 ，…， p）在诸主成分zi （i=1，2，…，m）上的系数 lij（ i=1，2，…，m； j=1，2 ，…，p）.
从数学上可以证明，它们分别是相关矩阵m个 较大的特征值所对应的特征向量.
三、主分量分析的计算步骤
（一）计算相关系数矩阵(假设该矩阵为正定阵）
1434.95 5943
1025.5
115.8
114.3
3524.79 2249
1006.39 6619
754.4
116.6
113.5
工业总产值 x8 843.43 582.51 1234.85 697.25 419.39 1840.55 762.47 1240.37 1642.95 2026.64 916.59
k 1
k 1
（1.3.2）
（二）计算特征值与特征向量
① 解特征方程 I R 0 ，常用雅可比法（Jacobi）
求出特征值，并使其按大小顺序排列
；
1 2 p 0
② 分别求出对应于特征值i 的特征向量 li (i 1,2,, p)
p
要求 li =1，即 li2j 1 ，其中lij 表示向量 li 的 第j个 j 1
分量.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
居民消费 水平x2 1254 2320 1182 1527 1034 1527 1408 2699 1314 1814 1261 942 1261 1110 1208 1007 1445 1355 1469
固定资产 投资x3 474 553.97 282.84 1229.55 670.35 571.68 422.61 1639.83 382.59 198.35 822.54 150.84 334 17.87 300.27 114.81 47.76 61.98 376.95
职工平均 工资x4 4609 5857 4211 5145 4344 4685 4797 8250 5105 5340 4645 4475 5149 7382 4396 5493 5753 5079 5348
货物周转 量x5 908.3 609.3 411.7 1196.6 1574.4 849 1011.8 656.5 556 232.1 902.3 301.1 310.4 4.2 500.9 507 61.6 121.8 339
1) PRINCOMP过程计算结果有：简单统计量，相关 阵或协方差阵，从大到小排序的特征值和相应特征向 量，每个主成分解释的方差比例，累计比例等. 由特征向量得出相应的主成分，用少数几个主成分代 替原始变量，并计算主成分得分. 2) 主成分的个数可以由用户自己确定，主成分的名 字可以用户自己规定.
3) 输入数据集可以是原始数据集、相关阵、协方差阵等. 输入为原始数据时，还可以规定从协方差阵出发还是从 相关阵出发进行分析，由协方差阵出发时方差大的变量
（principal components analysis，PCA）
二、主分量分析的基本原理
定义：记x1，x2，…，x P为原变量指标，z1， z2，…，z m（m≤p）为新变量指标
z1 l11 x1 l12 x2 l1 p x p z2 l21 x1 l22 x2 l2 p x p .......... .. zm lm1 x1 lm 2 x2 lmp x p
i : 权 重(各 主 成 分 方 差 )
Yi : 反 映 各 相 应 评 价 指 标 息 信的 各 主 成 分 得 分
3.进行探索性分析 利用因子载荷阵，找出影响各综合指标 的主要原始指标. 4.对样品进行分类
利用主成分得分对样品进行分类.
五、使用PRINCOMP过程进行主成分分析
1. PRINCOMP过程的功能简介
2) VAR语句指定用于主成分分析的变量，变量必须为数值 型(区间型)变量.缺省使用DATA = 输入数据集中所有数值 型变量进行主成分分析.
六、主分量分析方法应用实例
例1 对全国30个省市自治区经济发展基本情况的八项指标作 主成分分析，原始数据如表7-2.
表7-2 全国30个省市自治区经济发展基本情况
第七章 主分量(主成分）分析
• 概 述
• 主分量分析的基本原理
• 主分量分析的计算步骤
• 主分量分析主要的作用
• 使用PRINCOMP过程进行主成分分析
• 主分量分析方法应用实例
一、概述
一般情况下，系统是由多要素构成的复杂结构， 多变量问题是经常会遇到的.变量太多，无疑会增加 分析问题的难度与复杂性，而且在许多实际问题中， 多个变量之间是具有一定的相关关系的. 因此，人们会很自然地想到，能否在相关分析的 基础上，用较少的新变量代替原来较多的旧变量，而 且使这些较少的新变量尽可能多地保留原来变量所反 映的信息？
k
反映了原来P个指标多大的信息，有多大的综合能力 . 累计贡献率
k i
i 1
i 1 p
(i 1, 2, , ห้องสมุดไป่ตู้ )
i
前k个主成分共有多大的综合能力，用这k个主成分 的方差和在全部方差中所占比重来描述，称为累积贡献 率.
在实际工作中，主成分个数的多少取决于能
够反映原来变量 85% 以上的信息量为依据，即当
② 分别求出对应于特征值 i 的特征向量 li (i 1,2,, p)
2 要求 li =1，即 lij 1 j 1 p
，其中 lij 表示向量 li 的 第j个
分量.
③ 计算主成分贡献率及累计贡献率
贡献率:第i个主成分的方差在全部方差中所占比重
i
k 1
p
(i 1,2, , p)
PROC PRINCOMP <选项列表>;
VAR 变量列表; RUN;
其中： 1) PROC PRINCOMP语句用来规定输入输出和一些运行 选项，其选项及功能见表7-1.
表7-1 PROC PRINCOMP语句的选项
DATA = OUT = OUTSTAT = COVARIANCE | COV N= PREFIX = 输入数据集，可以是原始数据集，也可以是TYPE = CORR，COV的数据集； 输出包含原始数据和主成分得分的数据集； 统计量输出数据集； 要求从协方差阵出发计算主成分，缺省为从相关阵出发计算. 要计算的主成分个数，缺省时全部计算. 主成分名字的前缀，缺省时为PRIN1、PRIN2….
案例 某地 208 名 14 岁男中学生 15 项形态指标测试结果
指标、单位
身 高 (X1) cm 坐 高 (X2) cm 体 重 (X3 ) kg 肩 宽 (X4 ) cm 骨 盆 宽 (X5) cm 手 长 (X6 ) cm 上 肢 长 (X7) cm 小 腿 加足 高 (X8 ) cm 小 腿 长 (X9) cm 足 长 (X10 ) cm 胸 围 (X11 ) cm 大 腿 围 (X12) cm 小 腿 围 (X13) cm 上 臂 紧张 围 (X14) cm 上 臂 放松 围 (X15) cm
累积贡献率≥85%时的主成分的个数就足够了 .最
常见的情况是主成分为2到3个.
四、主分量分析主要作用
1.对原始指标进行综合
以互不相关的较少个综合指标反应众多原始 指标提供的信息. 2.进行综合评价 Y ( 1Y1 2Y2 kYk )
Y： 被 评 价 对 象 综 合 得 分
省份 北京 天津 河北 山西 内蒙 辽宁 吉林 黑龙江 上海 江苏 浙江 GDPx1 1394.89 920.11 2849.52 1092.48 832.88 2793.37 1129.2 2014.53 2462.57 5155.25 3524.79 居民消费 水平x2 2505 2720 1258 1250 1387 2397 1872 2334 5343 1926 2249 固定资产 投资x3 519.01 345.46 704.87 290.9 250.23 387.99 320.45 435.73 996.48 1434.95 1006.39 职工平均 工资x4 8144 6501 4839 4721 4134 4911 4430 4145 9279 5943 6619 货物周转 量x5 373.9 342.8 2033.3 717.3 781.7 1371.1 497.4 824.8 207.4 1025.5 754.4 居民消费价 格指数x6 117.3 115.2 115.2 116.9 117.5 116.1 115.2 116.1 118.7 115.8 116.6 商品零售价 格指数x7 112.6 110.6 115.8 115.6 116.8 114 114.2 114.3 113 114.3 113.5 工业总产值 x8 843.43 582.51 1234.85 697.25 419.39 1840.55 762.47 1240.37 1642.95 2026.64 916.59
找出几个综合指标(长度、围度、特体)，这些综合
指标是由原始指标的线性组合而来，既保留了原始
指标的信息，且相互独立. 衡量一个指标的好坏除了正确性与精确性外，还必 须能充分反映个体间的变异，即指标能提供显著的 个体区分度，一项指标在个体间的变异越大，提供
的“信息量”就越多.
各综合指标提供的“信息量”大小用其方差来衡量.
省份 安徽 福建 江西 山东 河南 湖北 湖南 广东 广西 海南 四川 贵州 云南 西藏 陕西 甘肃 青海 宁夏 新疆
GDPx1 2003.58 2160.52 1205.11 5002.34 3002.74 2391.42 2195.7 5381.72 1606.15 364.17 3534 630.07 1206.68 55.98 1000.03 553.35 165.31 169.75 834.57
例
1 140.0 76.0 36.3 32.0 23.0 16.1 61.1 38.7 32.4 23.1 71.3 41.8 31.6 22.3 20.5 2 141.6 76.2 31.4 29.0 22..0 15.6 60.6 38.8 32.5 21.8 65.7 41.7 29.0 19.8 17.5
n
ki
xi )(xkj x j )
2 2 ( x x ) kj j k 1 n
( xki xi )
（1.3.2）
（二）计算特征值与特征向量
① 解特征方程 I R 0 ，常用雅可比法（ Jacobi ） 求出特征值，并使其按大小顺序排列 ；
1 2 p 0
(1.2.1)
系数lij的确定原则：
① z i与zj（i≠j；i，j=1，2，…，m）相互无关；
② z1是x1，x2，…，xP的一切线性组合中方差最大者， z 2 是与 z 1 不相关的 x 1 ， x 2 ， … ， x P 的所有线性组合中 方差最大者 ;…; zm是与z1，z2，……，zm－1都不相关 的x1，x2，…xP， 的所有线性组合中方差最大者.则新 变量指标 z 1 ， z 2 ， … ， z m 分别称为原变量指标 x 1 ， x2，…，xP的第1，第2，…，第m主成分.