系统工程主成分分析
主成分分析的概念及基本思想主成分分析PrincipleComponent
1、主成分分析的概念及基本思想主成分分析(Principle Component Analysis, PCA)是最为常用的特征提取方法，被广泛应用到各领域，如图像处理、综合评价、语音识别、故障诊断等。
它通过对原始数据的加工处理，简化问题处理的难度并提高数据信息的信噪比，以改善抗干扰能力。
主成分概念首先由Karl parson在1901年引进，不过当时只是对非随机变量进行讨论，1933年Hotelling将这个概念推广到随机向量。
在实际问题中，研究多指标(变量)问题是经常遇到的，然而在多数情况下，不同指标之间是有一定相关性。
由于指标较多并且指标之间有一定的相关性，势必增加了分析问题的复杂性。
主成分分析就是设法将原来众多具有一定相关性的指标(比如p个指标)，重新组合成一组新的相互无关的综合指标来代替原来指标。
通常数学上的处理就是将原来p个指标作线性组合，作为新的综合指标，但是这种线性组合，如果不加限制，则可以有很多，我们应该如何去选取呢？如果将选取的第一个线性组合即第一个综合指标记为F1，自然希望F1尽可能多的反映原来指标的信息，这里的“信息”用什么来表达？最经典的方法就是用F1的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1，F2)=0 ，称F2为第二主成分，依此类推可以构造出第三，四，…，第p个主成分。
不难想象这些主成分之间不仅不相关，而且它们的方差依次递减。
因此在实际工作中，就挑选前几个最大主成分，虽然这样做会损失一部分信息，但是由于它使我们抓住了主要矛盾，并从原始数据中进一步提取了某些新的信息。
因而在某些实际问题的研究中得益比损失大，这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的分析和处理。
主成分分析【可编辑全文】
• 如果我们将xl 轴和x2轴先平移，再同时 按逆时针方向旋转角度，得到新坐标轴Fl和 F2。Fl和F2是两个新变量。
• 如果变量分组较有规则，则从特征向量各 分量数值作出组内组间对比分析。
主成分分析的一般步骤
6. 解释各个主成分的含义 7. 进行其他分析
利用SPSS进行主成分分析的步骤
1. 指标数据的标准化。
可以利用“Descriptive statistics” 中的“Descriptives”进行标准化。
这种由讨论多个指标降为少数几个综合指 标的过程在数学上就叫做降维。主成分分析通 常的做法是，寻求原指标的线性组合Fi。其中, Xi 是经过标准化后的变量。
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
4. 确 定 主 成 分 Fi 的 表 达 式 ： 将 表 “Component Matrix”(初始因子载荷 阵)中的第i列向量除以第i个特征根的平方 根，得到第i个主成分Fi的变量系数向量。
5. 对主成分Fi进行解释。
• x1：数学 • x2：物理 • x3：化学 • x4：语文 • x5：历史 • x6：英语
满足如下的条件：
每个主成分的系数平方和为1。即
u2 1i
u2 2i
u
2 pi
1
主成分之间相互独立，即无重叠的信息。即
Cov（Fi，Fj） 0，i j，i，j 1， 2， ，p 主成分的方差依次递减，重要性依次递减，即
系统工程
主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差- 协方差结构。
综合指标即为主成分。
所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。
因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。
聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程。
其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
三种分析方法既有区别也有联系，本文力图将三者的异同进行比较，并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益。
二、基本思想的异同(一) 共同点主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 %以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。
并且新的变量彼此间互不相关，消除了多重共线性。
这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。
在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ，x2 ，. . . ，x3 ，经过坐标变换，将原有的p个相关变量xi 作线性变换，每个主成分都是由原有p 个变量线性组合得到。
在诸多主成分Zi 中，Z1 在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。
因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。
公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。
对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。
系统工程主成分分析。
主成分分析法通过研究指标体系的内在结构关系，从而 将多个指标转化为少数几个相互独立且包含原来指标大 部分信息（80%或85%以上）的综合指标。其优点在于 它确定的权数是基于数据分析而得出的指标之间的内在 结构关系，不受主观因素的影响，有较好的客观性，而 且得出的综合指标（主成分）之间相互独立，减少信息 的交叉，这对分析评价极为有利。
5
基本思想
如果用x1, x2 , …, xn表示n门课程， a1, a2 ,…, an表
示各门课程的权重，且满足 ai21 ai22 ai2n 1
，那么加权之和就是：
s= a1x1+ a2x2+…+ anxn
我们希望选择适当的权重能更好地区分学生的成
绩，每个学生都对应一个这样的综合成绩。记为
4
一个简单的例子 成绩的评估可以用下面的综合成绩来体现： a1×数学＋a2×语文＋a3×英语＋a4×体育 确定权重系数的过程就可以看作是主成分分析的过
程，得到的加权成绩总和就相对于新的综合变量 ——主成分
当某一问题需要同时考虑好几个因素时，我们并不 对这些因素个别处理而是将它们综合起来处理， 这就是主成分分析
2）累积贡献率：前k个主成分共有多大的综合能力，
用
k
n
i j
i 1
j 1
来描述，称为第k个主成分的累积贡献率。
我们进行主成分分析的目的之一是希望用尽可 能少的主成分Z1，Z2，…，Zp（p≤n）代替原来 的n个指标。到底应该选择多少个主成分，在实 际工作中，主成分个数的多少取决于能够反映 原来变量80%以上的信息量为依据，即当累积 贡献率≥80%时的主成分的个数就足够了。
13
（3）计算特征值和特征向量
系统工程课件 系统工程-主成分分析
数学模型与几何解释－数学模型
满足如下的条件： 每个主成分的系数平方和为1。即
u 1 2 i u 2 2 i u 2 p i1 主成分之间相互独立，即无重叠的信息。即
C （ F i ， F j ） o 0 ， i j ， v i ， j 1 ， 2 ， ， p
数学模型与几何解释－几何解释
Fl、 F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研究 复杂的问题时避免了信息重叠所带来的虚假性。二 维平面上的个点的方差大部分都归结在Fl轴上，而 F2轴上的方差很小。Fl和F2称为原始变量x1和x2的 综合变量。F简化了系统结构，抓住了主要矛盾。
主成分分析的基本思想
在进行主成分分析后，竟以97.4％的精度，用三个 新变量就取代了原17个变量。根据经济学知识，斯 通给这三个新变量分别命名为总收入F1、总收入变 化率F2和经济发展或衰退的趋势F3。更有意思的是， 这三个变量其实都是可以直接测量的。斯通将他得 到的主成分与实际测量的总收入I、总收入变化率 I以及时间t因素做相关分析，得到下表：
U为旋转变换正 矩交 阵矩 ，阵 它， 是即 U U 1,U U I
数学模型与几何解释－几何解释
旋转变换的目的：为了使得n个样品点在Fl轴方向上 的离散程度最大，即Fl的方差最大。
(变量Fl代表了原始数据的绝大部分信息，在研究 某经济问题时，即使不考虑变量F2也无损大局)。经 过上述旋转变换原始数据的大部分信息集中到Fl轴 上，对数据中包含的信息起到了浓缩作用。
数学模型与几何解释－数学模型
这种由讨论多个指标降为少数几个综合指标的过程 在数学上就叫做降维。主成分分析通常的做法是， 寻求原指标的线性组合Fi。
【笔记】主成分分析法PCA的原理及计算
【笔记】主成分分析法PCA的原理及计算主成分分析法PCA的原理及计算主成分分析法主成分分析法（Principal Component Analysis），简称PCA，其是⼀种统计⽅法，是数据降维，简化数据集的⼀种常⽤的⽅法它本⾝是⼀个⾮监督学习的算法，作⽤主要是⽤于数据的降维，降维的意义是挺重要的，除了显⽽易见的通过降维，可以提⾼算法的效率之外，通过降维我们还可以更加⽅便的进⾏可视化，以便于我们去更好的理解数据，可以发现更便于⼈类理解，主成分分析其⼀个很重要的作⽤就是去噪，有的时候，经过去噪以后再进⾏机器学习，效果会更好我们可以基于主成分分析法的降维来理解其原理原理及计算我们设⼀个⼆维的坐标系，横轴为特征⼀，纵轴为特征⼆，相应的存在⼀些样本，其对应相应的点，既然是⼆维的，那么我们就可进⾏降维那么降维到⼀维的具体操作是什么呢？⼀个很明显的⽅案就是对这两个特征选⼀个特征，将另⼀个特征去除掉，如果说我们将特征⼆扔掉保留特征⼀的话，那么全部的点就会相应的全部映射到横轴上，相反，我们选择特征⼆的话，所有的点就会映射到纵轴上这就是对应的两种降维的⽅案，这两个⽅案哪⼀个是更好的呢，我们将所有的点映射到了横轴以后，点和点之间距离是相对⽐较⼤的的⽅案就是更好的⽅案，为什么呢，点和点之间的距离⼤，即点和点之间有着更⾼的可区分度，这样也更好的保持了原来的点和点之间的距离，虽然也不同，但是也相应的更⼩的还有⼀种更好的⽅案，我们可以选取⼀条直线，将所有的点都映射到这根直线上，使⽤这种⽅式，所有的点更趋近于原来的分布情况，区分度也⽐映射到横纵轴上更加明显那么如何找到这个让样本间间距最⼤的轴？为了找到这个轴，我们先使⽤⽅差来定义⼀下这个样本间间距这样这个问题就变成了，我们需要找到⼀个轴（直线），使得样本空间中的所有点在映射到这个轴以后，⽅差是最⼤的那么怎么操作呢？⾸先，我们将样本的均值归0，即所有的样本都减去这批样本的均值，这样就相当于让坐标轴进⾏了移动，使得样本在每个维度上均值都为0，这样我们就可以将⽅差的式⼦变成（xi是已经映射到新的轴上的新的样本）然后我们要求这个轴的⽅向w=(w1,w2)（此处⽤⼆维来表⽰），使得我们所有的样本，在映射到w以后，有使映射以后的样本Xproject的⽅差值最⼤，式⼦展开如下需要注意的是：对于这个X来说，可能有多个维度，因此每⼀个X都是⼀个有多个元素的向量，因此更准确的式⼦应该是其均值等依然是含有多个内容的向量，为什么呢，因为虽然映射到了这个轴上，但是本⾝这个轴还是处在这个n维的坐标系中，那么这实际上就是这两个向量相减之后的模的平⽅，⼜因为我们之前对样本进⾏了demean处理（均值取0），因此，这个式⼦化简以后为，即为映射完的点的模的平⽅和再除以m最⼤那么这个Xprojecti到底是要怎么表⽰呢？我们设这个轴为w，样本点为Xi，其也是⼀个向量，那么现在这个Xi要映射到w轴上的话，可以向w轴做⼀个垂直的直线，那么其与w轴的交点就是我们对应的Xproject这⼀点，那么说⽩了我们要求的模的平⽅就是指向交点的这个直线，相当于我们要求将⼀个向量映射到另⼀个向量上对应的映射的长度是多少实际上这种映射就是点乘的定义我们知道现在这个w轴是⼀个⽅向向量，所以其模为1，那么式⼦就化简成运⽤数学定理，很明显可以得出那么我们带⼊之前的式⼦就可以得到我们真正要求的式⼦，即Xi与w点乘完以后的平⽅和再除以m以后的结果最⼤这样我们的主成分分析法就是要求⼀个w轴，使得映射上去的点与w点乘完以后的平⽅和再除以m以后的结果最⼤，这样主成分分析法就变成了⼀个⽬标函数的最优化问题，求⼀个函数的最⼤值，我们就可以使⽤梯度上升法来解决线性回归和这个是不⼀样的，最直观的不同在于线性回归的样本是关于这个新的垂直的⽅向是关于特征的⽅向，并不是垂直于这根直线的⽤梯度上升法来求解PCA问题我们说可以使⽤梯度上升法来解决主成分分析问题，那么怎么⽤梯度上升法来求解此类问题呢？那么我们知道，求⼀个函数的最⼤值，关键是我们要求这个函数的梯度，对于上⾯最终的式⼦来说，除了w以外就没有未知数了，那么对应的梯度就是函数对w求偏导，整理合并以后可以写成对这个式⼦进⾏向量化的处理，我们观察这个式⼦，我们可以发现其中的式⼦就是点乘的形式，其实际上每⼀项就是Xw这个向量和X中的第n列中的每⼀个元素相乘再相加，Xw可以写成这种⾏向量的形式⽽上⾯的计算过程计算下来就是Xw和⼀个矩阵相乘，这个矩阵可以写成（其就是X这个矩阵，有m个样本，n个特征）其最后将梯度的计算的向量化的结果就可以写成（经过转置之后符合要求的）介就是最后的计算公式啦我们可以在直接使⽤这个公式来进⾏计算，最后得到需要的结果。
(完整版)主成分分析法的原理应用及计算步骤...doc
zm
lm1x1
lm 2x2
lmpxp
系数lij的确定原 ：
①zi与zj（i≠j；i，j=1，2，⋯，m）相互无关；
②z1是x1，x2，⋯，xP的一切 性 合中方差最大者，z2是与z1不相关的x1，x2，⋯，xP的所有 性 合中方差最大者；zm是与z1，z2，⋯⋯，zm－1都不相关的x1，x2，⋯xP， 的所有 性 合中方差最大者。
标准化后的变量的协方差矩阵就是原变量的相关系数矩阵 。 也就是说， 在标准化前后变量的相关系数矩阵不变化。
根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：☆计算相关系数矩阵
☆求出相关系数矩阵的特征值i及相应的正交化单位特征向量ai
与原 量Xj之 的相互
关 程度：
( ,
xi
)
(
, 1,2,
L
, ;
1,2,
L
, )
P Zk
kakii
p k
m
三、主成分分析法的计算步骤
主成分分析的具体步 如下：
（1） 算 方差矩
算 品数据的 方差矩 ：Σ=(sij)pp，其中
1
n
i，j=1，2，⋯，p
sij
( xki
xi)( xkj
xj)
n
1k 1
解特征方程
I
R 0
，常用雅可比法（Jacobi）求出特征 ，并使其按大
小 序排列1
2
p
0；
p
1,2, L , p)
2
e ( i
分 求出 于特征
i
的特征向量
主成分分析原理及详解
第14章主成分分析1 概述1.1 基本概念1.1.1 定义主成分分析是根据原始变量之间的相互关系，寻找一组由原变量组成、而彼此不相关的综合变量，从而浓缩原始数据信息、简化数据结构、压缩数据规模的一种统计方法。
1.1.2 举例为什么叫主成分，下面通过一个例子来说明。
假定有N 个儿童的两个指标x1与x2，如身高和体重。
x1与x2有显著的相关性。
当N较大时，N观测量在平面上形成椭圆形的散点分布图，每一个坐标点即为个体x1与x2的取值，如果把通过该椭圆形的长轴取作新坐标轴的横轴Z1，在此轴的原点取一条垂直于Z1的直线定为新坐标轴的Z2，于是这N个点在新坐标轴上的坐标位置发生了改变；同时这N个点的性质也发生了改变，他们之间的关系不再是相关的。
很明显，在新坐标上Z1与N个点分布的长轴一致，反映了N个观测量个体间离差的大部分信息，若Z1反映了原始数据信息的80%，则Z2只反映总信息的20%。
这样新指标Z1称为原指标的第一主成分，Z2称为原指标的第二主成分。
所以如果要研究N个对象的变异，可以只考虑Z1这一个指标代替原来的两个指标（x1与x2），这种做法符合PCA提出的基本要求，即减少指标的个数，又不损失或少损失原来指标提供的信息。
1.1.3 函数公式通过数学的方法可以求出Z1和Z2与x1与x2之间的关系。
Z1=l11x1+ l12x2Z2=l21x1+ l22x2即新指标Z1和Z2是原指标x1与x2的线性函数。
在统计学上称为第一主成分和第二主成分。
若原变量有3个，且彼此相关，则N个对象在3维空间成椭圆球分布，见图14-1。
通过旋转和改变原点（坐标0点），就可以得到第一主成分、第二主成分和第三主成分。
如果第二主成分和第三主成分与第一主成高度相关，或者说第二主成分和第三主成分相对于第一主成分来说变异很小，即N个对象在新坐标的三维空间分布成一长杆状时，则只需用一个综合指标便能反映原始数据中3个变量的基本特征。
1.2 PCA满足条件1.2.1 一般条件一般来说，N个对象观察p个指标，可以得到N*p个数据（矩阵）。
系统工程主成分分析PPT课件
详细描述
在用户行为分析中，主成分分析可以帮助我们深入了解 用户的消费习惯、偏好和行为模式。通过对用户行为数 据的分析，我们可以提取出用户行为的主成分，从而更 好地理解用户的真实需求和意图，优化产品设计和服务 提供。同时，通过用户行为分析，还可以发现潜在的市 场机会和用户群体，为企业制定更有效的市场策略提供 支持。
稳健性
对于异常值或丢失的数据， 主成分分析通常具有较好的 稳健性，能够减少这些异常 值对分析结果的影响。
局限性
依赖初始变量
主成分分析的结果在很大程度上依赖于初始变量的选择和 它们的测量。如果变量的测量或定义不准确，可能会导致 主成分分析的结果不准确。
对非线性关系的处理
主成分分析主要关注线性关系，对于非线性关系的处理可 能不够理想。
主成分分析旨在减少数据的维度，同 时保留数据中的主要信息，以便更好 地理解和分析数据。
主成分分析的原理
01
主成分分析基于数据的方差和协方差关系，通过正交变换将原 始变量转换为彼此独立的主成分。
02
主成分的确定基于方差的大小，方差越大，对应的主成分包含
的信息越多。
主成分分析能够有效地减少数据的维度，同时保留数据中的主
谢谢观看
应用领域拓展
复杂系统分析
将系统工程主成分分析拓展到更广泛的领域，如能源、交通、环 境等复杂系统分析，为解决实际问题提供有力支持。
跨学科应用
加强与其他学科领域的交叉融合，将系统工程主成分分析应用到生 物、医学、经济、社会等学科领域。
智能化决策支持
利用系统工程主成分分析提供的数据分析和特征提取能力，为智能 化决策提供科学依据和支撑。
03
要信息，使得数据的处理和分析更加简便。
主成分分析的应用场景
主成分分析(principal component analysis)
一、主成分分析的思想主成分分析是数据处理中常用的降维方法。
我们需要处理的数据往往是高维数据，把它看成是由某个高维分布产生。
高维分布的不同维之间可能具有较强的相关性，这也就为数据降维提供了可能。
为了叙述清楚主成分分析的思想，我们通过二维数据进行叙述，即数据是由随机向量 (X_1,X_2) 产生，并假设X_1=X_2 。
通过该分布得到的样本点如图下所示：如果我们把每个数据点用 (x_1,x_2) 表示，那么，每个数据是二维的。
实际上，容易发现，我们只需要将坐标系进行旋转，旋转到红色坐标系位置，此时，每个数据点在新坐标系下的表示形式为为 (x_1^{'},0) ，由于每个数据点的第二维坐标都是 0 ，所以每个数据点只需要用一个数表示就行了，这样就把数据的维数从二维降到了一维。
接下来考虑不是完全线性关系，但是具有强相关性的情况，如下图所示：在这种情况下，我们不可能通过坐标系的平移与旋转，使所有点都落在一根轴上，即不可能精确地把数据用一维表示。
但是注意到 (X_1,X_2) 仍然有强相关性，我们仍然将坐标轴旋转到红色位置，可以看出，将数据在 x_1^{'} 上的投影近似代表原数据，几乎可以完全反映出原数据的分布。
直观看，如果要将数据投影到某根轴，并用投影来表示原数据，将数据压缩成一维，那么投影到 x_1^{'} 是最好的选择。
因为投影到这跟轴，相比于投影到其他轴，对原数据保留的信息量最多，损失最小。
如何衡量保留的信息量呢？在主成分分析中，我们用数据在该轴的投影的方差大小来衡量，即投影后方差越大（即投影点越分散），我们认为投影到该轴信息保留量最多。
从这种观点看，投影到 x_1^{'} 确实是最好的选择，因为投影到这根轴，可使得投影点最分散。
我们将数据的中心平移到原点（即新坐标轴的原点在数据的中心位置），为了消除单位的影响，我们将数据的方差归一化。
进一步考虑如下数据分布：根据上述，如果要将数据压缩为一维的，那么应该选择 F_1 轴进行投影，如果用该投影表示原数据的损失过大，我们可以再选择第二根轴进行投影，第二根轴应该与 F_1 垂直（保证在两根轴上的投影是不相关的）并且使得数据在该轴上投影方差最大，即图中的 F_2 轴（如果是二维情况，第一根轴确定后，第二根轴就确定了。
《系统工程》主成分分析实验报告
《系统工程》主成分分析实验报告
在表二中，我们已经确定了主成分个数为两个，再从表四（旋转元件矩阵）中找到与F1相关性较大的指标有：铅球、跳远、铁饼、撑杆跳、标枪、110米栏，但110米栏是负相关性较强的指标，所以我们可以将F1命名为田赛指标。
与F2相关性较强的指标有：100米、400米、1500米、跳高，但跳高是负相关性较强，所以我们可以将F2命名为径赛指标。
F1、F2的表达式如下：
F1=0.02X1+0.236X2+0.274X3+0.018X4+0.177X5-0.107X6+0.207X7+0.220X8+0.256X9+0.193X10
F2=0.225X1+0.079X2+0.124X3-0.193X4+0.384X5+0.101X6+0.041X7+0.071X8+0.162X9+0.388X10
式中，X(1-10)分别对应100米、跳远、铅球、跳高、400米、110米栏、铁饼、撑杆跳、标枪和1500米。
以特征值为权，对两个主成分进行加权综合，得出每个人的综合得分，并可据此排序。
综合得分的计算公式为：
21506
.1456.6506.1506.1456.6456.6F F F
实验结果报告与实验总结：
F1为田赛指标，适合田赛运动员的得分计算。
F2为径赛指标，适合竞赛运动员的得分计算。
F 为田径赛的综合得分，综合得分越高，该人的综合成绩越好；综合得分越低，该人的综合成绩就较差。
教师评语与成绩：
注：图表数据可另附（注明在附件中即可），附件与实验报告一并递交。
部分思考题答案-系统工程
论述题: 主成分分析与因子分析的异同点?答:两种方法的出发点都是变量的相关系数矩阵，在损失较少信息的前提下，把多个变量（这些变量之间要求存在较强的相关性，以保证能从原始变量中提取主成分）综合成少数几个综合变量来研究总体各方面信息的多元统计方法，且这少数几个综合变量所代表的信息不能重叠，即变量间不相关。
主要区别：1. 主成分分析是通过变量变换把注意力集中在具有较大变差的那些主成分上，而舍弃那些变差小的主成分；因子分析是因子模型把注意力集中在少数不可观测的潜在变量（即公共因子）上，而舍弃特殊因子。
2. 主成分分析是将主成分表示为原观测变量的线性组合，（1）主成分的个数i=原变量的个数p，其中j=1,2,…,p，是相关矩阵的特征值所对应的特征向量矩阵中的元素，是原始变量的标准化数据，均值为0，方差为1。
其实质是p维空间的坐标变换，不改变原始数据的结构。
论述题:简述一般系统论、控制论和信息论对系统工程方法论的启示。
答:一般系统论、控制论和信息论为老三论。
(1)贝塔朗菲《系统论》是研究复杂系统一般规律（演化--隐喻）的学科。
基本观点：整体性、开放性及目的性（有效性、适应性、寻的性）、动态相关性（动态性取决于相关性）、等级层次性、有序性（结构或空间；发展或时间）.启示：主张以整体论代替还原论。
（思想作用更大）,提出了系统的方法：核心在于优化，整体最优。
(2)维纳于1948年出版了《控制论》一书，经典控制论——现代控制论——大系统控制理论，主要是研究大系统的结构方案、稳定性、优化、建模及模型简化等。
对系统方法的启示：黑箱-灰箱-白箱法, 功能模拟法, 形式化、数量化、最优化方法(3)申农和维纳的信息论以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机、光导纤维等为主要研究工具，以扩展人类的信息功能为主要研究目标。
启示包括：类比方法、统计方法，概率论和随机过程、信息方法（运用信息的观点，把系统看作是借助于信息的获取、传递、加工、处理而实现其有目的性的运动的一种研究方法）------变量筛选、特征选择.论述题:系统论述逐对比较法、古林法、层次分析法在确定权重方面的差异，并对以上方法进行评述？答: 逐对比较法的基本的做法是：对各替代方案的评价指标进行逐对比较，对相对重要的指标给予较高得分，据此可得到各评价项目的权重Wj。
主成分分析实验报告
《系统工程》主成分分析实验报告
1500米.448 -.
81
-.274 -.788 .612 .577 -.267 -.404 -.124 1.000
a. 行列式 = 3.15E-005
KMO 和 Bartlett 的检验
取样足够度的 Kaiser-Meyer-Olkin 度量。
.780
Bartlett 的球形度检验近似卡方153.735
df 45
Sig. .000
由表可知：巴特利特球度检验统计量的观测值为153.735，相应的概率p值接近0，小于显著性水平(取0.05)，所以应拒绝原假设，认为相关系数矩阵与单位矩阵有显著差异。
同时，KMO值为0.780，可知原有变量可以进行因子分析。
3.旋转前的因子矩阵
（表四）
表四成份矩阵也即是因子载荷矩阵，根据该表可以写出因子分析模型：
110米栏=-0.948f1+0.017f2+0.020f3 跳远=0.918f1-0.062f2+0.074f3
旋转后的成分矩阵
采用最大方差法对成份矩阵(因子载荷矩阵)实施正交旋转以使因子具有命名解释性，指定按第一因子载荷降序的顺序输出旋转后的因子载荷矩阵如表六所示
（表六）。
主成分分析、聚类分析、因子分析的基本思想及优缺点
之邯郸勺丸创作主成分阐发：利用降维（线性变换)的思想,在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差- 协方差结构,即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保存原始变量90%以上的信息）,从而达到简化系统结构,抓住问题实质的目的综合指标即为主成分. 求解主成分的办法：从协方差阵出发（协方差阵已知）,从相关阵出发（相关阵R已知）.（实际研究中,总体协方差阵与相关阵是未知的,必须通过样本数据来估量）注意事项：1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时,要恰当的选取某一种办法；2. 对于度量单位或是取值规模在同量级的数据,可直接求协方差阵；对于度量单位不合的指标或是取值规模彼此差别很是大的指标,应考虑将数据尺度化,再由协方差阵求主成分；3.主成分阐发不要求数据来源于正态散布；4. 在选取初始变量进入阐发时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零,说明存在多重共线性问题）.优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量,这些综合变量集中了原始变量的大部分信息.其次它通过计算综合主成分函数得分,对客不雅经济现象进行科学评价.再次它在应用上偏重于信息奉献影响力综合评价.缺点：当主成分的因子负荷的符号有正有负时,综合评价函数意义就不明确.命名清晰性低.聚类阐发：将个别（样品）或者对象（变量）按相似程度（距离远近）划分类别,使得同一类中的元素之间的相似性比其他类的元素的相似性更强.目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化..其主要依据是聚到同一个数据集中的样本应该彼此相似,而属于不合组的样本应该足够不相似.经常使用聚类办法：系统聚类法,K-均值法,模糊聚类法,有序样品的聚类,分化法,加入法.注意事项：1. 系统聚类法可对变量或者记录进行分类,K-均值法只能对记录进行分类；2. K-均值法要求阐发人员事先知道样品分为多少类；3. 对变量的多元正态性,方差齐性等要求较高.应用领域：细分市场,消费行为划分,设计抽样计划等优点：聚类阐发模型的优点就是直不雅,结论形式简明.缺点：在样本量较大时,要获得聚类结论有一定困难.由于相似系数是按照被试的反应来建立反应被试间内在联系的指标,而实践中有时尽管从被试反应所得出的数据中发明他们之间有紧密的关系,但事物之间却无任何内在联系,此时,如果按照距离或相似系数得出聚类阐发的结果,显然是不适当的,但是,聚类阐发模型自己却无法识别这类错误.因子阐发：利用降维的思想,由研究原始变量相关矩阵内部的依赖关系出发,把一些具有错综庞杂关系的变量归结为少数几个综合因子.（因子阐发是主成分的推广,相对于主成分阐发,更倾向于描述原始变量之间的相关关系）,就是研究如何以最少的信息丢失,将众多原始变量浓缩成少数几个因子变量,以及如何使因子变量具有较强的可解释性的一种多元统计阐发办法.求解因子载荷的办法：主成分法,主轴因子法,极大似然法,最小二乘法,a因子提取法.注意事项：5. 因子阐发中各个公共因子之间不相关,特殊因子之间不相关,公共因子和特殊因子之间不相关.应用领域：解决共线性问题,评价问卷的结构效度,寻找变量间潜在的结构,内在结构证实.优点:第一它不是对原有变量的取舍,而是按照原始变量的信息进行重新组合,找出影响变量的配合因子,化简数据；第二,它通过旋转使得因子变量更具有可解释性,命名清晰性高.缺点:在计算因子得分时,采取的是最小二乘法,此法有时可能会失效.判别阐发：从已知的各类分类情况中总结规律（训练出判别函数）,当新样品进入时,判断其与判别函数之间的相似程度（几率最大,距离最近,离差最小等判别准则）.经常使用判别办法：最大似然法,距离判别法,Fisher判别法,Bayes判别法,逐步判别法等.注意事项：1. 判别阐发的基本条件：分组类型在两组以上,解释变量必须是可测的；2. 每个解释变量不克不及是其它解释变量的线性组合（比方出现多重共线性情况时,判别权重会出现问题）；3. 各解释变量之间从命多元正态散布（不合适时,可使用Logistic回归替代）,且各组解释变量的协方差矩阵相等（各组协方方差矩阵有显著差别时,判别函数不相同）.4. 相对而言,即使判别函数违反上述适用条件,也很稳健,对结果影响不大.应用领域：对客户进行信用预测,寻找潜在客户（是否为消费者,公司是否成功,学生是否被录用等等）,临床上用于鉴别诊断.对应阐发/最优尺度阐发：利用降维的思想以达到简化数据结构的目的,同时对数据表中的行与列进行处理,寻求以低维图形暗示数据表中行与列之间的关系.对应阐发：用于展示变量（两个/多个分类）间的关系（变量的分类数较多时较佳）；最优尺度阐发：可同时阐发多个变量间的关系,变量的类型可以是无序多分类,有序多分类或连续性变量,并对多选题的阐发提供了支持.典型相关阐发：借用主成分阐发降维的思想,辨别对两组变量提取主成分,且使从两组变量提取的主成分之间的相关程度达到最大,而从同一组内部提取的各主成分之间互不相关.相同点：1.主成分阐发法和因子阐发法都是用少数的几个变量(因子) 来综合反应原始变量(因子) 的主要信息,变量虽然较原始变量少,但所包含的信息量却占原始信息的85 %以上,所以即使用少数的几个新变量,可信度也很高,也可以有效地解释问题.并且新的变量彼此间互不相关,消除了多重共线性.2.这两种阐发法得出的新变量,其实不是原始变量筛选后剩余的变量.在主成分阐发中,最终确定的新变量是原始变量的线性组合,如原始变量为x1 ,x2 ,. . . ,x3 ,经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到.在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱.因子阐发是要利用少数几个公共因子去解释较多个要不雅测变量中存在的庞杂关系,它不是对原始变量的重新组合,而是对原始变量进行分化,分化为公共因子与特殊因子两部分.公共因子是由所有变量配合具有的少数几个因子；特殊因子是每个原始变量独自具有的因子.3.对新产生的主成分变量及因子变量计算其得分,就可以将主成分得分或因子得分代替原始变量进行进一步的阐发,因为主成分变量及因子变量比原始变量少了许多,所以起到了降维的作用,为我们处理数据降低了难度.4.聚类阐发是把研究对象视作多维空间中的许多点,并合理地分红若干类,因此它是一种按照变量域之间的相似性而逐步归群成类的办法,它能客不雅地反应这些变量或区域之间的内在组合关系.它是通过一个大的对称矩阵来探索相关关系的一种数学阐发办法,是多元统计阐发办法,阐发的结果为群集.对向量聚类后,我们对数据的处理难度也自然降低,所以从某种意义上说,聚类阐发也起到了降维的作用.不合之处：1.主成分阐发是研究如何通过少数几个主成分来解释多变量的方差一协方差结构的阐发办法,也就是求出少数几个主成分(变量) ,使它们尽可能多地保存原始变量的信息,且彼此不相关.它是一种数学变换办法,即把给定的一组变量通过线性变换,转换为一组不相关的变量(两两相关系数为0 ,或样本向量彼此相互垂直的随机变量) ,在这种变换中,坚持变量的总方差(方差之和) 不变,同时具有最大方差,称为第一主成分；具有次大方差,称为第二主成分.依次类推.若共有p 个变量,实际应用中一般不是找p 个主成分,而是找出m (m < p) 个主成分就够了,只要这m 个主成分能反应原来所有变量的绝大部分的方差.主成分阐发可以作为因子阐发的一种办法出现.2.因子阐发是寻找潜在的起支配作用的因子模型的办法.因子阐发是按照相关性大小把变量分组,使得同组内的变量之间相关性较高,但不合的组的变量相关性较低,每组变量代表一个基本结构,这个基本结构称为公共因子.对于所研究的问题就可试图用最少个数的不成测的所谓公共因子的线性函数与特殊因子之和来描述原来不雅测的每一份量.通过因子阐发得来的新变量是对每个原始变量进行内部剖析.因子阐发不是对原始变量的重新组合,而是对原始变量进行分化,分化为公共因子和特殊因子两部分.具体地说,就是要找出某个问题中可直接丈量的具有一定相关性的诸指标,如何受少数几个在专业中有意义、又不成直接丈量到、且相对独立的因子支配的规律,从而可用各指标的测定来间接确定各因子的状态.因子阐发只能解释部分变异,主成分阐发能解释所有变异.3.聚类阐发算法是给定m 维空间R 中的n 个向量,把每个向量归属到k 个聚类中的某一个,使得每一个向量与其聚类中心的距离最小.聚类可以理解为: 类内的相关性尽量大,类间相关性尽量小.聚类问题作为一种无指导的学习问题,目的在于通过把原来的对象集合分红相似的组或簇,来获得某种内在的数据规律.从三类阐发的基本思想可以看出,聚类阐发中并没于产生新变量,但是主成分阐发和因子阐发都产生了新变量.就数据尺度化来说,区别如下：1.主成分阐发中为了消除量纲和数量级,通常需要将原始数据进行尺度化,将其转化为均值为0方差为1 的无量纲数据.2.因子阐发在这方面要求不是太高,因为在因子阐发中可以通过主因子法、加权最小二乘法、不加权最小二乘法、重心法等很多解法来求因子变量,并且因子变量是每一个变量的内部影响变量,它的求解与原始变量是否同量纲关系其实不太大,当然在采取主成分法求因子变量时,仍需尺度化.不过在实际应用的过程中,为了尽量避免量纲或数量级的影响,建议在使用因子阐发前还是要进行数据尺度化.在机关因子变量时采取的是主成分阐发办法,主要将指标值先进行尺度化处理得到协方差矩阵,即相关矩阵和对应的特征值与特征向量,然后机关综合评价函数进行评价.3.聚类阐发中如果介入聚类的变量的量纲不合会导致错误的聚类结果.因此在聚类过程进行之前必须对变量值进行尺度化,即消除量纲的影响.不合办法进行尺度化,会导致不合的聚类结果要注意变量的散布.如果是正态散布应该采取z 分数法.总结来说：1. 目的不合：因子阐发把诸多变量看成由对每一个变量都有作用的一些公共因子和仅对某一个变量有作用的特殊因子线性组合而成,因此就是要从数据中控查出对变量起解释作用的公共因子和特殊因子以及其组合系数；主成分阐发只是从空间生成的角度寻找能解释诸多变量变异的绝大部分的几组彼此不相关的新变量（主成分）.2. 线性暗示标的目的不合：因子阐发是把变量暗示成各公因子的线性组合；而主成分阐发中则是把主成分暗示成各变量的线性组合.3. 假设条件不合：主成分阐发中不需要有假设；因子阐发的假设包含：各个公共因子之间不相关,特殊因子之间不相关,公共因子和特殊因子之间不相关.4. 提取主因子的办法不合：因子阐发抽取主因子不但有主成分法,还有极大似然法,主轴因子法,基于这些办法得到的结果也不合；主成分只能用主成分法抽取.5. 主成分与因子的变更：当给定的协方差矩阵或者相关矩阵的特征值唯一时,主成分一般是固定的；而因子阐发中因子不是固定的,可以旋转得到不合的因子.6. 因子数量与主成分的数量：在因子阐发中,因子个数需要阐发者指定（SPSS按照一定的条件自动设定,只要是特征值大于1的因子主可进入阐发）,指定的因子数量不合而结果也不合；在主成分阐发中,成分的数量是一定的,一般有几个变量就有几个主成分（只是主成分所解释的信息量不等）.7. 功效：和主成分阐发相比,由于因子阐发可以使用旋转技术帮忙解释因子,在解释方面加倍有优势；而如果想把现有的变量酿成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的阐发,则可以使用主成分阐发.当然,这种情况也可以使用因子得分做到,所以这种区分不是绝对的.。
主成分分析(主元分析,PCA)原理
PCA原理1因为经常做一些图像和信号处理的工作，要用到主元分析（Principal Components Analysis）作为工具。
写出来供自己和朋友参考。
PCA是一种统计技术，经常应用于人面部识别和图像压缩以及信号去噪等领域，是在高维数据中提取模式的一种常用技术。
要了解PCA首先要了解一些相关的数学知识，这里主要介绍协方差矩阵、特征值与特征矢量的概念。
1、协方差矩阵协方差总是在两维数据之间进行度量，如果我们具有超过两维的数据，将会有多于两个的协方差。
例如对于三维数据（x, y, z维），需要计算cov(x,y)，cov(y,z)和cov(z,x)。
获得所有维数之间协方差的方法是计算协方差矩阵。
维数据协方差矩阵的定义为（1）这个公式告诉我们，如果我们有一个n维数据，那么协方差矩阵就是一个n行n 列的方矩阵，矩阵的每一个元素是两个不同维数据之间的协方差。
对于一个3维数据（x,y,z），协方差矩阵有3行3列，它的元素值为：(2)需要注意的是：沿着主对角线，可以看到元素值是同一维数据之间的协方差，这正好是该维数据的方差。
对于其它元素，因为cov（a,b）=cov（b,a），所以协方差矩阵是关于主对角线对称的。
2、特征值和特征矢量只要矩阵大小合适，就可以进行两矩阵相乘，特征矢量就是其中的一个特例。
考虑图2.1中两个矩阵和矢量乘法。
图2.1 一个非特征矢量和一个特征矢量的例子图2.2 一个缩放的特征矢量仍然是一个特征矢量在第一个例子中，结果矢量不是原来因子矢量与整数相乘，然而在第二个例子中，结果矢量是原来因子矢量的4倍，为什么会这样呢？该矢量是一个2维空间矢量，表示从原点(0,0)指向点(3,2)的箭矢。
方矩阵因子可以看作是转换矩阵，一个矢量左乘该转换矩阵，意味着原始矢量转换为一个新矢量。
特征矢量来自于转换特性。
设想一个转换矩阵，如果用其左乘一个矢量，映射矢量是它自身，这个矢量（以及它的所有尺度缩放）就是该转换矩阵的特征矢量。
系统工程内容整理
第一章系统和系统工程1、系统的定义系统是由相互作用和相互依赖的若干组成部分（要素）结合而成的具有特定功能的有机整体。
2、系统定义中的四个要点（1）系统及其要素：系统是由两个以上的要素构成的。
要素可以是单个事物（元素），也可以是一群事物组成的分系统、子系统。
（2）系统和环境：任意系统又是它所从属的一个更大的系统（环境）的组成部分，并与其相互作用，保持较为密切的输入输出关系。
（3）系统的结构：构成系统的诸要素之间存在着一定的有机联系，这样在系统内部形成一定的结构和秩序。
（4）系统的功能：任何系统都应有其存在的作用和价值，有其运作的具体目的，也即有其特定的功能。
3、系统的特性整体性、层次性、关联性、环境适应性4、系统工程研究对象系统工程的研究对象是大规模复杂系统。
该类系统的主要特点有：规模庞大、结构复杂、属性及目标多样、一般为人-机系统、经济性突出等。
5、系统工程的内容和特点所谓SE，是用来开发、运行和革新一个大规模复杂系统所需思想、程序、方法的总和（或总称）。
系统工程基本特点(1) 整体性和系统化观点（前提）；(2) 总体最优或平衡协调观点（目的）；(3) 多种方法综合运用的观点（手段）；(4) 问题导向及反馈控制观点（保障）。
6、系统工程与其他工程的区别（1）后者以专门的技术领域为对象，前者则是跨学科的，研究各行各业中系统的开发、运用等问题；（2）系统工程不仅涉及工程系统，而且涉及社会经济、环境生态等非工程系统，不仅涉及技术因素，还涉及社会、经济甚至心理因素；（3）系统工程比一般工程更注重事理，注重计划、组织、安排、优化，为完成某项任务提供决策、计划、方案和工序第二章系统工程方法论1、切克兰德软系统方法论的思路和步骤（pdf）2、从定性到定量的综合集成方法论—钱学森主要特点有：（1）根据复杂巨系统的复杂机制和变量众多等特点，把定性与定量研究有机结合起来，从多方面的定性认识上升到定量认识；（2）根据系统综合集成思想，把理论与经验结合起来，把人对客观事物的各种知识集中起来，强调多学科交叉融合；（3）根据复杂巨系统的层次结构，把宏观、中观与微观研究统一起来；（4）根据人-机结合的特点和信息的重要作用，将专家群体、数据和各种信息与计算机技术有机结合起来，强调对知识工程及数据挖掘技术等的应用。
系统工程(基于spss的主成分分析和聚类分析)
系统工程论文主成分分析与聚类分析姓名：学号：班级：学院：指导教师：数据为2012年全国各省城镇民平均每人全年家庭收入来源的各项数据。
数据来源位国家统计局/easyquery.htm?cn=E0103表1-1 2012年全国各省城镇民平均每人全年家庭收入来源一 主成分分析主成分分析（Principal Component Analysis ，PCA ）， 是一种统计方法。
通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
其分析步骤如下：1.1.1 首先将样本数据写成矩阵的形式⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=6,312,311,310262221161211Y Y Y Y Y Y Y Y Y Y （1）对样本进行标准化处理 标准化处理计算式位∑∑∑===⎪⎭⎫⎝⎛--=311311311311311311i i ij ij i ijij ij Y Y Y Y X （2）经过标准化处理后可得到标准化矩阵⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=6,312,3101,31262221161211X X X X X X X X X X （3）数据标准化是为了消除量纲的影响。
矩阵元素如表1-2所示，标准化矩阵是通过MATLAB 程序实现，源程序在文章最后。
表1-2 标准化数据1.1.2 计算6个指标的协方差矩阵⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡==6,312,311,31262221161211311r r r r r rr r r X X R T （4）矩阵（4）是一个实对称矩阵。
经计算，矩阵（4）的每一个元素如表格3所示。
表1-3 相关系数矩阵1.1.3 求相关系数的特征矩阵和特征值，表1-4 特征向量系数表1-5 特征值表1-6 特征值及主成分贡献率一般区累计贡献率为85%-95%的特征值1λ，2λ分别对应第一主成分和第二主成分1.1.4计算主成分载荷二，聚类分析法聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。
主成分分析(principal components analysis,PCA)又称：主分量分析,主成分回归分析法
主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。