主成分分析PPT课件
合集下载
主成分分析原理介绍PPT课件
➢问题的提出
有n个地理样本，每个样本共有p个变量， 构成一个n×p阶的地理数据矩阵
x11 x12 x1 p
X
x
21
x22
x2
p
x
n1
xn2
x np
当p较大时，在p维空间中考察问题比较麻烦。
1. 主成分分析的基本原理
为了克服这一困难，就需要进行降维处 理，即用较少的几个综合指标来代替原来的 指标，而且使这些综合指标能尽量多地反映 原来指标所表示的信息，同时他们之间又是 彼此独立的。
z1 l11x1 l12x2 l1p xp
z2 l21x1 l22x2 l2p xp
zm lm1x1 lm2 x2 lmpxp
z1，z2，…，zm分别称为原变量指标x1，x2，…， xP的第一，第二，…，第m主成分。
➢推广到p维空间：
由此可见，主成分分析的主要任务就是确定 原变量xj（j=1，2，…，p）在诸主成分zi（i=1， 2，...，m）上的系数lij。
必须考虑许多指标，这些指标能从不同的侧面反 映所研究的对象的特征，但指标过多，会增加分 析的复杂性，原始变量能不能减少为有代表性的 少数几个新变量，用它来代表原来的指标？
1. 主成分分析的基本原理
主成分分析就是寻找用较少的新变量代替 原来较多的旧变量，而且使新变量尽可能多 地保留原来较多信息的方法。
zz1 2csoisn cso insxx1 2Ux
U是正交矩阵，即有
UU1,UUE
zl，z2除了可以对包含在xl，x2中的信息起着 浓缩作用之外，还具有不相关的性质，这就使得 在研究复杂的问题时避免了信息重叠所带来的虚 假性。二维平面上的各点的方差大部分都归结在 zl轴上，而z2轴上的方差很小。zl和z2称为原始变 量x1和x2的综合变量。
主成分分析方法PPT课件
n
yij
n
2
yij yj
yj
i1 n
,s2j i1
n1
得标准化矩阵Z:
z1T Z= z2T =
znT
z11 z12 ┅ z1m z21 z22 ┅ z2m
┇┇┇ ┇
zn1 zn2 ┅ znm
一、主成分分析的基本原理
假定有n个样本，每个样本共有m个变量， 构成一个n×m阶的数据矩阵(标准化后的 数据)
j1
③ 计算主成分贡献率及累计贡献率
▲贡献率:
i
m
k
k 1
(i 1, 2, , m)
▲累计贡献率:
i
k
k 1
m
k
k 1
(i 1, 2, , m )
一般取累计贡献率达85—95%的特征值 1,2, ,p
所对应的第一、第二、…、第p（p≤m）个主成分。
（三）确定主成分
1.主成分表达式：
F i e i 1 X 1 e i2 X 2 e i m X mi 1p
胸围x2 69.5 77.0 78.5 87.5 74.5 74.5 76.5 81.5 74.5 79.0
体重x3 38.5 55.5 50.8 65.5 49.0 45.5 51.0 59.5 43.5 53.5
Matlab程序
%cwfac.m function result=cwfac(vector); fprintf('相关系数矩阵:\n') std=corrcoef(vector) %计算相关系数矩阵 fprintf('特征向量(vec)及特征值(val)：\n') [vec,val]=eig(std) %求特征值(val)及特征向量(vec) newval=diag(val) ; [y,i]=sort(newval) ; %对特征根进行排序，y为排序结果，i为索
主成分分析法例子剖析-PPT
…… zm是与z1，z2，……，zm－1都不相关的x1，x2，…xP， 的所有线 性组合中方差最大者。 则新变量指标z1，z2，…，zm分别称为原变量指标x1，x2，…，xP 的第一，第二，…，第m主成分。
从以上的分析可以看出，主成分分析的 实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的载荷 lij （ i=1，2，…，m； j=1，2 ，…，p）。
分z2代表了人均资源量。
③第三主成分z3，与x8呈显出的正相关程度 最高，其次是x6，而与x7呈负相关，因此可 以认为第三主成分在一定程度上代表了农业 经济结构。
显然，用三个主成分z1、z2、z3代替原来9个变量（x1， x2，…，x9），描述农业生态经济系统，可以使问题更进
一步简化、明了。
rij
n
(xki xi )(xkj x j )
k 1
n
n
(xki xi )2 (xkj x j )2
k 1
k 1
（4）
（二）计算特征值与特征向量：
① 解特征方程 I R 0 ，求出特征值，并 使其按大小顺序排列 ；
1 2 , p 0
② 分别求出对应于特征值 i的特征向量
大家好
1
一、主成分分析的基本原理
❖ 假定有n个样本，每个样本共有p个变量， 构成一个n×p阶的数据矩阵
x11 x12 x1 p
X
x21
x22
x2
p
xn1
xn 2
xnp
（1）
❖降维处理！！！
当p较大时，在p维空间中考察问题比较麻烦。 降维是用较少的几个综合指标代替原来较多 的变量指标，而且使这些较少的综合指标既 能尽量多地反映原来较多变量指标所反映的 信息，同时它们之间又是彼此独立的。
从以上的分析可以看出，主成分分析的 实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的载荷 lij （ i=1，2，…，m； j=1，2 ，…，p）。
分z2代表了人均资源量。
③第三主成分z3，与x8呈显出的正相关程度 最高，其次是x6，而与x7呈负相关，因此可 以认为第三主成分在一定程度上代表了农业 经济结构。
显然，用三个主成分z1、z2、z3代替原来9个变量（x1， x2，…，x9），描述农业生态经济系统，可以使问题更进
一步简化、明了。
rij
n
(xki xi )(xkj x j )
k 1
n
n
(xki xi )2 (xkj x j )2
k 1
k 1
（4）
（二）计算特征值与特征向量：
① 解特征方程 I R 0 ，求出特征值，并 使其按大小顺序排列 ；
1 2 , p 0
② 分别求出对应于特征值 i的特征向量
大家好
1
一、主成分分析的基本原理
❖ 假定有n个样本，每个样本共有p个变量， 构成一个n×p阶的数据矩阵
x11 x12 x1 p
X
x21
x22
x2
p
xn1
xn 2
xnp
（1）
❖降维处理！！！
当p较大时，在p维空间中考察问题比较麻烦。 降维是用较少的几个综合指标代替原来较多 的变量指标，而且使这些较少的综合指标既 能尽量多地反映原来较多变量指标所反映的 信息，同时它们之间又是彼此独立的。
系统工程主成分分析PPT课件
详细描述
在用户行为分析中，主成分分析可以帮助我们深入了解 用户的消费习惯、偏好和行为模式。通过对用户行为数 据的分析，我们可以提取出用户行为的主成分，从而更 好地理解用户的真实需求和意图，优化产品设计和服务 提供。同时，通过用户行为分析，还可以发现潜在的市 场机会和用户群体，为企业制定更有效的市场策略提供 支持。
稳健性
对于异常值或丢失的数据， 主成分分析通常具有较好的 稳健性，能够减少这些异常 值对分析结果的影响。
局限性
依赖初始变量
主成分分析的结果在很大程度上依赖于初始变量的选择和 它们的测量。如果变量的测量或定义不准确，可能会导致 主成分分析的结果不准确。
对非线性关系的处理
主成分分析主要关注线性关系，对于非线性关系的处理可 能不够理想。
主成分分析旨在减少数据的维度，同 时保留数据中的主要信息，以便更好 地理解和分析数据。
主成分分析的原理
01
主成分分析基于数据的方差和协方差关系，通过正交变换将原 始变量转换为彼此独立的主成分。
02
主成分的确定基于方差的大小，方差越大，对应的主成分包含
的信息越多。
主成分分析能够有效地减少数据的维度，同时保留数据中的主
谢谢观看
应用领域拓展
复杂系统分析
将系统工程主成分分析拓展到更广泛的领域，如能源、交通、环 境等复杂系统分析，为解决实际问题提供有力支持。
跨学科应用
加强与其他学科领域的交叉融合，将系统工程主成分分析应用到生 物、医学、经济、社会等学科领域。
智能化决策支持
利用系统工程主成分分析提供的数据分析和特征提取能力，为智能 化决策提供科学依据和支撑。
03
要信息，使得数据的处理和分析更加简便。
主成分分析的应用场景
《主成分分析》幻灯片PPT
PCA的实质——简化数据
用尽可能少的变量〔主成分〕反映原始数据中尽 可能多的信息，以简化数据，突出主要矛盾。
反映原始数据特征的指标：方差-离散度 主成分：原始变量的最优加权线性组合 最优加权：
第一主成分：寻找原始数据的一个线性组合，使 之具有最大方差〔数据离散度最大的方向〕
第二主成分：寻找原始数据的一个线性组合，使 之具有次大方差，且与第一主成分无关
12.00
14.00
16.00
run100m
18.00
20.00
二、PCA的模型与算法
设:x为标准化变量, 原始数据阵 X s [x 1 ,x 2 , x p ] PCA目标：找到原始数据方差最大的线性组合
❖设：线性组合系数为p×1=[1, 2, … p]T
❖即:要找一个 使z=Xs= 1x1+ 2x2 +…+ pxp具有
What does PCA do?
Original data matrix, say n by p 正交旋转
New data matrix, say n by q, with q < p：
例：研究55个国家运发动径赛 能力，用8项径赛成绩
经PCA得到新数据阵： z55×2：选取2个主成分， 其中第一主成分表示综合
0.0
1
第一主成分-1.0包0 含的信0.0息0 量显然1.00
-21..000
售 电 量
Z2
大于第二主成分，因而忽略s 第
二主成分信息损失不大 -2.0
-2
-1
Ma Xin, North China Electric Power University
0
1
2
3
spss主成分分析(PCA)PPT课件
0.924 u30.383
0.000
zf
26
（３）主成分：
F 10 .38 x 1 3 0 .92 x 24
F2 x3 F 30.92x1 40.38x23
（４）各主成分的贡献率及累计贡献率： 第一主成分贡献率： 5.8/35 (.8 320.1)7 0.72875 第二主成分贡献率： 2/5 (.8 3 20.1)7 0.25 第三主成分贡献率：0.1/75 (.8 320.1)7 0.02125
zf
23
（二） 第二主成分
coF 1,v F 2)(0 F 2 u 1X 2 1 u p 2 X p
F 2 u 1 X 2 1 u 2 X 2 2 u p 2 X p
在约束条件 下，寻找第二主成分
zf
24
例：设 x(x1,x2,x3)' 的协方差矩阵为：
1 2 0
2
5
0
当分析中所选择的变量具有不同的量纲，变量水平差异 很大，应该选择基于相关系数矩阵的主成分分析。 2、如何确定主成分个数？ 主成分分析的目的是简化变量，一般情况下主成分的个数 应该小于原始变量的个数。关于保留几个主成分，应该 权衡主成分个数和保留的信息。
zf
20
5.3 总体主成分的求解及其性质
❖ 主成分分析的目标：
U为旋转变换正 矩交 阵矩 ，阵 它， 是即有 U U 1,U U I
zf
16
❖ 旋转变换的目的：为了使得n个样品点在Fl 轴方向上的离散程度最大，即Fl的方差最大。
❖ (变量Fl代表了原始数据的绝大部分信息，在 研究某问题时，即使不考虑变量F2也无损大 局)。经过上述旋转变换原始数据的大部分 信息集中到Fl轴上，对数据中包含的信息起 到了浓缩作用。
主成分分析方法PPT课件
X
x21
x22
x2
p
xn1
xn 2
xnp
❖ 当p较大时，在p维空间中考察问题比较麻烦。 为了克服这一困难，就需要进行降维处理. 要求：较少的几个综合指标尽量多地反映原来较 多变量指标所反映的信息，同时它们之间又是彼 此独立的
例，成绩数据
❖ 100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
p
lk2j 1, (k 1,2,, m)
j 1
Rlk lk (R E)lk 0
计算主成分贡献率及累计贡献率
▲贡献率:
k
p
i
(k 1,2,, p)
i 1
▲累计贡献率:
k
p
j1 j / i1 i
一般取累计贡献率达85—95%的特征值 1, 2 ,, m 所对应的第一、第二、…、第m（m≤p）个主成分
6
6
样方
1
物种X1 1
物种X2 5
2 3 4 5 6 总和 2 0 2 -4 -1 0 2 1 0 -4 -4 0
种X2
X2
12
10
8
6
4
2
0
0
1
2
3
4
5
6
7
种X1
6 5 4 3 2 1 0 -5 -4 -3 -2 -1-1 0 1 2 3 4 5 6 -2 -3 -4 -5
X1
中心化后的原始数据矩阵
X
1 5
2 2
0 1
2 0
4 4
1 4
❖ 把坐标轴X1、 X2刚性地旋转 一个角度，得
到图中新坐标
轴Y1和Y2
X2
6
第九章 主成分分析PPT课件
➢ 因而，人们希望对这些变量加以“改造”，用少数的互 不相关的新变量反映原始变量所提供的绝大部分信息， 通过对新变量的分析解决问题。
前言
➢ 主成分分析是把各变量之间互相关联的复 杂关系进行简化分析的方法。
➢ 在多指标的数据分析中，压缩指标个数的 讨论成为实际工作者关心的问题之一。
➢ 主成分分析就是将多个指标转化为少数几 个综合指标的一种常用的统计方法
5维空间在平面上的投影
x2 y2
x1
x3
y1 x4
x5
y1 =l11x1 +l21x2 +…+l51x5 y2 =l21x1 +l22x2 +…+l52x5
x2
y2
x1
x3 y1
x4为Z，标准化后的变量记为X。作标准化变换：
z j
1 n
n
zkj
k 1
xkj
zkj sj
➢ yl，y2除了可以对包含在xl，x2中的信息起着 浓缩作用之外，还具有不相关（图形中表 现为正交）的性质，这就使得在研究复杂 的问题时避免了信息重叠所带来的虚假性。 二维平面上的个点的方差大部分都归结在 yl 轴上，而y2轴上的方差很小。 yl 和 y2 称为 原始变量xl和x2的综合变量。 y 简化了系统 结构，抓住了主要矛盾。
➢ 主成分分析能起到既减少指标个数，又不影响所要达 到的统计分析的目的。
➢ 要注意的是，主成分分析方法往往是一种 手段，它要与其它方法结合起来使用。
➢ 常与回归分析、因子分析、聚类分析结合 在一起使用
问题的提出
设在一个问题中，有n个个体，对每一个个体测定了p个指 标，其观察值组成了一个矩阵
x11 x12 ... x1p
前言
➢ 主成分分析是把各变量之间互相关联的复 杂关系进行简化分析的方法。
➢ 在多指标的数据分析中，压缩指标个数的 讨论成为实际工作者关心的问题之一。
➢ 主成分分析就是将多个指标转化为少数几 个综合指标的一种常用的统计方法
5维空间在平面上的投影
x2 y2
x1
x3
y1 x4
x5
y1 =l11x1 +l21x2 +…+l51x5 y2 =l21x1 +l22x2 +…+l52x5
x2
y2
x1
x3 y1
x4为Z，标准化后的变量记为X。作标准化变换：
z j
1 n
n
zkj
k 1
xkj
zkj sj
➢ yl，y2除了可以对包含在xl，x2中的信息起着 浓缩作用之外，还具有不相关（图形中表 现为正交）的性质，这就使得在研究复杂 的问题时避免了信息重叠所带来的虚假性。 二维平面上的个点的方差大部分都归结在 yl 轴上，而y2轴上的方差很小。 yl 和 y2 称为 原始变量xl和x2的综合变量。 y 简化了系统 结构，抓住了主要矛盾。
➢ 主成分分析能起到既减少指标个数，又不影响所要达 到的统计分析的目的。
➢ 要注意的是，主成分分析方法往往是一种 手段，它要与其它方法结合起来使用。
➢ 常与回归分析、因子分析、聚类分析结合 在一起使用
问题的提出
设在一个问题中，有n个个体，对每一个个体测定了p个指 标，其观察值组成了一个矩阵
x11 x12 ... x1p
主成分分析PPT课件
分信息集中到Fl轴上，对数据中包含的信息起 到了浓缩作用。
Fl，F2除了可以对包含在Xl，X2中的信息起着浓 缩作用之外，还具有不相关的性质，这就使得在
研究复杂的问题时避免了信息重叠所带来的虚假
性。二维平面上的个点的方差大部分都归结在Fl 轴上，而F2轴上的方差很小。Fl和F2称为原始变量 x1和x2的综合变量。F简化了系统结构，抓住了主 要矛盾。
•• •
•• •
•
x 1
释
•
••
• •
•
上面的四张图中，哪一种有更高的 精度？原始变量的信息损失最少？
显然是图3
旋转变换的目的是为了使得n个样品点在
Fl轴方向上的离散程度最大，即Fl的方差最大。 变量Fl代表了原始数据的绝大 部分信息，在 研究某经济问题时，即使不考虑变量F2也无 损大局。经过上述旋转变换原始数据的大部
F1 u11X1 u21X2 up1X p F2 u12X1 u22X2 up2X p
Fp u1p X1 u2p X2 uppX p
写为矩阵形式：
FU X
u11 u12 u1p
U(u1,,up)u21
u22
u2p
up1 up2 upp
X (X 1 ,X 2 , ,X p )
在进行主成分分析后，斯通竟以97.4％的 精度，用三新变量就取代了原17个变量。根 据经济学知识，斯通给这三个新变量分别命 名为总收入F1、总收入变化率F2和经济发展 或衰退的趋势F3。更有意思的是，这三个变 量其实都是可以直接测量的。斯通将他得到 的主成分与实际测量的总收入I、总收入变化 率I以及时间t因素做相关分析，得到下表：
F1
F2
F3
i
i
t
Fl，F2除了可以对包含在Xl，X2中的信息起着浓 缩作用之外，还具有不相关的性质，这就使得在
研究复杂的问题时避免了信息重叠所带来的虚假
性。二维平面上的个点的方差大部分都归结在Fl 轴上，而F2轴上的方差很小。Fl和F2称为原始变量 x1和x2的综合变量。F简化了系统结构，抓住了主 要矛盾。
•• •
•• •
•
x 1
释
•
••
• •
•
上面的四张图中，哪一种有更高的 精度？原始变量的信息损失最少？
显然是图3
旋转变换的目的是为了使得n个样品点在
Fl轴方向上的离散程度最大，即Fl的方差最大。 变量Fl代表了原始数据的绝大 部分信息，在 研究某经济问题时，即使不考虑变量F2也无 损大局。经过上述旋转变换原始数据的大部
F1 u11X1 u21X2 up1X p F2 u12X1 u22X2 up2X p
Fp u1p X1 u2p X2 uppX p
写为矩阵形式：
FU X
u11 u12 u1p
U(u1,,up)u21
u22
u2p
up1 up2 upp
X (X 1 ,X 2 , ,X p )
在进行主成分分析后，斯通竟以97.4％的 精度，用三新变量就取代了原17个变量。根 据经济学知识，斯通给这三个新变量分别命 名为总收入F1、总收入变化率F2和经济发展 或衰退的趋势F3。更有意思的是，这三个变 量其实都是可以直接测量的。斯通将他得到 的主成分与实际测量的总收入I、总收入变化 率I以及时间t因素做相关分析，得到下表：
F1
F2
F3
i
i
t
主成分分析完整ppt课件
的系数向量。对于多维的情况，上面的结论依然成立。
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成
的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成
的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；
【2024版】主成分分析PPT课件
协方差矩阵的对角线上的元素之和等于特征根 之和。
三、精度分析
1）贡献率：第i个主成分的方差在全部方差中所占
比重
i
p
i 1
i
，称为贡献率
，反映了原来P个指标多大
的信息，有多大的综合能力 。
2）累积贡献率：前k个主成分共有多大的综合能力， 用这k个主成分的方差和在全部方差中所占比重
k
p
i i
i1
主成分分析试图在力保数据信息丢失最少 的原则下，对这种多变量的截面数据表进行 最佳综合简化，也就是说，对高维变量空间 进行降维处理。
很显然，识辨系统在一个低维空间要比 在一个高维空间容易得多。
在力求数据信息丢失最少的原则下，对高维的变 量空间降维，即研究指标体系的少数几个线性组合， 并且这几个线性组合所构成的综合指标将尽可能多 地保留原来指标变异方面的信息。这些综合指标就 称为主成分。要讨论的问题是：
四、原始变量与主成分之间的相关系数
Fj u1 j x1 u2 j x2 upj xp j 1,2,, m, m p
F UX UF X
x1 u11 u12 L u1p F1
x2
M
u21 M
u22 M
L
u2
p
F2
M M
x
p
u p1
up2
L
u
pp
Fp
Cov(xi , Fj ) Cov(ui1F1 ui2F2 L uipFp , Fj ) uij j
u11 u12 u1p
U
(u1
,,
up
)
u21
u22
u2
p
u p1
up2
u
pp
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主成分分析
•§1 主成分分析的基本思想与理论 •§2 主成分分析的几何意义 •§3 总体主成分及其性质 •§4 样本主成分的导出 •§5 有关问题的讨论 •§6 主成分分析步骤及框图 •§7 主成分分析的上机实现
2020/5/11
11
主成分分析
主成分分析（principal components analysis）也称主分量 分析，是由霍特林（Hotelling）于1933年首先提出的。主成 分分析是利用降维的思想，在损失很少信息的前提下把多个 指标转化为几个综合指标的多元统计方法。通常把转化生成 的综合指标称之为主成分，其中每个主成分都是原始变量的 线性组合，且各个主成分之间互不相关，这就使得主成分比 原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更 容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时 使问题得到简化，提高分析效率。本章主要介绍主成分分析 的基本理论和方法、主成分分析的计算步骤及主成分分析的 上机实现。
2020/5/11
22
目录 上页 下页 返回 结束
§1 主成分分析的基本思想与理论 §1.1 主成分分析的基本思想 §1.2 主成分分析的基本理论
2020/5/11
33
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
在对某一事物进行实证研究中，为了更全面、准确地 反映出事物的特征及其发展规律，人们往往要考虑与其有关 系的多个指标，这些指标在多元统计中也称为变量。这样就 产生了如下问题：一方面人们为了避免遗漏重要的信息而考 虑尽可能多的指标，而另一方面随着考虑指标的增多增加了 问题的复杂性，同时由于各指标均是对同一事物的反映，不 可避免地造成信息的大量重叠，这种信息的重叠有时甚至会 抹杀事物的真正特征与内在规律。基于上述问题，人们就希 望在定量研究中涉及的变量较少，而得到的信息量又较多。 主成分分析正是研究如何通过原来变量的少数几个线性组合 来解释原来变量绝大多数信息的一种多元统计方法。
2020/5/11
44
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
既然研究某一问题涉及的众多变量之间有一定的相关性， 就必然存在着起支配作用的共同因素，根据这一点，通过 对原始变量相关矩阵或协方差矩阵内部结构关系的研究， 利用原始变量的线性组合形成几个综合指标（主成分）， 在保留原始变量主要信息的前提下起到降维与简化问题的 作用，使得在研究复杂问题时更容易抓住主要矛盾。一般 地说，利用主成分分析得到的主成分与原始变量之间有如 下基本关系：
变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。
2020/5/11
66
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
设对某一事物的研究涉及个 p指标，分别用 X1,X2,,XP表 示，这个 p指标构成的 p维随机向量为 X (X 1,X 2, ,X p)。'设随
机向量 X的均值为 μ，协方差矩阵为 Σ。
对 X进行线性变换，可以形成新的综合变量，用 Y表示， 也就是说，新的综合变量可以由原来的变量线性表量的线性组合；
2.主成分的数目大大少于原始变量的数目
2020/5/11
55
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
3.主成分保留了原始变量绝大多数信息
4.各主成分之间互不相关
通过主成分分析，可以从事物之间错综复杂的 关系中找出一些主要成分，从而能有效利用大量 统计数据进行定量分析，揭示变量之间的内在关 系，得到对事物特征及其发展规律的一些深层次 的启发，把研究工作引向深入。
vaYir) (vauri'X ()= ui 'ui
而对任给的常数 c，有
vacru(i'X)cui'uicc 2 ui'ui
2020/5/11
88
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
因此对 u i不加限制时，可使 var(Yi )任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
Y1 u11X1 u12X2 u1p Xp Y2 u21X1 u22X2 u2p Xp Yp up1X1 up2X2 uppXp
(5.1)
2020/5/11
77
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统Y计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 Yi 的ui方'X差尽可能大且各 之间Y i 互相独立，由 于
2020/5/11
99
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
基于以上三条原则决定的综合变量 Y1,Y2,,YP分别 称为原始变量的第一、第二、…、第 p个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2020/5/11
1100
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量 X (X 1,X 2, ,X p)进' 行分析，而是先对向量 X进行线
性变换，形成少数几个新的综合变量 Y1,Y2,,YP，使得各综合
1．ui'ui 1，即：ui21ui22ui2p1 (i1,2,...p.)。 2．Yi与Y j相互无关(i j; i, j1,2,...p.)。 3.Y 1是 X1,X2,,XP的一切满足原则1的线性组合中方差最
大者；Y 2 是与 Y 1 不相关的 X1,X2,,XP所有线性组合中方差最 大者；…, Y p 是与 Y1,Y2,,YP1都不相关的 X1,X2,,XP的所有 线性组合中方差最大者。
•§1 主成分分析的基本思想与理论 •§2 主成分分析的几何意义 •§3 总体主成分及其性质 •§4 样本主成分的导出 •§5 有关问题的讨论 •§6 主成分分析步骤及框图 •§7 主成分分析的上机实现
2020/5/11
11
主成分分析
主成分分析（principal components analysis）也称主分量 分析，是由霍特林（Hotelling）于1933年首先提出的。主成 分分析是利用降维的思想，在损失很少信息的前提下把多个 指标转化为几个综合指标的多元统计方法。通常把转化生成 的综合指标称之为主成分，其中每个主成分都是原始变量的 线性组合，且各个主成分之间互不相关，这就使得主成分比 原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更 容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时 使问题得到简化，提高分析效率。本章主要介绍主成分分析 的基本理论和方法、主成分分析的计算步骤及主成分分析的 上机实现。
2020/5/11
22
目录 上页 下页 返回 结束
§1 主成分分析的基本思想与理论 §1.1 主成分分析的基本思想 §1.2 主成分分析的基本理论
2020/5/11
33
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
在对某一事物进行实证研究中，为了更全面、准确地 反映出事物的特征及其发展规律，人们往往要考虑与其有关 系的多个指标，这些指标在多元统计中也称为变量。这样就 产生了如下问题：一方面人们为了避免遗漏重要的信息而考 虑尽可能多的指标，而另一方面随着考虑指标的增多增加了 问题的复杂性，同时由于各指标均是对同一事物的反映，不 可避免地造成信息的大量重叠，这种信息的重叠有时甚至会 抹杀事物的真正特征与内在规律。基于上述问题，人们就希 望在定量研究中涉及的变量较少，而得到的信息量又较多。 主成分分析正是研究如何通过原来变量的少数几个线性组合 来解释原来变量绝大多数信息的一种多元统计方法。
2020/5/11
44
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
既然研究某一问题涉及的众多变量之间有一定的相关性， 就必然存在着起支配作用的共同因素，根据这一点，通过 对原始变量相关矩阵或协方差矩阵内部结构关系的研究， 利用原始变量的线性组合形成几个综合指标（主成分）， 在保留原始变量主要信息的前提下起到降维与简化问题的 作用，使得在研究复杂问题时更容易抓住主要矛盾。一般 地说，利用主成分分析得到的主成分与原始变量之间有如 下基本关系：
变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。
2020/5/11
66
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
设对某一事物的研究涉及个 p指标，分别用 X1,X2,,XP表 示，这个 p指标构成的 p维随机向量为 X (X 1,X 2, ,X p)。'设随
机向量 X的均值为 μ，协方差矩阵为 Σ。
对 X进行线性变换，可以形成新的综合变量，用 Y表示， 也就是说，新的综合变量可以由原来的变量线性表量的线性组合；
2.主成分的数目大大少于原始变量的数目
2020/5/11
55
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
3.主成分保留了原始变量绝大多数信息
4.各主成分之间互不相关
通过主成分分析，可以从事物之间错综复杂的 关系中找出一些主要成分，从而能有效利用大量 统计数据进行定量分析，揭示变量之间的内在关 系，得到对事物特征及其发展规律的一些深层次 的启发，把研究工作引向深入。
vaYir) (vauri'X ()= ui 'ui
而对任给的常数 c，有
vacru(i'X)cui'uicc 2 ui'ui
2020/5/11
88
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
因此对 u i不加限制时，可使 var(Yi )任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
Y1 u11X1 u12X2 u1p Xp Y2 u21X1 u22X2 u2p Xp Yp up1X1 up2X2 uppXp
(5.1)
2020/5/11
77
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统Y计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 Yi 的ui方'X差尽可能大且各 之间Y i 互相独立，由 于
2020/5/11
99
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
基于以上三条原则决定的综合变量 Y1,Y2,,YP分别 称为原始变量的第一、第二、…、第 p个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2020/5/11
1100
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量 X (X 1,X 2, ,X p)进' 行分析，而是先对向量 X进行线
性变换，形成少数几个新的综合变量 Y1,Y2,,YP，使得各综合
1．ui'ui 1，即：ui21ui22ui2p1 (i1,2,...p.)。 2．Yi与Y j相互无关(i j; i, j1,2,...p.)。 3.Y 1是 X1,X2,,XP的一切满足原则1的线性组合中方差最
大者；Y 2 是与 Y 1 不相关的 X1,X2,,XP所有线性组合中方差最 大者；…, Y p 是与 Y1,Y2,,YP1都不相关的 X1,X2,,XP的所有 线性组合中方差最大者。