主成分分析PPTword版本
合集下载
主成分分析原理介绍PPT课件
F1
F2
F3
I
⊿I
t
F1
1
F2
0
1
F3
0
0
1
I 0.995 -0.041 0.057 1
⊿I -0.056 0.948 -0.124 -0.102 1
t -0.369 -0.282 -0.836 -0.414 -0.112 1
1. 主成分分析的基本原理
➢ 问题提出：为了全面系统的分析和研究问题，
➢综合指标的选取
在选取综合指标时，最简单的形式就是取 原来变量的线性组合，适当调整组合系数， 使新的变量之间相互独立且代表性最好。
➢主成分分析的几何解释
为了方便，我们在二维空间中讨论主成 分的几何意义。 设有n个样品，每个样品有 两个观测变量xl和x2，在由变量xl和x2 所确 定的二维平面中，n个样本点所散布的情况 如椭圆状。
z1 l11x1 l12x2 l1p xp
z2 l21x1 l22x2 l2p xp
zm lm1x1 lm2 x2 lmpxp
z1，z2，…，zm分别称为原变量指标x1，x2，…， xP的第一，第二，…，第m主成分。
➢推广到p维空间：
由此可见，主成分分析的主要任务就是确定 原变量xj（j=1，2，…，p）在诸主成分zi（i=1， 2，...，m）上的系数lij。
➢系数lij的确定原则：
主成分分析法PPT课件
旋转成份矩阵a
成份
1
2
景区安全 门票价格 交通便捷程度 导游专业解说 游览指引牌 景观解说牌 景观独特性 娱乐项目 餐饮 景区购物 公共卫生设施 公共休息设施 景区卫生状况 工作人员态度 游客投诉服务 居民友好程度 景区环境保护 景区整体环境 总体感觉
.213 .810 .868 .386 .621 .766 .591 .929 .903 .951 .842 .866 .741 .739 .851 .574 .642 .614 .546
.415 -.136
.564 -.037
主成分因子载荷矩阵：
载荷值越大,说明此变量对主成分的解释越多,及 贡献越大；越大越好.
第一主成分的特征值
主成分的综合模型：
F w 1 X 1 w 2 X 2 w 3 X 3 w n X n
k
Wi aij Ej
j1
E j
1 1 2
两个公式之意：F中X1的综合系数w1=F1的x1的系数
5
.964
8.034
85.644
6
.573
4.778
90.422
7
.437
3.645
94.066
8
.319
2.662
96.729
9
.134
1.120
97.848
10
主成分分析完整版ppt课件
问题的答案是：X的协方差矩阵S 的第二大特征根 2
所对应的单位特征向量即为
的方差。
a12, a22。并且
就2 是F2
11
F1 a11(x1 x1) a21(x2 x2 ) F2 a12 (x1 x1) a22 (x2 x2 )
其中，aij称为因子载荷量 因子载荷量：主成分与变量间的相关系数， 即：因子载荷量的大小和它前面的正负号直接反映了 主成分与相应变量之间关系的密切程度和方向。从而可以说 明各主成分的意义
(a12 , a22 , a32 ) (0.81,0.33,0.48)
3 1.56
(a13, a23, a33 ) (0.03,0.85,0.53)
15
4. 由此我们可以写出三个主成分的表达式：
F1 0.56(x1 161 .2) 0.42(x2 77.3) 0.71(x3 51.2) F2 0.81(x1 161 .2) 0.33(x2 77.3) 0.48(x3 51.2) F3 0.03(x1 161 .2) 0.85(x2 77.3) 0.53(x3 51.2)
2. 求解协方差矩阵的特征方程 S I 0
Βιβλιοθήκη Baidu
46.67 17.12 30.00 17.12 21.11 32.58 0 30.00 32.58 55.53
3.解得三个特征值和对应的单位特征向量：
《主成分分析PCA》课件
1 PCA用于降维，而线
性回归用于预测
PCA帮助我们理解数据的 本质，而线性回归则是用 来预测未知的结果。
2 PCA通过寻找最大方
差方向来解释数据差 异
PCA通过找到能够解释数 据最大方差的方向来降低 数据的维度。
3 线性回归通过拟合一
个线性函数来解释数 据
线性回归则通过拟合一个 线性函数来解释数据之间 的关系。
到协方差矩阵。
3
计算协方差矩阵的特征值和特征
Fra Baidu bibliotek
向量
通过对协方差矩阵进行特征值分解，得
选择前n个最大的特征值对应的 特征向量，构成特征向量矩阵
4
到特征值和特征向量。
根据特征值的大小，选取对应的特征向
量来构成特征向量矩阵。
5
将数据投影到特征向量上得到降 维后的数据
将数据乘以特征向量矩阵，得到在新的 低维空间中投影的数据。
《主成分分析PCA》PPT课件
# 主成分分析PCA ## 介绍 - 主成分分析（PCA）是一种常见的数据降维方法 - 通过将高维数据映射到低维空间，以发现数据中的主要变化 ...
PCA步骤
1
数据中心化
将数据减去数据平均值，以使数据中心
计算数据协方差矩阵
2
位于原点。
计算数据在不同维度之间的相关性，得
总结
《主成分分析》课件
标准化数据
通过Z-score标准化数据，去除不同变 量的量纲影响。
提取主成分
根据协方差矩阵的特征值和特征向量， 提取主成分。
如何选择主成分数量
特征值
根据特征值大于1的原则，选择主成分的数量。
累计贡献率
当累计贡献率到达一定阈值后，选择主成分数量。
图形分析
通过屏幕图和贡献率图来选择主成分数量。
主成分分析的优点和缺点
作用
主成分分析主要用于多元分析，包括目标降维、 缩减变量等。它能够快速给出数据的基本特征， 不需要事先对数据的形式和类型作出假设。
主成分分析的步骤
1
计算协方差矩阵
2
计算不同变量之间的协方差矩阵，得
到数据的总体方差及各变量之间的联
系。
3
解释主成分
4
利用主成分对原数据进行解释，得到 主成分的贡献率和重要性。
投资组合优化
通过主成分分析，找到不同投 资标的之间的关系，优化投资 组合的效益。
主成分分析在市场调研中的应用
1
偏好分析
通过主成分分析，找到消费者的特征
产品定位
2
和偏好，精准制定相应的市场策略。
通过主成分分析，找到消费者对产品
的不同评价因素，合理确定产品的定
位。
3
竞品分析
通过主成分分析，评估竞争对手的优 势和劣势，为企业提供相应的决策依 据。
spss主成分分析(PCA)PPT课件
zf
27
第一和第二主成分的累计贡献率：
(5 .8 3 2 )/5 (.8 3 2 0 .1)7 0 .97875
由此可将以前三元的问题降维为两维问题．第一和第 二主成分包含了以前变量的绝大部分信息９７.８７ ５％．
zf
28
从协方差矩阵出发求解主成分的步骤：
1、求解各观测变量 X l x 1 l ， x 2 l ， ， x p( l 的l 协1 ， 2 方， 差， 矩n ) 阵。
F1
F2
•
•••
•••
• •
•
•••••••••••••••••••••••
• •
x1
•••
zf
14
平移、旋转坐标轴
x 2
F1
F
2
•
••••••••
••
••••••••••
••••
•••••••••
•
x 1
zf
15
❖ 根据旋转变换的公式：
yy12x1xc1soisnx2xs2cinos
y y1 2 cso in sc sio n sx x1 2 U x
zf
11
❖ 如果我们将xl 轴和x2轴先平移，再同时按逆 时针方向旋转角度，得到新坐标轴Fl和F2。 Fl和F2是两个新变量。
zf
12
x2
主成分分析PPT课件
如果第一主成分的信息不够，则需要寻找第二主
成分。
（二） 第二主成分
在约束条件 cov( F1, F2 ) 0 下，寻找第二主成分 F2 u12 X1 u p2 X p
因为 cov( F1, F2 ) cov(u1x,u2 x) u2u1 1u2u1 0
k
p
i i
i1
i1
来描述，称为累积贡献率。
我们进行主成分分析的目的之一是希望用尽可能 少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指 标。到底应该选择多少个主成分，在实际工作中，主 成分个数的多少取决于能够反映原来变量80%以上的信 息量为依据，即当累积贡献率≥80%时的主成分的个数 就足够了。最常见的情况是主成分为2到3个。
所以 u2u1 0
则，对p维向量u2 ，有
V
(F2 )
u2 u2
ip1i u2u i ui u 2
p
i 1
i
(u2u
i
)2
2
p
(u2ui
)2
i2
2 ip1u2uiuiu2 2u2UUu2 2u2u2 2
所以如果取线性变换：F2 u12 X1 u22 X 2 u p2 X p 则 F2的方差次大。
主成分分析
•主成分分析 •主成分回归 •立体数据表的主成分分析
成分。
（二） 第二主成分
在约束条件 cov( F1, F2 ) 0 下，寻找第二主成分 F2 u12 X1 u p2 X p
因为 cov( F1, F2 ) cov(u1x,u2 x) u2u1 1u2u1 0
k
p
i i
i1
i1
来描述，称为累积贡献率。
我们进行主成分分析的目的之一是希望用尽可能 少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指 标。到底应该选择多少个主成分，在实际工作中，主 成分个数的多少取决于能够反映原来变量80%以上的信 息量为依据，即当累积贡献率≥80%时的主成分的个数 就足够了。最常见的情况是主成分为2到3个。
所以 u2u1 0
则，对p维向量u2 ，有
V
(F2 )
u2 u2
ip1i u2u i ui u 2
p
i 1
i
(u2u
i
)2
2
p
(u2ui
)2
i2
2 ip1u2uiuiu2 2u2UUu2 2u2u2 2
所以如果取线性变换：F2 u12 X1 u22 X 2 u p2 X p 则 F2的方差次大。
主成分分析
•主成分分析 •主成分回归 •立体数据表的主成分分析
主成分分析与因子分析法ppt课件
在各种线性组合中方差达到最大者。
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为 原始变量的第一主成分、第二主成分、…、第 p 主成分，
而且各成分方差在总方差中占的比重依次递减。在实际研究
工作中，仅挑选前几个方差较大的主成分，以达到简化系统
结构的目的。
24
24
三、主成分分析的计算步骤
25
10
这就需要我们在相关分析的基础上，采 用主成分分析法找到几个新的相互独立 的综合指标，达到既减少指标数量、又 能区分样本间差异的目的。
11
二、主成分分析的基本原理
12
（一）主成分分析的几何解释 （二）主成分分析的基本思想
13
（一）主成分分析的几何解释
例中数据点是六维的；即每个观测值是6维空 间中的一个点。希望把6维空间用低维空间表 示。
32
（二）因子分析法的模型
狭义的因子分析法常与主成分分析法在处理方法上有相类 似之处，都要对变量规格化，并找出原始变量规格化后的 相关矩阵。其主要不同点在于建立线性方程组时所考虑的 方法，因子分析是以回归方程的形式将变量表示成因子的 线性组合，而且要使因子数m小于原始变量维数p，从而简 化了模型结构。
其步骤为： 将原始数据标准化→求标准化数据的相关矩阵→求相
关矩阵的特征值和特征向量→计算方差贡献率与累计方差 贡献率→确定因子→因子旋转→用原始的线性组合求各因 子得分→求综合得分→得分排序
满足上述约束得到的合成变量Y1, Y2, …, Yp分别称为 原始变量的第一主成分、第二主成分、…、第 p 主成分，
而且各成分方差在总方差中占的比重依次递减。在实际研究
工作中，仅挑选前几个方差较大的主成分，以达到简化系统
结构的目的。
24
24
三、主成分分析的计算步骤
25
10
这就需要我们在相关分析的基础上，采 用主成分分析法找到几个新的相互独立 的综合指标，达到既减少指标数量、又 能区分样本间差异的目的。
11
二、主成分分析的基本原理
12
（一）主成分分析的几何解释 （二）主成分分析的基本思想
13
（一）主成分分析的几何解释
例中数据点是六维的；即每个观测值是6维空 间中的一个点。希望把6维空间用低维空间表 示。
32
（二）因子分析法的模型
狭义的因子分析法常与主成分分析法在处理方法上有相类 似之处，都要对变量规格化，并找出原始变量规格化后的 相关矩阵。其主要不同点在于建立线性方程组时所考虑的 方法，因子分析是以回归方程的形式将变量表示成因子的 线性组合，而且要使因子数m小于原始变量维数p，从而简 化了模型结构。
其步骤为： 将原始数据标准化→求标准化数据的相关矩阵→求相
关矩阵的特征值和特征向量→计算方差贡献率与累计方差 贡献率→确定因子→因子旋转→用原始的线性组合求各因 子得分→求综合得分→得分排序
主成分分析完整ppt课件
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
2021/6/12
44
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
既然研究某一问题涉及的众多变量之间有一定的相关性， 就必然存在着起支配作用的共同因素，根据这一点，通过 对原始变量相关矩阵或协方差矩阵内部结构关系的研究， 利用原始变量的线性组合形成几个综合指标（主成分）， 在保留原始变量主要信息的前提下起到降维与简化问题的 作用，使得在研究复杂问题时更容易抓住主要矛盾。一般 地说，利用主成分分析得到的主成分与原始变量之间有如 下基本关系：
2021/6/12
1100
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量X(X1,X2, ,Xp)进' 行分析，而是先对向量 X进行线
性变换，形成少数几个新的综合变量 Y1,Y2,,YP，使得各综合
《主成分分析法》课件
特征向量
表示主成分的方向，即数据在主成分上的投影方向。
方差解释率
• 方差解释率：表示主成分解释的原始变量的方差比例，用于 衡量主成分的重要程度。方差解释率越高，说明该主成分越 重要。
保留的主成分数目
• 保留的主成分数目：根据实际需 要和主成分的方差解释率来确定 保留的主成分数目。通常保留的 主成分数目应足够多，以便能够 解释原始变量的大部分方差，但 也不应过多，以免引入过多的人 为因素和计算复杂度。
计算特征值和特征向量
总结词
确定主成分的贡献度
详细描述
通过计算相关系数矩阵的特征值和特征向量，可以确定主成分的贡献度。特征值表示主 成分的方差，特征向量表示主成分的方向。特征值越大，对应的特征向量在解释总方差
中的贡献度越大。
确定主成分
总结词
选择重要主成分
详细描述
根据特征值的大小选择重要主成分。通常选 择特征值大于1的主成分，因为这些主成分 能够解释大部分的方差。选择的主成分数量 应满足解释总方差的累积贡献度达到一定要 求，如80%或90%。
详细描述
市场细分是主成分分析法在市场营销领域中的重要应 用。通过对市场数据进行主成分分析，可以提取出影 响市场需求的共同因素，进而将市场划分为不同的子 市场。这种分析方法有助于企业识别不同子市场的需 求特点、消费行为和竞争状况，为制定针对性的营销 策略提供依据。
表示主成分的方向，即数据在主成分上的投影方向。
方差解释率
• 方差解释率：表示主成分解释的原始变量的方差比例，用于 衡量主成分的重要程度。方差解释率越高，说明该主成分越 重要。
保留的主成分数目
• 保留的主成分数目：根据实际需 要和主成分的方差解释率来确定 保留的主成分数目。通常保留的 主成分数目应足够多，以便能够 解释原始变量的大部分方差，但 也不应过多，以免引入过多的人 为因素和计算复杂度。
计算特征值和特征向量
总结词
确定主成分的贡献度
详细描述
通过计算相关系数矩阵的特征值和特征向量，可以确定主成分的贡献度。特征值表示主 成分的方差，特征向量表示主成分的方向。特征值越大，对应的特征向量在解释总方差
中的贡献度越大。
确定主成分
总结词
选择重要主成分
详细描述
根据特征值的大小选择重要主成分。通常选 择特征值大于1的主成分，因为这些主成分 能够解释大部分的方差。选择的主成分数量 应满足解释总方差的累积贡献度达到一定要 求，如80%或90%。
详细描述
市场细分是主成分分析法在市场营销领域中的重要应 用。通过对市场数据进行主成分分析，可以提取出影 响市场需求的共同因素，进而将市场划分为不同的子 市场。这种分析方法有助于企业识别不同子市场的需 求特点、消费行为和竞争状况，为制定针对性的营销 策略提供依据。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
用观测变量xl 的方差和x2 的方差定量地表示。显然， 如果只考虑xl和x2 中的任何一个，那么包含在原始数 据中的信息将会有较大的损失。
平移、旋转坐标轴
主
成
•• • • •
分 分 析 的 几 何
••
•• •• •
•• •
• ••
•
• o• •
• ••
•
• •
•
•
•
• •••
解
••
释
将xl 轴和x2轴先平移，再同时按逆时针方向旋转角 度，得到新坐标轴Fl和F2，则
2
数学模型与几何解释
§2 数学模型与几何解释
假设实际问题中有p个指标，我们把这p个 指标看作p个随机变量，记为x1，x2，…，xp， 主成分分析就是要把这p个指标，转变为讨论p 个指标的线性组合的问题，这些新的指标y1， y2，…，yk(k≤p），
原则: 保留主要信息量的充分反映原指
标的信息，并且相互无关。这种由讨 论多个指标降为少数几个综合指标的 过程在数学上就叫做降维。
u1a2 1u1a2 0
所以 a2u1 0
于是，对任意的p维向量a2，有
p
V ( y2 ) a2a2 ia2uiuia2 i 1
所以当且仅当a1 u1 时， y1有最大的方差1．
y1称为第一主成分。 如果第一主成分的信息不够，则需要寻找 第二主成分。
（二） 第二主成分 在约束条件 cov( y1, y2 ) 0下，寻找第二主成分
y2 a12 x1 a p2 x p a2 x
因为 cov( y1, y2 ) cov(u1 x, a2 x)
经过上述旋转变换原始数据的大部分信息集中到 Fl轴上，对数据中包含的信息起到了浓缩作用。
平移、旋转坐标轴
x 2
F 1
主 成 分 分 析 的 几 何 解 释
F2 ••••
•••••
••••o••
••
•••o••••••••
•••
•••
•
x 1
yl，y2除了可以对包含在Xl，X2中的信息起着浓 缩作用之外，还具有不相关的性质，这就使得在 研究复杂的问题时避免了信息重叠所带来的虚假 性。
因此，人们会很自然地想到，能否在相关分析的 基础上，用较少的新变量代替原来较多的旧变量， 而且使这些较少的新变量尽可能多地保留原来变量 所反映的信息？
事实上，这种想法是可以实现的，主成分分析方 法就是综合处理这种问题的一种强有力的工具。
主成分分析是把原来多个变量划为少数几个综合 指标的一种统计分析方法。从数学角度来看，这是一 种降维处理技术。
2 1
Σx
21
12
2 2
p1 p2
1
p
2p
2 p
由于Σx为非负定的对称阵，所以存在正交阵U， 使得
UΣXU
1
0
0
p
其中1,…,p为Σx的特征根，不妨假设1…p。
U是由特征根相对应的特征向量所组成的正交阵：
u11 u12
i
U (u1,
,up
)
u21
u22
up1 up2
u1u1 u12i u22i
u
2 pi
1
(2) 主成分之间相互无关，即无重叠的信息。即
Co（v yi，yj） 0，i j，i, j 1, , p
(3) 主成分的方差依次递减，重要性依次递减，即
Va（r y1） Var( y2 ) Var( yp )
二维空间中主成分的几何意义：设有n个样品，每个 样品有两个观测变量xl和x2。在由变量xl和x2 所确定 的二维平面中，n个样本点所散布的情况如椭圆状。 由图可以看出这n个样本点无论是沿着xl 轴方向或x2 轴方向都具有较大的离散性，其离散的程度可以分别
0
0
0
p
其中i ,i 1.2. p 是A的特征根。
2、若上述矩阵的特征根所对应的单位特征向量
为
u1, ,up
u11 u12
令 U (u1,
,up
)
u21
u22
ቤተ መጻሕፍቲ ባይዱ
up1 up2
u1 p
u2 p
upp
则U是正交矩阵，即有
UU UU I
二、主成分的推导
（一） 第一主成分 设x的协方差阵为
主成分分析
目录
CONTENT
1 基本思想 2 数学模型与几何解释 3 主成分的推导及性质 4 主成分性质 5 样本的主成分 6 主成分分析计算步骤 7 主成分分析软件操作
1
基本思想
§1 基本思想
在研究中，多变量问题是经常会遇到的。变量太 多，无疑会增加分析问题的难度与复杂性，而且在 许多实际问题中，多个变量之间是具有一定的相关 关系的。
二维平面上的各点的方差大部分都归结在Fl轴 上，而F2轴上的方差很小。
yl和y2称为原始变量x1和x2的综合变量。F简化 了系统结构，抓住了主要矛盾。
3
主成分的推导及性质
§3 主成分的推导及性质
一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使
1 0 0
U
1AU
0
2
主成分分析通常的做法，是寻求原指标的 线性组合yi：
y1 u11 x1 u21 x2 up1 x p y2 u12 x1 u22 x2 up2 x p
y p u1 p x1 u2 p x2
满足如下的条件：
upp x p
(1) 每个主成分的系数平方和为1（否则其方差可 能为无穷大），即
1
D(
y1 )
a1a1
a1U
2
Ua1
p
1
a1 u1,u2 ,
,
up
2
p
p
ia1uiuia1 1 a1uiuia1
i 1
i 1
1a1UUa1 1a1a1 1
u1
u2
a1
p
up
当a1 u1时， y1 u11 x1 up1 x p，且
Var y1 u1xu1 1．
u1 p
u2 p
upp
ui u1i，u2i， ，upi i 1,2, , P
下面证明，由U的第一列元素所构成的原始变量的 线性组合有最大的方差。
设有P维单位向量 a1 a11, a21,
, a p1
y1 a11 x1 a21 x2 a p1 x p a1 x
平移、旋转坐标轴
x 2
F 1
主
F2
成
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
••• • • •
o • •••
• •• •
•• •
o•
• •
x 1
解
••
释
旋转变换的目的是为了使得n个样品点在Fl轴方向上 的离散程度最大，即yl的方差最大。
变量yl代表了原始数据的大部分信息，在研究某些 实际问题时，即使不考虑变量y2也无损大局。
平移、旋转坐标轴
主
成
•• • • •
分 分 析 的 几 何
••
•• •• •
•• •
• ••
•
• o• •
• ••
•
• •
•
•
•
• •••
解
••
释
将xl 轴和x2轴先平移，再同时按逆时针方向旋转角 度，得到新坐标轴Fl和F2，则
2
数学模型与几何解释
§2 数学模型与几何解释
假设实际问题中有p个指标，我们把这p个 指标看作p个随机变量，记为x1，x2，…，xp， 主成分分析就是要把这p个指标，转变为讨论p 个指标的线性组合的问题，这些新的指标y1， y2，…，yk(k≤p），
原则: 保留主要信息量的充分反映原指
标的信息，并且相互无关。这种由讨 论多个指标降为少数几个综合指标的 过程在数学上就叫做降维。
u1a2 1u1a2 0
所以 a2u1 0
于是，对任意的p维向量a2，有
p
V ( y2 ) a2a2 ia2uiuia2 i 1
所以当且仅当a1 u1 时， y1有最大的方差1．
y1称为第一主成分。 如果第一主成分的信息不够，则需要寻找 第二主成分。
（二） 第二主成分 在约束条件 cov( y1, y2 ) 0下，寻找第二主成分
y2 a12 x1 a p2 x p a2 x
因为 cov( y1, y2 ) cov(u1 x, a2 x)
经过上述旋转变换原始数据的大部分信息集中到 Fl轴上，对数据中包含的信息起到了浓缩作用。
平移、旋转坐标轴
x 2
F 1
主 成 分 分 析 的 几 何 解 释
F2 ••••
•••••
••••o••
••
•••o••••••••
•••
•••
•
x 1
yl，y2除了可以对包含在Xl，X2中的信息起着浓 缩作用之外，还具有不相关的性质，这就使得在 研究复杂的问题时避免了信息重叠所带来的虚假 性。
因此，人们会很自然地想到，能否在相关分析的 基础上，用较少的新变量代替原来较多的旧变量， 而且使这些较少的新变量尽可能多地保留原来变量 所反映的信息？
事实上，这种想法是可以实现的，主成分分析方 法就是综合处理这种问题的一种强有力的工具。
主成分分析是把原来多个变量划为少数几个综合 指标的一种统计分析方法。从数学角度来看，这是一 种降维处理技术。
2 1
Σx
21
12
2 2
p1 p2
1
p
2p
2 p
由于Σx为非负定的对称阵，所以存在正交阵U， 使得
UΣXU
1
0
0
p
其中1,…,p为Σx的特征根，不妨假设1…p。
U是由特征根相对应的特征向量所组成的正交阵：
u11 u12
i
U (u1,
,up
)
u21
u22
up1 up2
u1u1 u12i u22i
u
2 pi
1
(2) 主成分之间相互无关，即无重叠的信息。即
Co（v yi，yj） 0，i j，i, j 1, , p
(3) 主成分的方差依次递减，重要性依次递减，即
Va（r y1） Var( y2 ) Var( yp )
二维空间中主成分的几何意义：设有n个样品，每个 样品有两个观测变量xl和x2。在由变量xl和x2 所确定 的二维平面中，n个样本点所散布的情况如椭圆状。 由图可以看出这n个样本点无论是沿着xl 轴方向或x2 轴方向都具有较大的离散性，其离散的程度可以分别
0
0
0
p
其中i ,i 1.2. p 是A的特征根。
2、若上述矩阵的特征根所对应的单位特征向量
为
u1, ,up
u11 u12
令 U (u1,
,up
)
u21
u22
ቤተ መጻሕፍቲ ባይዱ
up1 up2
u1 p
u2 p
upp
则U是正交矩阵，即有
UU UU I
二、主成分的推导
（一） 第一主成分 设x的协方差阵为
主成分分析
目录
CONTENT
1 基本思想 2 数学模型与几何解释 3 主成分的推导及性质 4 主成分性质 5 样本的主成分 6 主成分分析计算步骤 7 主成分分析软件操作
1
基本思想
§1 基本思想
在研究中，多变量问题是经常会遇到的。变量太 多，无疑会增加分析问题的难度与复杂性，而且在 许多实际问题中，多个变量之间是具有一定的相关 关系的。
二维平面上的各点的方差大部分都归结在Fl轴 上，而F2轴上的方差很小。
yl和y2称为原始变量x1和x2的综合变量。F简化 了系统结构，抓住了主要矛盾。
3
主成分的推导及性质
§3 主成分的推导及性质
一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使
1 0 0
U
1AU
0
2
主成分分析通常的做法，是寻求原指标的 线性组合yi：
y1 u11 x1 u21 x2 up1 x p y2 u12 x1 u22 x2 up2 x p
y p u1 p x1 u2 p x2
满足如下的条件：
upp x p
(1) 每个主成分的系数平方和为1（否则其方差可 能为无穷大），即
1
D(
y1 )
a1a1
a1U
2
Ua1
p
1
a1 u1,u2 ,
,
up
2
p
p
ia1uiuia1 1 a1uiuia1
i 1
i 1
1a1UUa1 1a1a1 1
u1
u2
a1
p
up
当a1 u1时， y1 u11 x1 up1 x p，且
Var y1 u1xu1 1．
u1 p
u2 p
upp
ui u1i，u2i， ，upi i 1,2, , P
下面证明，由U的第一列元素所构成的原始变量的 线性组合有最大的方差。
设有P维单位向量 a1 a11, a21,
, a p1
y1 a11 x1 a21 x2 a p1 x p a1 x
平移、旋转坐标轴
x 2
F 1
主
F2
成
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
••• • • •
o • •••
• •• •
•• •
o•
• •
x 1
解
••
释
旋转变换的目的是为了使得n个样品点在Fl轴方向上 的离散程度最大，即yl的方差最大。
变量yl代表了原始数据的大部分信息，在研究某些 实际问题时，即使不考虑变量y2也无损大局。