主成分分析课件

2019/11/12
6
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
设对某一事物的研究涉及个 p指标，分别用 X1,X2, ,XP 表 示，这个 p指标构成的 p维随机向量为 X(X1,X2, ,Xp)。' 设随
机向量X的均值为 μ，协方差矩阵为 Σ。
对 X进行线性变换，可以形成新的综合变量，用 Y表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
§2 主成分分析的几何意义
设有 N个样品，每个样品有两个观测变量 X1, X2 ，这样， 在由变量X1, X2 组成的坐标空间中，N个样品点散布的情况如 带状，见图5-1。
2019/11/12
图5-1
12
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
由图可以看出这N个样品无论沿 X 1 轴方向还是沿 X 2 轴方向均 有较大的离散性，其离散程度可以分别用观测变量X 1 的方差和 X 2 的方差定量地表示，显然，若只考虑 X 1 和 X 2中的任何一个，原 始数据中的信息均会有较大的损失。我们的目的是考虑 X 1 和 X 2 的线性组合，使得原始样品数据可以由新的变量 Y 1 和Y2 来刻画。
在几何上表示就是将坐标轴按逆时针方向旋转角度，得到新坐
标轴 Y 1 和Y 2 ，坐标旋转公式如下：
YY12
X1cosX2sin X1sinX2cos
2019/11/12
13
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
其矩阵形式为： Y Y1 2 csoisn cso insX X1 2UX
征向量.
P(1,2)
则
P为正交阵，Λ


1 0
0 2 ,
有：
PΛP' , 1PΛ1P'
因此有：d 2 (X μ )Σ ' 1 (X μ ) X 'Σ 1 X (μ 0)
YX 1112'((P1'Λ YX 22)12P')1X 2( 2X 'X '()12111'1222')X
vaYir) (vauri'X ()= ui 'ui
而对任给的常数 c，有
vacru(i'X)cui'uicc 2 ui'ui源自2019/11/128
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
因此对 u i不加限制时，可使var(Yi )任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
1.每一个主成分都是各原始变量的线性组合；
2.主成分的数目大大少于原始变量的数目
2019/11/12
5
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
3.主成分保留了原始变量绝大多数信息
4.各主成分之间互不相关
通过主成分分析，可以从事物之间错综复杂的 关系中找出一些主要成分，从而能有效利用大量 统计数据进行定量分析，揭示变量之间的内在关 系，得到对事物特征及其发展规律的一些深层次 的启发，把研究工作引向深入。
令 为变量 X1、X2 的协方差矩阵，其形式如下：
1122 1222
令
X


X1 X2

μ


1 2

则上述二元正态分布的密度函数有如下矩阵形式：
2019/11/12
16
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
f(X1,X2)2|1 Σ|1/2e 1/2(X μ)Σ '1(X μ)
2019/11/12
10
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量X(X1,X2, ,Xp)进' 行分析，而是先对向量 X进行线
性变换，形成少数几个新的综合变量Y1,Y2,,YP ，使得各综
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2019/11/12
14
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最 大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研 究实际问题时，即使不考虑变量Y 2 也无损大局。因此，经过 上述旋转变换就可以把原始数据的信息集中到 Y 1 轴上，对数 据中包含的信息起到了浓缩的作用。进行主成分分析的目的 就是找出转换矩阵U ，而进行主成分分析的作用与几何意义 也就很明了了。下面我们用遵从正态分布的变量进行分析， 以使主成分分析的几何意义更为明显。为方便，我们以二元 正态分布为例。对于多元正态总体的情况，有类似的结论。
2019/11/12
15
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
设变量X1、X2遵从二元正态分布，分布密度为:
f(X 1,X 2)21 2 112exp 2 1 2 { 2 21 (12)[X (1 1)2 2 2 2 1 2 2 2 (X 1 1)X (2 2) 1 2(X 2 2)2]}
主成分分析
•§1 主成分分析的基本思想与理论 •§2 主成分分析的几何意义 •§3 总体主成分及其性质 •§4 样本主成分的导出 •§5 有关问题的讨论 •§6 主成分分析步骤及框图 •§7 主成分分析的上机实现
2019/11/12
1
主成分分析
主成分分析（principal components analysis）也称主分量 分析，是由霍特林（Hotelling）于1933年首先提出的。主成 分分析是利用降维的思想，在损失很少信息的前提下把多个 指标转化为几个综合指标的多元统计方法。通常把转化生成 的综合指标称之为主成分，其中每个主成分都是原始变量的 线性组合，且各个主成分之间互不相关，这就使得主成分比 原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更 容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时 使问题得到简化，提高分析效率。本章主要介绍主成分分析 的基本理论和方法、主成分分析的计算步骤及主成分分析的 上机实现。
令Z1X1/1, Z2X2/2，则上面的方程变为：
Z 1 2 2Z 1 Z 2 Z 2 2 d 2 ( 1 2 ).
2019/11/12
17
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
这是一个椭圆的方程，长短轴分别为： 2d 1
又令12 0为Σ的特征值，1, 2 为相应的标准正交特
Y1 u11X1 u12X2 u1p Xp Y2 u21X1 u22X2 u2p Xp Yp up1X1 up2X2 uppXp
(5.1)
2019/11/12
7
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统Y计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 Yi 的ui方'X差尽可能大且各 之间Y i 互相独立， 由于
§3.1 总体主成分
主成分分析的基本思想就是在保留原始变量尽可能多的信息
的前提下达到降维的目的，从而简化问题的复杂性并抓住问题 的主要矛盾。而这里对于随机变量 X1,X2,,XP 而言，其协方差 矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度 的信息的反应，而相关矩阵不过是将原始变量标准化后的协方 差矩阵。我们所说的保留原始变量尽可能多的信息，也就是指 的生成的较少的综合变量（主成分）的方差和尽可能接近原始 变量方差的总和。因此在实际求解主成分的时候，总是从原始 变量的协方差矩阵或相关矩阵的结构分析入手。一般地说，从 原始变量的协方差矩阵出发求得的主成分与从原始变量的相关 矩阵出发求得的主成分是不同的。下面我们分别就协方差矩阵 与相关矩阵进行讨论。
考虑(X μ)Σ ' 1(X μ)d2 （d为常数），为方便，不妨设
μ 0 上式有如下展开形式：
1 1 2 X 1 1 22 X 1 1 X 2 2 X 2 2 2 d2
1 2
2019/11/12
18
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
与上面一样，这也是一个椭圆方程，且在Y1,Y2 构成的坐标系中，
其主轴的方向恰恰正是 坐Y1标,Y2轴的方向。因为
Y1 γ1'X,
Y2 γ2'X,所以，Y1 ,Y2就是原始变量X1, X2的两个主成分，它们的方 差分别为1,2，在 Y 1 方向上集中了原始变量 1 的变差，在Y 2方向 上集中了原始变量 2 的变差，经常有 1远大于 2 ，这样，我们就
2019/11/12
9
目录 上页 下页 返回 结束
§1.2 主成分分析的基本理论
基于以上三条原则决定的综合变量 Y1,Y2,,YP分 别称为原始变量的第一、第二、…、第p 个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2019/11/12
2
目录 上页 下页 返回 结束
§1 主成分分析的基本思想与理论 §1.1 主成分分析的基本思想 §1.2 主成分分析的基本理论
2019/11/12
3
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
在对某一事物进行实证研究中，为了更全面、准确地 反映出事物的特征及其发展规律，人们往往要考虑与其有关 系的多个指标，这些指标在多元统计中也称为变量。这样就 产生了如下问题：一方面人们为了避免遗漏重要的信息而考 虑尽可能多的指标，而另一方面随着考虑指标的增多增加了 问题的复杂性，同时由于各指标均是对同一事物的反映，不 可避免地造成信息的大量重叠，这种信息的重叠有时甚至会 抹杀事物的真正特征与内在规律。基于上述问题，人们就希 望在定量研究中涉及的变量较少，而得到的信息量又较多。 主成分分析正是研究如何通过原来变量的少数几个线性组合 来解释原来变量绝大多数信息的一种多元统计方法。
1．ui'ui 1，即：ui21ui22ui2p1 (i1,2,...p.)。 2．Yi与Y j相互无关(i j; i, j1,2,...p.)。 3.Y 1是 X1,X2,,XP的一切满足原则1的线性组合中方差最
大者；Y 2 是与 Y 1 不相关的 X1,X2,,XP所有线性组合中方差最 大者；…, Y p 是与 Y1,Y2,,YP1都不相关的 X1,X2,,XP的所有 线性组合中方差最大者。
可以只研究原始数据在 Y 1 方向上的变化而不致于损失过多信息， 而 γ就1,γ是2 椭圆在原始坐标系中的主轴方向，也是坐标轴转换
的系数向量。对于多维的情况，上面的结论依然成立。
这样，我们就对主成分分析的几何意义有了一个充分的了 解。主成分分析的过程无非就是坐标系旋转的过程，各主成分 表达式就是新坐标系与原坐标系的转换关系，在新坐标系中， 各坐标轴的方向就是原始数据变差最大的方向。
2019/11/12
4
目录 上页 下页 返回 结束
§1.1 主成分分析的基本思想
既然研究某一问题涉及的众多变量之间有一定的相关性， 就必然存在着起支配作用的共同因素，根据这一点，通过 对原始变量相关矩阵或协方差矩阵内部结构关系的研究， 利用原始变量的线性组合形成几个综合指标（主成分）， 在保留原始变量主要信息的前提下起到降维与简化问题的 作用，使得在研究复杂问题时更容易抓住主要矛盾。一般 地说，利用主成分分析得到的主成分与原始变量之间有如 下基本关系：
2019/11/12
19
目录 上页 下页 返回 结束
§3 总体主成分及其性质
由上面的讨论可知，求解主成分的过程就是 求满足三条原则的原始变量X1,X2,,XP 的线性组 合的过程。本节先从总体出发，介绍求解主成分 的一般方法及主成分的性质，然后介绍样本主成 分的导出。
2019/11/12
20
目录 上页 下页 返回 结束
合变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。
2019/11/12
11
目录 上页 下页 返回 结束