第五章 主成分分析 PPT

3.Y1是 X1, X 2 , , X P 的一切满足原则1的线性组合中方差最
大者；Y2 是与 Y1 不相关的 X1, X 2 , , X P 所有线性组合中方差最 大者；…, Yp是与 Y1,Y2 , ,YP1 都不相关的 X 1, X 2 , , X P的所有 线性组合中方差最大者。
2020/6/15
设对某一事物的研究涉及个 p 指标，分别用 X1, X 2 , , X P 表 示，这个 p 指标构成的 p维随机向量为 X ( X 1, X 2 , , X p )'。设随 机向量 X的均值为 μ ，协方差矩阵为 Σ。
对 X 进行线性变换，可以形成新的综合变量，用 Y 表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
基于上述问题，人们就希望在定量研究中涉及的变量较 少，而得到的信息量又较多。主成分分析正是研究如何通过 原来变量的少数几个线性组合来解释原来变量绝大多数信息 的一种多元统计方法。
2020/6/15
4
目录 上页 下页 返回 结束
既然研究某一问题涉及的众多变量之间有一定 的相关性，就必然存在着起支配作用的共同因素， 根据这一点，通过对原始变量相关矩阵或协方差矩 阵内部结构关系的研究，利用原始变量的线性组合 形成几个综合指标（主成分），在保留原始变量主 要信息的前提下起到降维与简化问题的作用，使得 在研究复杂问题时更容易抓住主要矛盾。
10
目录 上页 下页 返回 结束
基于以上三条原则决定的综合变量 Y1,Y2, ,YP分
别称为原始变量的第一、第二、…、第 p 个主成分。
其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2020/6/15
合变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。
2020/6/15
12
目录 上页 下页 返回 结束
3
目录 上页 下页 返回 结束
§5.1.1 主成分分析的基本思想
考虑多个指标对某一问题进行分析的时候会产生如下问 题：
• 为了避免遗漏重要的信息而考虑尽可能多的指标；
• 增多增加了问题的复杂性，同时由于各指标均是对同一事 物的反映，不可避免地造成信息的大量重叠，这种信息的重 叠有时甚至会抹杀事物的真正特征与内在规律。
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 Y的统计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望由于Yi ui ' X的方差尽可能大且各Yi 之间互相独立，
var(Yi ) var( ui ' X) = ui 'ui
而对任给的常数 c，有
var( cui ' X) cui 'uic c 2ui 'ui
设有 N 个样品，每个样品有两个观测变量 X1, X 2，这样， 在由变量X1, X 2 组成的坐标空间中，N 个样品点散布的情况如
带状，见图5-1。
2020/6/15
图5-1
13
目录 上页 下页 返回 结束
由图可以看出这 N 个样品无论沿 X1轴方向还是沿 X 2轴方向均
有较大的离散性，其离散程度可以分别用观测变量X1的方差和 X 2 的方差定量地表示，显然，若只考虑 X1和 X 2中的任何一个，原
•这样在研究复杂问题时就可以只考虑少数几个主成
分而不至于损失太多信息，从而更容易抓住主要矛
盾，，同时使问题得到简化，提高分析效率。
2020/6/15
2
目录 上页 下页 返回 结束
§5.1 主成分分析的基本思想与理论 §5.1.1 主成分分析的基本思想 §5.1.2 主成分分析的基本理论
2020/6/15
第五章 主成分分析
• 主成分分析(Principal Components Analysis)也称主 分量分析，是由霍特林（Hotelling）于1933年首先提 出的。
•主成分分析是利用降维的思想，在损失很少信息的 前提下把多个指标转化为几个综合指标的多元统计 方法。
•通常把转化生成的综合指标称之为主成分，其中每 个主成分都是原始变量的线性组合，且各个主成分 之间互不相关。
2020/6/15
5பைடு நூலகம்
目录 上页 下页 返回 结束
利用主成分分析得到的主成分与原始变量之 间有如下基本关系：
1.每一个主成分都是各原始变量的线性组合 2.主成分的数目大大少于原始变量的数目
3.主成分保留了原始变量绝大多数信息 4.各主成分之间互不相关
2020/6/15
6
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
Y1 u11X1 u12 X 2 u1p X p Y2 u21X1 u22 X 2 u2 p X p Yp u p1 X1 u p2 X 2 u pp X p
(5.1)
2020/6/15
7
目录 上页 下页 返回 结束
大家应该也有点累了，稍作休息
大家有疑问的，可以询问和交流
始数据中的信息均会有较大的损失。我们的目的是考虑 X1和 X 2 的线性组合，使得原始样品数据可以由新的变量 Y1 和Y2来刻画。
11
目录 上页 下页 返回 结束
§5.1.3 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量X ( X 1, X 2 , , X p )'进行分析，而是先对向量 X 进行线
性变换，形成少数几个新的综合变量Y1,Y2 , ,YP ，使得各综
2020/6/15
9
目录 上页 下页 返回 结束
因此对 ui不加限制时，可使var(Yi )任意增大，问题将变得没
有意义。我们将线性变换约束在下面的原则之下：
1．ui ' ui 1，即：ui21 ui22 ui2p 1 (i 1,2,.... p)。
2．Yi与 Y j相互无关 (i j; i, j 1,2,.... p)。