最新主成分分析---多元统计分析课件(人大何晓群)教学讲义PPT课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1．ui'ui 1，即：ui21ui22ui2p1 (i1,2,...p.)。 2．Yi与Y j相互无关(i j; i, j1,2,...p.)。 3.Y 1是 X1,X2, ,XP的一切满足原则1的线性组合中方差最
大者；Y 2 是与 Y 1 不相关的 X1,X2, ,XP所有线性组合中方差最 大者；…, Y p 是与 Y1,Y2, ,YP1都不相关的 X1,X2, ,XP的所有 线性组合中方差最大者。
而对任给的常数 c，有
vacru(i'X)cui'uicc 2 ui'ui
2021/4/8
中国人民大学六西格玛质量管理研究中心
9
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
因此对 u i不加限制时，可使var(Yi )任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
在几何上表示就是将坐标轴按逆时针方向旋转角度，得到新坐
标轴 Y 1 和Y 2 ，坐标旋转公式如下：
Y1 X1cosX2sin Y2 X1sinX2cos
2021/4/8
ቤተ መጻሕፍቲ ባይዱ
中国人民大学六西格玛质量管理研究中心
2021/4/8
中国人民大学六西格玛质量管理研究中心
12
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
设有 N个样品，每个样品有两个观测变量 X1, X2 ，这样， 在由变量X1, X2 组成的坐标空间中，N个样品点散布的情况如 带状，见图5-1。
2021/4/8
图5-1
中国人民大学六西格玛质量管理研究中心
2021/4/8
中国人民大学六西格玛质量管理研究中心
11
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量X (X 1,X 2, ,X p)进' 行分析，而是先对向量 X进行线
主成分分析---多元统计分析课 件(人大何晓群)
第五章 主成分分析
•§5.1 主成分分析的基本思想与理论 •§5.2 主成分分析的几何意义 •§5.3 总体主成分及其性质
•§5.4 样本主成分的导出 •§5.5 有关问题的讨论 •§5.6 主成分分析步骤及框 图 •§5.7 主成分分析的上机实 现
2021/4/8
中国人民大学六西格玛质量管理研究中心
7
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
设对某一事物的研究涉及个 p指标，分别用 X1,X2, ,XP表 示，这个 p指标构成的 p维随机向量为 X (X 1,X 2, ,X p)。'设随
机向量X的均值为 μ，协方差矩阵为 Σ。
13
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
由图可以看出这N个样品无论沿 X 1 轴方向还是沿X 2 轴方向均 有较大的离散性，其离散程度可以分别用观测变量X 1 的方差和 X 2 的方差定量地表示，显然，若只考虑 X 1 和 X 2中的任何一个，原 始数据中的信息均会有较大的损失。我们的目的是考虑 X 1 和 X 2 的线性组合，使得原始样品数据可以由新的变量 Y 1 和Y2 来刻画。
性变换，形成少数几个新的综合变量Y1,Y2, ,YP，使得各综
合变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。
对 X进行线性变换，可以形成新的综合变量，用 Y表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
Y1 u11X1 u12X2 u1p Xp Y2 u21X1 u22X2 u2p Xp Yp up1X1 up2X2 uppXp
(5.1)
2021/4/8
中国人民大学六西格玛质量管理研究中心
2021/4/8
中国人民大学六西格玛质量管理研究中心
3
目录 上页 下页 返回 结束
§5.1.1 主成分分析的基本思想
3.主成分保留了原始变量绝大多数信息
4.各主成分之间互不相关
通过主成分分析，可以从事物之间错综复杂的 关系中找出一些主要成分，从而能有效利用大量 统计数据进行定量分析，揭示变量之间的内在关 系，得到对事物特征及其发展规律的一些深层次 的启发，把研究工作引向深入。
8
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统Y计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 Yi 的ui方'X差尽可能大且各 之间Y i 互相独立， 由于
vaYir) (vauri'X ()= ui 'ui
2021/4/8
中国人民大学六西格玛质量管理研究中心
10
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
基于以上三条原则决定的综合变量 Y1,Y2, ,YP分 别称为原始变量的第一、第二、…、第p 个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2021/4/8
中国人民大学六西格玛质量管理研究中心
2
目录 上页 下页 返回 结束
第五章 主成分分析
主成分分析（principal components analysis）也称主分量 分析，是由霍特林（Hotelling）于1933年首先提出的。主成 分分析是利用降维的思想，在损失很少信息的前提下把多个 指标转化为几个综合指标的多元统计方法。通常把转化生成 的综合指标称之为主成分，其中每个主成分都是原始变量的 线性组合，且各个主成分之间互不相关，这就使得主成分比 原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更 容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时 使问题得到简化，提高分析效率。本章主要介绍主成分分析 的基本理论和方法、主成分分析的计算步骤及主成分分析的 上机实现。
大者；Y 2 是与 Y 1 不相关的 X1,X2, ,XP所有线性组合中方差最 大者；…, Y p 是与 Y1,Y2, ,YP1都不相关的 X1,X2, ,XP的所有 线性组合中方差最大者。
而对任给的常数 c，有
vacru(i'X)cui'uicc 2 ui'ui
2021/4/8
中国人民大学六西格玛质量管理研究中心
9
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
因此对 u i不加限制时，可使var(Yi )任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
在几何上表示就是将坐标轴按逆时针方向旋转角度，得到新坐
标轴 Y 1 和Y 2 ，坐标旋转公式如下：
Y1 X1cosX2sin Y2 X1sinX2cos
2021/4/8
ቤተ መጻሕፍቲ ባይዱ
中国人民大学六西格玛质量管理研究中心
2021/4/8
中国人民大学六西格玛质量管理研究中心
12
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
设有 N个样品，每个样品有两个观测变量 X1, X2 ，这样， 在由变量X1, X2 组成的坐标空间中，N个样品点散布的情况如 带状，见图5-1。
2021/4/8
图5-1
中国人民大学六西格玛质量管理研究中心
2021/4/8
中国人民大学六西格玛质量管理研究中心
11
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p个指标构成的 p维 随机向量X (X 1,X 2, ,X p)进' 行分析，而是先对向量 X进行线
主成分分析---多元统计分析课 件(人大何晓群)
第五章 主成分分析
•§5.1 主成分分析的基本思想与理论 •§5.2 主成分分析的几何意义 •§5.3 总体主成分及其性质
•§5.4 样本主成分的导出 •§5.5 有关问题的讨论 •§5.6 主成分分析步骤及框 图 •§5.7 主成分分析的上机实 现
2021/4/8
中国人民大学六西格玛质量管理研究中心
7
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
设对某一事物的研究涉及个 p指标，分别用 X1,X2, ,XP表 示，这个 p指标构成的 p维随机向量为 X (X 1,X 2, ,X p)。'设随
机向量X的均值为 μ，协方差矩阵为 Σ。
13
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
由图可以看出这N个样品无论沿 X 1 轴方向还是沿X 2 轴方向均 有较大的离散性，其离散程度可以分别用观测变量X 1 的方差和 X 2 的方差定量地表示，显然，若只考虑 X 1 和 X 2中的任何一个，原 始数据中的信息均会有较大的损失。我们的目的是考虑 X 1 和 X 2 的线性组合，使得原始样品数据可以由新的变量 Y 1 和Y2 来刻画。
性变换，形成少数几个新的综合变量Y1,Y2, ,YP，使得各综
合变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。
对 X进行线性变换，可以形成新的综合变量，用 Y表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
Y1 u11X1 u12X2 u1p Xp Y2 u21X1 u22X2 u2p Xp Yp up1X1 up2X2 uppXp
(5.1)
2021/4/8
中国人民大学六西格玛质量管理研究中心
2021/4/8
中国人民大学六西格玛质量管理研究中心
3
目录 上页 下页 返回 结束
§5.1.1 主成分分析的基本思想
3.主成分保留了原始变量绝大多数信息
4.各主成分之间互不相关
通过主成分分析，可以从事物之间错综复杂的 关系中找出一些主要成分，从而能有效利用大量 统计数据进行定量分析，揭示变量之间的内在关 系，得到对事物特征及其发展规律的一些深层次 的启发，把研究工作引向深入。
8
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统Y计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 Yi 的ui方'X差尽可能大且各 之间Y i 互相独立， 由于
vaYir) (vauri'X ()= ui 'ui
2021/4/8
中国人民大学六西格玛质量管理研究中心
10
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
基于以上三条原则决定的综合变量 Y1,Y2, ,YP分 别称为原始变量的第一、第二、…、第p 个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2021/4/8
中国人民大学六西格玛质量管理研究中心
2
目录 上页 下页 返回 结束
第五章 主成分分析
主成分分析（principal components analysis）也称主分量 分析，是由霍特林（Hotelling）于1933年首先提出的。主成 分分析是利用降维的思想，在损失很少信息的前提下把多个 指标转化为几个综合指标的多元统计方法。通常把转化生成 的综合指标称之为主成分，其中每个主成分都是原始变量的 线性组合，且各个主成分之间互不相关，这就使得主成分比 原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更 容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时 使问题得到简化，提高分析效率。本章主要介绍主成分分析 的基本理论和方法、主成分分析的计算步骤及主成分分析的 上机实现。