第五章 主成分分析
第五节 主成分分析
•
•
其中Li为p维正交化向量（Li*Li=1），zi之间互 不相关且按照方差由大到小排列，则称Zi为X的第 I个主成分。设X的协方差矩阵为Σ，则Σ必为半正 定对称矩阵，求特征值λi（按从大到小排序）及 其特征向量，可以证明，λi i所对应的正交化特征 向量，即为第I个主成分Zi所对应的系数向量Li， 而Zi的方差贡献率定义为λi/Σλj,通常要求提取的主 成分的数量k满足Σλk/Σλj>0.85。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
68.337 95.416 62.901 86.624 91.394 76.912 51.274 68.831 77.301 76.948 99.265 118.505 141.473 137.761 117.612 122.781
0.408 0.255 -0.755 0.069 -0.93 -0.046 0.156 -0.078 -0.109 -0.031 0.744 0.094 -0.924 0.073
（2）由相关系数矩阵计算特征值，以及各个 主成分的贡献率与累计贡献率（见表 3.5.2）。由表3.5.2可知，第一，第二，第 三主成分的累计贡献率已高达86.596% （大于85%），故只需要求出第一、第二、 第三主成分z1，z2，z3即可。
8.128 8.135 18.352 16.861 18.279 19.793 4.005 9.11 19.409 11.102 4.383 10.706 11.419 9.521 18.106 26.724
4.065 4.063 2.645 5.176 5.643 4.881 4.066 4.484 5.721 3.133 4.615 6.053 6.442 7.881 5.789 7.162
主成分分析 ppt课件
ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
主成分分析
引言：主成分分析也称主分量分析，是由霍特林于1933 年首先提出的。
主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。
通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。
这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使得问题得到简化，提高分析效率。
本文用主成分分析的方法对某市14 家企业的经济效益进行分析。
[1] 在处理涉及多个指标问题的时候，为了提高分析的效率可以不直接对p 个指标构成的P维随机向量X=(X1, X2, X3, , Xp)进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量，使得个综合变量之间相互独立且能解释原始变量尽可能多的信息，这样在意损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。
主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。
而这里对于随机变量X1，X2，X3,……,Xp而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反映，而相关矩阵不过是将原始变量标准化后的协方差矩阵我们所说的保留原始变量尽可能多的信息，也就是指生成的较少的综合变量 (主成分)的方差和尽可能接近原始变量方差的总和。
因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。
一般来说从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的本文我们用从原始变量的相关矩阵出发求得的主成分进行分析。
[5]一、材料与方法1.1数据材料表1 14 家企业的利润指标的统计数据1.2分析方法本文采用多元统计学方法，选取14家企业作为样本收集每家企业的8个不同的利润指标，利用spss统计软件做主成分分析，给出载荷阵，并通过载荷阵给出主成分系数表，写出主成分表达式以此给出14个企业的得分值，最后根据主成分构造一个综合性评价指标，对14个企业进行综合排名。
主成分分析
主成分分析主成分分析、因子分析等在多元统计分析中属于协方差逼近技术。
主要是从协方差矩阵出发，实现一种正交变换，从而将高维系统表示为低维系统，在此过程中可以揭示研究对象的许多性质和特征。
主成分分析的结果可以用于回归分析、聚类分析、神经网络分析等等。
只要懂得线性代数中二次型化为标准型的原理，就很容易掌握主成分分析的原理，进而掌握因子分析的原理。
在理解正交变换数学原理的基础上，我们可以借助Excel 开展主成分分析。
为了清楚地说明主成分的计算过程，不妨给出一个简单的计算实例。
【例】2000 年中国各地区的城、乡人口的主成分分析。
这个例子只有两个变量（m=2）：城镇人口和乡村人口；31 个样品：即中国的31 个省、自治区和直辖市（n=31）。
资料来自2001 年《中国统计年鉴》，为2000 年全国人口普查快速汇总的11 月1 日零时数。
由于变量太少，这个例子仅仅具有教学意义——简单的实例更容易清楚地展示计算过程的细节。
计算步骤5.1.1 详细的计算过程首先，录入数据，并对数据进行适当处理（图5-1-1）。
计算的详细过程如下。
第一步，将原始数据绘成散点图主成分分析原则上要求部分变量之间具有线性相关趋势。
如果所有变量彼此之间不相关（即正交），则没有必要进行主成分分析，因为主成分分析的目的就是用正交的变量代替原来非正交的变量。
如果原始变量之间为非线性关系，则有必要对数据进行线性转换，否则效果不佳。
从图5-1-2 可见，原始数据具有非线性相关趋势，可以近似匹配幂指数函数，且测定系数R2=0.5157，相应地，相关系数R=0.7181（图5-1-2a）；取对数之后，点列具有明显的线性趋势（图5-1-2b）。
第二步，对数据进行标准化标准化的数学公式为我们将对对数变换后的数据开展主成分分析，因此只对取对数后的数据标准化。
根据图5-1-1所示的数据排列，应该按列标准化，用xij 代表取对数之后的数据，则下式分别为第j 列数据的均值和标准差，xij 为第i 行（即第i 个样本）、第j 列（即第j 个变量）的数据，xij*为相应于xij 的标准化数据，n=31 为样品数目（参见图5-1-1）。
主成分分析法及其应用PPT课件
x4 -0.34 0.644 0.07 1 0.383 0.069 -0.05 -0.031 0.073
x5 0.309 0.42 -0.74 0.383 1
0.734 0.672 0.098 0.747
x6 0.408 0.255 -0.755 0.069 0.734
1 0.658 0.222 0.707
演讲人：XXXXXX 时 间：XX年XX月XX日
荷的平方
三个主成分的
占方差的百分数
“占方差的百分
z1
z2
z3
（%）
数:各个主成分提 取了第i个指标的
x1
0.739
-0.532 -0.0061
82.918
“效率”之和， 它等于各个主成
x2
0.123
0.887 -0.0028
x3
-0.964 0.0096 0.0095
80.191 92.948
分在第i个指标上 的载荷的平方之
x 2：人 均耕地 面积
(ha)
0.352
2 141.5 1.684
3 100.7 1.067
4 143.74 1.336
5 131.41 1.623
x 3：森 林覆盖 率(%)
16.101
x 4：农 民人均 纯收入 (元/人)
192.11
x 5：人 均粮食 产量 (kg/
人)
295.34
x 6：经济 作物占农 作物播面 比例(％)
表3.5.1 相关系数矩阵
x1
x2
x3
x4
x5
x6
x7
x8
x9
x1
1 -0.327 -0.714 -0.336 0.309 0.408 0.79 0.156 0.744
主成分分析步骤
主成分分析步骤以教材第五章习题8的数据为例，演示并说明主成分分析的详细步骤: •原始数据的输入輪锹7 视附出敦据（囚烷飘D 井瞅① 图觀◎ 实用显序◎ 附加内諛Q）爾口迎帮肋® B? M *i宙邑並曲<e r 专注意事项：关键注意设置好数据的类型（数值？字符串？等等）以及小数点后保留数字的个数即可。
•选项操作1. 打开SPSS的“分析”-“降维”-“因子分析” 打开“因子分析”对话框（如下图）倉品女通和通讯选悻变豪（匚Ita（L）£2（R）取清眾助2.把六个变量：食品、衣着、燃料、住房、交通和通讯、娱乐教育文化输入到右边的待分析变量框。
3. 设置分析的统计量打开最右上角的“描述”对话框，选中“统计量”里面的“原始分析结果”和“相关矩阵”里面的“系数”。
（选中原始分析结果，SPSS自动把原始数据标准差标准化，但不显示出来；选中系数，会显示相关系数矩阵。
）。
然后点击“继续”。
统计星□单喪逼椅谨惟(U) 0原赠分忻结果①相关矩阵 ---------------------0 貳数©□ OMN)□泵薯惟水平□ R^(R) □柠列武Q) □反醍數&□ tiMO 和Bartlett 的補誓鹰桧验(K)鍵沽 取消 帮動打开第二个的“抽取”对话框：“方法”里选取“主成分”；“分析”、 和“抽取”这三项都选中各自的第一个选项即可。
然后点击“继续”。
方液血：主磁辞分新 ------------相羌性拒阵〔3)协方遵症阵3抽职特征值大于(&：O 因于的圃定麹・(吵 參槌取的因玖D ； 矗大收皴性电代吹教凶；(25|取请即助第三个的“旋转”对话框里，选取默认的也是第一个选项“无”“输出”输出H 未箍炜的Ema □即石阳鱼］第四个“得分”对话框中，选中“保存为变量”的“回归”；以及“显示因子得分系数矩阵”。
第五个“选项”对话框，默认即可。
这时点击“确定”，进行主成分分析。
主成分分析
Extraction Method: Principal Component Analysis. Component Scores.
主成分系数矩阵，从而得出各主成分的表达式， 主成分系数矩阵，从而得出各主成分的表达式，注意在表达 式中各变量已经不是原始变量，而是标准化变量。 式中各变量已经不是原始变量，而是标准化 身高（X1,cm）、头围（X2,cm）、 体重（X3,g）的数据。
实验报告
写出X1， ， 的相关矩阵 的相关矩阵。 写出 ，X2，X3的相关矩阵。 写出KMO与球形检验的结果（P值）， 与球形检验的结果（ 值 写出 与球形检验的结果 并做出判断， 并做出判断，该数据是否适合主成分分 析。 写出3个主成分的贡献率 个主成分的贡献率。 写出 个主成分的贡献率。 写出3个主成分关于 个主成分关于X1， ， 的标准 写出 个主成分关于 ，X2，X3的标准 化的数值的线性组合。 化的数值的线性组合。
Rotation子对话框：用于因子分析。 子对话框：用于因子分析。 子对话框 Score子对话框 子对话框
选择是否将因子得分存入文件，以及具体的得分计算方法。 （1）Save as Variables：将计算出的因子得分作为新变量 加入数据文件，注意此处加入的是经过标准化的因子得分。 （2）Method单选框组：用于选择计算因子得分用的方法， 使用默认的回归法即可。 （3）Display factor score coefficient maxtrix：很重要。显 示因子得分系数阵，通过该系数阵就可以将所有公因子表示 为各个变量的线性组合，也就是我们所需要的主成分分析的 结果，系统同时会给出因子得分的协方差阵。
主 成 分 分 析
主成分分析
每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变量 的数据；各个学校的研究、教学等各种变量的数 据等等。 这些数据的共同特点是变量很多，在如此多的变 量之中，有很多是相关的。人们希望能够找出它 们的少数“代表”来对它们进行描述。 主成分分析（principal component analysis） 就是把变量维数降低以便于描述、理解和分析的 方法。
主成分分析
2.主成分的总方差 由于
tr ( A ) = tr ( T′ΣT ) = tr ( ΣTT′ ) = tr ( Σ )
故
∑ λ = ∑σ
i =1 i i =1
p
p
ii
或
∑V ( y ) = ∑V ( x )
i =1 i i =1 i
p
p
总方差中属于第 i 主成分 yi（或被 yi 所解释)的比例 为
ˆ 三、从R 出发求主成分
ˆ ˆ* ˆ* ˆ R 的 p 个特征值为λ1* ≥ λ2 ≥ L ≥ λ p， 设样本相关阵 ˆ* ˆ 2 ˆ t1 , t * ,L , t *p 为相应的正交单位特征向量，则第 i 样本
主成分
ˆ ˆi yi* = t*x* , i = 1, 2,L , p
其中 x* 是各分量经（样本）标准化了的向量，即
S
主成分得分 在实际应用中，我们常常让 x j 减去 x ，使样本数据 中心化。这不影响样本协差阵 S ，在前面的论述中 惟一需要变化的是，将第 i 主成分改写成中心化的 形式，即
ˆ ˆi yi = t′ ( x − x ) , i = 1, 2,L , p 若将各观测值 x j 代替上式中的观测值向量 x ，则第i
现比较本例中从R 出发和例7.2.2中从 Σ 出发的主成 分计算结果。从R 出发的 y1* 的贡献率0.705明显小于 从 Σ 出发的 y1的贡献率0.938，事实上，原始变量方 差之间的差异越大，这一点也就倾向于越明显， * * * （7.2.15）式有助于我们理解之。 y1 , y2 , y3 可用标准 化前的原变量表达如下： x3 − µ3 x1 − µ1 x2 − µ2 *
主成分的值
ˆi ˆ y ji = t′ ( x j − x ) , i = 1, 2,L , p
什么是主成分分析精选全文
可编辑修改精选全文完整版主成分分析（principal component analysis, PCA）如果一组数据含有N个观测样本，每个样本需要检测的变量指标有K个, 如何综合比较各个观测样本的性质优劣或特点？这种情况下，任何选择其中单个变量指标对本进行分析的方法都会失之偏颇，无法反映样本综合特征和特点。
这就需要多变量数据统计分析。
多变量数据统计分析中一个重要方法是主成份分析。
主成分分析就是将上述含有N个观测样本、K个变量指标的数据矩阵转看成一个含有K维空间的数学模型，N个观测样本分布在这个模型中。
从数据分析的本质目的看，数据分析目标总是了解样本之间的差异性或者相似性，为最终的决策提供参考。
因此，对一个矩阵数据来说，在K维空间中，总存在某一个维度的方向，能够最大程度地描述样品的差异性或相似性(图1)。
基于偏最小二乘法原理，可以计算得到这个轴线。
在此基础上，在垂直于第一条轴线的位置找出第二个最重要的轴线方向，独立描述样品第二显著的差异性或相似性；依此类推到n个轴线。
如果有三条轴线，就是三维立体坐标轴。
形象地说，上述每个轴线方向代表的数据含义，就是一个主成份。
X、Y、Z轴就是第1、2、3主成份。
由于人类很难想像超过三维的空间，因此，为了便于直观观测，通常取2个或者3个主成份对应图进行观察。
图（1）PCA得到的是一个在最小二乘意义上拟合数据集的数学模型。
即，主成分上所有观测值的坐标投影方差最大。
从理论上看，主成分分析是一种通过正交变换，将一组包含可能互相相关变量的观测值组成的数据，转换为一组数值上线性不相关变量的数据处理过程。
这些转换后的变量，称为主成分（principal component, PC）。
主成分的数目因此低于或等于原有数据集中观测值的变量数目。
PCA最早的发明人为Karl Pearson，他于1901年发表的论文中以主轴定理（principal axis theorem）衍生结论的形式提出了PCA的雏形，但其独立发展与命名是由Harold Hotelling于1930年前后完成。
主成分分析(principal component analysis)
一、主成分分析的思想主成分分析是数据处理中常用的降维方法。
我们需要处理的数据往往是高维数据，把它看成是由某个高维分布产生。
高维分布的不同维之间可能具有较强的相关性，这也就为数据降维提供了可能。
为了叙述清楚主成分分析的思想，我们通过二维数据进行叙述，即数据是由随机向量 (X_1,X_2) 产生，并假设X_1=X_2 。
通过该分布得到的样本点如图下所示：如果我们把每个数据点用 (x_1,x_2) 表示，那么，每个数据是二维的。
实际上，容易发现，我们只需要将坐标系进行旋转，旋转到红色坐标系位置，此时，每个数据点在新坐标系下的表示形式为为 (x_1^{'},0) ，由于每个数据点的第二维坐标都是 0 ，所以每个数据点只需要用一个数表示就行了，这样就把数据的维数从二维降到了一维。
接下来考虑不是完全线性关系，但是具有强相关性的情况，如下图所示：在这种情况下，我们不可能通过坐标系的平移与旋转，使所有点都落在一根轴上，即不可能精确地把数据用一维表示。
但是注意到 (X_1,X_2) 仍然有强相关性，我们仍然将坐标轴旋转到红色位置，可以看出，将数据在 x_1^{'} 上的投影近似代表原数据，几乎可以完全反映出原数据的分布。
直观看，如果要将数据投影到某根轴，并用投影来表示原数据，将数据压缩成一维，那么投影到 x_1^{'} 是最好的选择。
因为投影到这跟轴，相比于投影到其他轴，对原数据保留的信息量最多，损失最小。
如何衡量保留的信息量呢？在主成分分析中，我们用数据在该轴的投影的方差大小来衡量，即投影后方差越大（即投影点越分散），我们认为投影到该轴信息保留量最多。
从这种观点看，投影到 x_1^{'} 确实是最好的选择，因为投影到这根轴，可使得投影点最分散。
我们将数据的中心平移到原点（即新坐标轴的原点在数据的中心位置），为了消除单位的影响，我们将数据的方差归一化。
进一步考虑如下数据分布：根据上述，如果要将数据压缩为一维的，那么应该选择 F_1 轴进行投影，如果用该投影表示原数据的损失过大，我们可以再选择第二根轴进行投影，第二根轴应该与 F_1 垂直（保证在两根轴上的投影是不相关的）并且使得数据在该轴上投影方差最大，即图中的 F_2 轴（如果是二维情况，第一根轴确定后，第二根轴就确定了。
[统计学]多元统计分析(何晓群 中国人民大学)5第五章主成分分析
![[统计学]多元统计分析(何晓群 中国人民大学)5第五章主成分分析](https://img.taocdn.com/s3/m/71b4f5042f60ddccdb38a008.png)
1 μ 2
则上述二元正态分布的密度函数有如下矩阵形式：
2019/1/20
中国人民大学六西格玛质量管理研究中心
16
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
1 1 / 2 ( X μ )'Σ 1 ( X μ ) f ( X1, X 2 ) e 1/ 2 2 | Σ |
Y1 X 1 cos X 2 sin Y2 X 1 sin X 2 cos
2019/1/20
中国人民大学六西格玛质量管理研究中心
13
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
其矩阵形式为：
Y1 cos Y2 sin sin X1 U X cos X 2
2012318中国人民大学六西格玛质量管理研究中心11目录上页下页返回结束52主成分分析的几何意义由第一节的介绍我们知道在处理涉及多个指标问题的时候为了提高分析的效率可以不直接对个指标构成的随机向量进行分析而是先对向量进行线性变换形成少数几个新的综合变量使得各综合变量之间相互独立且能解释原始变量尽可能多的信息这样在以损失很少部分信息为代价的前提下达到简化数据结构提高分析效率的目的
U 为旋转变换矩阵，由上式可知它是正交阵， 其中， 即满足
U' U1 ,
U 'U I
2019/1/20
中国人民大学六西格玛质量管理研究中心
14
目录 上页 下页 返回 结束
§5.2 主成分分析的几何意义
经过这样的旋转之后，N 个样品点在 Y1 轴上的离散程度最 大，变量 Y1代表了原始数据绝大部分信息，这样，有时在研 究实际问题时，即使不考虑变量 Y2 也无损大局。因此，经过 上述旋转变换就可以把原始数据的信息集中到 Y1 轴上，对数 据中包含的信息起到了浓缩的作用。进行主成分分析的目的 就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义 也就很明了了。下面我们用遵从正态分布的变量进行分析， 以使主成分分析的几何意义更为明显。为方便，我们以二元 正态分布为例。对于多元正态总体的情况，有类似的结论。
主成分分析
x12 x22 M xn 2
L x1 p L x2 p M L xnp
主成分分析的概念（续）
由于实测的变量间存在一定的相关关系， 由于实测的变量间存在一定的相关关系， 因此有可能用较少数的综合指标分别综 合存在于各变量中的各类信息， 合存在于各变量中的各类信息，而综合 指标之间彼此不相关， 指标之间彼此不相关，即各指标代表的 信息不重叠。综合指标称为主成分（ 信息不重叠。综合指标称为主成分（提 取几个因子），一般有两种方法： ），一般有两种方法 取几个因子），一般有两种方法： 特征值>1 特征值 累计贡献率>0.8 累计贡献率
0.198 99.015
0.049 100.000
Component Matrix(a) Component 1 X1 X2 X3 X4 X5 .808 .814 -.791 .101 .846 2 -.487 .397 .479 .977 .415
由此可建立第一、二主成分（即两个新的综合指标） 由此可建立第一、二主成分（即两个新的综合指标） Z1=0.808X1+0.814X2-0.791X3+0.101X4+0.846X5; Z2=-0.487X1+0.397X2+0.479X3+0.977X4+0.415X5;
主成分分析的基本思想
主成分分析是研究如何通过原来变量的少数几个线性 组合来解释原来变量绝大多数信息的一种多元统计方法. 组合来解释原来变量绝大多数信息的一种多元统计方法 既然研究某一个问题涉及的众多变量之间有一定的相 关性,就必然存在着起支配作用的共同因素 根据这一点 关性 就必然存在着起支配作用的共同因素,根据这一点 就必然存在着起支配作用的共同因素 根据这一点, 通过对原始变量相关矩阵或协方差矩阵内部结构关系的 研究,利用原始变量的线性组合形成几个综合指标 主成分 研究 利用原始变量的线性组合形成几个综合指标(主成分 利用原始变量的线性组合形成几个综合指标 主成分) 在保留原始变量主要信息的前提下起到降维与简化问题 的作用,从而在研究复杂问题时抓住主要矛盾 的作用 从而在研究复杂问题时抓住主要矛盾. 从而在研究复杂问题时抓住主要矛盾
主 成 分 分 析
主成分分析主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维方法，它可以将高维度数据转换成低维度数据，并尽量保留数据的信息。
主成分分析的思想是通过对原始数据的线性变换，将其转换为一组新的变量，这些新变量是原始变量的线性组合。
这些新变量被称为主成分，它们可以解释原始数据的大部分方差，从而将原始数据的维度降低。
主成分分析的作用主成分分析可以用于数据预处理、数据压缩、数据可视化和模型建立等方面。
在数据预处理阶段，主成分分析可以用于去除数据中的冗余信息，减少数据噪声，提高数据的质量。
在数据压缩阶段，主成分分析可以将高维度数据压缩成低维度数据，从而节省存储空间和计算时间。
在数据可视化阶段，主成分分析可以将高维度数据转换成低维度数据，进行可视化展示，帮助用户更直观地理解数据和发现数据中隐藏的规律。
在模型建立阶段，主成分分析可以用于特征提取，减少维度的同时又不失去数据的重要特征，帮助用户更准确地建立模型，提高模型的预测准确率。
主成分分析的应用主成分分析广泛应用于各个领域，例如金融、医学、环境、工业等。
在金融领域，主成分分析可以用于建立风险评估模型，帮助投资者了解投资组合的风险。
在医学领域，主成分分析可以用于进行疾病预测，帮助医生快速准确地诊断疾病。
在环境领域，主成分分析可以用于分析空气质量和水质，帮助政府和公众了解环境状况。
在工业领域，主成分分析可以用于质量控制和生产优化，帮助企业降低成本和提高效率。
主成分分析的注意事项要注意主成分分析的前提条件，即原始数据必须为线性数据，在进行主成分分析前需要先对数据进行标准化处理。
此外，在进行主成分分析时，应根据实际问题选择合适的主成分数量，不能盲目追求降维程度，以免丢失重要信息。
同时，主成分分析的结果需要进行解释和验证，以确保分析结果的可靠性和有效性。
结语主成分分析是一种十分常用且十分有效的数据降维方法，它能够将高维度数据转换成低维度数据，并尽量保留数据的信息。
第五章主成分分析 (2)PPT课件
12
第二节 总体主成分
主成分分析也称主分量分析，是由Hotelling于 1933年首先提出的。由于多个变量之间往往存在着 一定程度的相关性。人们自然希望通过线性组合的 方式，从这些指标中尽可能快地提取信息。当第一 个线性组合不能提取更多的信息时，再考虑用第二 个线性组合继续这个快速提取的过程，……，直到 所提取的信息与原指标相差不多时为止。这就是主 成分分析的思想。一般说来，在主成分分析适用的 场合，用较少的主成分就可以得到较多的信息量。 以各个主成分为分量，就得到一个更低维的随机向 量；因此，通过主成分既可以降低数据“维数”又 保留了原数据的大部分信息。
假定有n个样本每个样本共有p个变量构成一个np阶的数据矩阵2221121151假设我们所讨论的实际问题中有p个指标我们把这p个指标看作p个随机变量记为x主成分分析就是要把这p个指标的问题转变为讨论p个指标的线性组合的问题而这些新的指标ykp按照保留主要信息量的原则充分反映原指标的信息并且相互不相关
主成分分析
• • •
•
• • •• •
•
• •
• •
•• •
•
•• • • • • •
•
•
•
•
• ••
• • ••
•
•• • •
•
•• •
•• •
•
x1
释
•
••
• •
•
23
为了方便，我们在二维空间中讨论主成分的几何意义。 设有n个样品，每个样品有两个观测变量xl和x2，在由变 量xl和x2 所确定的二维平面中，n个样本点所散布的情况 如椭圆状。由图可以看出这n个样本点无论是沿着xl 轴方 向或x2轴方向都具有较大的离散性，其离散的程度可以分 别用观测变量xl 的方差和x2 的方差定量地表示。显然，如 果只考虑xl和x2 中的任何一个，那么包含在原始数据中的 经济信息将会有较大的损失。
主成分分析
主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。
在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。
依次类推，I 个变量就有I个主成分。
这种方法避免了在综合评分等方法中权重确定的主观性和随意性，评价结果比较符合实际情况；同时，主成份分量表现为原变量的线性组合，如果最后综合指标包括所有分量，则可以得到精确的结果，百分之百地保留原变量提供的变差信息，即使舍弃若干分量，也可以保证将85％以上的变差信息体现在综合评分中，使评价结果真实可靠。
是在实际中应用得比较广的一种方法。
由于其第一主成份（因子）在所有的主成分中包含信息量最大，很多学者在研究综合评价问题时常采用第一主成分来比较不同实体间的差别。
综上所述，该方法的优点主要体现在两个方面：1.权重确定的客观性；2.评价结果真实可靠。
1．主成分分析的基本原理主成分分析：把原来多个变量划为少数几个综合指标的一种统计分析方法，是一种降维处理技术。
）记原来的变量指标为x1，x2，…，xP，它们的综合指标——新变量指标为z1，z2，…，zm（m≤p），则z1，z2，…，zm分别称为原变量指标x1，x2，…，xP的第一，第二，…，第m 主成分，在实际问题的分析中，常挑选前几个最大的主成分。
第五章 主成分分析课件
0
p
性质2 主成分的总方差等于原始变量的总方
差， p
p
i
2 i
i 1
i 1
性质3 主成分 Yk 与原始变量 X i 的相关系数
Yk , X i
k i
uki, k, i 1,2,
,
p
为并称其为主成分载
荷。
§5.3 主成分的选取
称
k
k i
为第
i 个主成分的方差贡献率
m
称
m
i
i
i1 p
X1, X 2 , , X p 的线性组合中方差最大者（即
cov Yp ,Yi 0,i p, DYp 最大）。
其中： DYi DUiX UiDX Ui Ui Ui
DX 协方差阵
cov Yi ,Yj cov U iX ,U j X U i covX , X U j U i U j
Y1,Y2 , ,Yp 分别称为原始变量 X 的第 一主成分、第二主成分、…、第 p 主成分。
二、主成分的推导
第一主成分：构造目标函数
1U1, U1 U1 U1U1 1
对 U1 求导
1
U 1
2 U1
2U1
0
得 U1 U1 即 U 为正交阵， 为 Y1 的方差值，
若 的特征根为 1 2 p 0，Y1的最大 方差值为 1，相应的单位化特征向量为 U1 。
u22 X 2
u2p X p
Yp u p1 X1 u p2 X 2 u pp X p
其中
即 Y U X
uk21 uk22 uk2p 1,即UkUk 1, k 1,2, , p
原则：
1、Yi 与 Y j 不相关 i j,i, j 1,2, , p 2、 Y1 是 X1, X 2 , , X p 的线性组合中方差最大者 （即 DY1 最大）；Y2 与 Y1不相关的 X1, X 2 , , X p 的线性组合中方差最大者（即 covY1,Y2 0, DY2 最大）；…；Y p 与 Y1,Y2 , ,Yp1 都不相关的
主成分分析全
• 根据因子载荷矩阵中的数据计算特征向量 矩阵。
方法1：Transform—Compute 方法2：在Excel中计算
主成分表达式
Y1
0.075 X 1*
0.441X
* 2
0.450
X
* 3
0.544
X
* 4
0.550
X
* 5
Y2
0.787
X
* 1
0.519
X
* 2
0.106
X
* 3
0.254
X
F1
u11 X 1*
u21
X
* 2
F2
u12
X
* 1
u22
X
* 2
u
p1
X
* p
u
p
2
X
* p
Fp
u1
p
X
* 1
u2
p
X
* 2
u
pp
X
* p
• 这些系数称为主成分载荷（loading），它表示 主成分和原先各变量的线性相关系数。
解析主成分的实际意义
• 从系数的大小、系数的符号上进行分析。 • 系数绝对值较大，则表明该主成分主要综合了绝
2.576
51.520
51.520
1.389
27.790
79.310
.961
19.222
98.532
.047
.932
99.465
.027
.535
100.000
Co mp one nt Ma tri xa
Component
1
2
3
4
x1
主成分分析
表1是某市工业部门13个行业的8项重要经济指标的数
主成分分析实例 2
据，这8项经济指标分别是： X1：年末固定资产净值，单位：万元； X2：职工人数据，单位：人； X3：工业总产值，单位：万元； X4：全员劳动生产率，单位：元/人年； X5：百元固定资产原值实现产值，单位：元； X6：资金利税率，单位：%； X7：标准燃料消费量，单位：吨； X8：能源利用效果，单位：万元/吨。
主成分分析的目的与功能
在多变量分析中，分析者所面临的最大难题是
解决众多变量之间的关系问题。进行数据降维 可以用尽可能少的新指标取代原来较多的指标 变量，并能包含原来指标变量所包含的大部分 信息 。 解决多元回归分析中的多重共线性问题。 综合评价中，人们总是尽可能多地选取评价指 标，而这些评价指标之间往往相互重叠，信息 冗余是不可避免的。主成分分析则可以把这众 多指标所蕴含的信息压缩到少数几个主成分指 标，然后给出这几个主成分指标的权重，综合 到一个评价指标中。
y1 是反映学生身材魁梧与否的综合指标
y2 是反映学生体形特征的综合指标。
表1是某市工业部门13个行业的8项重要经济指标的数 据，这8项经济指标分别是： X1：年末固定资产净值，单位：万元； X2：职工人数据，单位：人； X3：工业总产值，单位：万元； X4：全员劳动生产率，单位：元/人年； X5：百元固定资产原值实现产值，单位：元； X6：资金利税率，单位：%； X7：标准燃料消费量，单位：吨； X8：能源利用效果，单位：万元/吨。
表1 某市工业部门13个行业8项指标
X1 冶金 电力 煤炭 化学 机器 建材 森工 食品 纺织 缝纫 皮革 造纸 文教 90342 4903 6735 49454 139190 12215 2372 11062 17111 1206 2150 5251 14341 X2 52455 1973 21139 36241 203505 16219 6572 23078 23907 3930 5704 6155 13203 X3 101091 2035 3767 81557 215898 10351 8103 54935 52108 6126 6200 10383 19396 X4 19272 10313 1780 22504 10609 6382 12329 23804 21796 15586 10870 16875 14691 X5 82 34.2 36.1 98.1 93.2 62.5 184.4 370.4 221.5 330.4 184.2 146.4 94.6 X6 16.1 7.1 8.2 25.9 12.6 8.7 22.2 41 21.5 29.5 12 27.5 17.8 X7 197435 592077 726396 348226 139572 145818 20921 65486 63806 1840 8913 78796 6354 X8 0.172 0.003 0.003 0.985 0.628 0.066 0.152 0.263 0.276 0.437 0.274 0.151 1.574
数学建模第五讲主成分分析
数学建模第五讲主成分分析主成分分析的基本思想是寻找数据中最重要的方向，这些方向被称为主成分。
每个主成分都与其他主成分正交，即彼此之间没有相关性。
通过找到主成分，我们可以将高维数据投影到低维空间中，以找到数据的主要结构和模式。
要进行主成分分析，首先需要对数据进行标准化，使得每个变量的均值为0，方差为1、然后，通过计算数据的协方差矩阵，可以得到数据中变量之间的相关性。
协方差矩阵对角线上的元素表示各个变量的方差，非对角线上的元素表示变量之间的协方差。
接下来，需要计算协方差矩阵的特征值和对应的特征向量。
特征值表示数据在特定方向上的方差，而特征向量表示数据在该方向上的投影。
特征向量将数据投影到一个新的方向，这个方向上的方差最大，即数据在这个方向上的信息量最大。
根据特征值的大小，可以选择最重要的特征向量作为主成分。
在选择主成分时，通常选择特征值较大的特征向量，因为它们对应的方差较大，即数据在这些方向上的信息量较多。
选择的主成分的个数通常由用户自行指定，可以根据实际应用中的需求和数据的维度进行调整。
选取主成分后，可以通过对数据进行投影来进行降维。
投影的结果是一个低维空间的表示，可以更容易地可视化和分析。
在投影后的空间中，样本之间的距离仍然能够保持原始数据中的信息，但是可以大大减少数据的维度。
除了降维外，主成分分析还可以用于特征选择、噪声过滤、数据可视化等领域。
通过主成分分析，我们可以从高维数据中提取出最重要的信息，简化数据分析过程。
在应用主成分分析时，还需要注意一些问题。
首先，主成分分析假设数据服从多元正态分布，如果数据不满足该假设，则结果可能会失真。
另外，当数据的维度较高时，计算协方差矩阵和特征值分解可能会变得非常耗时，并且需要大量的内存空间。
因此，在应用主成分分析时，需要考虑这些因素，选择合适的算法和工具。
总之，主成分分析是一种重要的降维方法，在数学建模中具有广泛的应用。
通过寻找数据中最重要的方向，主成分分析可以简化数据的结构，提取出数据中的主要信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§5.1.2 主成分分析的基本理论
设对某一事物的研究涉及个 指标，分别用 示，这个 指标构成的 维随机向量为 机向量 的均值为 ，协方差矩阵为 。 表 。设随
对 进行线性变换，可以形成新的综合变量，用 表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
Y1 u11 X 1 u12 X 2 u1 p X p Y2 u 21 X 1 u 22 X 2 u 2 p X p Yp u p1 X 1 u p 2 X 2 u pp X p
20
目录 上页 下页 返回 结束
§5.2.1 总体主成分
(一)从协方差矩阵出发求解主成分 结论： 设随机向量 的协方差矩阵为 ，
为 的特征值， 为矩阵 各特征值对应 的标准正交特征向量，则第 i个主成分为： Yi i1 X 1 i 2 X 2 ip X p 此时：var( Yi ) γ i ' γ i i cov( Y i , Y j ) γ i ' γ j 0 证明：由引论知，对于任意常向量 ，有： （5.3）
第五章
主成分分析
•§5.1 主成分分析的基本思想与理论 •§5.2 总体主成分及其性质 •§5.3 样本主成分的导出 •§5.4 有关问题的讨论 •§5.5 主成分分析步骤及框图 •§5.6 主成分分析的上机实现
2016/5/29
目录 上页 下页 返回 结束
1
• 主成分分析(Principal Components Analysis)也称主 分量分析，是由霍特林（Hotelling）于1933年首先提 出的。 •主成分分析是利用降维的思想，在损失很少信息的 前提下把多个指标转化为几个综合指标的多元统计 方法。
i 1
p
ii
2016/5/29
25
目录 上页 下页 返回 结束
正因如此，才把 称为 的主成分。进而我们就更清楚为 什么主成分的名次是按特征根 取值的大小排序的。
进行主成分分析的目的之一是为了减少变量的个数，所以 一般不会取 个主成分，而是取 个主成分， 取多少比较 合适，这是一个很实际的问题，通常以所取 m 使得累积贡献率 达到85％以上为宜，即 (5.5) 这样，既能使损失信息不太多，又达到减少变量，简化问 题的目的。另外，选取主成分还可根据特征值的变化来确定。 图5-2为SPSS统计软件生成的碎石图。
2016/5/29
目录 上页 下页 返回 结束
5
利用主成分分析得到的主成分与原始变量之 间有如下基本关系：
1.每一个主成分都是各原始变量的线性组合 2.主成分的数目大大少于原始变量的数目 3.主成分保留了原始变量绝大多数信息 4.各主成分之间互不相关
2016/5/29
目录 上页 下页 返回 结束
6
8
因此对 不加限制时，可使 任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
1．
，即：
2．
的一切满足原则1的线性组合中方差最 大者； 是与 不相关的 所有线性组合中方差最 大者；…, 是与 都不相关的 的所有 线性组合中方差最大者。
3. 是
2016/5/29
目录 上页 下页 返回 结束
2016/5/29
目录 上页 下页 返回 结束
3
§5.1.1 主成分分析的基本思想
考虑多个指标对某一问题进行分析的时候会产生如下问
题：
• 为了避免遗漏重要的信息而考虑尽可能多的指标； • 增多增加了问题的复杂性，同时由于各指标均是对同一事 物的反映，不可避免地造成信息的大量重叠，这种信息的重 叠有时甚至会抹杀事物的真正特征与内在规律。 基于上述问题，人们就希望在定量研究中涉及的变量较 少，而得到的信息量又较多。主成分分析正是研究如何通过 原来变量的少数几个线性组合来解释原来变量绝大多数信息 的一种多元统计方法。
9
基于以上三条原则决定的综合变量 Y1 , Y2 , , YP 分 别称为原始变量的第一、第二、…、第 p 个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2016/5/29
目录 上页 下页 返回 结束
2016/5/29
目录 上页 下页 返回 结束
13
其矩阵形式为：
其中， 为旋转变换矩阵，由上式可知它是正交阵， 即满足
2016/5/29
目录 上页 下页 返回 结束
14
经过这样的旋转之后， 个样品点在 轴上的离散程度最 大，变量 代表了原始数据绝大部分信息，这样，有时在研 究实际问题时，即使不考虑变量 也无损大局。因此，经过 上述旋转变换就可以把原始数据的信息集中到 轴上，对数 据中包含的信息起到了浓缩的作用。进行主成分分析的目的 就是找出转换矩阵 ，而进行主成分分析的作用与几何意义 也就很明了了。下面我们用遵从正态分布的变量进行分析， 以使主成分分析的几何意义更为明显。为方便，我们以二元 正态分布为例。对于多元正态总体的情况，有类似的结论。
又
为标准正交特征向量，于是：
21
目录 上页 下页 返回 结束
2016/5/29
由以上结论，我们把 的协方差矩阵 的非零特 征值 对应的标准化特征向量 分别 Y1 γ 1 ' X ， Y 2 γ 2 ' X ， ， Y p γ p ' X 分别称为随机向 作为系数向量， 量 X 的第一主成分、第二主成分、…、第 p 主成分。 的分量
2016/5/29
目录 上页 下页 返回 结束
17
因此有：
椭圆方程，主轴 方向确定了主成 分的坐标方向
主成分分析的几何意义：主成分分析的过程无非就是坐标系旋 转的过程，各主成分表达式就是新坐标系与原坐标系的转换关 系，在新坐标系中，各坐标轴的方向就是原始数据变差最大的 方向。
2016/5/29 18
2016/5/29
目录 上页 下页 返回 结束
(5.1)
7
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 的方差尽可能大且各 之间互相独立， 由于
=
而对任给的常数 ，有
2016/5/29
目录 上页 下页 返回 结束
依次是 的第一主成分、第二主成分、…、第 分的充分必要条件是： （1） ，即 为 阶正交阵； （2） 的分量之间互不相关； （3） 的 个分量是按方差由大到小排列。 主成
2016/5/29
目录 上页 下页 返回 结束
22
于是随机向量
与随机向量
之间存在下面的关系式：
（5.4）
注：无论 的各特征根是否存在相等的情况，对应的标准化 特征向量 总是存在的，我们总可以找到对应各特 征根的彼此正交的特征向量。这样，求主成分的问题就变成了 求特征根与特征向量的问题。
目录 上页 下页 返回 结束
§5.2 总体主成分及其性质
由上面的讨论可知，求解主成分的过程就是 求满足三条原则的原始变量 的线性组
合的过程。本节先从总体出发，介绍求解主成分
的一般方法及主成分的性质，然后介绍样本主成
分的导出。
2016/5/29
目录 上页 下页 返回 结束
19
主成分分析的基本思想就是在保留原始变量尽可能多的信息 的前提下达到降维的目的，从而简化问题的复杂性并抓住问题 的主要矛盾。而这里对于随机变量 而言， 其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间 的相关程度的信息的反应，而相关矩阵不过是将原始变量标准 化后的协方差矩阵。 我们所说的保留原始变量尽可能多的信息，也就是指的生成 的较少的综合变量（主成分）的方差和尽可能接近原始变量方 差的总和。 在实际求解主成分的时候，总是从原始变量的协方差矩阵或 相关矩阵的结构分析入手。一般地说，从原始变量的协方差矩 阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成 分是不同的。。 2016/5/29
2016/5/29
目录 上页 下页 返回 结束
27
定义5.2 第 个主成分 与原始变量 的相关系数 称做 因子负荷量。 因子负荷量是主成分解释中非常重要的解释依据，因子负 荷量的绝对值大小刻画了该主成分的主要意义及其成因。在下 一章因子分析中还将要对因子负荷量的统计意义给出更详细的 解释。由下面的性质我们可以看到因子负荷量与系数向量成正 比。
2016/5/29
目录 上页 下页 返回 结束
ห้องสมุดไป่ตู้
11
设有 个样品，每个样品有两个观测变量 ，这样， 在由变量 组成的坐标空间中， 个样品点散布的情况如 带状，见图5-1。
图5-1
2016/5/29
目录 上页 下页 返回 结束
12
由图可以看出这 个样品无论沿 轴方向还是沿 轴方向均 有较大的离散性，其离散程度可以分别用观测变量 的方差和 的方差定量地表示，显然，若只考虑 和 中的任何一个，原 始数据中的信息均会有较大的损失。我们的目的是考虑 和 的线性组合，使得原始样品数据可以由新的变量 和 来刻画。 在几何上表示就是将坐标轴按逆时针方向旋转 角度，得到新坐 标轴 和 ，坐标旋转公式如下：
2016/5/29
目录 上页 下页 返回 结束
26
图5-2
由图5-2可知，第二个及第三个特征值变化的趋势已经开始趋于平稳，所 以，取前两个或是前三个主成分是比较合适的。这种方法确定的主成分个数 与按累积贡献率确定的主成分个数往往是一致的。在实际应用中有些研究工 作者习惯于保留特征值大于1的那些主成分，但这种方法缺乏完善的理论支 持。在大多数情况下，当m=3时即可使所选主成分保持信息总量的比重达到 85％以上。
10
§5.1.3 主成分分析的几何意义