数学建模实用教程(主成分分析)
大学生数学建模-主成分分析方法
要点三
结合深度学习技术
随着深度学习技术的不断发展，为主 成分分析方法提供了新的思路和方法 。未来研究可以关注如何将深度学习 技术与主成分分析方法相结合，构建 更加高效、准确的模型，以应对更加 复杂的问题和挑战。
THANKS FOR WATCHING
感谢您的观看Βιβλιοθήκη 案例背景介绍案例来源
本案例来自某高校数学建模竞赛，旨在通过主成 分分析方法对一组多维数据进行降维处理。
数据特点
原始数据集包含多个特征，且特征之间存在相关 性，数据维度较高。
建模目标
通过主成分分析，提取数据中的主要特征，降低 数据维度，以便进行后续的数据分析和建模。
数据采集与预处理
数据采集
01
从相关数据源获取原始数据集，确保数据的完整性和准确性。
简化数据结构
主成分分析能够将多个相关变量 转化为少数几个综合变量，简化 数据结构，方便后续分析和建模。
应用于多个领域
主成分分析方法在经济学、金融 学、社会学、医学等多个领域都 有广泛应用，为相关领域的研究 提供了有力支持。
主成分分析方法的概述
01 02
线性变换方法
主成分分析通过线性变换将原始数据转换为新的坐标系，使得新坐标系 下的各主成分之间互不相关，且第一主成分解释原始数据变异的能力最 强，后续主成分依次减弱。
大学生数学建模-主成分分析方法
目录
• 引言 • 主成分分析方法的基本原理 • 主成分分析方法在大学生数学建模中
的应用 • 主成分分析方法的优缺点及适用范围
目录
• 案例分析：基于主成分分析的大学生 数学建模实践
• 总结与展望
01 引言
目的和背景
探究数据内在结构
主成分分析是一种常用的多元统 计方法，通过降维技术探究数据 内在结构，揭示变量之间的关系。
主成分分析(数学建模)
• 对于我们的数据，SPSS输出为 对于我们的数据，SPSS输出为
Total Variance Explained Initial Eigenvalues Component Total % of Variance Cumulative % 1 3.735 62.254 62.254 2 1.133 18.887 81.142 3 .457 7.619 88.761 4 .323 5.376 94.137 5 .199 3.320 97.457 6 .153 2.543 100.000 Extraction Method: Principal Component Analysis. Extraction Sums of Squared Loadings Total % of Variance Cumulative % 3.735 62.254 62.254 1.133 18.887 81.142
主 成 分 分 析
汇报什么？ 汇报什么？
假定你是一个公司的财务经理，掌握了公司的 所有数据，比如固定资产、流动资金、每一笔 借贷的数额和期限、各种税费、工资支出、原 料消耗、产值、利润、折旧、职工人数、职工 的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些 指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个 指标简单明了地把情况说清楚。
Component Matrix
a
Component 1 2 3 4 MATH -.806 .353 -.040 .468 PHYS -.674 .531 -.454 -.240 CHEM -.675 .513 .499 -.181 LITERAT .893 .306 -.004 -.037 HISTORY .825 .435 .002 .079 ENGLISH .836 .425 .000 .074 Extraction Method: Principal Component Analysis. a. 6 components extracted. 5 .021 -.001 .002 .077 -.342 .276 6 .068 -.006 .003 .320 -.083 , x 3 , x 4 , x 5 , x6 分 别 表 示 原 先 的 六 个 变 量 ， 而 用 y 1 , y 2 , y 3 , y 4, y 5 , y 6 表 示 新 的 主 成 分 ， 那 么 ， 原 先 六 个 变 量 的关系为： x1,x2,x3,x4,x5,x6与第一和第二主成分y1,y2的关系为： X1=-0.806y1 + 0.353y2 353y X2=-0.674y1 + 0.531y2 531y X3=-0.675y1 + 0.513y2 513y X4= 0.893y1 + 0.306y2 306y x5= 0.825y1 + 0.435y2 435y x6= 0.836y1 + 0.425y2 425y • 这些系数称为主成分载荷 （ loading） ， 它表示主成分和相应 这些系数称为主成分载荷（ ） 的原先变量的相关系数。 的原先变量的相关系数。 • 比如 1 表示式中 1 的系数为 比如x 表示式中y 的系数为-0.806， 这就是说第一主成分和数 ， 学变量的相关系数为-0.806。 学变量的相关系数为 。 • 相关系数 绝对值 ） 越大 ， 主成分对该变量的代表性也越大 。 相关系数(绝对值 越大，主成分对该变量的代表性也越大。 绝对值） 可以看得出，第一主成分对各个变量解释得都很充分。 可以看得出，第一主成分对各个变量解释得都很充分。而最后 的几个主成分和原先的变量就不那么相关了。 的几个主成分和原先的变量就不那么相关了。
大学生数学建模——主成分分析方法页PPT文档
从以上的分析可以看出，主成分分析的
实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。
从数学上容易知道，从数学上可以证明，
它们分别是的相关矩阵的m个较大的特征值所 对应的特征向量。
二、计算步骤
1540.29 926.35 1501.24 897.36 911.24 103.52 968.33 957.14 824.37 1255.42 1251.03 1246.47 814.21 1124.05 805.67 1313.11
216.39 291.52 225.25 196.37 226.51 217.09 181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
65.601 1181.54 270.12 18.266 0.162 7.474 12.489
33.205 1436.12 354.26 17.486 11.805 1.892 17.534
16.607 1405.09 586.59 40.683 14.401 0.303 22.932
6 68.337 7 95.416 8 62.901 9 86.624 10 91.394 11 76.912 12 51.274 13 68.831 14 77.301 15 76.948 16 99.265 17 118.505 18 141.473 19 137.761 20 117.612 21 122.781
人) 295.34
x 6：经济 作物占农 作物面积 比例(％)
26.724
x 7：耕地 占土地面 积比率
主成分分析(数学建模)
主成分分析
每个人都会遇到有很多变量的数据。
比如全国或各个地区的带有许多经济和社会变 量的数据；各个学校的研究、教学等各种变量 的数据等等。
这些数据的共同特点是变量很多，在如此多的 变量之中，有很多是相关的。人们希望能够找 出它们的少数“代表”来对它们进行描述。
本章就介绍两种把变量维数降低以便于描述、 理 解 和 分 析 的 方 法 ： 主 成 分 分 析 （ principal component analysis ） 和 因 子 分 析 （ factor analysis）。实际上主成分分析可以说是因子 分析的一个特例。在引进主成分分析之前，先 看下面的例子。
• 这里的Initial Eigenvalues就是这里的六个
主轴长度，又称特征值（数据相关阵的特
征值）。头两个成分特征值累积占了总方 差的81.142%。后面的特征值的贡献越来越 少。
• 特征值的贡献还可以从SPSS的所谓碎石图看出
Scree Plot
4
3
2
1
0
1
2
3
4
5
6
Component Number
现:
1.analyze-description statisticdescription-save standardized as variables
2.analyze-data reduction-factor 3.指定参与分析的变量 4.运行factor 过程
• 对于我们的数据，SPSS输出为
成绩数据（student.sav）
100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
从本例可能提出的问题
目前的问题是，能不能把这个数据的6 个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信 息呢？ 能不能利用找到的综合变量来对学生排 序呢？这一类数据所涉及的问题可以推 广到对企业，对学校进行分析、排序、 判别和分类等问题。
主成分分析数学建模 ppt课件
指标 身长 袖长 胸围 腰围 肩宽 肩厚 X1 X2 X3 X4 X5 X6
Y1=a11*X1+a12X2+a13X3+a14X4+a15X5+a16X6 Y2=a21*X1+a22X2+a23X3+a24X4+a25X5+a26X6 Y3=a31*X1+a32X2+a33X3+a34X4+a35X5+a36X6
主成分分析数学建模设有n个样品每个样品观测p个指标将原始数据写成矩阵形式?????????????npnnppxxxxxxxxx???????212222111211x1将原始数据标准化2建立变量的相关系数阵ppijr??rjjiiijijsssr?11jajnaiaiijxxxxns?????3求r的特征根及相应的单位特征向量特征值大的贡献大
一般取累计贡献率达85—95%的特征值 所对应的第一、第二，…，第m（m≤p）个主成分。
5 、根据特征值，确定各成分权重，进行综合指标，排序。
Y
1
8
Y182
Y2
i i
i1
i1
88 Y8 i
i1
这里我们需要进一步强调的是，从相关阵求得的主成分与协差阵求得
的主成分一般情况是不相同的。实际表明，这种差异有时很大。我们认
F1 u11X1 u21X2 up1Xp F2 u12X1 u22X2 up2Xp
Fp u1pX1 u2pX2 uppXp
主成分分析数学建模
7
满足
1. 主成分的方差依次递减，重要性依次递减，即 V （ F 1 ） a V ( r F 2 ) a V r ( F p ) ar
2. 主成分之间互不相关，即无重叠的信息。即 C （ F i ， F j ） o 0 ， i j ， v i ， j 1 ， 2 ， ， p
主成分分析(数学建模)
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
满足如下的条件：
（1）每个主成分的系数平方和为1。
即
u12i u22i
§3 主成分的推导
一、线性代数的结论
若A是p阶实对称阵，其中i(i=1,2,┅,p)是A 的特征根。即有ui ，使
Aui iui uiAui uiiui i
Ui是正交的特征向量。
u1 u2 ... up A u1 u2 ... up
则一定可以找到正交阵U，使
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
•
•
•
• •••
• •• •
•• •
• ••
x1
解
••
释
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何
F2
•
•••
•••
• •
•
•••••••••••••••••••••••
• •
x1
四、原始变量与主成分之间的相关系数
Fj u1 j x1 u2 j x2 upj xp j 1, 2, , k, k p
a1a1
a1U
2
Ua1
p
1
a1 u1,u2 ,
数学建模实用教程
数学建模实用教程一、原理主成分分析的目标是通过线性变换将高维数据转换为低维特征，同时最大化样本间的方差。
它的基本思想是通过找到方差最大的投影方向，将原始数据的维度降低；然后再在新的低维空间中找到方差最大的投影方向。
通过不断迭代，可以得到一组新的主成分，它们是原始数据中方差最大的线性组合。
二、数学模型设我们有一个包含n个样本和m个特征的数据矩阵X，其中每个样本用一个m维向量表示。
首先，我们需要将数据进行中心化处理，即减去每个特征的均值。
然后，计算数据的协方差矩阵C。
协方差矩阵的第i行第j列元素表示特征i和特征j之间的协方差。
接着，我们需要求解协方差矩阵的特征值和特征向量。
特征值表征了特征的方差，特征向量是协方差矩阵的特征值对应的单位化向量。
我们选择特征值最大的前k个特征向量作为主成分，它们可以表示数据的最大方差。
将原始数据投影到这些主成分上，就得到了降维后的数据。
三、实际应用主成分分析在实际应用中有广泛的应用。
首先，它可以用于降维。
通过保留主成分的一部分，可以将高维数据降低到低维，减少数据中的噪声和冗余信息。
其次，主成分分析还可以用于特征提取。
通过选择主成分，我们可以得到较少的特征，这些特征能够更好地表示原始数据的信息。
在图像和语音处理等领域，主成分分析可以用于特征提取和分类。
此外，主成分分析还可以用于数据可视化。
将数据投影到主成分上，可以将高维数据可视化为二维或三维的图形，以帮助我们更好地理解数据的结构和关系。
除了上述应用之外，主成分分析还可以与其他建模技术相结合，如聚类和分类等。
通过将主成分作为输入，我们可以得到更好的聚类和分类效果。
此外，主成分分析还可以用于异常检测和模式识别等领域。
总结：主成分分析是一种常用的数学建模技术，它可以用于降维、特征提取和数据可视化等多种应用。
本文介绍了主成分分析的基本原理、数学模型以及实际应用。
希望能帮助读者更好地理解和应用主成分分析。
数学建模优秀课件之主成分分析
1 2 , p 0
2.求出的特征向量：每一个特征值对应的特征向量，由此可 以得出第一，二，第三主成分表达式
四、计算主成分贡献率及累计贡献率
1.贡献率：
i
p
k
k 1
(i 1,2,, p)
2.累计贡献率:
i
k
k 1
p
k
k 1
(i 1,2,, p)
如果累计贡献率超过了0.85，则说明前k个主成分基本包括了全部指标具 有的信息，因此可以只选前k个成分来分析
X
(X1, X 2,...,X P )
x21
...
x22 ...
... x2p
...
...
xn1 xn2 ... xnp
定义：记x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p） 为新变量指标
z1 l11x1 l12 x2 l1p xp
z2
l21x1
l22 x2
将“成分矩阵”表中每一列值分别除以特征值的开方，就得 z
出了每一个特征值对应的特征向量，由此可以得出第一，第二， 第三主成分表达式（令各因素为X1，X2……X8）
z1=0.4567*X1+0.4095*X2+0.8274*X3+0.735*X4+1.053*X51.37*X6-2.4318*X7+6.72*X8
rpp
rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：
rij
n
( xki xi )(xkj x j )
k 1
n
n
( xki xi )2 ( xkj x j )2
数模第16讲主成分分析
Y 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006
X1 2297.86 2262.19 2303.29 2308.70 2337.65 2418.96 2702.34 3015.32 3135.65 3415.92
X2 589.62 571.69 589.99 551.14 589.28 618.60 735.01 779.68 849.53 1038.98
二、主成分分析法
设有 p 项指标 X1 ， X 2 ，……， X p ，每个指标有 n 个观
测数据，得到原始数据资料矩阵
x11 x12 x1p
X
x21x22 ຫໍສະໝຸດ x2 p(
X1
,
X 2 ,,
Xp)
xn1 xn2 xnp
x1i
Xi
x2i
xni
i 1, 2,, p
用矩阵 X 的 p 个向量 X1, X 2 ,, X p 作线性组合为：
主成分分析过程
（1）录入原始数据
X=[2297.86 589.62 474.74 2262.19 571.69 461.25 2303.29 589.99 516.21 2308.70 551.14 476.45 2337.65 589.28 509.82 2418.96 618.60 454.20 2702.34 735.01 475.36 3015.32 779.68 474.15 3135.65 849.53 583.50 3415.92 1038.98 615.74
164.19 185.90 236.55 293.23 334.05 429.60 459.69 537.95 629.32 705.72
主成分分析(数学建模)---市公开课一等奖省赛课获奖PPT课件
21
2 2
2
p
p1
p2
2 p
第25页
因为Σx为非负定对称阵，则有利用线 性代数知识可得，必存在正交阵U，使得
1
0
UΣXU
0
p
其中1， 2，…， p为Σx特征根，不妨假设1 2 … p 。而U恰好是由特征根相对应特征（列）向量所 组成正交阵。
第26页
u11 u12 u1p
U
第6页
主成份分析试图在力保数据信息丢失最少 标准下，对这种多变量截面数据表进行最正 确综合简化，也就是说，对高维变量空间进 行降维处理。
很显然，识辨系统在一个低维空间要比 在一个高维空间轻易得多。
第7页
在力争数据信息丢失最少标准下，研究指 标体系少数几个线性组合，而且这几个线性 组合所组成综合指标将尽可能多地保留原来 指标变异方面信息,这种分析叫主成份分析， 这些综合指标就称为主成份，主成份相互独 立。
类推 F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
思索题：第k(k≤p)个特征根约为0，说明什么？
说明第k到第p个特征根所对应特征向量组成线 性组合等于常数，因为其方差为零。
第35页
写为矩阵形式：
F UX
u11 u12 u1p
Co（v Fi，Fj） 0，i j，i，j 1， 2， ，p 主成份方差依次递减，主要性依次递减，即
Va（r F1） Var(F2 ) Var(Fp )
第13页
为了方便，我们在二维空间中讨论主成份几何意义。 设有n个样品，每个样品有两个观察变量xl和x2，在由变量 xl和x2 所确定二维平面中，n个样本点所散布情况如椭圆 状。由图能够看出这n个样本点不论是沿着xl 轴方向或x2 轴方向都含有较大离散性，其离散程度能够分别用观察变 量xl 方差和x2 方差定量地表示。显然，假如只考虑xl和x2 中任何一个，那么包含在原始数据中经济信息将会有较大 损失。
数学建模主成分分析市公开课金奖市赛课一等奖课件
••
x2
F1
• • •
••• •
••• • •• ••••• •• •
•
••
x 1
•
平移、旋转坐标轴
第8页
❖由图能够看出这n个样本点无论是沿着xl 轴方向或 x2轴方向都含有较大离散性，其离散程度能够分别 用观测变量xl 方差和x2 方差定量地表示。显然， 假如只考虑xl和x2 中任何一个，那么包括在原始数 据中经济信息将会有较大损失。
解得 （ a11, a12 ）= (0.88,0.47)
2 所相应单位特性向量 (S 2) 0，其中
(323.4 103.1a21
132)a21 103.1a22 (187.5 132)a22
0
0
a221
a2 22
1
解得： (a21, a22 ) (0.47,0.88)
21 22
第25页
❖假如我们将xl 轴和x2轴先平移，再同时按逆时针方 向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两 个新变量。
Fl轴方向上离散程度最大，即Fl方差最大。阐明变量Fl代表了原始数 据绝大部分信息，即使不考虑变量F2也无损大局。
第9页
❖ 依据旋转变换公式：
f1 f2
x1 cos x2 sin x1 sin x2 cos
5. 主成份含义 F1表示学生身材大小。 F2反应学生体形特性
第30页
三个主成份方差奉献率分别为：
1 3 i
98.15 98.15 23.60 1.56
98.15 79.6% 123.31
i 1
2 23.60 19.1%
3
i
123.31
i 1
3 3 i
1.56 1.3% 123.31
数学建模第五讲主成分分析
数学建模第五讲主成分分析主成分分析的基本思想是寻找数据中最重要的方向，这些方向被称为主成分。
每个主成分都与其他主成分正交，即彼此之间没有相关性。
通过找到主成分，我们可以将高维数据投影到低维空间中，以找到数据的主要结构和模式。
要进行主成分分析，首先需要对数据进行标准化，使得每个变量的均值为0，方差为1、然后，通过计算数据的协方差矩阵，可以得到数据中变量之间的相关性。
协方差矩阵对角线上的元素表示各个变量的方差，非对角线上的元素表示变量之间的协方差。
接下来，需要计算协方差矩阵的特征值和对应的特征向量。
特征值表示数据在特定方向上的方差，而特征向量表示数据在该方向上的投影。
特征向量将数据投影到一个新的方向，这个方向上的方差最大，即数据在这个方向上的信息量最大。
根据特征值的大小，可以选择最重要的特征向量作为主成分。
在选择主成分时，通常选择特征值较大的特征向量，因为它们对应的方差较大，即数据在这些方向上的信息量较多。
选择的主成分的个数通常由用户自行指定，可以根据实际应用中的需求和数据的维度进行调整。
选取主成分后，可以通过对数据进行投影来进行降维。
投影的结果是一个低维空间的表示，可以更容易地可视化和分析。
在投影后的空间中，样本之间的距离仍然能够保持原始数据中的信息，但是可以大大减少数据的维度。
除了降维外，主成分分析还可以用于特征选择、噪声过滤、数据可视化等领域。
通过主成分分析，我们可以从高维数据中提取出最重要的信息，简化数据分析过程。
在应用主成分分析时，还需要注意一些问题。
首先，主成分分析假设数据服从多元正态分布，如果数据不满足该假设，则结果可能会失真。
另外，当数据的维度较高时，计算协方差矩阵和特征值分解可能会变得非常耗时，并且需要大量的内存空间。
因此，在应用主成分分析时，需要考虑这些因素，选择合适的算法和工具。
总之，主成分分析是一种重要的降维方法，在数学建模中具有广泛的应用。
通过寻找数据中最重要的方向，主成分分析可以简化数据的结构，提取出数据中的主要信息。
数学建模之主成分分析法
主成分分析主成分分析的主要目的是希望用较少的变量去解释原来资料中的大部分变量，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。
通常是选出比原始变量个数少，能解释大部分资料中的变异的几个新变量，即所谓主成分，并用以解释资料的综合性指标。
1、主成分分析的应用（1）我国各地区普通高等教育发展水平综合评价。
（2）投资效益的分析和排序等。
2、主成分分析法的步骤①对原始数据进行标准化处理用12,,,m x x x 表示主成分分析指标的m 个变量，评价对象有n 个，ij a 表示第i 个评价对象对应于第j 个指标的取值。
将每个指标值ij a 转化为标准化指标ij a ，即 ,(1,2,,;1,2,,)ij j ij j a a i n j m s μ-===式中：11n j ij i a n μ==∑，211()1nj ij j i s a n μ==--∑ 相应地，标准化指标变量为,(1,2,,)j jj j x x j m s μ-==②计算相关系数矩阵R()ij m m R r ⨯=1,(,1,2,,)1n ki kj k ij a a r i j m n =⋅==-∑ 其中：1,ii ij ji r r r ==，ij r 是第i 个指标和第j 指标之间的相关系数。
③计算相关系数矩阵的特征值与特征向量 解特征方程0=-R I λ，得到特征值(1,2,,)i i m λ=12,0m λλλ≥≥≥≥；再求出相对应的特征值i λ的特征向量(1,2,,)i u i m =，其中12(,,,)T j j j mj u u u u =,由特征向量组成的m 个新的指标变量为 11112121212122221122m m m m m m m mm my u x u x u x y u x u x u x y u x u x u x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ 其中：1y 为第1主成分，2y 为第1主成分，⋯，m y 为第m 主成分④选择p （p ≤m ）个主成分，计算综合评价值。
主成分分析数学建模
cov( F2 , F3 ) 0 a3a3 1
u p3 X p
因为 cov( F , F ) cov(ux, u x) u u u u 0 1 2 1 2 2 1 1 2 1
则，对p维向量 u2 ，有
u3 V ( F3 ) u3
2 2 i (u u ) ( u u ) 3 i 2 3 i i 1 i 3 p p
在社会经济的研究中，为了全面系统的分析
和研究问题，必须考虑许多经济指标，这些指标
能从不同的侧面反映我们所研究的对象的特征， 但在某种程度上存在信息的重叠，具有一定的相 关性。
主成分分析试图在力保数据信息丢失最少 的原则下，对这种多变量的截面数据表进行 最佳综合简化，也就是说，对高维变量空间
进行降维处理。
2 1i 2 2i
u 1
2 pi
主成分之间相互独立，即无重叠的信息。即
Cov （Fi，Fj） 0，i j，i，j 1， 2，
，p
主成分的方差依次递减，重要性依次递减，即
Var （F1） Var ( F2 )
Var ( Fp )
为了方便，我们在二维空间中讨论主成分的几何意义。
精度，用三新变量就取代了原 17 个变量。根
据经济学知识，斯通给这三个新变量分别命
名为总收入 F1 、总收入变化率 F2 和经济发展
或衰退的趋势 F3 。更有意思的是，这三个变
量其实都是可以直接测量的。斯通将他得到
的主成分与实际测量的总收入I、总收入变化
率I以及时间t因素做相关分析，得到下表：
F1
iauiu ia
i 1
p
i (aui ) 2
i 1
数学建模主成分分析方法
主成分分析方法地理环境是多要素的复杂系统，在我们进行地理系统分析时，多变量问题是经常会遇到的。
变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。
因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的，这里介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。
一、主成分分析的基本原理主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。
假定有n 个地理样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的地理数据矩阵：111212122212p p n n npx x x x x x X x x x ⎧⎪⎪=⎨⎪⎪⎩ （1）如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。
为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。
那么，这些综合指标（即新变量)应如何选取呢？显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。
如果记原来的变量指标为x 1，x 2，…，x p ，它们的综合指标——新变量指标为z 1，z 2，…，zm （m≤p)。
则 11111221221122221122,,.........................................,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ （2）在（2)式中，系数l ij 由下列原则来决定：（1)z i 与z j （i≠j ；i ，j=1，2，…，m)相互无关；（2)z 1是x 1，x 2，…，x p 的一切线性组合中方差最大者；z 2是与z 1不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者；……；z m 是与z 1，z 2，……z m -1都不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解决的问题之一：降维
主成份分析正是针对这类问题而产生的，是解决这 类题的理想工具。
主成分分析也称主分量分析（principal components analysis,PCA）是由美国的科学 家哈罗德·霍特林（Harold Hotelling）于1933 年首先提出的。人们希望通过克服相关性、 重叠性，用较少的变量来代替原来较多的变 量，而这种代替可以反映原来多个变量的大 部分信息，这实际上是一种“降维”的思想。
一般D情(Y2)形T，2Σ第T2 k
主成分为，Y2 满 T2足X
Tk
T
k
1
，
且（ ），使得 C o v(Y k,Y i)C o v(T kX ,T iX )0 i k
D(Yk)TkΣTk
达到最大的 Yk TkX
。
精品课件
第一主成分求法
利用拉格朗日乘数法构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1) 对目标函数1(T1, ) 求导数有：
T1＝T1
1
T1
2ΣT1
2T1
0
即 (Σ I)T1 0
|I|0
两边左乘 T1 得到 T1ΣT1 由于 X 的协差阵 Σ 为非负定的，其特征方程的根均大于等于零，
不妨设 1 2 p 0 。由于 Y1 的方差为 。那么， Y1 的
最大方差值为 1 ，其相应的单位化特征向量为T1 。
tpp X p TpX
精品课件
新指标的方差及它们的协方差：
这里我们应该注意到，对于 Y1, ,TiΣTi i 1,2, ,m
Cov(Yi ,Yk ) Cov(TiX,TkX) TiCov(X, X)Tk TiΣTk i,k 1,2, ,m
标系 y1Oy2 ，这里 y1 是椭圆的长轴方向，y2 是椭圆的短轴方向。
旋转公式为
YY21XX11csoisn
X 2 sin X 2 cos
我们看到新变量 Y1 和 Y2 是原变量 X1 和 X 2 的线性组合，它的
矩阵表示形
式为：
Y1 Y2
cos sin
sin cos
X1 X2
TX
其中， T 为旋转变换矩阵，它是正交矩阵，即有 T T1
或 TT I 。
精品课件
推广一般主成分确定的模型
主成分分析的数学模型是，设p个变量构成T为的正交q阵维有随： 机
向量为
Y是列向量
T’T=I;T’=T^(-1)
X = （X1，…，Xp）′
对X作正交变换，令Y = T′X，其中T为正交阵，要求
综合评价方法之二 基于数据分析几种方案
精品课件
方案一 主成份分析法
精品课件
问题实际背景
在现实生活中，人们往往会对样品收集 尽可能多的指标，例如人口普查往往要 调查每个人的姓名、年龄、性别、文化 程度、住房、职业、收入、消费等几十 项指标，从收集资料的角度来看，收集 较多的数据有利于完整反映样品的特征， 但是这些指标从统计角度来看相互之间 具有一定的依赖关系，从而使所观测的 数据在反映信息上有一定重叠。
精品课件
有关数学模型与常见实例
2008年美国数学建模竞赛题： “评价国家公共卫生体系上的应
用” 啤酒风味评价分析实例 我国部分地区城镇居民家庭收支
基本情况分析实例
精品课件
精品课件
明确信息量大数学意义
我们知道，当一个变量只取一个数据时，这个 变量（数据）提供的信息量是非常有限的，当 这个变量取一系列不同数据时，我们可以从中 读出最大值、最小值、平均数等信息。变量的 变异性越大，说明它对各种场景的“遍历性” 越强，提供的信息就更加充分，信息量就越大。 主成分分析中的信息，就是指标的变异性，用 标准差或方差表示它。
精品课件
主成分确定的准则：信息损失小，之间重叠 少
假设共有n个样品，每个样品都测量了两个指标 （X1，X2），在坐标系x1-O-x2中，观察散点的 分布，单独看这n个点的分量X1和X2，它们沿着 x的1程方为了度向便和可于x以2理方分解向别以都用两具的个指有X1标较方为大差例的和：离X2散的性方，差其测离定散。 如果仅考虑X1或X2中的任何一个分量，那么包
含在另一分量中的信息将会损失，因此，直接 舍弃某个分量不是“确定主成分”的有效办法。
精品课件
确定第一主成分方法
事实上，散点的分布总有可能沿着某一个方向 略显扩张，这个方向就把它看作椭圆的长轴方 向。
精品课件
Y1
Y2
结论：
Y2
为第一主成分，
为第二主成 精品课件
主成分的数学模型：
如果我们将该坐标系按逆时针方向旋转某个角度 变成新坐
精品课件
解决的问题之二：几何分析
多维数据的一种图形表示方法。 我们知道当维数大于3时便不能画出几
何图形经过主成分分析后，我们可以选取前两 个主成分或其中某两个主成分，这样既可以就 这两个主成分性质加以分析，还可以根据主成 分画出n个样品在二维平面上的分布况，由图 形可直观地看出各样品在主成分中的地位，进 而还可以对样本进行分类处理 。
Y的各分量是不相关的，并且Y的第一个分量的方差是
最大的，第二个分量的方差次之，……，等等。为了
保持信息不丢失，Y的各分量方差和与X的各分量方差
和相等。
精品课件
新旧变量关系的表达式
Y1
t11X1
t12 X2
Y2
t21X1
t22 X2
Yp tp1X1 tp2 X2
t1p X p T1X t2 p X p T2X
精品课件
解决的问题之三：客观加权
选择评价指标体系后通过对各指标加权的办 法来进行综合。但是，如何对指标加权是一 项具有挑战性的工作。指标加权的依据是指 标的重要性，指标在评价中的重要性判断难 免带有一定的主观性，这影响了综合评价的 客观性和准确性。主成分分析法是根据指标 间的相对重要性进行客观加权，可以避免综 合评价者的主观影响，所以在实际应用中越 来越受到人们的重视。
其中 D(Yi )
表示方差，Cov表示协方
差，
表示X协方差阵
精品课件
主 第成一分主确成分定为条，件满：足 ，
并且使得
达到最大
的
。T
1
T
1
1
第二主成D(Y分1)为T1，ΣT1满足
， Y1 T1X
使得 的
。 达到最大 T2T2 1 C o v (Y 2,Y 1 ) C o v (T 2 X ,T 1 X ) 0