数学建模 主成分分析
大学生数学建模-主成分分析方法
要点三
结合深度学习技术
随着深度学习技术的不断发展，为主 成分分析方法提供了新的思路和方法 。未来研究可以关注如何将深度学习 技术与主成分分析方法相结合，构建 更加高效、准确的模型，以应对更加 复杂的问题和挑战。
THANKS FOR WATCHING
感谢您的观看Βιβλιοθήκη 案例背景介绍案例来源
本案例来自某高校数学建模竞赛，旨在通过主成 分分析方法对一组多维数据进行降维处理。
数据特点
原始数据集包含多个特征，且特征之间存在相关 性，数据维度较高。
建模目标
通过主成分分析，提取数据中的主要特征，降低 数据维度，以便进行后续的数据分析和建模。
数据采集与预处理
数据采集
01
从相关数据源获取原始数据集，确保数据的完整性和准确性。
简化数据结构
主成分分析能够将多个相关变量 转化为少数几个综合变量，简化 数据结构，方便后续分析和建模。
应用于多个领域
主成分分析方法在经济学、金融 学、社会学、医学等多个领域都 有广泛应用，为相关领域的研究 提供了有力支持。
主成分分析方法的概述
01 02
线性变换方法
主成分分析通过线性变换将原始数据转换为新的坐标系，使得新坐标系 下的各主成分之间互不相关，且第一主成分解释原始数据变异的能力最 强，后续主成分依次减弱。
大学生数学建模-主成分分析方法
目录
• 引言 • 主成分分析方法的基本原理 • 主成分分析方法在大学生数学建模中
的应用 • 主成分分析方法的优缺点及适用范围
目录
• 案例分析：基于主成分分析的大学生 数学建模实践
• 总结与展望
01 引言
目的和背景
探究数据内在结构
主成分分析是一种常用的多元统 计方法，通过降维技术探究数据 内在结构，揭示变量之间的关系。
大学生数学建模——主成分分析方法页PPT文档
从以上的分析可以看出，主成分分析的
实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。
从数学上容易知道，从数学上可以证明，
它们分别是的相关矩阵的m个较大的特征值所 对应的特征向量。
二、计算步骤
1540.29 926.35 1501.24 897.36 911.24 103.52 968.33 957.14 824.37 1255.42 1251.03 1246.47 814.21 1124.05 805.67 1313.11
216.39 291.52 225.25 196.37 226.51 217.09 181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
65.601 1181.54 270.12 18.266 0.162 7.474 12.489
33.205 1436.12 354.26 17.486 11.805 1.892 17.534
16.607 1405.09 586.59 40.683 14.401 0.303 22.932
6 68.337 7 95.416 8 62.901 9 86.624 10 91.394 11 76.912 12 51.274 13 68.831 14 77.301 15 76.948 16 99.265 17 118.505 18 141.473 19 137.761 20 117.612 21 122.781
人) 295.34
x 6：经济 作物占农 作物面积 比例(％)
26.724
x 7：耕地 占土地面 积比率
主成分分析数学建模
(Σ I)T2 0
(11)
而且 T2ΣT2
(12)
这样说明，如果 X 的协差阵 Σ 的特征根为 1 2 p 0 。
由(12)知道 Y2 的最大方差值为第二大特征根 2 ，其相应的单位化
的特征向量为 T2 。
针 对 一 般 情 形 ， 第 k 主 成 分 应 该 是 在 TkTk 1 且 TkTi 0 或
2 (T2 , , ) T2ΣT2 (T2T2 1) 2 (T1T2 )
(9)
对目标函数2 (T2 , , ) 求导数有：
2
T2
2ΣT2
2T2
2T1
0
(10)
用 T1 左乘(10)式有
T1ΣT2 T1T2 T1T1 0
由于 T1ΣT2 0 ， T1T2 0 ，那么， T1T1 0 ，即有 0 。从而
TiTk 0 （ i k ） 的 条 件 下 ， 使 得 D(Yk ) TkΣTk 达 到 最 大 的
Yk TkX 。这样我们构造目标函数为
k (Tk , , i )
TkΣTk
(TkTk
1)
k 1
2
i
(TiTk
)
i 1
对目标函数k (Tk , , i ) 求导数有：
k
Tk
2ΣTk
2Tk
p
k k
k
k 1
(23）
为第 k 个主成分 Yk 的贡献率。第一主成分的贡献率最大，这表
明 Y1 T1X 综 合 原 始 变 量 X1, X 2 , , X p 的 能 力 最 强 ， 而
Y2 ,Y3 , ,Yp 的综合能力依次递减。若只取 m( p) 个主成分，
则称
m
p
m k
主成分分析(数学建模)
主成分分析
每个人都会遇到有很多变量的数据。
比如全国或各个地区的带有许多经济和社会变 量的数据；各个学校的研究、教学等各种变量 的数据等等。
这些数据的共同特点是变量很多，在如此多的 变量之中，有很多是相关的。人们希望能够找 出它们的少数“代表”来对它们进行描述。
本章就介绍两种把变量维数降低以便于描述、 理 解 和 分 析 的 方 法 ： 主 成 分 分 析 （ principal component analysis ） 和 因 子 分 析 （ factor analysis）。实际上主成分分析可以说是因子 分析的一个特例。在引进主成分分析之前，先 看下面的例子。
• 这里的Initial Eigenvalues就是这里的六个
主轴长度，又称特征值（数据相关阵的特
征值）。头两个成分特征值累积占了总方 差的81.142%。后面的特征值的贡献越来越 少。
• 特征值的贡献还可以从SPSS的所谓碎石图看出
Scree Plot
4
3
2
1
0
1
2
3
4
5
6
Component Number
现:
1.analyze-description statisticdescription-save standardized as variables
2.analyze-data reduction-factor 3.指定参与分析的变量 4.运行factor 过程
• 对于我们的数据，SPSS输出为
成绩数据（student.sav）
100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
从本例可能提出的问题
目前的问题是，能不能把这个数据的6 个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信 息呢？ 能不能利用找到的综合变量来对学生排 序呢？这一类数据所涉及的问题可以推 广到对企业，对学校进行分析、排序、 判别和分类等问题。
主成分分析实用
主成分分析实用主成分分析是一种常用的数学建模方法，它可以用来降低多变量数据集的维度，同时保留最重要的信息。
在实际应用中，主成分分析具有广泛的应用，包括数据压缩、特征提取、数据可视化等领域。
本文将详细介绍主成分分析的原理和实用性。
主成分分析的原理是通过线性变换将原始数据映射到一个新的坐标系中，使得在新的坐标系中数据的方差最大化。
具体来说，主成分分析通过寻找数据集中的主成分，来解释数据的变异性。
主成分是基于输入变量之间的协方差构建的，并且在计算过程中，主成分之间是正交的。
主成分分析可以通过求解数据协方差矩阵的特征值和特征向量来实现。
主成分分析在数学建模中具有广泛的实用性。
首先，它可以用来降低数据集的维度。
对于高维数据集，主成分分析可以将数据映射到低维空间中，减少了数据的维度。
这样可以极大地简化数据分析的复杂性，同时也可以避免维度灾难的问题。
其次，主成分分析可以用来提取数据中的重要特征。
通过保留数据方差较大的主成分，主成分分析可以帮助我们剥离出数据中的噪声和冗余信息，提取出最为重要的特征。
这对于模型建立和预测分析非常重要。
此外，主成分分析还可以提供数据的可视化效果。
通过将数据集映射到二维或三维空间，我们可以更直观地观察数据之间的关系，探索数据集的结构和模式。
主成分分析的实际应用非常丰富。
在金融领域，主成分分析可以用于资产组合管理和风险管理。
通过将资产收益率数据映射到主成分空间中，我们可以更好地理解不同资产之间的相关性，从而帮助投资者进行有效的资产配置和风险控制。
在图像处理领域，主成分分析可以用于图像压缩和人脸识别。
通过将图像数据映射到主成分空间中，我们可以使用较少的主成分表示图像，从而减少图像的存储和传输成本。
同时，主成分分析还可以捕捉人脸图像的主要特征，用于人脸识别和认证。
在生物信息学领域，主成分分析可以用于基因表达数据的分析。
通过将基因表达数据映射到主成分空间中，我们可以发现不同基因在表达模式上的差异，从而探索基因的功能和调控机制。
数学建模优秀课件之主成分分析
1 2 , p 0
2.求出的特征向量：每一个特征值对应的特征向量，由此可 以得出第一，二，第三主成分表达式
四、计算主成分贡献率及累计贡献率
1.贡献率：
i
p
k
k 1
(i 1,2,, p)
2.累计贡献率:
i
k
k 1
p
k
k 1
(i 1,2,, p)
如果累计贡献率超过了0.85，则说明前k个主成分基本包括了全部指标具 有的信息，因此可以只选前k个成分来分析
X
(X1, X 2,...,X P )
x21
...
x22 ...
... x2p
...
...
xn1 xn2 ... xnp
定义：记x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p） 为新变量指标
z1 l11x1 l12 x2 l1p xp
z2
l21x1
l22 x2
将“成分矩阵”表中每一列值分别除以特征值的开方，就得 z
出了每一个特征值对应的特征向量，由此可以得出第一，第二， 第三主成分表达式（令各因素为X1，X2……X8）
z1=0.4567*X1+0.4095*X2+0.8274*X3+0.735*X4+1.053*X51.37*X6-2.4318*X7+6.72*X8
rpp
rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：
rij
n
( xki xi )(xkj x j )
k 1
n
n
( xki xi )2 ( xkj x j )2
数模第16讲主成分分析
Y 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006
X1 2297.86 2262.19 2303.29 2308.70 2337.65 2418.96 2702.34 3015.32 3135.65 3415.92
X2 589.62 571.69 589.99 551.14 589.28 618.60 735.01 779.68 849.53 1038.98
二、主成分分析法
设有 p 项指标 X 1 ， X 2 ，……， X p ，每个指标有 n 个观 测数据，得到原始数据资料矩阵
x11 x12 x1 p x21 x22 x2 p X ( X , X , , X ) 1 2 p xn1 xn 2 xnp
设
F a1 X1 a2 X 2 a p X p a ' X
'
，
其
中
a (a1 , a2 , , a p )' ， ai (ai1 , ai 2 , , aip )' ， X ( X 1 , X 2 , , X P )' ，
记 为 X 的协方差阵， F ( F1 , F2 , , FP ) 。 该定理表明 X 1 ，……， X p 的主成分是以 的特征向量为系数的 线性组合，它们互不相关且其方差为 的特征根，由于 的特征根 1 2 p 0 ，所以 VarF1 VarF2 VarFp 0 。
数学上的处理就是将原来P个指标作线性组合， 作为新的综合指标，但是这种线性组合，如果不加 限制，则可以有很多，我们应该如何去选取呢？为 了让这种综合指标反映足够多原来的信息，要求综 合指标的方差要大，即若Var(F1)越大，表示F1包含 的信息越多，因此在所有线性组合中所选取的F1应 该是方差最大的，故称F1为第一主成分。如果第一 主成分不足以代表原来P个指标的信息。
数学建模案例分析—主成分分析的应用--概率统计方法建模
§8 主成分分析的应用主成分分析的基本思想是通过构造原变量的适当的线性组合，以产生一系列互不相关的新变量，从中选出少数几个新变量并使它们尽可能多地包含原变量的信息（降维），从而使得用这几个新变量替代原变量分析问题成为可能。
即在尽可能少丢失信息的前提下从所研究的m 个变量中求出几个新变量，它们能综合原有变量的信息，相互之间又尽可能不含重复信息，用这几个新变量进行统计分析（例如回归分析、判别分析、聚类分析等等）仍能达到我们的目的。
设有n 个样品，m 个变量（指标）的数据矩阵(1)11121(2)21222()12m m n mn n n nm x x x x x x x x X x x x x ⨯⎛⎫⎛⎫⎪ ⎪ ⎪⎪== ⎪⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭寻找k 个新变量12,,,()k y y y k m ≤ ，使得 1、1122,(1,2,,)l l l lm m y a x a x a x l k =+++= 2、12,,k y y y 彼此不相关这便是主成分分析。
主成分的系数向量12(,,,)l l l lm a a a a = 的分量lj a 刻划出第j 个变量关于第l 个主成分的重要性。
可以证明，若12(,,,)T m x x x x = 为m 维随机向量，它的协方差矩阵V 的m 个特征值为120m λλλ≥≥≥≥ ，相应的标准正交化的特征向量为12,,,m u u u ，则12(,,,)T m x x x x = 的第i 主成分为(1,2,,)T i i y u x i m == 。
称1/mi jj λλ=∑为主成分(1,2,,)Ti i y u x i m == 的贡献率，11/k mj jj j λλ==∑∑为主成分12,,k y y y 的累计贡献率，它表达了前k 个主成分中包含原变量12,,,m x x x 的信息量大小，通常取k 使累计贡献率在85%以上即可。
当然这不是一个绝对不变的标准，可以根据实际效果作取舍，例如当后面几个主成分的贡献率较接近时，只选取其中一个就不公平了，若都选入又达不到简化变量的目的，那时常常将它们一同割舍。
主成分分析的数学模型
一、主成分分析的数学模型假设原来的变量指标为X1，X2…，X k经过标准化后得到标准指标变量X1，X2，…，X K；X j=X j−X js j，j=1,2…，k其中X j是第j个指标变量的均值，s j是第j个指标变量的标准差。
他们的综合指标（新变量指标）为z1，z2，…，z m（m<=k）,则进行线性变换：z1=l11X1+l12X2+⋯+l1k X K z2=l21X1+l22X2+⋯+l2k X K z m=l k1X1+l k2X2+⋯+l k k X K将k个标准变量X1，X2，…，X K转换成了k个新变量z1，z2，…，z m，但是线性变换应满足以下三个条件：●z i和z j独立，i≠j，i，j=1，2，…，k；●vaX(z1)≥vaX(z2)≥…≥vaX(z k) ；●l i12+l i22+⋯+l ik2=1，i=1，2，…，k；z1，z2，…，z m是X1，X2，…，X K的k个主成分，其中z1为第一主成分，z2为第二主成分，z k为第k主成分，称l i j为第i主成分在第j个标准指标量X j上的得分系数，将每一个样本的标准化观察值代入计算公式中，计算得每一个样本的k个主成分值，即为主成分得分。
二、主成分分析的方法步骤主成分分析的过程就是确定原来的变量X j（j=1，2，…，k）在个主成分z j（j=1，2，…，k）上的载荷l i j（i，j=1，2，…，k）。
从主成分分析的数学模型可以看出，主成分分析的任务是估计主成分，确定主成分的个数，解释主成分的实际意义和计算主成分得分。
假设有k个指标X1，X2…，X k，每个指标有n个观测值，它们的标准化变量是X1，X2，…，X K，记录如下表所示计算步骤如下：（1）对原始指标数据进行标准化变换：X ij=X ij−X js j，j=1，2，…，k将原始数据标准化，然后利用标准化的数据计算主成分，X为标准化后的数据矩阵，则：X=X11X12⋯X k1 X21X22⋮⋯X2k⋮X n1X n2⋯X nk（2）计算相关系数矩阵：R=Cov（X）=r11r12⋯rk1r21r22⋮⋯r2k⋮r k1r k2⋯rkk=1r12⋯r k1r211⋮⋯r2k⋮r k1r k2⋯1其中， r i j =（X ki −X）（k ij −X ）n k =1 （X ki −X i）2n k =1 （X kj −X j ）2n k =1（3） 计算相关矩阵的特征值和特征值所对应的特征向量：Cov （X ）L=LV ar （Z 1）0V ar （Z 1）⋱0V ar （Z k ）其中，L=l 11r 12⋯ l k 1l 21r 22⋮⋯l 2k ⋮l k 1r k 2⋯l kk由于R 为半正定矩阵，故可由R 的特征方程R −λI =0求得k 个非负特征值λi （i=1，2，…，k ）将这些值按从大到小排序为 λ1≥λ2≥…≥λk ≥0 再由 R −λ1I l i =0l i ′l i =1i=1,2,…,k解得每一个特征值对应的特征向量l i =(l i 1，l i 2，…，l ik )′，从而求得各主成分：Z i =l i ′X=l i 1X 1+l i 2X 2+⋯+l i k X K ，i=1，2，…，k （4） 计算主成分贡献率及累计贡献率 各个主成分互不相关，即z i 和z j 的相关系数：r z i ,z j =i i Cov Z i ,Z i .Cov (Z j ,Z j )=0(i ≠j)于是各相关系数的矩阵为单位矩阵。
数学建模第五讲主成分分析
数学建模第五讲主成分分析主成分分析的基本思想是寻找数据中最重要的方向，这些方向被称为主成分。
每个主成分都与其他主成分正交，即彼此之间没有相关性。
通过找到主成分，我们可以将高维数据投影到低维空间中，以找到数据的主要结构和模式。
要进行主成分分析，首先需要对数据进行标准化，使得每个变量的均值为0，方差为1、然后，通过计算数据的协方差矩阵，可以得到数据中变量之间的相关性。
协方差矩阵对角线上的元素表示各个变量的方差，非对角线上的元素表示变量之间的协方差。
接下来，需要计算协方差矩阵的特征值和对应的特征向量。
特征值表示数据在特定方向上的方差，而特征向量表示数据在该方向上的投影。
特征向量将数据投影到一个新的方向，这个方向上的方差最大，即数据在这个方向上的信息量最大。
根据特征值的大小，可以选择最重要的特征向量作为主成分。
在选择主成分时，通常选择特征值较大的特征向量，因为它们对应的方差较大，即数据在这些方向上的信息量较多。
选择的主成分的个数通常由用户自行指定，可以根据实际应用中的需求和数据的维度进行调整。
选取主成分后，可以通过对数据进行投影来进行降维。
投影的结果是一个低维空间的表示，可以更容易地可视化和分析。
在投影后的空间中，样本之间的距离仍然能够保持原始数据中的信息，但是可以大大减少数据的维度。
除了降维外，主成分分析还可以用于特征选择、噪声过滤、数据可视化等领域。
通过主成分分析，我们可以从高维数据中提取出最重要的信息，简化数据分析过程。
在应用主成分分析时，还需要注意一些问题。
首先，主成分分析假设数据服从多元正态分布，如果数据不满足该假设，则结果可能会失真。
另外，当数据的维度较高时，计算协方差矩阵和特征值分解可能会变得非常耗时，并且需要大量的内存空间。
因此，在应用主成分分析时，需要考虑这些因素，选择合适的算法和工具。
总之，主成分分析是一种重要的降维方法，在数学建模中具有广泛的应用。
通过寻找数据中最重要的方向，主成分分析可以简化数据的结构，提取出数据中的主要信息。
数学建模主成分分析方法
主成分分析方法地理环境是多要素的复杂系统，在我们进行地理系统分析时，多变量问题是经常会遇到的。
变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。
因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的，这里介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。
一、主成分分析的基本原理主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。
假定有n 个地理样本，每个样本共有p 个变量描述，这样就构成了一个n×p 阶的地理数据矩阵：111212122212p p n n npx x x x x x X x x x ⎧⎪⎪=⎨⎪⎪⎩ （1）如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。
为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。
那么，这些综合指标（即新变量)应如何选取呢？显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。
如果记原来的变量指标为x 1，x 2，…，x p ，它们的综合指标——新变量指标为z 1，z 2，…，zm （m≤p)。
则 11111221221122221122,,.........................................,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ （2）在（2)式中，系数l ij 由下列原则来决定：（1)z i 与z j （i≠j ；i ，j=1，2，…，m)相互无关；（2)z 1是x 1，x 2，…，x p 的一切线性组合中方差最大者；z 2是与z 1不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者；……；z m 是与z 1，z 2，……z m -1都不相关的x 1，x 2，…，x p 的所有线性组合中方差最大者。
数学建模主成分分析
§3主成分的推导 （一） 第一主成分
F 1a 1x 1 1 a 1pxp1 X
例：小学各科成绩的评估可以用下面的综合成绩来 体现：
a1×语文＋a2×数学＋a3×自然＋a4×社会科学 确定权重系数的过程就可以看作是主成分分
析的过程，得到的加权成绩总和就相对于新的综 合变量——主成分
主成分分析法是一种常用的基于变量协方差矩阵 对信息进行处理、压缩和抽提的有效方法。
为什么要根据方差确定主成分？
如何将 Σx 转化为 λ并计算出新变量
（主成分）?
因为Σx 为正定对称矩阵，依据线性代数的知识 可知有正交矩阵 A 将Σx 旋转变换为：
AΣXA 1
0
0 p
λ为协方差阵Σx的特征根﹔ A为协方差阵Σx的特征根所对
应的特征向量。
如何计算Σx的特征 根λ和特征向量A?
主成分分析
Principal component analysis
•主成分分析的基本思想 •主成分数学模型与几何解释 •主成分的推导 •主成分分析的应用 •主成分回归
§1 基本思想
主成分分析，是一种通过降维来简化数据结构的方法： 把多个变量化为少数几个综合变量（综合指标） ， 而这几个综合变量可以反映原来多个变量的大部分信 息,（85%以上），所含的信息又互不重叠，即各个指 标它们之间要相互独立，互不相关。 主成分分析主要起着降维和简化数据结构的作用。 这些综合变量就叫因子或主成分，它是不可观测的， 即它不是具体的变量,只是几个指标的综合。
14867-数学建模-《应用多元统计分析》第06章__主成分分析
考虑两种极端的情形：
一种是椭圆的长轴与短轴的长度相等，即椭圆变成圆，第一主 成分只含有二维空间点的约一半信息，若仅用这一个综合变量， 则将损失约50％的信息，这显然是不可取的。造成它的原因是， 原始变量X1和X2的相关程度几乎为零，也就是说，它们所包含 的信息几乎不重迭，因此无法用一个一维的综合变量来代替。
另一种是椭圆扁平到了极限，变成y1轴上的一条线，第一主成 分包含有二维空间点的全部信息，仅用这一个综合变量代替原 始数据不会有任何的信息损失，此时的主成分分析效果是非常 理想的，其原因是，第二主成分不包含任何信息，舍弃它当然 没有信息损失。
二、主成分的数学推导
设 X (X1, , X p ) 为一个 p 维随机向量，并假定存在二阶
矩阵表示形
式为：
Y1 Y2
cos sin
sin cos
X1 X2
TX
(6.2）
其中， T 为旋转变换矩阵，它是正交矩阵，即有 T T1
或 TT I 。
易见，n个点在新坐标系下的坐标Y1和Y2几乎不相关。称它 们为原始变量X1和X2的综合变量，n个点y1在轴上的方差达 到最大，即在此方向上包含了有关n个样品的最大量信息。
k 1
2 iTi i 1
0
(6.13) (6.14)
用 Ti 左乘(6.14)式有
TiΣ Tk Ti Tk
k 1
(Ti
)iTi 0
i 1
即有 iTiTi 0 ，那么， i 0 （ i 1, 2, k 1）。从而
(Σ I)Tk 0
(6.15)
而且
TkΣTk
(6.16)
对于 X 的协差阵 Σ 的特征根 1 2 p 0 。由(6.15)和(6.16)
主成分分析(数学建模)
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
满足如下的条件：
（1）每个主成分的系数平方和为1。
即
u12i u22i
§3 主成分的推导
一、线性代数的结论
若A是p阶实对称阵，其中i(i=1,2,┅,p)是A 的特征根。即有ui ，使
Aui iui uiAui uiiui i
Ui是正交的特征向量。
u1 u2 ... up A u1 u2 ... up
则一定可以找到正交阵U，使
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
•
•
•
• •••
• •• •
•• •
• ••
x1
解
••
释
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何
F2
•
•••
•••
• •
•
•••••••••••••••••••••••
• •
x1
四、原始变量与主成分之间的相关系数
Fj u1 j x1 u2 j x2 upj xp j 1, 2, , k, k p
a1a1
a1U
2
Ua1
p
1
a1 u1,u2 ,
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x2
x1
o
引例：
2014-4-21
换个角度观察 事实上，散点的分布总有可能沿着某一个 方向略显扩张，这里沿椭圆的长轴方向数 据变化跨度就明显大于椭圆的短轴方向。
Y1 Y2
Y2
2014-4-21
换个角度观察 结论：长轴方向变量为第一主成分；短轴 方向变量为第二主成分。
推广一般主成分确定的模型
或
Y TX
其中T是正交矩阵
2014-4-21
主成分满足的约束
要求：①Y的各分量是不相关的；②并且Y的 第一个分量的方差是最大的；第二个分量 的方差次之，……，等等。③为了保持信 息不丢失，Y的各分量方差和与X的各分 量方差和相等。
2014-4-21
2014-4-21
近几年全国数学建 模竞赛题
葡萄酒的评价 太阳能小屋的设计
2010年B题 上海世博会影响力的 定量评估 2009年B题 眼科病床的合理安排 2011年A题 城市表层土壤重金属 污染分析 2012年A题 葡萄酒的评价 均可归属为基于数据分析的综合评价模型
2014-4-21
两类模型常用建模方法
综合评价法 测试分析法 专题建模法 信息合理运用法
2014-4-21
综合评价基本方法 综 合 指 数 法
简易的方法有：
功 效 评 分 法 法 T OP SIS 最优权法
2014-4-21
二、明确信息量的数学意义
我们知道，当一个变量所取数据相近时，这 个变量（数据）提供的信息量较为单一，当这 个变量取数据差异较大时，说明它对各种场景 的“遍历性”越强，提供的信息就更加充分， 从数学角度来论，变量的标准差或方差越大， 变量涵盖的信息越足。
Y1 t11 t12 t1 p X 1 Y t X t t 2 p 2 2 21 22 Y t t t p p 1 p 2 pp X p
2014-4-21
第 K 主成分求法
综上：针对一般情形，第 k 主成分应该是在 TkTk 1 且 TkTi 0 或 TiTk 0 （ i k ） 的 条 件 下 ， 使 得 D(Yk ) TkΣTk 达到最大的 Yk Tk X 。这样我们构造目 标函数为
主成分的方差及它们的协方差
这里如果我们就取 m 个主成分， 应该注意到， 对于 Y1 ,, Ym 有：
D(Yi ) D(TiX) Ti D(X)Ti TiΣTi
i 1, 2, , m
Cov(Yi , Yk ) Cov(TiX, TkX) TiCov(X, X)Tk TiΣTk i, k 1, 2, , m
复习：关于随机向量的协方差矩阵 X ( X , X , X ,, X ) X 的协方差矩阵为
1 2 3 n
所以协方差矩阵是对称矩阵，且为非负定的！
2014-4-21
第一主成分求法
利用拉格朗日乘数法构造目标函数为： 1 (T1 , ) T1 ΣT1 (T1T1 1) T ＝
结论：如果 X 的协差阵 Σ 的特征根为
1 2 p 0 。由此知道若 k 为第 k 大
特征根，其相应的单位化的特征向量为Tk 。 k Y T 则第 主成分 k k X ; D(Yk ) k ; cov( Yk , Yi ) 0, k i ; Y T; 其中 T 为 的特征向 量构成的正交矩阵。
2014-4-21
Y t X t X t X T X 1p p 1 1 11 1 12 2 Y2 t21 X 1 t 22 X 2 t 2 p X p T2 X Y t X t X t X T X p p 1 1 p 2 2 pp p p
2014-4-21
第二主成分及第k主成分满足条件
考虑到Y2 =t21x1+t22x2 + t23x3 +... +tp1xp = T'2X ,及我们的准 则
第 二 主 成 分 为 ， 满 足
， 且 Cov (Y2 , Y1 ) Cov (T2 X, T1 X) 0 ， 使 得 D (Y2 ) T2 ΣT2 达到最大的 Y2 T2 X 。 一般情形，第 k 主成分为，满足 TkTk 1 ， 且 Cov(Yk , Yi ) Cov(Tk X, Ti X) 0（ i k ） ， 使得 D(Yk ) Tk ΣTk 达到最大的 Yk Tk X 。
2014-4-21
思考：如何减少变量，但信息量保留得较多。
由此产生了主成分分析法。 主成分分析也称主分量分析（principal components analysis,PCA）是由美国 的科学家哈罗德· 霍特林（Harold otelling）于1933年首先提出的。
2014-4-21
2014-4-21
2014-4-21
2014-4-21
2014-4-21
一、降维的两个准则 准则1：信息量损失尽可能少。
准则2：新主成分之间相关性低、重叠少。
常见相关模型及其 建模方法
1 . 发散思维模型 2 . 专题求解模型
近几年赛题 为例
2009年A题 制动器试验台的控制方法分析 B题 眼科病床的合理安排 2010年A题 储油罐的变位识别与罐容表标定 B题 上海世博会影响力的定量评估 2011年A题 城市表层土壤重金属污染分析 B题 交巡警服务平台的设置与调度 2012年A题 B题
1
对目标函数 1 (T1 , ) 求导数有： 1 2ΣT1 2T1 0 即 (Σ I)T1 0 Y1的方差 T1
T1
| I | 0
两边左乘 T1 得到 T1 ΣT1 由于 X 的协差阵 Σ 为非负定的，其特征方程的根均大于等于零， 不妨设 1 2 p 0 。由于 Y1 的方差为 。那么， Y1 的 最大方差值为 1 ，其相应的单位化特征向量为 T1 。
2 (T2 , , ) T2 ΣT2 (T2T2 1) 2 (T1T2 )
第二主成分及第k主成分求法
对目标函数 2 (T2 , , ) 求导数有：
2 2 ΣT2 2T2 2 T1 0 T2
ΣT2 T1T2 用 T1 左乘上式有 表明גּ是T ∑ T' 为特征向量 1 的特征值， 1 T1 0 2T 由于 T1 ΣT2 0 ，T1T2 0 ，那么，T1T1 0 ，即有 0 。 从而 ( Σ I)T2 0 而且将方程两边同乘以 T 2’,有 T2 ΣT2
矩阵表示形 式为：
Y1 cos Y sin 2 sin X 1 TX cos X 2
1
由坐标转换公式得
Y1 X 1 cos X 2 sin
其中， T 为旋转变换矩阵，它是正交矩阵，即有 T T 或 TT I 。故由 X 到 Y 用的是正交变换。
2014-4-21
三、明确重叠少数学意义
我们知道，当一个变量与有关联时 难免表达信息有重复，没关联反映在数 学上最好是两变量独立，而这一要求过 强，较难满足，这里我们就要求新主成 分之间无线性关系就好，反映在概率理 论上就是每两个主成分之间的协方差为 “0”或相关系数为“0” 。
常用的方法有：
2014-4-21
层次分析法 主成份分析法 熵权法 数据包络分析法 模糊综合评价法 灰色理论评价方法
测试分析法
回归分析 曲线拟合 计算机模拟与仿真
2014-4-21
专题建模法
数学规划（线性规划与非线性规划） 概率论与数理统计 图论 微分方程 各学科实际问题
T2T2 1
2014-4-21
在求第二主成分之前，注意到我们已经求得， ? 那么， 如果 Y2 与 Y1 不相关， Cov (Y2 , Y1 ) T2 ΣT1 T2T1 。 即有 T2T1 0 或 T1T2 0 。 这时， 我们可以构造求第二 主成分的目标函数，即
其中 D(Yi ) 表示方差，Cov表示协方差， 这里X是多维随机向量，D（X）则表述 的是X的协方差阵，一般用
2014-4-2 E[(X i E( X i )(X j E( X j )) 11 12 1n 21 22 2n , ij cov(X i , X j ) cov(X j , X i ) ji n1 n 2 nn
k (Tk , , i ) Tk ΣTk (TkTk 1) 2 i (TiTk )
i 1 k 1
对目标函数 k (Tk , , i ) 求导数有：
k 1 k 2ΣTk 2Tk 2 iTi 0 i 1 Tk
2014-4-21
2014-4-21
信息合理运用法
将与问题相关的论文合理运用 07年选区的重新划分与统计物理 将其他问题的论文合理运用
2014-4-21
问题实际背景，在众多评价问题中，人们往往
会对评价样品收集尽可能多的指标，例如人口普 查往往要调查每个人的姓名、年龄、性别、文化 程度、住房、职业、收入、消费等几十项指标； 再如，2012年葡萄评价有24指标。 从收集资料的角度来看，收集较多的数据有利于 完整反映样品的特征，但是这些指标从统计角度 来看相互之间具有一定的依赖关系，从而使所观 测的数据在反映信息上有一定重叠，同时又使得 问题变得复杂。