2012数学模型培训之二：主成分分析.ppt
合集下载
大学生数学建模——主成分分析方法页PPT文档
从以上的分析可以看出，主成分分析的
实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。
从数学上容易知道，从数学上可以证明，
它们分别是的相关矩阵的m个较大的特征值所 对应的特征向量。
二、计算步骤
1540.29 926.35 1501.24 897.36 911.24 103.52 968.33 957.14 824.37 1255.42 1251.03 1246.47 814.21 1124.05 805.67 1313.11
216.39 291.52 225.25 196.37 226.51 217.09 181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
65.601 1181.54 270.12 18.266 0.162 7.474 12.489
33.205 1436.12 354.26 17.486 11.805 1.892 17.534
16.607 1405.09 586.59 40.683 14.401 0.303 22.932
6 68.337 7 95.416 8 62.901 9 86.624 10 91.394 11 76.912 12 51.274 13 68.831 14 77.301 15 76.948 16 99.265 17 118.505 18 141.473 19 137.761 20 117.612 21 122.781
人) 295.34
x 6：经济 作物占农 作物面积 比例(％)
26.724
x 7：耕地 占土地面 积比率
主成分分析 ppt课件
ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
主成分分析(数学建模) - 副本PPT课件
•• •
•
• • •• •
•• • •
•
•
•• •
•• •
•• • • • • •
•
•• •
•
•
•
• ••
• • ••
•
•• • •
•
•• •
•• •
•
x1
释
ห้องสมุดไป่ตู้
•
••
• •
•
18
上面的四张图中，哪一种有更高的 精度？原始变量的信息损失最少？
19
旋转变换的目的是为了使得n个样品点在 Fl轴方向上的离 散程度最大，即Fl的方差最大。 变量Fl代表了原始数据的绝大 部分信息，在研 究某经济问题时，即使不考虑变量F2也无损大 局。经过上述旋转变换原始数据的大部分信息 集中到Fl轴上，对数据中包含的信息起到了浓 缩作用。
则，对p维向量a2 ，有 V (F2 ) a2a2
31
p
ia2uiuia2
i1
p
p
i (a2ui )2 2 (a2ui )2
i1
i2
p
2 a2uiuia2
i1
2a2UUa2 2a2a2 2
所以如果取线性变换，F2 u12 X1 u22 X 2 u p2 X p
V
(F1)
a1a1
a1U
2
Ua1
p
1
a1 u1,u2 ,
,
up
2
u1
u2
数学模型讲座主成分分析.ppt
4
2. 直 观 想 法
原始数据矩阵
x11 x21
x12 x1n x22 x2n
xp1 xp2 xpn
p 维空间n 个点
研究n 个点的关系，难! 降维，近似在低维空间表达。
5
2. 直 观 想 法
例如，二元总体，x
正态分布。
Байду номын сангаас
x1 x2
y Ux
如果椭圆很扁，则在 y 的坐标系中，样本点的第一个坐
u1, u2 , , u p
是对应的单位特征向量。
说明∶求法，最 大方差性质。
10
3.主成分问题的数学提法
定理: 设p 维随机变量 x (x1 x2 xp ) ' 的数学
期望为0，且协方差阵为 D(x) ,它的特征值为
1 2 p 0
u1, u2 , , u p 为相应的单位特征向量，则x 第 i 主成分为
13
4.样本主成分
实际问题中总体协方差矩阵D(x) 是未知的，只能
用样本协方差矩阵 Sx 去估计。因此实用中，从样 本协方差矩阵 Sx 出发，求 一个正交矩阵U，将Sx 变成对角矩阵Λ，即
US x U
'
Λ
1
0
0
1 2 p 0
p
14
4.样本主成分
样本主成分--由Sx 出发求出的主成分。
yi uix ui1x1 ui2 x2
uip xp
(i 1,2,, p)
11
3.主成分问题的数学提法
说明1∶求主成分关键是要从协方差矩阵 D(x) 求出 正交变换矩阵 U (u。ij ) p p
说明2∶若已经求出主成分 y Ux ，则原来的p 个指
标 x1, x2 , x p 就可以转化为用p 个新的指标
2. 直 观 想 法
原始数据矩阵
x11 x21
x12 x1n x22 x2n
xp1 xp2 xpn
p 维空间n 个点
研究n 个点的关系，难! 降维，近似在低维空间表达。
5
2. 直 观 想 法
例如，二元总体，x
正态分布。
Байду номын сангаас
x1 x2
y Ux
如果椭圆很扁，则在 y 的坐标系中，样本点的第一个坐
u1, u2 , , u p
是对应的单位特征向量。
说明∶求法，最 大方差性质。
10
3.主成分问题的数学提法
定理: 设p 维随机变量 x (x1 x2 xp ) ' 的数学
期望为0，且协方差阵为 D(x) ,它的特征值为
1 2 p 0
u1, u2 , , u p 为相应的单位特征向量，则x 第 i 主成分为
13
4.样本主成分
实际问题中总体协方差矩阵D(x) 是未知的，只能
用样本协方差矩阵 Sx 去估计。因此实用中，从样 本协方差矩阵 Sx 出发，求 一个正交矩阵U，将Sx 变成对角矩阵Λ，即
US x U
'
Λ
1
0
0
1 2 p 0
p
14
4.样本主成分
样本主成分--由Sx 出发求出的主成分。
yi uix ui1x1 ui2 x2
uip xp
(i 1,2,, p)
11
3.主成分问题的数学提法
说明1∶求主成分关键是要从协方差矩阵 D(x) 求出 正交变换矩阵 U (u。ij ) p p
说明2∶若已经求出主成分 y Ux ，则原来的p 个指
标 x1, x2 , x p 就可以转化为用p 个新的指标
《主成分分析》课件
投资组合优化
通过主成分分析，找到不同投 资标的之间的关系，优化投资 组合的效益。
主成分分析在市场调研中的应用
1
偏好分析
通过主成分分析，找到消费者的特征
产品定位
2
和偏好，精准制定相应的市场策略。
通过主成分分析，找到消费者对产品
的不同评价因素，合理确定产品的定
位。
3
竞品分析
通过主成分分析，评估竞争对手的优 势和劣势，为企业提供相应的决策依 据。
慕课在线学习行业民调
通过主成分分析，找到影响学 习者的因素，比如课程质量、 师资水平、学习难度等方面。
降水量分析和气候变化
通过主成分分析和时间序列分 析，找到影响气象预测和气候 变化的主要原因和特征。
食品市场调查分析
通过主成分分析，找到影响消 费者购买健康食品的因素，制 定相应的市场营销策略。
标准化数据
通过Z-score标准化数据，去除不同变 量的量纲影响。
提取主成分
根据协方差矩阵的特征值和特征向量， 提取主成分。
如何选择主成分数量
特征值
根据特征值大于1的原则，选择主成分的数量。
累计贡献率
当累计贡献率到达一定阈值后，选择主成分数量。
图形分析
通过屏幕图和贡献率图来选择主成分数量。
主成分分析的优点和缺点
应用
主成分分析适用于变量之间没有明确因果关系 的情况下，提取它们的主成分；而因子分析需 要基于理论或先验知识，对变量进行选择和定 量，发现变量间的潜在因子。
主成分分析在金融分析中的应用
股票指数分析
通过主成分分析，找到影响整 个股票市场的因素，快速判断 股票市场的健康状况。
信用卡违约风险评估
通过主成分分析，找到导致信 用卡违约的因素，提高信用卡 贷款的质量。
数学建模优秀课件之主成分分析
按大小顺序排列 ；
1 2 , p 0
2.求出的特征向量：每一个特征值对应的特征向量，由此可 以得出第一，二，第三主成分表达式
四、计算主成分贡献率及累计贡献率
1.贡献率：
i
p
k
k 1
(i 1,2,, p)
2.累计贡献率:
i
k
k 1
p
k
k 1
(i 1,2,, p)
如果累计贡献率超过了0.85，则说明前k个主成分基本包括了全部指标具 有的信息，因此可以只选前k个成分来分析
X
(X1, X 2,...,X P )
x21
...
x22 ...
... x2p
...
...
xn1 xn2 ... xnp
定义：记x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p） 为新变量指标
z1 l11x1 l12 x2 l1p xp
z2
l21x1
l22 x2
将“成分矩阵”表中每一列值分别除以特征值的开方，就得 z
出了每一个特征值对应的特征向量，由此可以得出第一，第二， 第三主成分表达式（令各因素为X1，X2……X8）
z1=0.4567*X1+0.4095*X2+0.8274*X3+0.735*X4+1.053*X51.37*X6-2.4318*X7+6.72*X8
rpp
rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：
rij
n
( xki xi )(xkj x j )
k 1
n
n
( xki xi )2 ( xkj x j )2
1 2 , p 0
2.求出的特征向量：每一个特征值对应的特征向量，由此可 以得出第一，二，第三主成分表达式
四、计算主成分贡献率及累计贡献率
1.贡献率：
i
p
k
k 1
(i 1,2,, p)
2.累计贡献率:
i
k
k 1
p
k
k 1
(i 1,2,, p)
如果累计贡献率超过了0.85，则说明前k个主成分基本包括了全部指标具 有的信息，因此可以只选前k个成分来分析
X
(X1, X 2,...,X P )
x21
...
x22 ...
... x2p
...
...
xn1 xn2 ... xnp
定义：记x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p） 为新变量指标
z1 l11x1 l12 x2 l1p xp
z2
l21x1
l22 x2
将“成分矩阵”表中每一列值分别除以特征值的开方，就得 z
出了每一个特征值对应的特征向量，由此可以得出第一，第二， 第三主成分表达式（令各因素为X1，X2……X8）
z1=0.4567*X1+0.4095*X2+0.8274*X3+0.735*X4+1.053*X51.37*X6-2.4318*X7+6.72*X8
rpp
rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：
rij
n
( xki xi )(xkj x j )
k 1
n
n
( xki xi )2 ( xkj x j )2
主成分分析完整ppt课件
的系数向量。对于多维的情况，上面的结论依然成立。
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成
的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成
的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；
主成分分析PPT培训讲学
y p u1 p x1 u2 p x2 upp x p
写为矩阵形式： y U x
u11 u12
U (u1,
,
up
)
u21
u22
up1 up2
x ( x1, x2 , , x p )
u1 p
u2 p
upp
4
主成分性质
§4 主成分的性质
1、均值
Ey E(Ux) U
2 1
Σx
21
12
2 2
p1 p2
1
p
2p
2 p
由于Σx为非负定的对称阵，所以存在正交阵U， 使得
UΣXU
1
0
0
p
其中1,…,p为Σx的特征根，不妨假设1…p。
U是由特征根相对应的特征向量所组成的正交阵：
u11 u12
i
U (u1,
,up
)
u21
u22
up1 up2
释
将xl 轴和x2轴先平移，再同时按逆时针方向旋转角
度，得到新坐标轴Fl和F2，则
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 y2
cos sin
sin cos
x1 x2
U
x
U为正交旋转变换矩阵
平移、旋转坐标轴
x 2
F 1
主
F2
Va（r y1） Var( y2 ) Var( yp )
二维空间中主成分的几何意义：设有n个样品，每个 样品有两个观测变量xl和x2。在由变量xl和x2 所确定 的二维平面中，n个样本点所散布的情况如椭圆状。 由图可以看出这n个样本点无论是沿着xl 轴方向或x2 轴方向都具有较大的离散性，其离散的程度可以分别
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
,其中 U ( u ) 是正交矩阵。 ij p p
即∶
u
k 1
p
ik
u jk
0 1
i j i j
( i 1, 2 , , p )
y i u i 1 x1 u i 2 x 2 u ip x p
(1)
3.主成分问题的数学提法
② 在形如(1)的线性变换中，y1 具有最大的方差； y1 与y2 相互独立，且在与y1 相互独立的线性变换中y2
注∶样本数据要求是中心化的数据。
5.贡献率
j是样本点在第j 个主成分方向上的方差，它代表样
本点在这个主成分方向上的分散程度。若 个主成分可忽略不记。 问题∶ 小到什么程度才算小呢?
j
很小，这 j
第j个主成分的贡献率∶
j
j 1 2 p
5.贡献率
主成分舍弃原则∶前 m 个主成分的累计贡献率
1 0 D ( y) 0 0 0
2
又因为 y U x
0 0 n
3.主成分问题的数学提法
所以∶
即
D (y ) D (U x) U D (x)U ' D ( x ) U ' U ' 。若记 Λ
p
U D ( x ) U ' Λ或
1. 概 述
例如∶做一件上衣要测量的指标有∶身长、袖长、胸 围、腰围、肩宽、肩厚等等十几项指标。某服装厂生 产一批新型服装，需将十几项指标综合为3项指标(分 别反应长度、胖瘦、特体)，用作分类的型号。 又如商业经济∶
多项指标-->物价、生活费用、商业活动指数。
1. 概 述
主成分分析是将原来众多具有相关性的指标 化为少数几个相互独立的综合指标的一种统计 方法。
2. 直 观 想 法
原始数据矩阵
x11 x12 x1 n x 21 x 22 x 2 n x p 1 x p 2 x pn
p 维空间n 个点 研究n 个点的关系，难! 降维，近似在低维空间表达。
2. 直 观 想 法
x1 例如，二元总体， x x 2 正态分布。
p
(即主成分)来表达。这p 个新的指
标是相互独立的，这给问题的分析带来了很大的方便 。
3.主成分问题的数学提法
说明3∶新的指标 y 1 , y 2 , y p 的方差分别为
1 2 p 0
，如果某一个 j 很小，总体分
布在
yj
这个方向上分散程度很小，这个分量所起作
定理: 设p 维随机变量 x ( x1 x 2 x p ) ' 的数学
期望为0，且协方差阵为
D (x)
,它的特征值为
1 2 p 0
u 1 , u 2 , , u
p
为相应的单位特征向量，则x 第 i
主成分为
y i = u i¢ = u i1 x1 + u i 2 x 2 + L + u ip x p x
具有最大的方差； y3 与y1 和y2 相互独立，且在与y1
和 y2 相互独立的线性变换中， y3具有最大的方差；
如此类推。分别叫做x的y1 ,y2 ,…, yp第一、第二、…
、第p 主成分。
3.主成分问题的数学提法
问题∶ x 的主成分是否存在? 即能够使①②成立的正 交矩阵 U ( u ij ) p 是否存在? p 问题解决思路∶假设主成分存在，看一下U应满足什 么的条件，能否按照这个条件把U求出来。 设 y 1 , y 2 , y p是x 的主成分，它们的方差分别为 y 1 , y 2 , y p 相互独立，所以 1 2 p 0 ,由于
( i 1, 2 , , p )
3.主成分问题的数学提法
说明1∶求主成分关键是要从协方差矩阵
D 求出正交 (x)
变换矩阵
。 U ( u ij ) p p
y Ux
说明2∶若已经求出主成分
，则原来的p 个指标
就可以转化为用p 个新的指标 x1 , x 2 , x p
y1 , y 2 , y
1 2 p 0
4.样本主成分
样本主成分--由 S x 出发求出的主成分。 样本点x
x1 j x2 j xp j
j
的主成分坐标为y
j
y1 j y2 j U xi yp j
数学建模培训 之三
统计分析专题：多元Components Analysis
§1 主成分分析的原理
1. 概 述
多元问题的复杂性∶指标(变量)多，指标间存在相关性
。 问题∶能否构造出一些综合指标使满足如下条件∶ ① 指标个数尽可能少， ② 指标间相互独立， ③ 尽可能多地包含原指标所含的关于总体的信息。
U ' u 1 , u 2 , , u
则有
D ( x )u i i u i
D (x)
( i 1, 2 , , p )
即 1 , 2 , , p 是
的特征值，
p
u 1 , u 2 , , u
是对应的单位特征向量。
说明∶求法，最大 方差性质。
3.主成分问题的数学提法
用不大，因而可以忽略不考虑。将这些分量去掉，
就可以降低维数， 给分析问题带来更大的方便。
4.样本主成分
实际问题中总体协方差矩阵D ( x ) 是未知的，只能用样
本协方差矩阵 S x 去估计。因此实用中，从样本协方差
矩阵 S x 出发，求 一个正交矩阵 U，将 S x 变成对角矩阵 ，即 Λ
1 US xU ' Λ 0 0 p
y Ux
如果椭圆很扁，则在 y 的坐标系中，样本点的第一个坐标y1 就 代表了这些点的分布情况。
3.主成分问题的数学提法
设p 维随机变量 x ( x1 x 2 x p ) ' 的数学期望为0，
x的主成分指的是综合变量
它满足如下条件∶
， y ( y1 y 2 y p ) '
①
y Ux