主成分分析数学建模ppt课件
合集下载
大学生数学建模——主成分分析方法页PPT文档
从以上的分析可以看出，主成分分析的
实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。
从数学上容易知道，从数学上可以证明，
它们分别是的相关矩阵的m个较大的特征值所 对应的特征向量。
二、计算步骤
1540.29 926.35 1501.24 897.36 911.24 103.52 968.33 957.14 824.37 1255.42 1251.03 1246.47 814.21 1124.05 805.67 1313.11
216.39 291.52 225.25 196.37 226.51 217.09 181.38 194.04 188.09 211.55 220.91 242.16 193.46 228.44 175.23 236.29
65.601 1181.54 270.12 18.266 0.162 7.474 12.489
33.205 1436.12 354.26 17.486 11.805 1.892 17.534
16.607 1405.09 586.59 40.683 14.401 0.303 22.932
6 68.337 7 95.416 8 62.901 9 86.624 10 91.394 11 76.912 12 51.274 13 68.831 14 77.301 15 76.948 16 99.265 17 118.505 18 141.473 19 137.761 20 117.612 21 122.781
人) 295.34
x 6：经济 作物占农 作物面积 比例(％)
26.724
x 7：耕地 占土地面 积比率
数学模型讲座主成分分析.ppt
4
2. 直 观 想 法
原始数据矩阵
x11 x21
x12 x1n x22 x2n
xp1 xp2 xpn
p 维空间n 个点
研究n 个点的关系，难! 降维，近似在低维空间表达。
5
2. 直 观 想 法
例如，二元总体，x
正态分布。
Байду номын сангаас
x1 x2
y Ux
如果椭圆很扁，则在 y 的坐标系中，样本点的第一个坐
u1, u2 , , u p
是对应的单位特征向量。
说明∶求法，最 大方差性质。
10
3.主成分问题的数学提法
定理: 设p 维随机变量 x (x1 x2 xp ) ' 的数学
期望为0，且协方差阵为 D(x) ,它的特征值为
1 2 p 0
u1, u2 , , u p 为相应的单位特征向量，则x 第 i 主成分为
13
4.样本主成分
实际问题中总体协方差矩阵D(x) 是未知的，只能
用样本协方差矩阵 Sx 去估计。因此实用中，从样 本协方差矩阵 Sx 出发，求 一个正交矩阵U，将Sx 变成对角矩阵Λ，即
US x U
'
Λ
1
0
0
1 2 p 0
p
14
4.样本主成分
样本主成分--由Sx 出发求出的主成分。
yi uix ui1x1 ui2 x2
uip xp
(i 1,2,, p)
11
3.主成分问题的数学提法
说明1∶求主成分关键是要从协方差矩阵 D(x) 求出 正交变换矩阵 U (u。ij ) p p
说明2∶若已经求出主成分 y Ux ，则原来的p 个指
标 x1, x2 , x p 就可以转化为用p 个新的指标
2. 直 观 想 法
原始数据矩阵
x11 x21
x12 x1n x22 x2n
xp1 xp2 xpn
p 维空间n 个点
研究n 个点的关系，难! 降维，近似在低维空间表达。
5
2. 直 观 想 法
例如，二元总体，x
正态分布。
Байду номын сангаас
x1 x2
y Ux
如果椭圆很扁，则在 y 的坐标系中，样本点的第一个坐
u1, u2 , , u p
是对应的单位特征向量。
说明∶求法，最 大方差性质。
10
3.主成分问题的数学提法
定理: 设p 维随机变量 x (x1 x2 xp ) ' 的数学
期望为0，且协方差阵为 D(x) ,它的特征值为
1 2 p 0
u1, u2 , , u p 为相应的单位特征向量，则x 第 i 主成分为
13
4.样本主成分
实际问题中总体协方差矩阵D(x) 是未知的，只能
用样本协方差矩阵 Sx 去估计。因此实用中，从样 本协方差矩阵 Sx 出发，求 一个正交矩阵U，将Sx 变成对角矩阵Λ，即
US x U
'
Λ
1
0
0
1 2 p 0
p
14
4.样本主成分
样本主成分--由Sx 出发求出的主成分。
yi uix ui1x1 ui2 x2
uip xp
(i 1,2,, p)
11
3.主成分问题的数学提法
说明1∶求主成分关键是要从协方差矩阵 D(x) 求出 正交变换矩阵 U (u。ij ) p p
说明2∶若已经求出主成分 y Ux ，则原来的p 个指
标 x1, x2 , x p 就可以转化为用p 个新的指标
《主成分分析》课件
投资组合优化
通过主成分分析，找到不同投 资标的之间的关系，优化投资 组合的效益。
主成分分析在市场调研中的应用
1
偏好分析
通过主成分分析，找到消费者的特征
产品定位
2
和偏好，精准制定相应的市场策略。
通过主成分分析，找到消费者对产品
的不同评价因素，合理确定产品的定
位。
3
竞品分析
通过主成分分析，评估竞争对手的优 势和劣势，为企业提供相应的决策依 据。
慕课在线学习行业民调
通过主成分分析，找到影响学 习者的因素，比如课程质量、 师资水平、学习难度等方面。
降水量分析和气候变化
通过主成分分析和时间序列分 析，找到影响气象预测和气候 变化的主要原因和特征。
食品市场调查分析
通过主成分分析，找到影响消 费者购买健康食品的因素，制 定相应的市场营销策略。
标准化数据
通过Z-score标准化数据，去除不同变 量的量纲影响。
提取主成分
根据协方差矩阵的特征值和特征向量， 提取主成分。
如何选择主成分数量
特征值
根据特征值大于1的原则，选择主成分的数量。
累计贡献率
当累计贡献率到达一定阈值后，选择主成分数量。
图形分析
通过屏幕图和贡献率图来选择主成分数量。
主成分分析的优点和缺点
应用
主成分分析适用于变量之间没有明确因果关系 的情况下，提取它们的主成分；而因子分析需 要基于理论或先验知识，对变量进行选择和定 量，发现变量间的潜在因子。
主成分分析在金融分析中的应用
股票指数分析
通过主成分分析，找到影响整 个股票市场的因素，快速判断 股票市场的健康状况。
信用卡违约风险评估
通过主成分分析，找到导致信 用卡违约的因素，提高信用卡 贷款的质量。
数学建模优秀课件之主成分分析
按大小顺序排列 ；
1 2 , p 0
2.求出的特征向量：每一个特征值对应的特征向量，由此可 以得出第一，二，第三主成分表达式
四、计算主成分贡献率及累计贡献率
1.贡献率：
i
p
k
k 1
(i 1,2,, p)
2.累计贡献率:
i
k
k 1
p
k
k 1
(i 1,2,, p)
如果累计贡献率超过了0.85，则说明前k个主成分基本包括了全部指标具 有的信息，因此可以只选前k个成分来分析
X
(X1, X 2,...,X P )
x21
...
x22 ...
... x2p
...
...
xn1 xn2 ... xnp
定义：记x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p） 为新变量指标
z1 l11x1 l12 x2 l1p xp
z2
l21x1
l22 x2
将“成分矩阵”表中每一列值分别除以特征值的开方，就得 z
出了每一个特征值对应的特征向量，由此可以得出第一，第二， 第三主成分表达式（令各因素为X1，X2……X8）
z1=0.4567*X1+0.4095*X2+0.8274*X3+0.735*X4+1.053*X51.37*X6-2.4318*X7+6.72*X8
rpp
rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：
rij
n
( xki xi )(xkj x j )
k 1
n
n
( xki xi )2 ( xkj x j )2
1 2 , p 0
2.求出的特征向量：每一个特征值对应的特征向量，由此可 以得出第一，二，第三主成分表达式
四、计算主成分贡献率及累计贡献率
1.贡献率：
i
p
k
k 1
(i 1,2,, p)
2.累计贡献率:
i
k
k 1
p
k
k 1
(i 1,2,, p)
如果累计贡献率超过了0.85，则说明前k个主成分基本包括了全部指标具 有的信息，因此可以只选前k个成分来分析
X
(X1, X 2,...,X P )
x21
...
x22 ...
... x2p
...
...
xn1 xn2 ... xnp
定义：记x1，x2，…，xP为原变量指标，z1，z2，…，zm（m≤p） 为新变量指标
z1 l11x1 l12 x2 l1p xp
z2
l21x1
l22 x2
将“成分矩阵”表中每一列值分别除以特征值的开方，就得 z
出了每一个特征值对应的特征向量，由此可以得出第一，第二， 第三主成分表达式（令各因素为X1，X2……X8）
z1=0.4567*X1+0.4095*X2+0.8274*X3+0.735*X4+1.053*X51.37*X6-2.4318*X7+6.72*X8
rpp
rij（i，j=1，2，…，p）为原变量xi与xj的相关系数， rij=rji，其计算公式为：
rij
n
( xki xi )(xkj x j )
k 1
n
n
( xki xi )2 ( xkj x j )2
《主成分分析模型》课件
主成分分析在实际生活中的应 用
主成分分析在股票价格预测、商品定价、产品优化和质量控制等领域应用广 泛。
主成分分析的局限性和应用前 景
主成分分析模型对输入变量的假定比较苛刻，且容易受到极端值和噪声干扰。 未来，随着数据科学技术的不断发展，这些限制有望得到缓解，主成分分析 模型的应用将更加广泛。
如何使用主成分分析模型？
进行调整。
3
建立回归模型
使用主成分建立回归模型，选择最优 变量。
预测结果分析
对模型预测结果进行分析，了解其背 后的原因。
主成分分析案例分析的结果解读
数据分析
通过主成分分析，我们得出该 公司的收入、成本和利润三个 主成分。
主成分解释
根据主成分系数矩阵，得出每 个主成分与原始数据的权重。
结果解读
解读主成分分析的结果，并提 出下一步优化的方向。
明确目的
确定主成分分析的目的和研 究对象。
选择变量
选择数据集中的相关变量， 并进行处理和标准化。
计算主成分
通过特征分解计算出主成分， 确定最具影响力的成分。
主成分分析的发展趋势
主成分分析在跨领域的交叉应用中将发挥越来越大的作用。未来，主成分分析模型将更加注重真实数据 的建模，有望成为精准数据科学的重要组成部分。
主成分分析的应用领域
金融
主成分分析可用于投资组合的优化、风险控制和股票价格预测。
医学
主成分分析可用于诊断和治疗疾病、分析药物疗效和评估病人风险。
工业
主成分分析可用于制造过程控制和质量管理。
主成分分析的优缺点
1 优点
降低数据维度、简化模型和提高模型准确性。
2 缺点
要求输入变量服从标准正态分布，可能会引入信息损失。
《主成分分析》幻灯片PPT
PCA的实质——简化数据
用尽可能少的变量〔主成分〕反映原始数据中尽 可能多的信息，以简化数据，突出主要矛盾。
反映原始数据特征的指标：方差-离散度 主成分：原始变量的最优加权线性组合 最优加权：
第一主成分：寻找原始数据的一个线性组合，使 之具有最大方差〔数据离散度最大的方向〕
第二主成分：寻找原始数据的一个线性组合，使 之具有次大方差，且与第一主成分无关
12.00
14.00
16.00
run100m
18.00
20.00
二、PCA的模型与算法
设:x为标准化变量, 原始数据阵 X s [x 1 ,x 2 , x p ] PCA目标：找到原始数据方差最大的线性组合
❖设：线性组合系数为p×1=[1, 2, … p]T
❖即:要找一个 使z=Xs= 1x1+ 2x2 +…+ pxp具有
What does PCA do?
Original data matrix, say n by p 正交旋转
New data matrix, say n by q, with q < p：
例：研究55个国家运发动径赛 能力，用8项径赛成绩
经PCA得到新数据阵： z55×2：选取2个主成分， 其中第一主成分表示综合
0.0
1
第一主成分-1.0包0 含的信0.0息0 量显然1.00
-21..000
售 电 量
Z2
大于第二主成分，因而忽略s 第
二主成分信息损失不大 -2.0
-2
-1
Ma Xin, North China Electric Power University
0
1
2
3
主成分分析PPT课件
u2
M
a1
p
up
p
iauiuia i1
p
i (aui )2 i1
1
p
(au
i 1
i
)2
p
1 auiuia i 1
1aUUa 1aa 1
当且仅当a1 =u1时，即 F1 u11X1 u p1X p 时， 有最大的方差1。因为Var(F1)=U’1xU1=1。
这种由讨论多个指标降为少数几个综合指 标的过程在数学上就叫做降维。主成分分析通 常的做法是，寻求原指标的线性组合Fi。
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
p1 p2
1p
2
p
2 p
由于Σx为非负定的对称阵，则有利用线性代数的 知识可得，必存在正交阵U，使得
1
0
UΣXU
0
p
其中1， 2，…， p为Σx的特征根，不妨假设 1 2 … p 。而U恰好是由特征根相对应的特 征向量所组成的正交阵。
F1
F2
F3
i
i
t
F1
1
F2
0
1
F3
0
0
1
i 0.995 -0.041 0.057
l
Δi -0.056 0.948 -0.124 -0.102 l
t -0.369 -0.282 -0.836 -0.414 -0.112 1
主成分分析完整ppt课件
的系数向量。对于多维的情况，上面的结论依然成立。
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成
的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成
的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；
主成分分析(数学建模)实用PPT共98页
主成分分析(数学建模)实用
21、没有人陪你走一辈子，所以你要 适应孤 独，没 有人会 帮你一 辈子， 所以你 要奋斗 一生。 22、当眼泪流尽的时候，留下的应该 是坚强 。 23、要改变命运，首先改变自己。
24、勇气很有理由被当作人类德性之 首，因 为这种 德性保 证了所 有其余 的德性 。--温 斯顿． 丘吉尔 。 25、梯子的梯阶从来不是用来搁脚的 ，它只 是让人 们的脚 放上一 段时间 ，以便 让别一 只脚能 够再往 上登。
39、勿问成功的秘诀为何，且尽全力做你应该做的事吧。——美华纳
40、学而不思则罔，思而不学则殆。——孔子
谢谢！
36、自己的鞋子，自己知道紧在哪里。——西班牙
37、我们唯一不会改正的缺点是软弱。——得很慢，但是我从不后退。——亚伯拉罕·林肯
21、没有人陪你走一辈子，所以你要 适应孤 独，没 有人会 帮你一 辈子， 所以你 要奋斗 一生。 22、当眼泪流尽的时候，留下的应该 是坚强 。 23、要改变命运，首先改变自己。
24、勇气很有理由被当作人类德性之 首，因 为这种 德性保 证了所 有其余 的德性 。--温 斯顿． 丘吉尔 。 25、梯子的梯阶从来不是用来搁脚的 ，它只 是让人 们的脚 放上一 段时间 ，以便 让别一 只脚能 够再往 上登。
39、勿问成功的秘诀为何，且尽全力做你应该做的事吧。——美华纳
40、学而不思则罔，思而不学则殆。——孔子
谢谢！
36、自己的鞋子，自己知道紧在哪里。——西班牙
37、我们唯一不会改正的缺点是软弱。——得很慢，但是我从不后退。——亚伯拉罕·林肯
主成分分析数学建模 ppt课件
4
指标 身长 袖长 胸围 腰围 肩宽 肩厚 X1 X2 X3 X4 X5 X6
Y1=a11*X1+a12X2+a13X3+a14X4+a15X5+a16X6 Y2=a21*X1+a22X2+a23X3+a24X4+a25X5+a26X6 Y3=a31*X1+a32X2+a33X3+a34X4+a35X5+a36X6
主成分分析数学建模设有n个样品每个样品观测p个指标将原始数据写成矩阵形式?????????????npnnppxxxxxxxxx???????212222111211x1将原始数据标准化2建立变量的相关系数阵ppijr??rjjiiijijsssr?11jajnaiaiijxxxxns?????3求r的特征根及相应的单位特征向量特征值大的贡献大
一般取累计贡献率达85—95%的特征值 所对应的第一、第二，…，第m（m≤p）个主成分。
5 、根据特征值，确定各成分权重，进行综合指标，排序。
Y
1
8
Y182
Y2
i i
i1
i1
88 Y8 i
i1
这里我们需要进一步强调的是，从相关阵求得的主成分与协差阵求得
的主成分一般情况是不相同的。实际表明，这种差异有时很大。我们认
F1 u11X1 u21X2 up1Xp F2 u12X1 u22X2 up2Xp
Fp u1pX1 u2pX2 uppXp
主成分分析数学建模
7
满足
1. 主成分的方差依次递减，重要性依次递减，即 V （ F 1 ） a V ( r F 2 ) a V r ( F p ) ar
2. 主成分之间互不相关，即无重叠的信息。即 C （ F i ， F j ） o 0 ， i j ， v i ， j 1 ， 2 ， ， p
指标 身长 袖长 胸围 腰围 肩宽 肩厚 X1 X2 X3 X4 X5 X6
Y1=a11*X1+a12X2+a13X3+a14X4+a15X5+a16X6 Y2=a21*X1+a22X2+a23X3+a24X4+a25X5+a26X6 Y3=a31*X1+a32X2+a33X3+a34X4+a35X5+a36X6
主成分分析数学建模设有n个样品每个样品观测p个指标将原始数据写成矩阵形式?????????????npnnppxxxxxxxxx???????212222111211x1将原始数据标准化2建立变量的相关系数阵ppijr??rjjiiijijsssr?11jajnaiaiijxxxxns?????3求r的特征根及相应的单位特征向量特征值大的贡献大
一般取累计贡献率达85—95%的特征值 所对应的第一、第二，…，第m（m≤p）个主成分。
5 、根据特征值，确定各成分权重，进行综合指标，排序。
Y
1
8
Y182
Y2
i i
i1
i1
88 Y8 i
i1
这里我们需要进一步强调的是，从相关阵求得的主成分与协差阵求得
的主成分一般情况是不相同的。实际表明，这种差异有时很大。我们认
F1 u11X1 u21X2 up1Xp F2 u12X1 u22X2 up2Xp
Fp u1pX1 u2pX2 uppXp
主成分分析数学建模
7
满足
1. 主成分的方差依次递减，重要性依次递减，即 V （ F 1 ） a V ( r F 2 ) a V r ( F p ) ar
2. 主成分之间互不相关，即无重叠的信息。即 C （ F i ， F j ） o 0 ， i j ， v i ， j 1 ， 2 ， ， p
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T2T1 0 或 T1T2 0 。这时，我们可以构造求第二主成分的目标函 数，即
2 (T2 , , ) T2ΣT2 (T2T2 1) 2 (T1T2 )
(9)
对目标函数2 (T2 , , ) 求导数有：
2
T2
2ΣT2
2T2
2T1
0
(10)
用 T1 左乘(10)式有
T1ΣT2 T1T2 T1T1 0
1
指标 身长 袖长 胸围 腰围 肩宽 肩厚 X1 X2 X3 X4 X5 X6
Y1=a11*X1+a12X2+a13X3+a14X4+a15X5+a16X6 Y2=a21*X1+a22X2+a23X3+a24X4+a25X5+a26X6 Y3=a31*X1+a32X2+a33X3+a34X4+a35X5+a36X6
妨设 1 2 L p 0 。由(8)知道Y1 的方差为 。那么，Y1 的
最大方差值为 1 ，其相应的单位化特征向量为T1 。
9
在 求 第 二 主 成 分 之 前 ， 我 们 首 先 明 确 ， 由 (6) 知
Cov(Y2 ,Y1) T2ΣT1 T2T1 。那么，如果 Y2 与 Y1 相互独立，即有
6
我们希望寻找一组新的变量 Y1,L ,Ym （ m p ），这组新的变 量要求充分地反映原变量 X1,L , X p 的信息，而且相互独立。 这里我们应该注意到，对于 Y1,L ,Ym 有
D(Yi ) D(TiX) TiD(X)Ti TiΣTi i 1, 2,L , m
Cov(Yi ,Yk ) Cov(TiX,TkX) TiCov(X, X)Tk TiΣTk
3. 每个主成分的系数平方和为1。即
u12i u22i L
u
2 pi
1,
i 1, 2,L , p
5
主成分的数学推导
设 X (X1,L , X p ) 为一个 p 维随机向量，并假定存在二阶
矩，其均值向量与协差阵分别记为：
μ E(X) , Σ D(X)
(3）
考虑如下的线性变换
Y1
t11 X1
Y1 反映胖瘦 Y2 反映特体 Y3反映长度
2
主成分分析是一种通过降维技术把 多个指标约化为少数几个综合指标 的综合统计分析方法，而这些综合 指标能够反映原始指标的绝大部分 信息，它们通常表现为原始几个指 标的线性组合。
3
数学模型
将原来p个指标记X1，X2，…，Xp.再寻求这p个变量 的线性组合F1，F2，…Fk(k≤p）
主成分分析PCA
在实际问题中，研究多指标的问题是经常遇到的，然 而在多数情况下，不同指标之间是有一定关系的。由于 指标较多再加上指标之间有一定的相关性，势必增加了 分析问题的复杂性。主成分分析就是设法将原来指标重 新组合成一组新的互相无关的几个综合指标来代替原来 指标，同时根据实际需要从中可取几个较少的综合指标 尽可能多滴反映原来指标的信息。这种多个指标化为少 数互不干扰的综合指标的统计方法叫做主成分分析法， 如某人要做一件上衣要测量很多尺寸，如身长、袖长、 胸围、腰围、肩宽、肩厚等十几项指标。但是某服装产 生产一批新型服装绝不可能吧尺寸型号分的过多。而是 从其中选取几个综合性的指标作为分类型号。1、反映 胖瘦。2、反映特体。3、反映长度。
i,k 1,2,L ,m 这样，我们所要解决的问题就转化为，在新的变量 Y1,L ,Ym 相 互独立的条件下，求 Ti 使得 D(Yi ) TiΣTi ，i 1,2,L , m ,达到 最大。
7
我们下面将借助投影寻踪（Projection Pursuit）的思想来解决这 一问题。首先应该注意到，使得 D(Yi ) 达到最大的线性组合，显 然用常数乘以 Ti 后， D(Yi ) 也随之增大，为了消除这种不确定性， 不妨假设 Ti 满足 TiTi 1或者 T 1 。那么，问题可以更加明确。 第 一主成 分为， 满足 T1T1 1 ， 使得 D(Y1) T1ΣT1 达 到最大的
Y1 T1X 。 第二主成分为，满足T2T2 1，且 Cov(Y2 ,Y1) Cov(T2X,T1X) 0 ，
使得 D(Y2 ) T2ΣT2 达到最大的 Y2 T2X 。 一般情形，第 k 主成分为，满足 TkTk 1， 且 Cov(Yk ,Yi ) Cov(TkX,TiX) 0 （ i k ），使得 D(Yk ) TkΣTk 达 到最大的 Yk TkX 。
t12 X 2
L
t1p X p
T1X
Y2
t21 X1
t22 X 2
L
t2 p X p
T2X
LLLL
Yp
t p1 X1 t p2 X 2 L
t pp X p
TpX
用矩阵表示为
Y TX
其中 Y (Y1,Y2 ,L Yp ) ， T (T1,T2 ,L ,Tp ) 。
(4）
的特征向量为 T2 。
针 对 一 般 情 形 ， 第 k 主 成 分 应 该 是 在 TkTk 1 且 TkTi 0 或
由于 T1ΣT2 0 ， T1T2 0 ，那么， T1T1 0 ，即有 0 。从而
(Σ I)T2 0
(11)
而且 T2ΣT2
(12)
10
这样说明，如果 X 的协差阵 Σ 的特征根为 1 2 L p 0 。
由(12)知道 Y2 的最大方差值为第二大特征根 2 ，其相应的单位化
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
4
满足
1. 主成分的方差依次递减，重要性依次递减，即 Var（F1） Var(F2 ) Var(Fp )
2. 主成分之间互不相关，即无重叠的信息。即 Cov（Fi，Fj） 0，i j，i，j 1， 2， ，p
8
Hale Waihona Puke 求第一主成分，构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1)
(5)
对目标函数1(T1, ) 求导数有：
1
T1
2ΣT1
2T1
0
(6)
即
(Σ I)T1 0
(7)
由 7 式两边左乘 T1 得到
T1ΣT1
(8)
由于 X 的协差阵 Σ 为非负定的，其特征方程(7)的根均大于零，不
2 (T2 , , ) T2ΣT2 (T2T2 1) 2 (T1T2 )
(9)
对目标函数2 (T2 , , ) 求导数有：
2
T2
2ΣT2
2T2
2T1
0
(10)
用 T1 左乘(10)式有
T1ΣT2 T1T2 T1T1 0
1
指标 身长 袖长 胸围 腰围 肩宽 肩厚 X1 X2 X3 X4 X5 X6
Y1=a11*X1+a12X2+a13X3+a14X4+a15X5+a16X6 Y2=a21*X1+a22X2+a23X3+a24X4+a25X5+a26X6 Y3=a31*X1+a32X2+a33X3+a34X4+a35X5+a36X6
妨设 1 2 L p 0 。由(8)知道Y1 的方差为 。那么，Y1 的
最大方差值为 1 ，其相应的单位化特征向量为T1 。
9
在 求 第 二 主 成 分 之 前 ， 我 们 首 先 明 确 ， 由 (6) 知
Cov(Y2 ,Y1) T2ΣT1 T2T1 。那么，如果 Y2 与 Y1 相互独立，即有
6
我们希望寻找一组新的变量 Y1,L ,Ym （ m p ），这组新的变 量要求充分地反映原变量 X1,L , X p 的信息，而且相互独立。 这里我们应该注意到，对于 Y1,L ,Ym 有
D(Yi ) D(TiX) TiD(X)Ti TiΣTi i 1, 2,L , m
Cov(Yi ,Yk ) Cov(TiX,TkX) TiCov(X, X)Tk TiΣTk
3. 每个主成分的系数平方和为1。即
u12i u22i L
u
2 pi
1,
i 1, 2,L , p
5
主成分的数学推导
设 X (X1,L , X p ) 为一个 p 维随机向量，并假定存在二阶
矩，其均值向量与协差阵分别记为：
μ E(X) , Σ D(X)
(3）
考虑如下的线性变换
Y1
t11 X1
Y1 反映胖瘦 Y2 反映特体 Y3反映长度
2
主成分分析是一种通过降维技术把 多个指标约化为少数几个综合指标 的综合统计分析方法，而这些综合 指标能够反映原始指标的绝大部分 信息，它们通常表现为原始几个指 标的线性组合。
3
数学模型
将原来p个指标记X1，X2，…，Xp.再寻求这p个变量 的线性组合F1，F2，…Fk(k≤p）
主成分分析PCA
在实际问题中，研究多指标的问题是经常遇到的，然 而在多数情况下，不同指标之间是有一定关系的。由于 指标较多再加上指标之间有一定的相关性，势必增加了 分析问题的复杂性。主成分分析就是设法将原来指标重 新组合成一组新的互相无关的几个综合指标来代替原来 指标，同时根据实际需要从中可取几个较少的综合指标 尽可能多滴反映原来指标的信息。这种多个指标化为少 数互不干扰的综合指标的统计方法叫做主成分分析法， 如某人要做一件上衣要测量很多尺寸，如身长、袖长、 胸围、腰围、肩宽、肩厚等十几项指标。但是某服装产 生产一批新型服装绝不可能吧尺寸型号分的过多。而是 从其中选取几个综合性的指标作为分类型号。1、反映 胖瘦。2、反映特体。3、反映长度。
i,k 1,2,L ,m 这样，我们所要解决的问题就转化为，在新的变量 Y1,L ,Ym 相 互独立的条件下，求 Ti 使得 D(Yi ) TiΣTi ，i 1,2,L , m ,达到 最大。
7
我们下面将借助投影寻踪（Projection Pursuit）的思想来解决这 一问题。首先应该注意到，使得 D(Yi ) 达到最大的线性组合，显 然用常数乘以 Ti 后， D(Yi ) 也随之增大，为了消除这种不确定性， 不妨假设 Ti 满足 TiTi 1或者 T 1 。那么，问题可以更加明确。 第 一主成 分为， 满足 T1T1 1 ， 使得 D(Y1) T1ΣT1 达 到最大的
Y1 T1X 。 第二主成分为，满足T2T2 1，且 Cov(Y2 ,Y1) Cov(T2X,T1X) 0 ，
使得 D(Y2 ) T2ΣT2 达到最大的 Y2 T2X 。 一般情形，第 k 主成分为，满足 TkTk 1， 且 Cov(Yk ,Yi ) Cov(TkX,TiX) 0 （ i k ），使得 D(Yk ) TkΣTk 达 到最大的 Yk TkX 。
t12 X 2
L
t1p X p
T1X
Y2
t21 X1
t22 X 2
L
t2 p X p
T2X
LLLL
Yp
t p1 X1 t p2 X 2 L
t pp X p
TpX
用矩阵表示为
Y TX
其中 Y (Y1,Y2 ,L Yp ) ， T (T1,T2 ,L ,Tp ) 。
(4）
的特征向量为 T2 。
针 对 一 般 情 形 ， 第 k 主 成 分 应 该 是 在 TkTk 1 且 TkTi 0 或
由于 T1ΣT2 0 ， T1T2 0 ，那么， T1T1 0 ，即有 0 。从而
(Σ I)T2 0
(11)
而且 T2ΣT2
(12)
10
这样说明，如果 X 的协差阵 Σ 的特征根为 1 2 L p 0 。
由(12)知道 Y2 的最大方差值为第二大特征根 2 ，其相应的单位化
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
4
满足
1. 主成分的方差依次递减，重要性依次递减，即 Var（F1） Var(F2 ) Var(Fp )
2. 主成分之间互不相关，即无重叠的信息。即 Cov（Fi，Fj） 0，i j，i，j 1， 2， ，p
8
Hale Waihona Puke 求第一主成分，构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1)
(5)
对目标函数1(T1, ) 求导数有：
1
T1
2ΣT1
2T1
0
(6)
即
(Σ I)T1 0
(7)
由 7 式两边左乘 T1 得到
T1ΣT1
(8)
由于 X 的协差阵 Σ 为非负定的，其特征方程(7)的根均大于零，不