主成分分析数学建模ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3. 每个主成分的系数平方和为1。即
u12i u22i L
u
2 pi
1,
i 1, 2,L , p
5
主成分的数学推导
设 X (X1,L , X p ) 为一个 p 维随机向量，并假定存在二阶
矩，其均值向量与协差阵分别记为：
μ E(X) , Σ D(X)
(3）
考虑如下的线性变换
Y1
t11 X1
Y1 反映胖瘦 Y2 反映特体 Y3反映长度
2
主成分分析是一种通过降维技术把 多个指标约化为少数几个综合指标 的综合统计分析方法，而这些综合 指标能够反映原始指标的绝大部分 信息，它们通常表现为原始几个指 标的线性组合。
3
数学模型
将原来p个指标记X1，X2，…，Xp.再寻求这p个变量 的线性组合F1，F2，…Fk(k≤p）
1
指标 身长 袖长 胸围 腰围 肩宽 肩厚 X1 X2 X3 X4 X5 X6
Y1=a11*X1+a12X2+a13X3+a14X4+a15X5+a16X6 Y2=a21*X1+a22X2+a23X3+a24X4+a25X5+a26X6 Y3=a31*X1+a32X2+a33X3+a34X4+a35X5+a36X6
T2T1 0 或 T1T2 0 。这时，我们可以构造求第二主成分的目标函 数，即
2 (T2 , , ) T2ΣT2 (T2T2 1) 2 (T1T2 )
(9)
对目标函数2 (T2 , , ) 求导数有：
2
T2
2ΣT2
2T2
2T1
0
(10)
用 T1 左乘(10)式有
T1ΣT2 T1T2 T1T1 0
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
4
满足
1. 主成分的方差依次递减，重要性依次递减，即 Var（F1） Var(F2 ) Var(Fp )
2. 主成分之间互不相关，即无重叠的信息。即 Cov（Fi，Fj） 0，i j，i，j 1， 2， ，p
8
求第一主成分，构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1)
(5)
对目标函数1(T1, ) 求导数有：
1
T1
2ΣT1
2T1
0
(6)
即
(Σ I)T1 0
(7)
由 7 式两边左乘 T1 得到
T1ΣT1
(8)
由于 X 的协差阵 Σ 为非负定的，其特征方程(7)的根均大于零，不
妨设 1 2 L p 0 。由(8)知道Y1 的方差为 。那么，Y1 的
最大方差值为 1 ，其相应的单位化特征向量为T1 。
9
在 求 第 二 主 成 分 之 前 ， 我 们 首 先 明 确 ， 由 (6) 知
Cov(Y2 ,Y1) T2ΣT1 T2T1 。那么，如果 Y2 与 Y1 相互独立，即有
主成分分析PCA
在实际问题中，研究多指标的问题是经常遇到的，然 而在多数情况下，不同指标之间是有一定关系的。由于 指标较多再加上指标之间有一定的相关性，势必增加了 分析问题的复杂性。主成分分析就是设法将原来指标重 新组合成一组新的互相无关的几个综合指标来代替原来 指标，同时根据实际需要从中可取几个较少的综合指标 尽可能多滴反映原来指标的信息。这种多个指标化为少 数互不干扰的综合指标的统计方法叫做主成分分析法， 如某人要做一件上衣要测量很多尺寸，如身长、袖长、 胸围、腰围、肩宽、肩厚等十几项指标。但是某服装产 生产一批新型服装绝不可能吧尺寸型号分的过多。而是 从其中选取几个综合性的指标作为分类型号。1、反映 胖瘦。2、反映特体。3、反映长度。
Y1 T1X 。 第二主成分为，满足T2T2 1，且 Cov(Y2 ,Y1) Cov(T2X,T1X) 0 ，
使得 D(Y2 ) T2ΣT2 达到最大的 Y2 T2X 。 一般情形，第 k 主成分为，满足 TkTk 1， 且 Cov(Yk ,Yi ) Cov(TkX,TiX) 0 （ i k ），使得 D(Yk ) TkΣTk 达 到最大的 Yk TkX 。
i,k 1,2,L ,m 这样，我们所要解决的问题就转化为，在新的变量 Y1,L ,Ym 相 互独立的条件下，求 Ti 使得 D(Yi ) TiΣTi ，i 1,2,L , m ,达到 最大。
7
我们下面将借助投影寻踪（Projection Pursuit）的思想来解决这 一问题。首先应该注意到，使得 D(Yi ) 达到最大的线性组合，显 然用常数乘以 Ti 后， D(Yi ) 也随之增大，为了消除这种不确定性， 不妨假设 Ti 满足 TiTi 1或者 T 1 。那么，问题可以更加明确。 第 一主成 分为， 满足 T1T1 1 ， 使得 D(Y1) T1ΣT1 达 到最大的
由于 T1ΣT2 0 ， T1T2 0 ，那么， T1T1 0 ，即有 0 。从而
(Σ I)T2 0
(11)
而且 T2ΣT2
(12)
10
这样说明，如果 X 的协差阵 Σ 的特征根为 1 2 L p 0 。
由(12)知道 Y2 的最大方差值为第二大特征根 2 ，其相应的单位化
6
我们希望寻找一组新的变量 Y1,L ,Ym （ m p ），这组新的变 量要求充分地反映原变量 X1,L , X p 的信息，而且相互独立。 这里我们应该注意到，对于 Y1,L ,Ym 有
D(Yi ) D(TiX) TiD(X)Ti TiΣTi i 1, 2,L , m
Cov(Yi ,Yk ) Cov(TiX,TkX) TiCov(X, X)Tk TiΣTk
的特征向量为 T2 。
针 对 一 般 情 形 ， 第 k 主 成 分 应 该 是 在 TkTk 1 且 TkTi 0 或
t12 X 2
L
t1p X p
T1X
Y2
源自文库
t21 X1
t22 X 2
L
t2 p X p
T2X
LLLL
Yp
t p1 X1 t p2 X 2 L
t pp X p
TpX
用矩阵表示为
Y TX
其中 Y (Y1,Y2 ,L Yp ) ， T (T1,T2 ,L ,Tp ) 。
(4）
u12i u22i L
u
2 pi
1,
i 1, 2,L , p
5
主成分的数学推导
设 X (X1,L , X p ) 为一个 p 维随机向量，并假定存在二阶
矩，其均值向量与协差阵分别记为：
μ E(X) , Σ D(X)
(3）
考虑如下的线性变换
Y1
t11 X1
Y1 反映胖瘦 Y2 反映特体 Y3反映长度
2
主成分分析是一种通过降维技术把 多个指标约化为少数几个综合指标 的综合统计分析方法，而这些综合 指标能够反映原始指标的绝大部分 信息，它们通常表现为原始几个指 标的线性组合。
3
数学模型
将原来p个指标记X1，X2，…，Xp.再寻求这p个变量 的线性组合F1，F2，…Fk(k≤p）
1
指标 身长 袖长 胸围 腰围 肩宽 肩厚 X1 X2 X3 X4 X5 X6
Y1=a11*X1+a12X2+a13X3+a14X4+a15X5+a16X6 Y2=a21*X1+a22X2+a23X3+a24X4+a25X5+a26X6 Y3=a31*X1+a32X2+a33X3+a34X4+a35X5+a36X6
T2T1 0 或 T1T2 0 。这时，我们可以构造求第二主成分的目标函 数，即
2 (T2 , , ) T2ΣT2 (T2T2 1) 2 (T1T2 )
(9)
对目标函数2 (T2 , , ) 求导数有：
2
T2
2ΣT2
2T2
2T1
0
(10)
用 T1 左乘(10)式有
T1ΣT2 T1T2 T1T1 0
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
4
满足
1. 主成分的方差依次递减，重要性依次递减，即 Var（F1） Var(F2 ) Var(Fp )
2. 主成分之间互不相关，即无重叠的信息。即 Cov（Fi，Fj） 0，i j，i，j 1， 2， ，p
8
求第一主成分，构造目标函数为：
1(T1, ) T1ΣT1 (T1T1 1)
(5)
对目标函数1(T1, ) 求导数有：
1
T1
2ΣT1
2T1
0
(6)
即
(Σ I)T1 0
(7)
由 7 式两边左乘 T1 得到
T1ΣT1
(8)
由于 X 的协差阵 Σ 为非负定的，其特征方程(7)的根均大于零，不
妨设 1 2 L p 0 。由(8)知道Y1 的方差为 。那么，Y1 的
最大方差值为 1 ，其相应的单位化特征向量为T1 。
9
在 求 第 二 主 成 分 之 前 ， 我 们 首 先 明 确 ， 由 (6) 知
Cov(Y2 ,Y1) T2ΣT1 T2T1 。那么，如果 Y2 与 Y1 相互独立，即有
主成分分析PCA
在实际问题中，研究多指标的问题是经常遇到的，然 而在多数情况下，不同指标之间是有一定关系的。由于 指标较多再加上指标之间有一定的相关性，势必增加了 分析问题的复杂性。主成分分析就是设法将原来指标重 新组合成一组新的互相无关的几个综合指标来代替原来 指标，同时根据实际需要从中可取几个较少的综合指标 尽可能多滴反映原来指标的信息。这种多个指标化为少 数互不干扰的综合指标的统计方法叫做主成分分析法， 如某人要做一件上衣要测量很多尺寸，如身长、袖长、 胸围、腰围、肩宽、肩厚等十几项指标。但是某服装产 生产一批新型服装绝不可能吧尺寸型号分的过多。而是 从其中选取几个综合性的指标作为分类型号。1、反映 胖瘦。2、反映特体。3、反映长度。
Y1 T1X 。 第二主成分为，满足T2T2 1，且 Cov(Y2 ,Y1) Cov(T2X,T1X) 0 ，
使得 D(Y2 ) T2ΣT2 达到最大的 Y2 T2X 。 一般情形，第 k 主成分为，满足 TkTk 1， 且 Cov(Yk ,Yi ) Cov(TkX,TiX) 0 （ i k ），使得 D(Yk ) TkΣTk 达 到最大的 Yk TkX 。
i,k 1,2,L ,m 这样，我们所要解决的问题就转化为，在新的变量 Y1,L ,Ym 相 互独立的条件下，求 Ti 使得 D(Yi ) TiΣTi ，i 1,2,L , m ,达到 最大。
7
我们下面将借助投影寻踪（Projection Pursuit）的思想来解决这 一问题。首先应该注意到，使得 D(Yi ) 达到最大的线性组合，显 然用常数乘以 Ti 后， D(Yi ) 也随之增大，为了消除这种不确定性， 不妨假设 Ti 满足 TiTi 1或者 T 1 。那么，问题可以更加明确。 第 一主成 分为， 满足 T1T1 1 ， 使得 D(Y1) T1ΣT1 达 到最大的
由于 T1ΣT2 0 ， T1T2 0 ，那么， T1T1 0 ，即有 0 。从而
(Σ I)T2 0
(11)
而且 T2ΣT2
(12)
10
这样说明，如果 X 的协差阵 Σ 的特征根为 1 2 L p 0 。
由(12)知道 Y2 的最大方差值为第二大特征根 2 ，其相应的单位化
6
我们希望寻找一组新的变量 Y1,L ,Ym （ m p ），这组新的变 量要求充分地反映原变量 X1,L , X p 的信息，而且相互独立。 这里我们应该注意到，对于 Y1,L ,Ym 有
D(Yi ) D(TiX) TiD(X)Ti TiΣTi i 1, 2,L , m
Cov(Yi ,Yk ) Cov(TiX,TkX) TiCov(X, X)Tk TiΣTk
的特征向量为 T2 。
针 对 一 般 情 形 ， 第 k 主 成 分 应 该 是 在 TkTk 1 且 TkTi 0 或
t12 X 2
L
t1p X p
T1X
Y2
源自文库
t21 X1
t22 X 2
L
t2 p X p
T2X
LLLL
Yp
t p1 X1 t p2 X 2 L
t pp X p
TpX
用矩阵表示为
Y TX
其中 Y (Y1,Y2 ,L Yp ) ， T (T1,T2 ,L ,Tp ) 。
(4）