主成分分析法实例
主成分分析
主成分分析主成分分析、因子分析等在多元统计分析中属于协方差逼近技术。
主要是从协方差矩阵出发,实现一种正交变换,从而将高维系统表示为低维系统,在此过程中可以揭示研究对象的许多性质和特征。
主成分分析的结果可以用于回归分析、聚类分析、神经网络分析等等。
只要懂得线性代数中二次型化为标准型的原理,就很容易掌握主成分分析的原理,进而掌握因子分析的原理。
在理解正交变换数学原理的基础上,我们可以借助Excel 开展主成分分析。
为了清楚地说明主成分的计算过程,不妨给出一个简单的计算实例。
【例】2000 年中国各地区的城、乡人口的主成分分析。
这个例子只有两个变量(m=2):城镇人口和乡村人口;31 个样品:即中国的31 个省、自治区和直辖市(n=31)。
资料来自2001 年《中国统计年鉴》,为2000 年全国人口普查快速汇总的11 月1 日零时数。
由于变量太少,这个例子仅仅具有教学意义——简单的实例更容易清楚地展示计算过程的细节。
计算步骤5.1.1 详细的计算过程首先,录入数据,并对数据进行适当处理(图5-1-1)。
计算的详细过程如下。
第一步,将原始数据绘成散点图主成分分析原则上要求部分变量之间具有线性相关趋势。
如果所有变量彼此之间不相关(即正交),则没有必要进行主成分分析,因为主成分分析的目的就是用正交的变量代替原来非正交的变量。
如果原始变量之间为非线性关系,则有必要对数据进行线性转换,否则效果不佳。
从图5-1-2 可见,原始数据具有非线性相关趋势,可以近似匹配幂指数函数,且测定系数R2=0.5157,相应地,相关系数R=0.7181(图5-1-2a);取对数之后,点列具有明显的线性趋势(图5-1-2b)。
第二步,对数据进行标准化标准化的数学公式为我们将对对数变换后的数据开展主成分分析,因此只对取对数后的数据标准化。
根据图5-1-1所示的数据排列,应该按列标准化,用xij 代表取对数之后的数据,则下式分别为第j 列数据的均值和标准差,xij 为第i 行(即第i 个样本)、第j 列(即第j 个变量)的数据,xij*为相应于xij 的标准化数据,n=31 为样品数目(参见图5-1-1)。
主成分分析经典案例
主成分分析经典案例
主成分分析是一种常用的数据降维和模式识别方法,它可以帮助我们发现数据
中隐藏的结构和模式。
在实际应用中,主成分分析有很多经典案例,下面我们将介绍其中一些。
首先,我们来看一个经典的主成分分析案例,手写数字识别。
在这个案例中,
我们需要识别手写的数字,例如0-9。
我们可以将每个数字的图像表示为一个向量,然后利用主成分分析来找到最能代表数字特征的主成分。
通过这种方法,我们可以将复杂的图像数据降维到较低维度,从而更容易进行分类和识别。
另一个经典案例是面部识别。
在这个案例中,我们需要识别不同人脸的特征。
同样地,我们可以将每个人脸的图像表示为一个向量,然后利用主成分分析来找到最能代表人脸特征的主成分。
通过这种方法,我们可以将复杂的人脸数据降维到较低维度,从而更容易进行人脸识别和验证。
此外,主成分分析还可以应用于金融领域。
例如,在投资组合管理中,我们可
以利用主成分分析来发现不同资产之间的相关性和结构。
通过这种方法,我们可以将复杂的资产数据降维到较低维度,从而更容易进行资产配置和风险管理。
在医学领域,主成分分析也有着重要的应用。
例如,在基因表达数据分析中,
我们可以利用主成分分析来发现不同基因之间的相关性和结构。
通过这种方法,我们可以将复杂的基因表达数据降维到较低维度,从而更容易进行基因分析和疾病诊断。
总之,主成分分析在各个领域都有着重要的应用。
通过发现数据中的主要结构
和模式,主成分分析可以帮助我们更好地理解和利用数据。
希望以上经典案例的介绍能够帮助您更好地理解主成分分析的应用。
主成分分析 实例
§8 实例 实例1计算得1x =71.25,2x =67.5分析1:基于协差阵∑ 求主成分。
369.6117.9117.9214.3S ⎛⎫= ⎪⎝⎭特征根与特征向量(S无偏,用SPSS )Factor 1 Factor 2 11x x - 0.880 -0.47422x x -0.474 0.880 特征值 433.12 150.81 贡献率0.7417 0.2583注:样本协差阵为无偏估计11(11)1n n n S X I X n n''=--, 所以,第一、二主成分的表达式为1122120.88(71.25)0.47(67.5)0.47(71.25)0.88(67.5)y x x y x x =-+-⎧⎨=--+-⎩ 第一主成分是英语与数学的加权和(反映了综合成绩),且英语的权数要大于数学的权数。
1y 越大,综合成绩越好。
(综合成分)第二主成分的两个系数异号(反映了两科成绩的均衡性)。
不妨将英语称为文科,数学称为理科。
2y 越大,说明偏科(文、理成绩不均衡),2y 越小,越接近于零,说明不偏科(文、理成绩均衡)。
(结构成分)问题:英语的权数为何大?如何解释? 分析2:基于相关阵R 求主成分。
因为1x =71.25,2x =67.5所以相关阵11R ⎛=⎪⎪⎭解得R 的特征根为:1λ=1.419,2λ=0.581,对应的单位特征向量分别为:Factor 1 Factor 2 111x x s - 0.707 0.707 222x x s - 0.707 -0.707 特征根 1.419 0.581 贡献率0.7090.291所以,第一、二主成分的表达式为12112271.2567.50.7070.70717.9813.6971.2567.50.7070.70717.9813.69x x y x x y --⎧=+=+⎪⎪⎨--⎪=-=-⎪⎩1122120.039(71.25)0.052(67.5)0.039(71.25)0.052(67.5)y x x y x x =-+-⎧⎨=---⎩ 1122120.0390.052 6.2730.0390.0520.671y x x y x x =+-⎧⎨=-+⎩ *2*11707.0707.0x x y += *2*12707.0707.0x x y -=基于相关阵的更说明了:第一主成分是英语与数学的加权总分。
主成分分析和因子分析实例
主成分分析和因子分析实例假设我们有一份关于中国大学生健康状况的调查数据集,共包含10个变量:体重、身高、视力、听力、血压、血糖、心率、睡眠时间、体育锻炼时间和饮食习惯。
我们希望通过主成分分析和因子分析来了解这些变量之间的关系以及它们对健康状况的影响。
首先,进行主成分分析。
主成分分析旨在找到能最好地解释数据方差的新变量,即主成分。
我们可以利用主成分分析来降低数据的维度,并找出最重要的变量。
我们计算主成分的步骤如下:1.标准化数据:将所有变量标准化,使其均值为0,标准差为1,以消除不同变量间的量纲差异。
2.计算协方差矩阵:计算标准化后的变量间的协方差矩阵。
3.计算特征值和特征向量:对协方差矩阵进行特征值分解,得到特征值和特征向量。
4.选择主成分:选择前几个特征值最大的特征向量作为主成分。
5.计算主成分得分:将原始数据与选定的主成分的特征向量相乘,得到主成分得分。
在完成上述计算后,我们可以得到主成分的解释力和贡献度。
解释力衡量了每个主成分对原始数据的解释程度,而贡献度则表示每个主成分对原始数据方差的贡献程度。
我们可以根据解释力和贡献度来解读主成分。
另一种常用的降维方法是因子分析。
因子分析也可以帮助我们找到数据中隐藏的因子,并揭示变量之间的关系。
我们进行因子分析的步骤如下:1.标准化数据:同样地,我们需要先对原始数据进行标准化。
2.估计因子模型:根据原始数据的协方差矩阵或相关矩阵,估计潜在因子模型。
最常用的是主成分法估计和极大似然估计。
3.提取因子:提取潜在因子,以解释原始数据中的变异。
我们可以使用特征值大于1的因素作为主要因子。
4.旋转因子:为了更好地理解因子的含义,我们可以对因子进行旋转。
常用的旋转方法有方差最大旋转法和直角旋转法。
5.计算因子得分:根据旋转后的因子载荷矩阵和标准化后的数据,计算每个样本在因子上的得分。
通过因子分析,我们可以得到每个变量对于潜在因子的载荷值,代表了变量与潜在因子之间的关系强度。
主成分分析法
问题分析:问题2主要是找出金属污染的主要原因,首先要找出污染最严重的金属,结合问题1的求解,我们通过主成分分析法对各种金属污染的严重性进行了判定主成分分析法:重金属对人体的危害由金属元素的化学性质决定,根据十余项指标和九项参数对重金属的潜在毒性进行分类和排序,考评指标和参数如下:电离势、熔点、沸点、熔化热、汽化热、电化当量、结合能、离子半径、密度、电荷离子半径比、氧化性、离子奇偶性、挥发性。
结论如下:重金属潜在毒性排行榜:毒性大:Hg汞〉Cd镉〉Tl铊〉Pb铅〉Cr铬〉In铟〉Sn锡毒性中等:Ag银〉Sb锑〉Zn锌〉Mn锰〉Au金〉Cu铜〉Pr镨〉Ce 铈〉Co钴〉Pd钯〉Ni镍〉V钒〉Os锇〉Lu镥〉Pt铂〉Bi铋〉Yb镱〉Eu铕〉Ga镓〉Fe铁〉Sc钪〉Al铝〉Ti钛〉Ge锗〉Rh铑〉Zr锆毒性较小:Hf铪〉Ru钌〉Ir铱〉Tc锝〉Mo钼〉Nb铌〉Ta钽〉Re铼〉W钨〉Tm铥〉Dy镝〉Nd钕〉Er铒〉Ho钬〉Gd钆〉Tb铽〉La镧〉Y钇砷:一种三价和五价的非金属元素,旧称“砒”。
通常呈金属的铁灰色,结晶形,性脆。
砷常小量地被掺入合金(如用于制造子弹的砷-铅合金),其化合物主要用于制造毒剂(如杀虫剂)、药物和玻璃 [arsenic]——元素符号As由于砷是一种非金属元素,所以在重金属毒性排行榜中没有这个元素但是它的毒性却很强,仅次于汞,我们将它放到了第二位。
Hg>As>Cd>Pb>Cr>Zn>Cu>Ni我们采用主成分分析法来验证我们的猜测:X1、X2、X3、X4、X5、X6、X7、X8分别表示:Hg、As、Cd、Pb、Cr、Zn、Cu、NiZ:标准化矩阵x:采样值x:均值s:标准差R:相关性矩阵:特征值p:维度2s:方差1、对原始指标数据的标准化采集p 维随机向量x =X1,X2,...,X pp(p=8)个影响因素测量值x i = (x i1,x i2,...,x ip)T,i=1,2,…,n 构造样本阵,对样本阵元进行如下标准化变换:计算样本的均值:1nijijx xn==∑计算方差:2 21()1nij jijx x sn=-=-∑得标准化矩阵Z通过MATLAB计算出标准化矩阵Z=zscore(A)见附录12、对标准化阵Z 求相关系数矩阵其中,通过MATLAB计算出相关系数化矩阵R=corrcoef(A)见附录23、解样本相关矩阵R 的特征方程得p 个特征根,确定主成分按 确定m 值,使信息的利用率达85%以上,对每个λj ,j=1,2,...,m, 解方程组Rb = λj 得单位特征向量1b 、2b 、3b ……8b贡献率i V :1(1,2,,)ii pkk V i p λλ===∑累计贡献率i Q :11(1,2,,)ikk i pkk Q i p λλ====∑∑i Q =1ni i V =∑ n=1、2、3 (8)通过MATLAB 计算出特征向量,主成分贡献率,见附录3 [COEFF,LATENT,EXPLATNED]=pcacov(R) 表1因子分析结果以85%作为界限,从表1中可以看出只要取四个因子就足够了。
主成分分析实例及含义讲解
成 分 分 析 ( principal component analysis ) 和 因 子 分 析 ( factor analysis)。实际上主成分分析可以说是因子分析的一个特例。在引 进主成分分析之前,先看下面的例子。
% of Variance Cumulative %
3.735
62.254
62.254
1.133
18.887
81.142
• 这里的Initial Eigenvalues就是这里的六个主轴长度,又称特征值(数 据相关阵的特征值)。头两个成分特征值累积占了总方差的81.142%。 后面的特征值的贡献越来越少。
11
主成分分析的数学
• 要寻找方差最大的方向。即使得向量X的线性组合a’X的方差
最大的方向a. • 而Var(a’X)=a’Cov(X)a;由于Cov(X)未知;于是用X的样本相
关阵R来近似.因此,要寻找向量a使得a’Ra最大(注意相关阵 和协方差阵差一个常数 • 记得相关阵和特征值问题吗?回顾一下吧! • 选择几个主成分呢?要看“贡献率.”
12
• 对于我们的数据,SPSS输出为
T ot a l V ar i an c e E x pl a in e d
Initial Eigenvalues
Component
Total
% of Variance Cumulative %
1
3.735
62.254
62.254
2
1.133
18.887
81.142
3
.457
主成分分析法的原理应用及计算步骤
主成分分析法的原理应用及计算步骤1.计算协方差矩阵:首先,我们需要将原始数据进行标准化处理,即使每个特征都有零均值和单位方差。
假设我们有m个n维样本,数据集为X,标准化后的数据集为Z。
那么,计算协方差矩阵的公式如下:Cov(Z) = (1/m) * Z^T * Z其中,Z^T为Z的转置。
2.计算特征向量:通过对协方差矩阵进行特征值分解,可以得到特征值和特征向量。
特征值表示了新坐标系中每个特征的重要性程度,特征向量则表示了数据在新坐标系中的方向。
将协方差矩阵记为C,特征值记为λ1, λ2, ..., λn,特征向量记为v1, v2, ..., vn,那么特征值分解的公式如下:C*v=λ*v计算得到的特征向量按特征值的大小进行排序,从大到小排列。
3.选择主成分:从特征向量中选择与前k个最大特征值对应的特征向量作为主成分,即新坐标系的基向量。
这些主成分可以解释原始数据中大部分的方差。
我们可以通过设定一个阈值或者看特征值与总特征值之和的比例来确定保留的主成分个数。
4.映射数据:对于一个n维的原始数据样本x,通过将其投影到前k个主成分上,可以得到一个k维的新样本,使得新样本的方差最大化。
新样本的计算公式如下:y=W*x其中,y为新样本,W为特征向量矩阵,x为原始数据样本。
PCA的应用:1.数据降维:PCA可以通过主成分的选择,将高维数据降低到低维空间中,减少数据的复杂性和冗余性,提高计算效率。
2.特征提取:PCA可以通过寻找数据中的最相关的特征,提取出主要的信息,从而减小噪声的影响。
3.数据可视化:通过将数据映射到二维或三维空间中,PCA可以帮助我们更好地理解和解释数据。
总结:主成分分析是一种常用的数据降维方法,它通过投影数据到一个新的坐标系中,使得投影后的数据具有最大的方差。
通过计算协方差矩阵和特征向量,我们可以得到主成分,并将原始数据映射到新的坐标系中。
PCA 在数据降维、特征提取和数据可视化等方面有着广泛的应用。
主成分分析法概念及例题
主成分分析法主成分分析(principal components analysis,PCA)又称:主分量分析,主成分回归分析法目录[显示]1 什么是主成分分析法2 主成分分析的基本思想3 主成分分析法的基本原理4 主成分分析的主要作用5 主成分分析法的计算步骤6 主成分分析法的应用分析o案例一:主成分分析法在啤酒风味评价分析中的应用[1]1 材料与方法2 主成分分析法的基本原理3 主成分分析法在啤酒质量一致性评价中的应用4 结论7 参考文献[编辑]什么是主成分分析法主成分分析也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。
在统计学中,主成分分析(principal components analysis,PCA)是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中,使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推。
主成分分析经常用减少数据集的维数,同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分,忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是,这也不是一定的,要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中,为了全面、系统地分析问题,我们必须考虑众多影响因素。
这些涉及的因素一般称为指标,在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息,并且指标之间彼此有一定的相关性,因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时,变量太多会增加计算量和增加分析问题的复杂性,人们希望在进行定量分析的过程中,涉及的变量较少,得到的信息量较多。
主成分分析正是适应这一要求产生的,是解决这类题的理想工具。
同样,在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中,我们常常会选用几个有代表性的综合指标,采用打分的方法来进行评估,故综合指标的选取是个重点和难点。
主成分分析法实例
1、主成分法:用主成分法寻找公共因子的方法如下:假定从相关阵出发求解主成分,设有p 个变量,则可找出p 个主成分。
将所得的p 个主成分按由大到小的顺序排列,记为1Y ,2Y ,…,P Y , 则主成分与原始变量之间存在如下关系:11111221221122221122....................p p p p pp p pp p Y X X X Y X X X Y X X Xγγγγγγγγγ=+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ 式中,ij γ为随机向量X 的相关矩阵的特征值所对应的特征向量的分量,因为特征向量之间彼此正交,从X 到Y 得转换关系是可逆的,很容易得出由Y 到X 得转换关系为:11112121212122221122....................p p p p pp p pp p X Y Y Y X Y Y Y X Y Y Yγγγγγγγγγ=+++⎧⎪=+++⎪⎨⎪⎪=+++⎩ 对上面每一等式只保留钱m 个主成分而把后面的部分用i ε代替,则上式变为:1111212112121222221122....................m m m m p p p mp m p X Y Y Y X Y Y Y X Y Y Y γγγεγγγεγγγε=++++⎧⎪=++++⎪⎨⎪⎪=++++⎩上式在形式上已经与因子模型相一致,且i Y (i=1,2,…,m )之间相互独立,且i Y 与i ε之间相互独立,为了把i Y 转化成合适的公因子,现在要做的工作只是把主成分i Y 变为方差为1的变量。
为完成此变换,必须将i Y 除以其标准差,由主成分分析的知识知其标准差即为特征根的平方根/i i F Y =,12m ,则式子变为:1111122112211222221122....................m m m m p p p pm m p X a F a F a F X a F a F a F X a F a F a F εεε=++++⎧⎪=++++⎪⎨⎪⎪=++++⎩这与因子模型完全一致,这样,就得到了载荷A 矩阵和 初始公因子(未旋转)。
主成分分析法运用
统计学简介及在实践中的应用--以主成分分析法分析影响房价因素为例姓名:阳飞学号:2111601015学院:经济管理学院指导教师:吴东武时间:二〇一七年一月六日1 简介统计语源最早出现于中世界拉丁语的Status,意思指各种现象的状态和状况。
后来由这一语根组成意大利语Stato,有表示“国家”的概念,也含有国家结构和国情知识的意思。
根据这一语根,最早作为学名使用的“统计”的是在十八世纪德国政治学教授亨瓦尔(G.Achenwall)。
他在1749年所著《近代欧洲各国国家学纲要》一书的绪言中,就把国家学名定义为“Statistika”(统计)这个词。
原意是指“国家显著事项的比较和记述”或“国势学”,认为统计是关于国家应注意事项的学问。
自此以后,各国就相继沿用“统计”这个词,更把这个词译成各国的文字,其中,法国译为Statistique;意大利译为Statistica;英国译为Statistics;日本最初译为“政表”、“政算”、“国势”、“形势”等,直到1880年在太政官中设立了统计院,这个时候才确定以“统计”二字正名。
在我国近代史上首次出现是在1903年(清光绪廿九年)由钮永建、林卓南等翻译了四本由横山雅南所著的《统计讲义录》一书,这个时候才把“统计”这个词从日本传到我国。
1907年(清光绪卅三年),由彭祖植编写的《统计学》在日本出版,同时在国内发行。
这本书是我国最早的一本“统计学”书籍。
自此以后“统计”一词就成了记述国家和社会状况的数量关系的总称。
关于“统计”这个词,后来又引申到了各种各样的组合,包括:统计工作、统计资料、统计科学。
统计工作是指利用科学的方法搜集、整理、分析和提供关于社会经济现象数量资料的工作的总称,它是统计的基础,也称统计实践或统计活动。
是在一定统计理论指导下,采用科学的方法,搜集、整理、分析统计资料的一系列活动过程。
它是随着人类社会的发展、治国和管理的需要而产生和发展起来的,至今已有四五千年的历史。
主成分分析和因子分析实例
从本例可能提出的问题
目前的问题是,能不能把这个数据的6个变量用 一两个综合变量来表示呢?
这一两个综合变量包含有多少原来的信息呢? 能不能利用找到的综合变量来对学生排序呢? 这一类数据所涉及的问题可以推广到对企业、
对学校进行分析、排序、判别和分类等问题。
2020/7/30
主成分分析
这里,第一个因子主要和语文、历史、英语科有很强的正 相关;而第二个因子主要和数学、物理、化学三科有很强 的正相关。因此可以给第一个因子起名为“文科因子”, 而给第二个因子起名为“理科因子”。从这个例子可以看
出,因子分析的结果比主成分分析解释性更强。
R o ta t e d Co m p o n en t M a tra i x
主成分分析
那么这个椭圆有一个长轴和一个短轴 。在短轴方向上,数据变化很少;在 极端的情况,短轴如果退化成一点, 那只有在长轴的方向才能够解释这些 点的变化了;这样,由二维到一维的 降维就自然完成了。
2020/7/30
主成分分析
当坐标轴和椭圆的长短轴平行,那么代表长轴的 变量就描述了数据的主要变化,而代表短轴的变 量就描述了数据的次要变化。
2020/7/30
主成分分析和因子分析
介绍两种把变量维数降低以便于描述、理 解和分析的方法:主成分分析( principal component analysis)和因子 分析(factor analysis)。
在引进主成分分析之前,先看下面的例子 。
2020/7/30
成绩数据
100个学生的数学、物理、化学、语文、历史、 英语的成绩如下表(部分)。
Co mp on ent
MA TH
1 -. 38 7
主成分分析实例和含义讲解
主成分分析实例和含义讲解1.数据标准化:对原始数据进行标准化处理,使得每个变量的均值为0,方差为1、这一步是为了将不同量级的变量进行比较。
2.计算协方差矩阵:根据标准化后的数据,计算协方差矩阵。
协方差矩阵反映了各个变量之间的线性关系。
3.特征值分解:对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。
特征值表示了各个特征向量的重要程度。
4.选择主成分:根据特征值的大小,选择前k个特征向量作为主成分,k通常是根据主成分所解释的方差比例进行确定。
5.数据投影:将原始数据投影到选取的主成分上,得到降维后的数据。
主成分分析的含义可以从两个方面来解释。
一方面,主成分分析表示了原始数据在新坐标系下的投影,可以帮助我们理解数据的结构和变化。
通过选择前几个主成分,我们可以找到最能够代表原始数据的几个因素,从而实现数据的降维。
例如,在一个包含多个变量的数据集中,如果我们选择了前两个主成分,那么我们可以通过绘制数据在这两个主成分上的投影,来理解数据的分布和变化规律。
同时,主成分的累计方差贡献率可以帮助我们评估所选择的主成分对原始数据方差的解释程度,从而确定降维的精度。
另一方面,主成分分析还可以用于数据的预处理和异常值检测。
通过计算每个变量在主成分上的权重,我们可以判断每个变量对主成分的贡献大小。
如果一些变量的权重很小,那么可以考虑将其从数据集中剔除,从而减少数据的维度和复杂度。
此外,主成分分析还可以检测数据集中的异常值。
在降维的过程中,异常值对主成分的计算结果会产生较大的影响,因此可以通过比较各个主成分的方差贡献率,来识别可能存在的异常值。
总之,主成分分析是一种常用的数据降维方法,它能够帮助我们理解数据集的结构,并鉴别对数据变化影响最大的因素。
通过选择适当的主成分,我们可以实现数据的降维和可视化,并对异常值进行检测。
在实际应用中,主成分分析常常与其他数据挖掘和机器学习方法结合使用,从而发现数据的隐藏模式和关联规则,提高数据分析的效果和准确性。
浅析主成分分析法及案例分析
浅析主成分分析法及案例分析主成分分析的原理:主成分分析的目标是找到一组线性变量,它们能够最大程度地解释原始数据中的变化。
第一个主成分与数据具有最大的差异,而随后的主成分则与第一个主成分正交(即无相关性),并且在特征解释方面具有最大的差异。
主成分是对原始数据的线性组合,其中具有最大方差的成分被称为第一个主成分,次大方差的成分被称为第二个主成分,依此类推。
主成分分析的步骤:1.标准化数据:如果原始数据的变量具有不同的单位和尺度,我们需要对数据进行标准化,以确保每个变量对主成分的贡献是公平的。
2.计算协方差矩阵:协方差矩阵显示了原始数据中变量之间的相关性。
它可以通过计算每个变量之间的协方差来得到。
3.计算特征向量和特征值:通过对协方差矩阵进行特征分解,我们可以得到一组特征向量和特征值。
特征向量表示主成分的方向,而特征值表示每个主成分的解释方差。
4.选择主成分:根据特征值的大小,我们可以选择前k个主成分作为降维后的新变量,其中k是我们希望保留的维度。
这样就可以将原始数据投影到所选的主成分上。
主成分分析的案例分析:假设我们有一份包含多个变量的数据集,例如身高、体重、年龄和收入。
我们希望通过主成分分析来降低数据的维度,以便更好地理解数据集。
首先,我们需要标准化数据,以确保每个变量具有相同的权重。
接下来,我们计算协方差矩阵,得到变量之间的相关性。
然后,我们进行特征值分解,得到一组特征向量和特征值。
通过观察特征值的大小,我们可以选择前几个主成分,例如前两个主成分。
最后,我们将原始数据集投影到选定的主成分上,得到降维后的数据集。
这样,我们可以用两个主成分来表示原始数据集的大部分变异,并且可以更容易地分析数据集中的模式和关系。
总结:通过主成分分析,我们可以将高维度的数据转换为更低维度的数据,从而更好地理解和分析数据集。
它可以帮助我们发现数据中的隐藏模式和关系,提取出对数据变异具有最大贡献的特征。
在实际应用中,主成分分析常用于数据降维、数据可视化、特征选择等领域。
主成分分析法
1.759
0.858 2.096 … -0.337 …
2
3 1 … 23 …
Bartlett 值= 313.417, P<0.0001,即相关矩阵 不是一个单位矩阵,故 考虑进行因子分析。
特征值、贡献率及累积贡献率
Total Variance Explained Initial Eigenvalues Extraction Sums of Squared Loadings % of Variance Cumulative % Total % of Variance Cumulative % 61.638 61.638 4.315 61.638 61.638 27.917 89.554 1.954 27.917 89.554 5.138 94.692 2.644 97.335 1.978 99.313 .473 99.786 .214 100.000
r1 p r2 p ... r pp
2、计算特征值和特征向量 解特征方程
|λE-R|=0
求出特征值 λi(i=1,2,…,p) 将这P个特征值按大小顺序排列,即 λ1≥λ2≥…≥λp≥0 然后按公式
| λi E-R|ei=0
分别求出对应于λi的特征向量ei(i=1,2,…,p)
3、计算主成分贡献率及累计贡献率
从上表知:前三个主成分累计贡献率达92.273%,因此,这三个主成 分Z1、Z2、Z3能够充分反映31个区域第三产业发展的综合水平 。
4、计算主成分载荷
主成分载荷lij
原变量xi
x1 x2 x3 x4 x5 x6 x7
第一主成分l1i 0.946 0.971 0.220 0.795 0.930 -0.0763 0.899
5 计算各省区在一二三主成分上的综合得分
第6章 主成分分析
第6章主成分分析与因子分析6.1主成分分析数学模型当存在若干个随机变量时,寻求它们的少量线性组合(即主成分),用以解释这些随机 变量,是很必要的。
首先我们看一个例子。
例6.1 为了调查学生的身材状况,可以测量他们的身高(X1)、体重(X2)、胸围(X3)和坐高(X4)。
可是用这4个指标表达学生身材状况不方便。
但若用 y1=3.6356x1+3.3242x2+2.4770x3+2.1650x4表示学生身体魁梧程度;用y2=-3.9739x1+1.3582x2+3.7323x3-1.5729x4表示学生胖瘦程度。
则这两个指标(Y1,Y2)很好概括了4个指标(X1-X4)。
例6.1中,学生不同,身高(X1)、体重(X2)、胸围(X3)和坐高(X4)不同;X1,X2,X3,X4是4维随机向量;Y1,Y2是他们的2个线性组合,Y1,Y2能很好表示X1,X2,X3,X4的特性。
类似的问题在许多地方出现:可观测的随机变量很多,需要选出所有所有随机变量的少数线性组合,使之尽可能刻划全部随机变量的特性,选出的线性组合就是诸多变量的主成分,又称为主分量。
寻求随机向量主成分,并加以解释,称为主成分分析,又称为主分量分析。
主成分分析的数学模型是:对于随机向量X ,想用它分量的线性组合X c '反映随机向 量X 的主要信息。
也即)'(X c D 应当最大。
但是c 的模可以无限增大,从而使)'(X c D 无限变大,这是我们不希望的;于是固定c 模的大小,而改变c 各分量的比例,使)'(X c D 最 大;通常取c 的模为1最方便。
定义6.1 设随机向量)',...(1p x x X =二阶矩存在,若常数向量1c ,在条件c =1下使)'(X c D 最大,则称X c Y '11=是X 的第一主成分或第一主分量。
由定义可见,1Y 尽可能多地反映原来p 个随机变量变化的信息。
利用主成分分析法对我国各地区普通高等教育的发展水平进行综合评价。
第3题. 利用主成分分析法对我国各地区普通高等教育的发展水平进行综合评价。
近年来,我国普通高等教育得到了迅速发展,为国家培养了大批人才。
但由于我国各地区经济发展水平不均衡,加之高等院校原有布局使各地区高等教育发展的起点不一致,因而各地区普通高等教育的发展水平存在一定的差异,不同的地区具有不同的特点。
对我国各地区普通高等教育的发展状况进行聚类分析,明确各类地区普通高等教育发展状况的差异与特点,有利于管理和决策部门从宏观上把握我国普通高等教育的整体发展现状,分类制定相关政策,更好的指导和规划我国高教事业的整体健康发展。
遵循可比性原则,从高等教育的五个方面选取十项评价指标,具体见下图图1. 高等教育的十项评价指标指标的原始数据取自《中国统计年鉴,1995》和《中国教育统计年鉴,1995》除以各地区相应的人口数得到十项指标值,具体数值见下表见表6,其中:1x 为每百万人口高等院校数;2x 为每十万人口高等院校毕业生数;3x 为每十万人口高等院校招生数;4x 为每十万人口高等院校在校生数;5x 为每十万人口高等院校教职工数;6x 为每十万人口高等院校专职教师数;7x 为高级职称占专职教师的比例;8x 为平均每所高等院校的在校生数;9x 为国家财政预算内普通高教经费占国内生产总值的比重;10x 为生均教育经费。
建模与求解:一构造原始数据矩阵X=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡1021x x x二使矩阵X标准化(程序见附录1)Z= 4.3685 3.9057 4.0909 4.1392 4.5401 4.5748 2.4120 0.39541.98622.6869 2.3854 2.4187 2.0965 1.9157 0.8299 1.13461.0221 1.4520 1.5048 1.3575 0.9509 1.0406 1.4024 1.09910.0952 0.2331 0.1895 0.2072 0.1326 0.1823 0.0558 0.53750.2342 0.3453 0.3790 0.3951 0.0988 0.1823 0.7080 0.72190.3918 0.3133 0.2898 0.2270 0.1495 0.1823 0.5775 -0.2813-0.0717 -0.0556 -0.0111 -0.0169 -0.0536 -0.0533 0.8638 0.2482 -0.1829 0.0086 -0.0223 -0.0136 -0.0649 -0.0701 0.4691 0.7675 -0.2756 -0.0396 0 -0.0466 -0.1383 -0.1374 0.2405 1.0602 -0.5166 -0.4405 -0.2564 -0.3168 -0.3696 -0.3899 0.7418 1.0264 -0.6371 -0.4245 -0.4124 -0.4091 -0.3696 -0.4067 0.4234 1.2987 -0.6279 -0.1358 -0.3344 -0.3959 -0.3922 -0.4235 0.4793 1.3884 -0.4981 -0.3924 -0.3567 -0.3663 -0.3414 -0.3562 -0.3371 0.4664 -0.4703 -0.3924 -0.3678 -0.3531 -0.3696 -0.3899 0.4979 0.4005 -0.3590 -0.3924 -0.2564 -0.3201 -0.3414 -0.3562 -0.0305 -0.03090.0396 -0.3122 -0.2341 -0.1191 -0.0705 -0.0196 -0.7098 -0.5435-0.1922 -0.2160 -0.2564 -0.2740 -0.3584 -0.3562 -0.1881 -0.4775 -0.3683 -0.2160 -0.3233 -0.2740 -0.2850 -0.2889 -0.7606 0.2939 -0.4054 -0.3764 -0.3121 -0.3729 -0.3696 -0.4067 -0.0509 -0.1155 -0.6093 -0.5047 -0.5239 -0.5113 -0.4543 -0.4572 0.4590 0.1806 -0.5444 -0.4886 -0.6019 -0.5640 -0.4656 -0.4740 -0.2660 -0.6889 -0.4425 -0.3764 -0.3455 -0.3531 -0.3358 -0.4067 -0.2220 0.2262 -0.5074 -0.5367 -0.4793 -0.4487 -0.4486 -0.4909 -0.4709 -0.0630 -0.3776 -0.3764 -0.5128 -0.4289 -0.3471 -0.3057 -0.4184 -0.59080.4103 -0.6490 -0.5462 -0.5410 -0.2906 -0.2384 -3.0524 -2.6580-0.6464 -0.5528 -0.5350 -0.5640 -0.4656 -0.5077 -0.2897 -0.0681 -0.6001 -0.6169 -0.5685 -0.5673 -0.4938 -0.5077 0.3065 -0.39800.1322 -0.2962 -0.3567 -0.3070 -0.2793 -0.2216 -1.2569 -1.4908-0.5630 -0.6971 -0.6911 -0.6860 -0.5051 -0.5245 -0.3388 -1.54320.2157 -0.4565 -0.5350 -0.4948 -0.3584 -0.2889 -2.0750 -2.2960三构造矩阵相关系数矩阵R(程序见附录2)R= 1.0000 0.9434 0.9528 0.9591 0.9746 0.9798 0.4065 0.06630.9434 1.0000 0.9946 0.9946 0.9743 0.9702 0.6136 0.35000.9528 0.9946 1.0000 0.9987 0.9831 0.9807 0.6261 0.34450.9591 0.9946 0.9987 1.0000 0.9878 0.9856 0.6096 0.32560.9746 0.9743 0.9831 0.9878 1.0000 0.9986 0.5599 0.24110.9798 0.9702 0.9807 0.9856 0.9986 1.0000 0.5500 0.22220.4065 0.6136 0.6261 0.6096 0.5599 0.5500 1.0000 0.77890.0663 0.3500 0.3445 0.3256 0.2411 0.2222 0.7789 1.00000.8680 0.8039 0.8231 0.8276 0.8590 0.8691 0.3655 0.11220.6609 0.5998 0.6171 0.6124 0.6174 0.6164 0.1510 0.0482四求出R的特征值和累积贡献率(程序见附录3)λ1= 7.5022贡献率τ1=λ1/10=75.0216%λ2= 1.577累积贡献率τ1+τ2=90.7915%λ3= 0.5362累积贡献率τ1+τ2+τ3=96.1536%λ4= 0.2064累积贡献率τ1+τ2+τ3+τ4=98.2174%可以看出,前两个特征根的累计贡献率就达到90%以上,主成分分析效果很好。