PCA算法的数学知识---特征值分解和奇异值分解
奇异值分解与特征值分解的比较分析(六)
奇异值分解与特征值分解是线性代数中非常重要的两个概念，它们在数据分析、图像处理、信号处理等领域都有着广泛的应用。
在本文中，我们将对这两种分解方法进行比较分析，探讨它们的优势和局限性。
奇异值分解（Singular Value Decomposition，简称SVD）是一种将一个矩阵分解成三个矩阵的操作，通常用于降维和矩阵逆的计算。
给定一个矩阵A，它的奇异值分解可以写成A=UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵，对角线上的元素称为奇异值。
特征值分解（Eigenvalue Decomposition）则是将一个方阵分解成特征向量和特征值的操作。
给定一个方阵A，它的特征值分解可以写成A=QΛQ^T，其中Q是特征向量矩阵，Λ是特征值对角矩阵。
首先，我们来比较两种分解方法的适用范围。
特征值分解只适用于方阵，而奇异值分解则可适用于任意形状的矩阵。
这使得SVD在实际应用中更加灵活，能够处理各种形状的数据。
另一方面，特征值分解在对称矩阵上有更好的性能，因为对称矩阵的特征向量是正交的，从而使得特征值分解更加简洁和高效。
其次，我们来比较两种分解方法的稳定性和数值计算的复杂度。
在数值计算中，特征值分解的计算复杂度通常高于奇异值分解，特别是在矩阵规模较大时。
此外，特征值分解对矩阵的条件数非常敏感，如果矩阵的条件数较大，计算结果可能会出现较大误差。
相比之下，奇异值分解对矩阵的条件数不太敏感，因此更加稳定。
另外，我们还可以从几何的角度来比较奇异值分解和特征值分解。
特征值分解实质上是将一个线性变换表示成一组基向量的缩放变换，而奇异值分解则是将一个线性变换表示成两个正交变换的叠加。
因此，奇异值分解能够提供更加直观的几何解释，对于理解数据的结构和特征更加有帮助。
最后，我们来谈谈两种分解方法在数据降维和信息提取方面的应用。
奇异值分解在图像压缩、信号处理等领域有着广泛的应用，能够帮助我们去除数据中的噪音和冗余信息，从而实现数据的降维和信息的提取。
矩阵的特征分解和奇异值分解
矩阵的特征分解和奇异值分解在线性代数中，矩阵的特征分解和奇异值分解是两种重要的分解方法。
特征分解可以将一个方阵分解为特征向量和对应的特征值，而奇异值分解则适用于非方阵，将矩阵分解为奇异向量和对应的奇异值。
本文将详细介绍这两种分解方法的原理和应用。
一、特征分解特征分解是将一个方阵分解为特征向量和对应的特征值的过程。
对于一个n阶方阵A，存在特征向量x和对应的特征值λ，使得满足下式：Ax = λx其中λ是一个标量，x是非零向量。
特征分解的步骤如下：1. 求方阵A的特征多项式：先计算A减去λ乘以单位矩阵I的行列式，得到特征多项式。
2. 求特征多项式的根：解特征多项式的方程，得到所有特征值λ。
3. 求特征向量：对每个特征值λ，带入原方程组(A-λI)x = 0，求解齐次线性方程组，得到特征向量x。
4. 归一化特征向量：对每个特征值对应的特征向量进行归一化处理。
特征分解是一种重要的矩阵分解方式，可以用于求解线性方程组、矩阵运算和特征值问题等。
特征分解的结果可以提供矩阵的基本性质和结构信息。
二、奇异值分解奇异值分解是将一个m×n矩阵分解为奇异向量和对应的奇异值的过程。
对于一个m×n矩阵A，存在奇异向量u和v以及对应的奇异值σ，使得满足下式：Av = σu其中σ是一个非负标量，u和v是非零向量。
奇异值分解的步骤如下：1. 求矩阵A的转置矩阵A'的乘积AA'的特征值和对应的特征向量。
2. 求矩阵A的乘积A'A的特征值和对应的特征向量。
3. 计算奇异值：将特征值开根号得到矩阵A的奇异值。
4. 求解奇异向量：将特征向量与奇异值对应，得到矩阵A的奇异向量。
奇异值分解是一种常用的矩阵分解方法，它能够提取矩阵的结构信息和重要特征。
奇异值分解在信号处理、图像压缩、数据降维和推荐系统等领域得到广泛应用。
三、特征分解与奇异值分解的比较特征分解和奇异值分解都是将矩阵分解为向量和标量的过程，但它们的目的和应用场景有所不同。
统计学中的主成分分析
统计学中的主成分分析主成分分析（Principal Component Analysis, PCA）是一种多变量分析方法，用于降维和数据可视化。
它通过将原始数据转换为新的坐标系，使得转换后的数据能够保留原始数据的主要变化趋势，并且可以按照重要性进行排序。
在本文中，将介绍主成分分析的原理、应用场景和步骤。
一、主成分分析原理主成分分析的核心是寻找数据中的主要变化趋势，即找到数据中的主成分。
主成分是数据最大方差方向上的投影，也即是能够解释数据中最大不同的变量。
对于一个具有p个变量的数据集，主成分分析可以得到p个主成分，按照重要性递减排序。
通过选择适当数量的主成分，可以实现对数据的降维和可视化。
主成分分析的计算过程可以通过特征值分解或奇异值分解来实现。
特征值分解会得到数据的特征向量和特征值，而奇异值分解则可以直接得到主成分。
在实际应用中，奇异值分解是更常用的方法。
二、主成分分析的应用场景主成分分析广泛应用于各个领域，包括金融、生物学、社会科学等。
下面将介绍主成分分析在这些领域的具体应用。
1. 金融：主成分分析常用于资产组合管理和风险管理。
通过将各种金融数据进行主成分分析，可以获得具有代表性的主成分，从而有效降低资产组合的维度，减少投资组合中的相关风险。
2. 生物学：主成分分析可以应用于基因表达数据的分析。
通过主成分分析，可以从大量的基因表达数据中提取出基因表达的主要变化趋势，帮助研究人员理解基因与表型之间的关系。
3. 社会科学：主成分分析可以用于社会调查数据的分析。
通过对调查数据进行主成分分析，可以发现不同变量之间的相关性，进而揭示不同因素对于社会问题的影响程度。
三、主成分分析的步骤主成分分析的步骤通常包括以下几个步骤：1. 数据标准化：对原始数据进行标准化处理，将不同量级的变量转化为标准差为1的变量。
这一步骤是为了消除变量间的量纲差异。
2. 计算协方差矩阵：根据标准化后的数据计算协方差矩阵，用于度量变量之间的相关性。
利用协方差阵求取主成分的步骤和公式
利用协方差阵求取主成分的步骤和公式在现代统计学中，主成分分析(PCA)是一种常用的数据降维方法。
它通过将原始数据投影到一个新的坐标系，从而实现对数据的简化和可视化。
PCA的原理基于协方差矩阵，协方差矩阵是一个描述数据之间关系的矩阵。
在这个过程中，我们需要利用协方差阵求取主成分，以下是详细的步骤和公式：我们需要计算数据的均值。
均值是一个重要的特征，它可以帮助我们消除数据中的量纲影响。
例如，如果我们有一个长度为n的数据向量x,那么它的均值就是x的平均值：均值= (1/n) * Σx_i接下来，我们需要计算协方差矩阵。
协方差矩阵是一个描述数据之间线性关系的特征矩阵。
对于一个n维数据向量x,它的协方差矩阵可以表示为：协方差矩阵 = (1/(n-1)) * Σ((x_i μ) * (x_j μ))其中，μ是数据向量的均值，Σ表示求和。
需要注意的是，协方差矩阵的上三角部分是正定的，这意味着我们可以直接求出它的特征值和特征向量。
这些特征值和特征向量构成了主成分。
为了求解协方差矩阵的特征值和特征向量，我们可以使用奇异值分解(SVD)。
奇异值分解是一种将矩阵分解为三个矩阵的乘积的方法。
对于一个n×n的矩阵A,它的奇异值分解可以表示为：A = U * S * V^T其中，U、S和V分别是正交矩阵，且S是一个对角矩阵，其对角线元素称为奇异值。
我们需要找到最大的奇异值对应的特征向量，这个特征向量就是我们要找的主成分。
具体来说，主成分的方向是由最大奇异值对应的特征向量确定的。
接下来，我们需要计算主成分的方差。
主成分的方差可以通过协方差矩阵的最大奇异值来表示。
设最大奇异值为λ1,那么主成分的方差就是：主成分方差= λ1^2 / (n-1)我们可以将原始数据投影到主成分上。
具体来说，对于一个n维数据向量x,它在第一个主成分上的投影就是：x_1 = x * Σ_j^0 * V^T_j^0 * S^(0/2) * U^(0,0)其中，Σ_j^0表示j=1,2,...,n-1时的特征值之和。
矩阵的“特征值分解”和“奇异值分解”区别
矩阵的“特征值分解”和“奇异值分解”区别在信号处理中经常碰到观测值的⾃相关矩阵，从物理意义上说，如果该观测值是由⼏个（如 K 个）相互统计独⽴的源信号线性混合⽽
成，则该相关矩阵的秩或称维数就为 K，由这 K 个统计独⽴信号构成 K 维的线性空间，可由⾃相关矩阵最⼤ K 个特征值所对应的特征向量或观测值矩阵最⼤ K 个奇异值所对应的左奇异向量展成的⼦空间表⽰，通常称信号⼦空间，它的补空间称噪声⼦空间，两类⼦空间相互正交。
理论上，由于噪声的存在，⾃相关矩阵是正定的，但实际应⽤时，由于样本数量有限，可能发⽣奇异，矩阵条件数⽆穷⼤，造成数值不稳定，并且⾃相关矩阵特征值是观测值矩阵奇异值的平⽅，数值动态范围⼤，因⽽⼦空间分析时常采⽤观测值矩阵奇异值分解，当然奇异值分解也可对奇异的⾃相关矩阵进⾏。
在⾃相关矩阵正定时，特征值分解是奇异值分解的特例，且实现时相对简单些，实际中，常采⽤对⾓加载法保证⾃相关矩阵正定，对各特征⼦空间没有影响。
在信号处理领域，两者都⽤于信号的特征分析，但两者的主要区别在于：奇异植分解主要⽤于数据矩阵，⽽特征植分解主要⽤于⽅型的相关矩阵。
介绍机器学习中的主成分分析算法
介绍机器学习中的主成分分析算法主成分分析（Principal Component Analysis，PCA）是一种常用的无监督学习算法，被广泛应用于数据降维、数据可视化和特征提取等领域。
本文将详细介绍机器学习中的主成分分析算法原理、应用和实现方法。
首先，PCA的原理是通过将高维数据映射到低维空间，找到能代表原始数据大部分信息的主成分。
在数据预处理阶段，我们通常对数据进行中心化操作，即将每个特征的均值减去整个特征的均值。
然后，我们计算数据的协方差矩阵，它反映了不同特征之间的相关性。
接下来，我们利用特征值分解（Eigenvalue Decomposition）对协方差矩阵进行分解，得到特征值和特征向量。
最后，我们选择最大的k个特征值对应的特征向量作为主成分，将原始数据投影到这些主成分上，实现将高维数据降到k维。
PCA算法的主要应用之一是数据降维。
在现实问题中，常常会面临具有大量特征的高维数据，这时候使用这些特征进行建模可能会导致维度灾难和过拟合问题。
通过PCA降维，我们可以选择保留的主成分数量来控制降维后数据的维度。
降维后的数据可以更方便地进行可视化和理解，同时减少了建模的复杂性和计算开销。
另外，PCA也可以用于特征提取。
特征提取是通过将原始特征转换为新特征，提高数据表达能力和模型性能的过程。
通过PCA选择最重要的特征，我们可以减少冗余信息和噪声特征，提取最具代表性的信息。
在图像处理领域，PCA在人脸识别中的应用广泛而成功。
PCA可以从人脸图像中提取主要的特征，进而实现对人脸进行分类、识别等任务。
在实现PCA算法时，有多种方法可选。
常用的有基于特征值分解的方法和基于奇异值分解的方法。
特征值分解方法可以通过计算协方差矩阵的特征值和特征向量来得到主成分；而奇异值分解方法则可以直接对原始数据进行分解，得到主成分。
基于奇异值分解的方法更适用于大规模数据集，计算效率更高。
此外，还有一些改进的PCA算法，如增量PCA和核PCA，用于处理更复杂的数据情况。
矩阵的特征值分解和奇异值分解
矩阵的特征值分解和奇异值分解矩阵的特征值分解和奇异值分解是线性代数中非常重要的理论和方法。
它们在很多领域都有着广泛的应用，如机器学习、图像处理、信号处理等。
本文将详细介绍矩阵的特征值分解和奇异值分解的概念、计算方法以及应用。
一、特征值分解（Eigenvalue Decomposition）特征值分解是将一个矩阵分解为可对角化的形式，其中对角线上的元素为特征值，对应的非零特征值所对应的特征向量构成的集合构成了矩阵的特征向量矩阵。
特征值分解可以表示为以下形式：A = PDP^{-1}其中，A是一个n×n的矩阵，P是一个由特征向量构成的矩阵，D 是一个对角阵，对角线上的元素是矩阵A的特征值。
特征值分解可以用于解决线性方程组、矩阵对角化、矩阵幂的计算等问题。
它在降维、特征提取、谱聚类等领域也有广泛的应用。
二、奇异值分解（Singular Value Decomposition）奇异值分解是将一个矩阵分解为三个矩阵的乘积，形式如下：A = UΣV^T其中，A是一个m×n的矩阵，U是一个m×m的酉矩阵，Σ是一个m×n的矩阵，对角线上的元素称为奇异值，V是一个n×n的酉矩阵的转置。
奇异值分解是一种对矩阵进行降维和压缩的方法。
它可以用于最小二乘问题的求解、图像压缩、特征提取等领域。
在机器学习中，奇异值分解也常用于主成分分析（PCA）方法。
三、特征值分解与奇异值分解的计算特征值分解的计算比较复杂，需要求解矩阵的特征多项式，然后通过求解特征多项式的根来得到特征值和特征向量。
对于大规模矩阵，特征值分解计算的时间复杂度较高。
奇异值分解的计算相对简单，可以通过多种算法来实现，如Jacobi迭代法、分裂法等。
在实际应用中，大部分计算都是基于奇异值分解来进行的。
四、特征值分解与奇异值分解的应用特征值分解和奇异值分解在科学研究和工程实践中有着广泛的应用。
以下列举几个常见的应用场景：1. 图像处理和压缩：奇异值分解可以用于图像压缩，通过取前k个奇异值实现图像的降维和压缩。
奇异值分解与特征值分解的比较分析(Ⅰ)
奇异值分解与特征值分解是线性代数中两个重要的矩阵分解方法。
它们在数据分析、信号处理、图像压缩等领域都有着广泛的应用。
本文将对这两种分解方法进行比较分析，探讨它们的优缺点及适用范围。
一、奇异值分解（SVD）奇异值分解是一种将一个矩阵分解成三个矩阵的方法，即将一个m×n的矩阵A分解为U、Σ和V三个矩阵的乘积，其中U是一个m×m的酉矩阵，Σ是一个m×n的对角矩阵，V是一个n×n的酉矩阵。
奇异值分解有着许多优点，比如对于任意的矩阵A，都存在奇异值分解。
并且，对于奇异值分解的性质有许多重要的应用，比如在矩阵压缩和降维、矩阵逆的计算等方面。
二、特征值分解（EVD）特征值分解是一种将一个方阵分解成三个矩阵的方法，即将一个n×n的方阵A分解为P、Λ和P-1三个矩阵的乘积，其中P是一个n×n的可逆矩阵，Λ是一个n×n的对角矩阵，P-1是P的逆矩阵。
特征值分解也有着诸多优点，比如对于对称矩阵来说，特征值分解是唯一的，而且特征值分解在对称矩阵的对角化、矩阵对称化等方面有着重要的应用。
三、奇异值分解与特征值分解的比较分析1. 计算复杂度在计算复杂度方面，特征值分解的计算复杂度通常比奇异值分解高。
特征值分解需要解特征值问题，而奇异值分解只需要进行奇异值分解，因此在计算复杂度上，奇异值分解更加高效。
2. 适用范围特征值分解对于对称矩阵有着很好的适用性，而奇异值分解对于任意矩阵都有着适用性。
因此，在实际应用中，奇异值分解的适用范围更广。
3. 稳定性在矩阵的微小扰动下，特征值分解的结果可能会有较大的变化，而奇异值分解对于矩阵的微小扰动具有更好的稳定性。
因此在数值计算中，奇异值分解更加稳定可靠。
四、结论奇异值分解与特征值分解是两种重要的矩阵分解方法，它们在不同的领域有着不同的应用。
在计算复杂度、适用范围和稳定性等方面，奇异值分解相对于特征值分解具有更多的优势。
[pca]PrincipalComponentAnalysis（PCA）
![[pca]PrincipalComponentAnalysis（PCA）](https://img.taocdn.com/s3/m/4f76236068eae009581b6bd97f1922791688bef3.png)
[pca]PrincipalComponentAnalysis（PCA）篇一 : PrincipalComponentAnalysis（PCA）matlab的Feature Transformation提供了1个有关主成分分析的介绍和例子。
PCA的介绍多元统计分析中普遍存在的困难中，有1个困难是多元数据的可视化。
matlab的plot可以显示2个变量之间的关系，plot3和surf可以显示三维的不同。
但是当有多于三个变量时，要可视化变量之间的关系就很困难了。
幸运的是，在一组多变量的数据中，很多变量常常是一起变动的。
1个原因是很多变量是同1个驱动影响的的结果。
在很多系统中，只有少数几个这样的驱动，但是多余的仪器使我们测量了很多的系统变量。
当这种情况发生之际，你需要处理的就是冗余的信息。
而你可以通过用1个简单的新变量代替这组变量来简化此问题。
主成分分析是1个定量的严格的可以起到简化作用的方法。
它产生一组叫做主成分的新变量，每1个主成分是原始变量的线性组合。
所有主成分是相互正交的，从而不存在冗余的信息。
所有主成分形成了原始数据空间的一组正交基。
但是有无数种方式来创建一组正交基，那主成分正交基有什么特殊之处呢？第一主成分是数据空间的1个轴。
当你把各观察值投影到这个轴时，结果会形成1个新变量，这个变量的方差是所有可选的轴中最大的。
第二主成分是空间的另1个轴，它垂直于第1个轴。
投影数据到这个轴上将得到另一组变量，此变量的方差是所有可选的轴中最大的。
最后得到的所有主成分个数是与原始变量相同的，但是通常前几个主成分方差的和占到了原始数据总方差的80%以上。
通过绘制这组新变量，研究者常常会更深入的了解产生原始数据的驱动力。
在matlab中，可以使用princomp函数来找到主成分，通过使用此函数，你需要用到测量的原始数据。
然而，如果你缺少这些数据，但是有这些数据的样本自相关或协方差矩阵，你可以通过使用pcacov 函数来做主成分分析。
SVD分解及其应用讲解
机器学习中的数学(6)-强大的矩阵奇异值分解(SVD)及其应用PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。
在上篇文章中便是基于特征值分解的一种解释。
特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。
而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。
奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。
就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。
在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing）另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪（AK47同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做SVD，而在Google上面搜索的时候，出来的都是奇异值分解（英文资料为主）。
想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS 有神马意思啊。
国内的网页中的话语权也被这些没有太多营养的帖子所占据。
真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。
前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不过本文不准备在如何计算奇异值上展开太多。
矩阵的特征分解与奇异值分解
矩阵的特征分解与奇异值分解矩阵是线性代数中重要的概念之一，广泛应用于各个领域。
在矩阵的研究中，特征分解与奇异值分解是两个常用的方法。
本文将对矩阵的特征分解和奇异值分解进行详细介绍，并探讨它们在实际应用中的意义。
一、特征分解特征分解是一种将矩阵分解为特征向量和特征值的方法。
对于一个n阶方阵A，如果存在非零向量x和标量λ，使得Ax=λx成立，那么向量x称为矩阵A的特征向量，标量λ称为矩阵A的特征值。
特征分解的目的就是将矩阵A表示为特征向量和特征值的线性组合。
特征分解的步骤如下：1. 求出矩阵A的特征方程det(A-λI)=0，其中I是单位矩阵。
2. 解特征方程得到矩阵A的特征值λ。
3. 对于每一个特征值λ，求出对应的特征向量x。
4. 将特征向量和特征值组合，得到矩阵A的特征分解。
特征分解在实际应用中有广泛的用途，例如在图像处理中，可以利用特征分解对图像进行降维处理，提取图像的主要特征；在物理学中，特征分解可以用于求解量子力学中的定态问题等。
二、奇异值分解奇异值分解是一种将矩阵分解为奇异值和特征向量的方法。
对于一个m×n的矩阵A，假设它的秩为r，那么奇异值分解的结果可以表示为A=UΣV^T，其中U是一个m×r的正交矩阵，Σ是一个r×r的对角矩阵，V^T是一个r×n的正交矩阵。
奇异值分解的步骤如下：1. 求出矩阵A的转置矩阵A^T与矩阵A的乘积AA^T的特征值和特征向量。
2. 对特征值进行排序，得到矩阵A的奇异值。
3. 根据奇异值计算矩阵A的奇异向量。
4. 将奇异向量和奇异值组合，得到矩阵A的奇异值分解。
奇异值分解在数据压缩、图像处理、语音识别等领域有广泛的应用。
例如在图像处理中，可以利用奇异值分解对图像进行压缩，减少存储空间的占用；在语音识别中，奇异值分解可以用于提取语音信号的主要特征。
总结：特征分解和奇异值分解是矩阵分解的两种常用方法。
特征分解将矩阵分解为特征向量和特征值的线性组合，而奇异值分解将矩阵分解为奇异值和特征向量的线性组合。
主成分分析与奇异值分解算法在数据降维中的应用
主成分分析与奇异值分解算法在数据降维中的应用数据降维是在大数据时代中日益重要的技术之一。
数据降维的目标是将高维度的数据投影到低维度的空间，在保留足够多的信息的前提下减小数据的维度，以便加快计算处理速度，并减少数据存储空间。
在实际应用中，数据降维技术被广泛应用于图像处理、自然语言处理、信号处理、计算机视觉等领域。
而在数据降维技术中，主成分分析和奇异值分解算法是两种非常有代表性的算法。
一、主成分分析主成分分析（PCA）是一种线性降维技术，它通过对数据协方差矩阵的特征值分解来选取主成分。
主成分是原始数据经过线性变换后得到的新数据，通过选择前k个主成分，可以得到降维后的数据集。
对于输入矩阵X，我们可以通过以下步骤得到它的主成分：1、对矩阵X进行数据标准化，使每一列的均值为0，标准差为1。
2、计算数据的协方差矩阵C。
3、计算协方差矩阵的特征值及其对应的特征向量。
4、将特征值从大到小排列，选取前k个特征值及对应的特征向量作为主成分。
5、用选出的前k个特征向量将矩阵X投影到新的k维空间。
主成分分析的优点是简单易懂，容易实现，并且能够在一定程度上保留数据的原有信息。
但是，主成分分析的缺点是它只能处理线性数据，当数据不是线性的时候，效果会受到影响。
二、奇异值分解奇异值分解（SVD）是一种非线性降维技术，它可以处理线性和非线性数据，具有更广泛的适用性。
奇异值分解是将矩阵分解为三个矩阵之积，即矩阵X=UΣVT，其中U和V是正交矩阵，Σ是对角矩阵。
通过奇异值分解，可以得到矩阵X的Singular Vector或Singular Value，它们是表示数据中最显著的方向和重要性的向量和值。
通过选择其中最大的k个奇异值和对应的向量，就可以得到数据的主要特征。
对于一个矩阵X，奇异值分解的步骤可以由以下过程实现：1、将矩阵X进行数据标准化。
2、计算标准化后的矩阵X的转置矩阵XT和矩阵X的乘积XTX。
3、对矩阵XTX进行特征值分解，并计算出它的特征向量V和特征值Σ2。
PCA算法总结
摘要：PCA（Principal Component Analysis）,称主成分分析,从统计学的角度来说是一种多元统计方法。
PCA通过将多个变量通过线性变换以选出较少的重要变量。
它往往可以有效地从过于“丰富”的数据信息中获取最重要的元素和结构,去除数据的噪音和冗余，将原来复杂的数据降维，揭示隐藏在复杂数据背后的简单结构。
近年来,PCA方法被广泛地运用于计算机领域，如数据降维、图像有损压缩、特征追踪等等。
引言：在人脑的生理特征中,人脑对外界的认知手段多样，导致人获取的信息维数过高.如果人脑不对获取的信息进行降维处理，那么人脑对信息处理的效率和精准度都会下降,因此人脑对这些感知神经处理时，均通过了复杂的降维处理。
PCA方法广泛运用于从神经科学到计算机图形学的数据分析.因为它是一种简单的非参方法，能够从复杂的数据集中提取出数据相关信息。
我们进行主成分分析的动机是希望计算出一个含有噪音数据空间的最重要的基，来重新表达这个数据空间。
但是这些新基往往隐藏在复杂的数据结构中,我们需要滤除噪音来找到重构出数据空间的新基。
PCA方法是一个高普适用方法,它的一大优点是能够对数据进行降维处理，我们通过PCA 方法求出数据集的主元，选取最重要的部分,将其余的维数省去，从而达到降维和简化模型的目的，间接地对数据进行了压缩处理，同时很大程度上保留了原数据的信息，就如同人脑在感知神经处理时进行了降维处理。
所以在机器学习和模式识别及计算机视觉领域，PCA方法被广泛的运用。
在人脸识别中，假设训练集是30幅不同的N×N大小的人脸图像。
把图像中每一个像素看成是一维信息,那么一副图像就是N2维的向量。
因为人脸的结构有极大的相似性，如果是同一个人脸的话相似性更大。
而我们的所希望能够通过人脸来表达人脸，而非用像素来表达人脸。
那么我们就可以用PCA方法对30幅训练集图像进行处理,寻找这些图像中的相似维度。
我们提取出最重要的主成份后,让被识别图像与原图进行过变化后的主元维度进行相似度比较，以衡量两幅图片的相似性.在图像压缩方面，我们还可以通过PCA方法进行图像压缩，又称Hotelling或者Karhunen and Leove变换。
主分量分析(PCA)
实验1:线性PCA 算法一． 算法原理：寻找一组正交基组成的矩阵P ，有Y P X=，使得11T Y C YY n ≡-是对角阵。
则P 的行向量（也就是一组正交基），就是数据X 的主元向量。
对Y C 进行推导：111()()1111()111TY T T T T T TY C YY n PX PX n PXX P n P XX P n C PAP n =-=-=-=-=-定义T A XX ≡，则A 是一个对称阵。
对A 进行对角化求取特征向量得：T A EDE =则D 是一个对角阵而E 则是对称阵A 的特征向量排成的矩阵。
这里要提出的一点是，A 是一个m m ⨯的矩阵，而它将有()r r m ≤个特征向量。
其中r 是矩阵A 的秩。
如果r m <，则A 即为退化阵。
此时分解出的特征向量不能覆盖整个m 空间。
此时只需要在保证基的正交性的前提下，在剩余的空间中任意取得m r -维正交向量填充E 的空格即可。
它们将不对结果造成影响。
因为此时对应于这些特征向量的特征值，也就是方差值为零。
求出特征向量矩阵后我们取T P E ≡，则TA P D P =，由线形代数可知矩阵P 有性质1T P P -=，从而进行如下计算：11111()11()()11()()111TY T T T T Y C PAP n P P DP P n PP D PP n PP D PP n C Dn --=-=-=-=-=-可知此时的P 就是我们需要求得变换基。
至此我们可以得到PCA 的结果：● X 的主元即是T XX 的特征向量，也就是矩阵P 的行向量。
● 矩阵Y C 对角线上第i 个元素是数据X 在方向i p 的方差。
计算PCA 求解的一般步骤：（1）采集数据形成M N ⨯的矩阵。
M 为观测变量个数，N 为采样点个数。
（2）在每个观测变量（矩阵行向量）上减去该观测变量的平均值得到矩阵X 。
（3）对X 的协方差阵'C XX =进行特征分解：''M N M NM M M MM M M MC X X U U Λ⨯⨯⨯⨯⨯⨯==式中：Λ是对角阵，12[,,...,]M Diag λλλΛ=，各i λ为C 的特征根，U 为特征矩阵，它的各列12,,....,M u u u 为特征矢量。
matlab特征值分解和奇异值分解
matlab特征值分解和奇异值分解特征值分解函数 eig格式 d = eig(A) %求矩阵A的特征值d，以向量形式存放d。
d = eig(A,B) %A、B为⽅阵，求⼴义特征值d，以向量形式存放d。
[V,D] = eig(A) %计算A的特征值对⾓阵D和特征向量V，使AV=VD成⽴。
[V,D] = eig(A,'nobalance') %当矩阵A中有与截断误差数量级相差不远的值时，该指令可能更精确。
'nobalance'起误差调节作⽤。
[V,D] = eig(A,B) %计算⼴义特征值向量阵V和⼴义特征值阵D，满⾜AV=BVD。
[V,D] = eig(A,B,flag) % 由flag指定算法计算特征值D和特征向量V，flag的可能值为：'chol' 表⽰对B使⽤Cholesky分解算法，这⾥A为对称Hermitian矩阵，B为正定阵。
'qz' 表⽰使⽤QZ算法，这⾥A、B为⾮对称或⾮Hermitian矩阵。
说明⼀般特征值问题是求解⽅程：解的问题。
⼴义特征值问题是求⽅程：解的问题。
奇异值分解函数 svd格式 s = svd (X) %返回矩阵X的奇异值向量[U,S,V] = svd (X) %返回⼀个与X同⼤⼩的对⾓矩阵S，两个⾣矩阵U和V，且满⾜= U*S*V'。
若A为m×n阵，则U为m×m阵，V为n×n阵。
奇异值在S的对⾓线上，⾮负且按降序排列。
[U,S,V] = svd (X,0) %得到⼀个“有效⼤⼩”的分解，只计算出矩阵U的前n列，矩阵S的⼤⼩为n×n。
奇异值分解压缩图像clear all;close all;clc;a=imread('C:\Users\ranji\Desktop\rgb_image.jpg');imshow(mat2gray(a))[m n]=size(a);a=double(a);%r=rank(a);[s v d]=svd(a(:,:,1)); %取⼀个分量%re=s*v*d';re=s(:,:)*v(:,1:1)*d(:,1:1)';figure;imshow(mat2gray(re));imwrite(mat2gray(re),'C:\Users\ranji\Desktop\1.jpg')re1=s(:,:)*v(:,1:20)*d(:,1:20)';figure;imshow(mat2gray(re));imwrite(mat2gray(re),'C:\Users\ranji\Desktop\2.jpg')re=s(:,:)*v(:,1:80)*d(:,1:80)';figure;imshow(mat2gray(re));imwrite(mat2gray(re),'C:\Users\ranji\Desktop\3.jpg')re=s(:,:)*v(:,1:150)*d(:,1:150)';figure;imshow(mat2gray(re));imwrite(mat2gray(re),'C:\Users\ranji\Desktop\4.jpg')不同特征值进⾏重构的效果。
PCA(协方差矩阵和奇异值分解两种方法求特征值特征向量)
PCA(协方差矩阵和奇异值分解两种方法求特征值特征向量)PCA(协方差矩阵和奇异值分解两种方法求特征值特征向量)2015-12-30 10:43 1157人阅读评论(0) 收藏举报分类：模式识别（1）1.问题描述在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。
多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在大多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。
如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。
盲目减少指标会损失很多信息，容易产生错误的结论。
2.过程主成分分析法是一种数据转换的技术，当我们对一个物体进行衡量时，我们将其特征用向量（a1,a2,a3,...an）进行表示，每一维都有其对应的variance（表示在其均值附近离散的程度）；其所有维的variance之和，我们叫做总的variance；我们对物体进行衡量时，往往其特征值之间是correlated 的，比如我们测量飞行员时，有两个指标一个是飞行技术（x1）,另一个是对飞行的喜好程度（x2），这两者之间是有关联的，即correlated的。
我们进行PCA（主成分分析时），我们并没有改变维数，但是我们却做了如下变换，设新的特征为（x1,x2,x3...,xn）;其中1)x1的variance占总的variance比重最大；2)除去x1,x2的variance占剩下的variance比重最大；....依次类推；最后，我们转换之后得到的(x1,x2,...xn)之间都是incorrelated，我们做PCA时，仅取（x1，x2,....xk）,来表示我们测量的物体，其中，k要小于n。
主成分的贡献率就是某主成分的方差在全部方差中的比值。
这个值越大，表明该主成分综合X1，X2，…，XP信息的能力越强。
奇异值分解（SVD）与主成分分析（PCA）
奇异值分解（SVD）与主成分分析（PCA）奇异值分解(SVD)与主成分分析(PCA)1 算法简介奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的⽅法。
假如有⼀个矩阵A，对它进⾏奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对⾓阵，右边为n维的正交矩阵：A = U Σ V T A=U\Sigma V^{T} A=UΣV T这三个矩阵的⼤⼩如下图所⽰：矩阵Σ \Sigma Σ除了对⾓元素其他元素都为0，并且对⾓元素是从⼤到⼩排列的，前⾯的元素⽐较⼤，后⾯的很多元素接近0。
这些对⾓元素就是奇异值。
( u i u_i ui为m维⾏向量， v i v_i vi为n维⾏向量)Σ \Sigma Σ中有n个奇异值，但是由于排在后⾯的很多接近0，所以我们可以仅保留⽐较⼤的前r个奇异值，同时对三个矩阵过滤后⾯的n-r个奇异值，奇异值过滤之后，得到新的矩阵：在新的矩阵中，Σ \Sigma Σ只保留了前r个较⼤的特征值:实际应⽤中，我们仅需保留三个⽐较⼩的矩阵，就能表⽰A，不仅节省存储量，在计算的时候更是减少了计算量。
SVD在信息检索（隐性语义索引）、图像压缩、推荐系统、⾦融等领域都有应⽤。
主成分分析（Principal Components Analysis），简称PCA，是⼀种数据降维技术，⽤于数据预处理。
⼀般我们获取的原始数据维度都很⾼，⽐如1000个特征，在这1000个特征中可能包含了很多⽆⽤的信息或者噪声，真正有⽤的特征才100个，那么我们可以运⽤PCA算法将1000个特征降到100个特征。
这样不仅可以去除⽆⽤的噪声，还能减少很⼤的计算量。
简单来说，就是将数据从原始的空间中转换到新的特征空间中，例如原始的空间是三维的(x,y,z)，x、y、z分别是原始空间的三个基，我们可以通过某种⽅法，⽤新的坐标系(a,b,c)来表⽰原始的数据，那么a、b、c就是新的基，它们组成新的特征空间。
PCA算法的数学知识---特征值分解和奇异值分解
PCA算法的数学知识---特征值分解和奇异值分解PCA算法的数学知识---特征值分解和奇异值分解：1）特征值：如果说一个向量v是方阵X的特征向量，将一定可以表示成下面的形式：=Xv vλ这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。
特征值分解是将一个矩阵分解成下面的形式：1=∑X Q Q-其中Q是这个矩阵X的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。
首先，要明确的是，乘以一个矩阵其实就是一个线性变换，而且将一个矩阵乘以一个向量后得到的向量，其实就相当于对这个向量进行了线性变换。
如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。
分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。
通过特征值分解得到的前N个特征向量，就对应了这个矩阵最主要的N个变化方向。
我们利用这前N个变化方向，就可以近似这个矩阵（变换）。
也就是：提取这个矩阵最重要的特征。
总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。
不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。
2）奇异值：特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，而奇异值分解是一个能适用于任意的矩阵的一种分解的方法：T X U QV =∑假设X 是一个n* p 的矩阵，那么得到的U 是一个n * n 的方阵（里面的向量是正交的，U 里面的向量称为左奇异向量），Σ是一个n * p 的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），T V (V 的转置)是一个p * p 的矩阵，里面的向量也是正交的，V 里面的向量称为右奇异向量）。
维度归约之PCA、SVD、NMF
• 使用拉格朗日乘数法：
• 求导：
主成分分析
• 因为
• 满足解的条件下： 是协方差矩阵 的特征值，w是对应 的特征向量 • 我们的目的是最大化 把解带回 目标函数：
主成分分析
• 因此，我们的目标是最大化
• 所以优先选择特征值大的特征向量方向！
主成分分析六步走
• Step1：获取数据
主成分分析六步走使用全部两个特征向量主成分分析六步走降维使用一个特征向量svd奇异值分解奇异值分解的优势所有矩阵都能分解成以下形式特征值的开方奇异值分解lsi为矩阵的行和列赋予了文档和词的特殊含义其他没有区别
维度归约 之 PCA、SVD、NMF
罗磊
大纲
• • • • • 为什么降维 数学基础 主成分分析（PCA） 奇异值分解（SVD） 非负矩阵分解（NMF）
非负矩阵分解NMF
• NMF的一般定义：
非负矩阵分解NMF
• 非负矩阵和PLSA的区别： • 优化目标不同：
– PLSA优化目标是期望最大化 – NMF优化目标是极大样本集合的似然
非负矩阵分解NMF
非负矩阵分解NMF
• 梯度下降法求解NMF优化问题：
• 只能得到局部最优解
•Thank You
• 充分利用数据分布，选择适用于模式分类 的有效方向 • 抛弃数据分布不好的方向，认为这些方向 是由高斯误差产生，抛弃掉这些方向带来 的数据扰动 • 注意：个人观点！
非负矩阵分解NMF
非负矩阵分解NMF
• 非负矩阵分解背景
– 非负矩阵分解顾名思义要求矩阵中所有元素都 非负（大于等于零）。 – 在文档和图像等领域都适用 – 非负矩阵分解是最新被引入到维度归约的一种 方法（模式识别领域新方法，非数学领域新方 法）
机器学习-特征值,svd分解
机器学习-特征值,svd分解求矩阵的秩设，已知r(A)=2，则参数x，y分别是解：任意三阶⼦式=0，有⼆阶⼦式≠0，但是这些⼦式⽐较多，可以使⽤初等变换，因为初等变换不改变矩阵的秩，可以将矩阵通过初等⾏（列）变换，化为⾏阶梯矩阵，有⼏⾏不等于0，秩就是⼏。
⾏列式的转换Am×nx=0只有零解 <=> r(A)=n 特别地，A是n×n时，则Am×nx=0只有零解 <=> |A|≠0Am×nx=0有⾮零解 <=> r(A)<n 特别地，A是n×n时，则Am×nx=0有⾮零解 <=> |A|=0 若m<n（⽅程少未知数多），则Am×nx=0有⾮零解若Am×nx=0有⾮零解，则其线性⽆关的解有n-r(A)个若ξ1，ξ2，...，ξt 都是Ax=0的解，则k1ξ1+k2ξ2+...+ktξt仍是Ax=0的解Ax=0的基础解系（能够⽤它的线性组合表⽰出该⽅程组的任意⼀组解）①ξ1，ξ2，...，ξt 是Ax=0的解；②ξ1，ξ2，...，ξt 线性⽆关；③ξ1，ξ2，...，ξt 可以表⽰Ax=0的任⼀解。
或者证明出①②后，再证出t=n-r(A)则称ξ1，ξ2，...，ξt 是Ax=0的基础解系特征值和特征向量的求法：特征值和特征向量的定义如下：其中A是⼀个n×n的矩阵，x 是⼀个n维向量，则我们说λ是矩阵A的⼀个特征值，⽽ x 是矩阵A的特征值λ所对应的特征向量。
如果我们求出了矩阵A的n个特征值λ1≤λ2≤...≤λn,以及这n个特征值所对应的特征向量{w1,w2,...wn}，如果这n个特征向量线性⽆关，那么矩阵A就可以⽤下式的特征分解表⽰：其中W是这n个特征向量所张成的n×n维矩阵，并对n个特征向量标准化，⽽Σ为这n个特征值为主对⾓线的n×n维矩阵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
PCA算法的数学知识---特征值分解和奇异值分解：
1）特征值：
如果说一个向量v是方阵X的特征向量，将一定可以表示成下面的形式：
=
Xv vλ
这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。
特征值分解是将一个矩阵分解成下面的形式：
1
=∑
X Q Q-
其中Q是这个矩阵X的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。
首先，要明确的是，乘以一个矩阵其实就是一个线性变换，而且将一个矩阵乘以一个向量后得到的向量，其实就相当于对这个向量进行了线性变换。
如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。
分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。
通过特征值分解得到的前N个特征向量，就对应了这个矩阵最主要的N个变化方向。
我们利用这前N个变化方向，就可以近似这个矩阵（变换）。
也就是：提取这个矩阵最重要的特征。
总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可
少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。
也就是说，我们也可以用前r 大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解： ****T
n p n r r r r p X U V ≈∑
r 是一个远小于n 、p 的数，右边的三个矩阵相乘的结果将会是一个接近于X 的矩阵，在这儿，r 越接近于p ，则相乘的结果越接近于X 。
而这三个矩阵的面积之和（在存储观点来说，矩阵面积越小，存储量就越小）要远远小于原始的矩阵X ，我们如果想要压缩空间来表示原矩阵X ，我们存下这里的三个矩阵：U 、Σ、V 就好了。
奇异值与主成分分析（PCA ）：
PCA 的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N 维空间中，我们可以找到N 个这样的坐标轴，我们取前r 个去近似这个空间，这样就从一个N 维的空间压缩到r 维的空间了，但是我们选择的r 个坐标轴能够使得空间的压缩使得数据的损失最小。
假设矩阵每一行表示一个样本，每一列表示一个特征，用矩阵的语言来表示，对一个n* p 的矩阵X 进行坐标轴的变化，P 就是一个变换的矩阵，从一个p 维的空间变换到另一个p 维的空间，在空间中就会进行一些类似于旋转、拉伸的变化。
²***n p p p n p X P X =
而将一个n * p 的矩阵X 变换成一个n* r 的矩阵，这样就会使得本来有p 个特征的样本，变成了有r 个特征了（r < p)，这r 个其实就是对p 个特征的一种提炼。
用数学语言表示就是： ²***n p p r n r X P X =
但是这个跟奇异值分解（SVD ）什么关系呢？之前谈到，SVD 得出的奇异向量也是从奇异值由大到小排列的，按PCA 的观点来看，就是方差最大的坐标轴就是第一个奇异向量，方差次大的坐标轴就是第二个奇异向量…我们回忆一下之前得到的SVD 式子： ****T n p n r r r r p X U V ≈∑
在矩阵的两边同时乘上一个矩阵V ，由于V 是一个正交的矩阵，所以V 转置乘以V 得到单位阵I ，所以可以化成后面的式子 **********T n p p r n r r r r p p r
n p p r n r r r X V U V V X V U ≈∑≈∑
将后面的式子与X * P 那个n * p 的矩阵变换为n * r 的矩阵的式子对照看看，在这里，其实V 就是P ，也就是一个变化的向量，即一组新的坐标基，也叫主成分矩阵，而**n r r r U ∑相当于原数据在新坐标基
下的坐标，叫做得分矩阵。
这里是将一个n * p 的矩阵压缩到一个n * r 的矩阵，也就是对列进行压缩。
如果我们想对行进行压缩（在PCA 的观点下，对行进行压缩可以理解为，将一些相似的样本合并在一起，或者将一些没有太大价值的样本去掉）怎么办呢？同样我们写出一个通用的行压缩例子：
²***r n n p r p P X X =
这样就从一个n 行的矩阵压缩到一个r 行的矩阵了，对SVD 来说也是一样的，我们对SVD 分解的式子两边乘以U 的转置U' ****T T r n n p r r r p U X V ≈∑
这样我们就得到了对行进行压缩的式子。
可以看出，其实PCA 几乎可以说是对SVD 的一个包装，如果我们实现了SVD ，那也就实现了PCA 了，而且更好的地方是，有了SVD ，我们就可以得到两个方向的PCA ，如果我们对T X X 进行特征值的分解，只能得到一个方向的PCA 。