2019机器学习中的数学 5 强大的矩阵奇异值分解 SVD.doc

合集下载

SVD奇异值分解

则可得到
SVD奇异值分解
继而可以得到A矩阵的奇异值分解：
现在可以来对A矩阵的映射过程进行分析了：如果在 n维空间中找到一个（超）矩形，其边都落在A'A的特征向量的方向上，那么经过A变换后的形状仍然为（超）矩形！ vi为A'A的特征向量，称为A的右奇异向量，ui=Avi实际上为AA'的特征向量，称为A的左奇异向量。下面利用SVD证明文章一开始的满秩分解：
特征值分解——EVD
所以可得到A的特征值分解（由于对称阵特征向量两两正交，所以U为正交阵，正交阵的逆矩阵等于其转置）
SVD奇异值分解
现在假设存在M*N矩阵A，事实上，A矩阵将n维空间中的向量映射到k（k<=m）维空间中， k=Rank(A)。现在的目标就是：在n维空间中找一组正交基，使得经过A变换后还是正交的。假设已经找到这样一组正交基：则A矩阵将这组基映射为：如果要使他们两两正交，即根据假设，存在
利用矩阵分块乘法展开得：
SVD奇异值分解
可以看到第二项为0，有
令
则A=XY即是A的满秩分解。

SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
SVD奇异值分解
这样就找到了正交基使其映射后还是正交基了，现在，将映射后的正交基单位化：因为
SVD奇异值分解
所以有
所以取单位向量
由此可得当k < i <= m时，对u1，u2，...，uk进行扩展u(k+1),...,um，使得u1，u2，...，um为m维空间中的一组正交基，即
同样的，对v1，v2，...，vk进行扩展v(k+1),...,vn（这n-k个向量存在于A的零空间中，即Ax=0的解空间的基），使得v1，v2，...，vn为n维空间中的一组正交基，即

矩阵SVD算法在机器学习特征提取中的应用

矩阵SVD算法在机器学习特征提取中的应用在机器学习领域，数据的特征提取是一个重要的预处理步骤。

该步骤的目标是将原始数据转换为更高效、更易于处理的表示形式。

矩阵奇异值分解（SVD）算法是一种常用的特征提取方法，它在维度约简、噪声过滤和潜在语义分析等方面具有广泛的应用。

一、矩阵奇异值分解（SVD）算法的基本原理矩阵奇异值分解算法是一种用于将矩阵分解为三个矩阵乘积的技术。

给定一个矩阵A，SVD算法可以找到三个矩阵U、S和V，使得A ≈U*S*V^T。

其中，U和V是正交矩阵，S是对角矩阵，对角线上的元素称为奇异值。

二、矩阵SVD算法在维度约简中的应用在机器学习中，高维数据常常会导致维度灾难问题，影响模型的性能和效率。

通过使用SVD算法，可以对数据进行维度约简，去除冗余信息，提取出最重要的特征。

以图像处理为例，对一个图像的每个像素点构成一个特征向量，将所有特征向量组成的矩阵进行SVD分解，可以得到图像中的主要模式。

通过保留前k个最大奇异值及其对应的特征向量，就可以实现对图像的维度约简。

这不仅加快了后续处理的速度，还可以过滤掉图像中的噪声。

三、矩阵SVD算法在噪声过滤中的应用在实际应用中，数据常常包含各种噪声，影响了模型的性能。

SVD 算法可以通过保留奇异值较大的特征向量，抑制与噪声相关的特征，实现噪声过滤的效果。

例如，对于语音信号处理，语音信号在传输过程中容易受到背景噪声的干扰。

通过将语音信号的数据矩阵进行SVD分解，筛选出奇异值较大的特征向量，可以降低噪声对语音信号的影响，提高语音信号的质量。

四、矩阵SVD算法在潜在语义分析中的应用潜在语义分析是文本挖掘中的一项重要任务，旨在从大规模文本数据中挖掘隐含的语义信息。

SVD算法可以应用于潜在语义分析中，帮助理解文本的主题结构和隐藏的语义关系。

通过将文本数据构成的矩阵进行SVD分解，可以得到文本的主题向量和主题词。

这些主题向量和主题词可以作为文本的表示形式，用于聚类、分类和检索等任务。

矩阵奇异值分解具体计算过程_解释说明以及概述

矩阵奇异值分解具体计算过程解释说明以及概述1. 引言1.1 概述矩阵奇异值分解（Singular Value Decomposition，简称SVD）是一种重要的矩阵分解方法，广泛应用于数据降维、图像处理、推荐系统和信号处理等领域。

通过将一个矩阵分解为三个独特的部分，即原始矩阵的奇异向量和奇异值，SVD 可以提供有关原始数据的宝贵信息。

本文旨在详细介绍矩阵奇异值分解的具体计算过程，并对其应用领域以及算法优化和改进方向进行探讨。

首先，我们将给出该方法的定义和基本原理，并描述其计算方法和数学推导。

接着，我们将深入探究矩阵奇异值分解在图像压缩与降维、推荐系统和数据挖掘以及信号处理和模式识别等方面的应用。

然后，我们将讨论近似求解算法、加速技术以及大规模矩阵奇异值分解算法的最新进展。

最后，我们还将探索结合其他矩阵分解技术发展方向。

1.2 文章结构本文共包含五个主要部分。

第一部分是引言，主要概述了本文的目的和结构。

第二部分将详细介绍矩阵奇异值分解的具体计算过程，包括定义、基本原理、计算方法和数学推导。

第三部分将解释说明矩阵奇异值分解在不同领域中的应用，如图像压缩与降维、推荐系统和数据挖掘以及信号处理和模式识别。

第四部分将讨论矩阵奇异值分解算法的优化和改进方向，包括近似求解算法、加速技术以及结合其他矩阵分解技术的发展方向。

最后一部分是结论，总结文章的主要内容和贡献，并对未来研究方向进行展望。

1.3 目的本文旨在通过详细讲解矩阵奇异值分解的具体计算过程，深入理解其原理和应用，并探讨其改进方向。

通过对该方法进行全面系统地介绍，希望能够增加读者对矩阵奇异值分解有关知识的了解，并为相关领域的研究者提供参考和启示。

同时，本文也为后续相关领域深入研究和应用提供了理论基础和开发方向。

2. 矩阵奇异值分解具体计算过程2.1 矩阵奇异值分解定义和基本原理矩阵奇异值分解（Singular Value Decomposition，简称SVD）是一种常用的矩阵分解方法。

机器学习SVD矩阵分解算法，对矩阵做拆分，然后呢？

机器学习SVD矩阵分解算法，对矩阵做拆分，然后呢？今天是机器学习专题第28篇文章，我们来聊聊SVD算法。

SVD的英文全称是Singular Value Decomposition，翻译过来是奇异值分解。

这其实是一种线性代数算法，用来对矩阵进行拆分。

拆分之后可以提取出关键信息，从而降低原数据的规模。

因此广泛利用在各个领域当中，例如信号处理、金融领域、统计领域。

在机器学习当中也有很多领域用到了这个算法，比如推荐系统、搜索引擎以及数据压缩等等。

SVD简介我们假设原始数据集矩阵D是一个mxn的矩阵，那么利用SVD 算法，我们可以将它分解成三个部分：这三个矩阵当中U是一个m x n的矩阵，∑是一个m x n的对角矩阵，除了对角元素全为0，对角元素为该矩阵的奇异值。

V是一个n x n的矩阵。

U和V都是酉矩阵，即满足U^TU = I, V^T V = I。

也就是它乘上它的转置等于单位对角矩阵。

我们可以看下下图，从直观上感知一下这三个矩阵。

下面我们来简单推导一下SVD的求解过程，看起来很复杂，概念也不少，但是真正求解起来却并不难。

会需要用到矩阵特征值分解的相关概念，如果不熟悉的同学可以先看下线性代数专题相关内容做个回顾：线性代数精华——讲透矩阵的初等变换与矩阵的秩首先，如果我们计算A^TA可以得到一个n x n的方阵。

对于方阵我们可以对它进行特征分解，假设得到特征值是lambda_i，特征向量是v_i，代入特征值的性质可以得到：这样的特征值和特征向量一共会有n个，我们把它所有的特征向量组合在一起，可以得到一个n x n的矩阵V。

它也就是我们SVD分解结果之后的V，所以有些书上会把它叫做右奇异向量。

同理，我们计算AA^T可以得到一个m x m的方阵，我们同样可以对他进行特征值分解，得到一个特征矩阵U。

U应该是一个m x m 的矩阵，也就是SVD公式中的U，我们可以将它称为A的左奇异向量。

U和V都有了，我们只剩下∑还没求出来了。

svd奇异值分解

1. 奇异值的特征1) 奇异值分解的第一个特征是可以降维。

A 表示n 个m 维向量，通过奇异值分解可表示成m+n 个r 维向量，若A 的秩r 远远小于m 和n ，则通过奇异值分解可以大大降低A 的维数。

可以计算出，当1nm r m n =++时，可以达到降维的目的，同时可以降低计算机对存贮器的要求。

2)奇异值分解的第二个特征是奇异值对矩阵的扰动不敏感，而特征值对矩阵的扰动敏感。

3)奇异值的第三个特征是奇异值的比例不变性。

4)奇异值的第四个特征是奇异值的旋转不变性。

奇异值的比例和旋转不变性特征在数字图像的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用。

5) 当A 是方阵时，其奇异值的几何意义是：若x 是n 维单位球面上的一点，则Ax 是一个n 维椭球面上的点，其中椭球的n 个半轴长正好是A 的n 个奇异值。

简单地说，在二维情况下，A 将单位圆变成了椭圆，A 的两个奇异值是椭圆的长半轴和短半轴。

2.基于SVD 的图像水印数值分析中的奇异值分解 ( SVD) 是一种将矩阵对角化的数值算法. 在图像处理中应用 SVD 的主要理论背景是 : ( 1) 图像奇异值的稳定性非常好 ,即当图像被施加小的扰动时 ,图像的奇异值不会有大的变化 ; (2) 奇异值所表现的是图像的内蕴特性而非视觉特性.从线性代数的角度看 , 一幅灰度图像可以被看成是一个非负矩阵. 若一幅图像用 A 表示定义为n n A R ⨯∈ ( 为方便起见 , 以后均只对方阵进行讨论) , 其中 R 表示实数域. 则矩阵A 的奇异值分解定义如下 : TA USV = ( 1)其中n n U R ⨯∈和n n V R ⨯∈均为正交阵 , n n S R ⨯∈为对角阵 ,上标 T 表示矩阵转置.水印的嵌入和检测SVD 方法的基本原理是将水印嵌入到原始图像的奇异值中. 在水印的嵌入过程中 , 先做 n ×n 灰度图像 A 的奇异值分解 , 得到两个正交矩阵 U 、 V 及一个对角矩阵 S . 尽管假设 A 是方阵 , 但其他非方阵可以完全用同样的方法来处理. 这个特性是 SVD 方法的一个优点 , 因为很多流行的水印算法都不能直接处理长方阵. 水印n n W R ⨯∈被叠加到矩阵 S 上 , 对新产生的矩阵 S +aW 进行奇异值分解 , 得到 U1 、 S1 和 V1( S + aW =111T U S V ) ,其中常数 a > 0 调节水印的叠加强度. 然后将矩阵 U 、 S1 和TV 相乘 , 得到处理后的包含水印的图像 A1 . 即如果矩阵 A 和W 分别表示原始图像和水印 , 那么通过如下三个步骤得到水印图像 A1 :T A USV ⇒,111T S W U SV +⇒,11T A USV ⇐. 在水印的检测过程中 , 如果给出矩阵 U1 、 S 、 V1 和可能损坏的水印图像*A , 那么通过简单的逆过程就就可以提取出可能已经失真的水印*W , 即 :****1T A U S V ⇒,**111T D U S V ⇐,**1(D S)W a⇐- 注意到三个矩阵 U1 、 S 和 V1 的总的自由度为2n , 即等于一个 n ×n 矩阵的自由度. 与其他一些水印算法要求原始图像来提取水印不同的是 , SVD 算法需要上面的三个矩阵来提取水印 , 但没有要求额外的信息量。

矩阵svd分解算法

矩阵svd分解算法SVD全称为Singular Value Decomposition(奇异值分解)，是一种非常重要的矩阵分解方法，被广泛应用于信号处理、图像处理、机器学习等领域。

本文将介绍SVD的定义、求解方法以及应用。

一、SVD定义矩阵SVD分解，指将一个复矩阵A分解成如下的形式：A = UΣV^T其中，U和V是正交矩阵，Σ是一个对角矩阵，对角线上的元素称为奇异值，通常用σ1 ≥ σ2 ≥ … ≥ σr > 0来表示。

二、SVD求解方法下面我们针对mxn的矩阵A，讲述一下SVD的求解步骤。

1. 首先求A^T·A的特征值和特征向量，设A^T·A的特征值为λ1, λ2, …, λm，对应的特征向量为v1, v2, …, vm 。

其中λ1≥λ2≥…≥λr>0。

2. 接着我们对v1, v2, …, vm进行标准化。

3. 将标准化后的v1, v2, …, vm组成正交矩阵V，即：V=[v1, v2, …, vm]。

特别的，当A为实矩阵时，可得到实特征向量和实奇异值，此时V 是一个正交矩阵。

4. 由于λ1, λ2, …, λr是A^T·A的非负特征值，我们可以得到A^T·A的奇异值：σ1=√λ1, σ2=√λ2, …, σr=√λr。

并将非零奇异值按照从大到小降序排列。

5. 求解奇异值对应的左奇异向量，设A^T·A的第i大特征值对应的特征向量为vi，i=1,2,...,r。

则A的左奇异向量为：ui=1/σi·Avi，i=1,2,...,r。

将u1, u2, …, ur组成正交矩阵U，即：U=[u1, u2, …, ur]。

特别的，当A为实矩阵时，可得到实左奇异向量。

6. 当m>n时，需要计算A·A^T的右奇异向量。

根据定义可得：vi=1/σi·A^Tui，i=1,2,...,r。

这些向量也组成了一个正交矩阵V，将它们作为A的右奇异向量。

机器学习算法分享——《SVD》ppt课件

SVD
特征值奇异值
1
Netflix Prize背景介绍
目标：
悬赏100万美元，将Netflix的推荐算法预测准确度提高10%。
数据结构：
用户ID、电影名称、日期、分数（1-5之间的整数）
训练数据：
48万用户对两万部电影的上亿条评分包括一个与测试数据集分布相同的probe数据集，包含06年附近140多万条的
2 0
11，A

v=

v

1 0
0
1

v

1 0
0
1

-A
v=0

-2
0
-1
-1 v=0
-2 -1

=0
0 -1
(-2)(-1)=0,解得1=2，2 =1
13
求解特征向量
（1）1 =2的特征向量：
9
线性映射&线性变换
空间内的线性映射称之为线性变换。
10
线性变换的矩阵表示
设x1,x2 , ,xn为数域P上线性空间V的一组基，T为V的线性变换。基向量的向可以被基线性表示出来，设
T x1 =a11x1+a12 x2 +
T

x2

=a21
x1
+a22
x2
+

T xn =an1x1+an2 x2 +
18
方阵还原
矩阵维度相当大时，可以用对角化变化的方法来逼近矩阵：
A QQ1
特征向量：矩阵的特征

奇异值分解定理

奇异值分解定理奇异值分解（Singular Value Decomposition，简称SVD）是线性代数中一种重要的矩阵分解方法，常用于数据分析、信号处理、图像压缩等领域。

SVD的定理表明，任何矩阵都可以分解成三个矩阵的乘积，其中一个矩阵是正交矩阵，另外两个矩阵是对角矩阵，且对角线上的元素称为奇异值。

奇异值分解定理的数学概念比较复杂，需要一定的线性代数基础。

下面将对奇异值分解定理进行详细解释。

给定一个m行n列的实数矩阵A，假设rank(A)为r.那么存在两个实数方阵U(m×r)和V(n×r)，使得：A = UΣV^T其中，U的每一列是A^TA的特征向量，V的每一列是AA^T的特征向量，Σ是一个对角矩阵，对角线上的元素称为奇异值。

奇异值分解定理的证明比较复杂，这里只给出一个简要的证明思路。

假设A的列向量为{a1, a2, ..., an}，它们构成了一个n维向量空间的一组基。

我们可以将这组基转化为标准正交基，得到一组正交矩阵U和V。

然后我们可以通过对U和V进行一些数学操作，得到UΣV^T形式的矩阵。

最后，我们可以证明这个矩阵确实满足奇异值分解定理的要求。

奇异值分解定理在数据分析中有广泛的应用。

例如，在推荐系统中，我们可以通过SVD将用户对物品的评分矩阵分解，得到用户和物品的特征矩阵，从而进行个性化推荐。

在语音识别中，我们可以通过SVD将语音信号分解成一组基本声音的叠加，从而实现语音信号的降噪和特征提取。

在图像压缩中，我们可以通过SVD将图像分解成一组基本的图像模式，从而实现图像的降噪和压缩。

奇异值分解定理的应用不仅局限于上述领域，还可以应用于信号处理、图像处理、文本处理等其他领域。

通过奇异值分解，我们可以将复杂的问题转化为简单的线性代数运算，从而大大简化问题的求解过程。

然而，奇异值分解也有一些限制。

首先，奇异值分解是一种数值方法，对计算精度要求较高。

其次，奇异值分解的计算复杂度较高，对于大规模矩阵的分解可能会很耗时。

降维之奇异值分解（SVD）

降维之奇异值分解（SVD）看了⼏篇关于奇异值分解(Singular Value Decomposition，SVD)的博客，⼤部分都是从坐标变换（线性变换）的⾓度来阐述，讲了⼀堆坐标变换的东西，整了⼀⼤堆图，试图“通俗易懂”地向读者解释清楚这个矩阵分解⽅法。

然⽽这个“通俗易懂”到我这就变成了“似懂⾮懂”，这些漂亮的图可把我整懵了。

就像《没想到吧》⾥王祖蓝对⼀个碎碎念的观众说的，“我问你的问题是，你是很熟悉邓紫棋的歌吗，我只问了你⼀个问题，你回我这么多⼲嘛”（上B站忍不住⼜看了邓紫棋3个视频，差点回不来）。

我就想知道这个奇异值分解的数学公式是什么，然后明⽩它是怎么⼀步步推导出来的，以及怎么推导出奇异值分解和主成分分析法的关系，咋就要整这么多图呢？如果你也有这种感觉，那这篇博客就带着你，以数学推导为主，⼀步步搞清楚奇异值分解是什么。

这篇博客反其道⽽⾏之，全是数学推导，没有⼀个图，就是这么任性。

当然相信我，这些推导并不难。

这篇博客整理如下的内容：1、奇异值分解的数学公式；2、奇异值分解的流程总结和案例；3、⽤奇异值分解进⾏降维；4、特征分解、奇异值分解和主成分分析法的关系；5、奇异值分解在词向量降维中的应⽤。

⼀、奇异值分解的数学公式我们直接抛出相关结论，不推导也不证明。

⼀个n×m的矩阵X的奇异值分解定义为：其中U称为左奇异矩阵，是⼀个n×n的正交矩阵，即满⾜U T U=E，U T=U-1；⽽V称为右奇异矩阵，是⼀个m×m的正交矩阵。

Σ为n×m的对⾓矩阵，对⾓线上的⾮零元素是奇异值（Singular Value）。

1、求奇异值⾸先看Σ或者说奇异值是什么。

如果矩阵X的秩rank(A)=r，那么实对称矩阵X T X与X的秩相等，X T X有r个⾮零的特征值和m-r个零特征值：λ1≥λ2≥ λ3...≥λr>λr+1=...=λm=0。

奇异值σ为：矩阵Σ可以表⽰为：2、求右奇异矩阵V然后看右奇异矩阵V是什么。

矩阵的奇异值分解

rankA rankA H A 1
O 5 0 O 0 0
λ1 2 Σ V H ( A H A)V O 成立的正交矩阵为 λ n
5, 2 0 ，
Σ ( 5 )11 ，且使得
则有Байду номын сангаас

O V1 Σ 2 O

O

,
A AV1 V1 Σ V1H A H AV1 Σ 2
由
H
2 ,得
或
( AV1 Σ 1 ) H ( AV1 Σ 1 ) E r
,
其中.
1 Σ

1 r r
现在开始论述矩阵的奇异值分解。定义2.21 设 A C r mn (r 0) ，A H A 的特征值为
1 2 r r 1 n 0
则称 i i (i 1,2,, n) 是A的奇异值；规定零矩阵0的奇异值都是0. 定理2.9 设 A C mn (r 0), 则存在m阶酉矩阵U和n阶酉 r
B B (U AV ) (U AV ) V A (U ) U AV
T T T T
1
1
1 T
1
V ( A A)V V ( AA)V
T T
1
上式表明 AT A 与 B T B 相似,而相似矩阵有相同的特征值, 所以A与B有相同的奇异值.证毕
直接验证可知, 正交相抵具有自反性、对称性和传递性，因
，求它的奇异值分解.
解经过计算，矩阵
1 0 1 H A A 0 1 1 1 1 2
的特征值为 1 3, 2 1, 3 0 ,对应的特征向量分别是，

SVD矩阵的奇异值分解PPT课件

1 X ,2 X L(1,2 ) X
C(AT ) N ( A)
第46页/共95页
(1,0,3)
C(AT ) L(1,2 )
(0,1,2)
(3,2第,-147)页/共95页
N(A)
1 例3 A 2
2 4
3 6
1
2
3
则 C ( A) span(1 )
由 AT y
0 解得
y
2 1
即有下面的正交对角分解定理.
第54页/共95页
定理设 A Rnn 非奇异，则存在正交矩阵P和
Q，
使P得T AQ diag(1,2 ,...n )
(2) i 0(i 1, 2,...n)
其中
AT A
证因为A非奇异，所QT 以( AT A)Q 为di实ag对(1,称2正,...定n )矩阵，于
第7页/共95页
第8页/共95页
矩阵是什么？矩阵的乘法规则怎样定义？矩阵的相似是什么意思？
P1AP B~A
特征值的本质是什么？
Ax x
第9页/共95页
纯粹的数学理论描述、证明不能令人满意和信服！
第10页/共95页
一、线性空间和矩阵的几个核心概念
第11页/共95页
空间
基本定义: 存在一个集合，在这个集合上定义某
1 3 5 0 7
Rmn 0
0
0
1
2
1
,
2
,
3
,
4
,
5
0 0 0 0 0
有三个自由变量：x2 , x3, x5. 方程 Rx 0 有解： x k22 k33 k55
第40页/共95页
dim N(R) n r

矩阵的奇异值分解

矩阵的奇异值分解
奇异值分解（Singular Value Decomposition,SVD）是一种常见的矩阵分解技术，也被称为矩阵奇异值分解。

它是一种比较复杂的矩阵运算技术，它的本质是将一个矩阵通过线性变换分解成三个不同的矩阵，这三个矩阵有特定的性质，可以用来进一步进行矩阵操作。

最常见的应用场景是用来压缩数据，通常先将原始数据进行SVD 分解，然后再去掉一些次要的特征，从而进行数据压缩。

此外，SVD还可用于探索数据之间的关系、数据预测，它也是推荐系统及机器学习中的一种常用技术手段。

不管是在压缩空间还是数据处理上，都可以利用这一技术。

虽然它的表面上看起来很复杂，但SVD实际上具有很多共享的特性，它可以将任何m × n的实矩阵分解为矩阵的乘积。

它也是有着丰富的表示力，可以把其它分解算法通过一种简单统一的视角来分析。

总的来说，奇异值分解是一种有着广泛应用场景的计算技术，即使是比较复杂的数据处理，也可以利用它来获得有效的结果。

它可以帮助我们分析数据之间的关系，发现有价值的洞察，从而辅助机器学习和推荐引擎，使它们的效果更加的出色。

svd 矩阵的奇异值分解

svd 矩阵的奇异值分解奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解方法，可以将一个矩阵分解为三个矩阵的乘积，其中一个矩阵是正交矩阵，另外两个矩阵是对角矩阵。

SVD在数据分析、图像处理、信号处理等领域有着广泛的应用。

1. SVD的定义对于一个m\times n的实数矩阵A，它的奇异值分解是指将它分解为以下形式的乘积：A=U\Sigma V^T其中，U是一个m\times m的正交矩阵，V是一个n\times n的正交矩阵，\Sigma是一个m\times n的对角矩阵，对角线上的元素称为A的奇异值。

2. SVD的求解SVD的求解可以通过奇异值分解定理来实现。

奇异值分解定理指出，对于任意一个实数矩阵A，都存在一个奇异值分解A=U\Sigma V^T，其中U和V都是正交矩阵，\Sigma是一个对角矩阵，对角线上的元素是A的奇异值。

具体地，SVD的求解可以分为以下几个步骤：（1）计算A^TA和AA^T的特征值和特征向量。

（2）根据特征值和特征向量，求出A^TA和AA^T的特征分解。

（3）根据A^TA和AA^T的特征分解，求出A的奇异值分解。

3. SVD的应用SVD在数据分析、图像处理、信号处理等领域有着广泛的应用。

（1）数据分析在数据分析中，SVD可以用来降维和去噪。

通过SVD分解，可以将高维数据降到低维，从而减少数据的冗余信息，提高数据的处理效率。

同时，SVD还可以用来去除数据中的噪声，提高数据的质量。

（2）图像处理在图像处理中，SVD可以用来压缩图像和去噪。

通过SVD分解，可以将图像压缩为较小的尺寸，从而减少存储空间和传输带宽。

同时，SVD还可以用来去除图像中的噪声，提高图像的质量。

（3）信号处理在信号处理中，SVD可以用来分解信号和去噪。

通过SVD分解，可以将信号分解为多个频率分量，从而更好地理解信号的特性。

同时，SVD还可以用来去除信号中的噪声，提高信号的质量。

[机器学习笔记]奇异值分解SVD简介及其在推荐系统中的简单应用

[机器学习笔记]奇异值分解SVD简介及其在推荐系统中的简单应⽤本⽂先从⼏何意义上对奇异值分解SVD进⾏简单介绍，然后分析了特征值分解与奇异值分解的区别与联系，最后⽤python实现将SVD应⽤于推荐系统。

1.SVD详解SVD(singular value decomposition)，翻译成中⽂就是奇异值分解。

SVD的⽤处有很多，⽐如：LSA（隐性语义分析）、推荐系统、特征压缩（或称数据降维）。

SVD可以理解为：将⼀个⽐较复杂的矩阵⽤更⼩更简单的3个⼦矩阵的相乘来表⽰，这3个⼩矩阵描述了⼤矩阵重要的特性。

1.1奇异值分解的⼏何意义(因公式输⼊⽐较⿇烦所以采取截图的⽅式)2.SVD应⽤于推荐系统数据集中⾏代表⽤户user，列代表物品item，其中的值代表⽤户对物品的打分。

基于SVD的优势在于：⽤户的评分数据是稀疏矩阵，可以⽤SVD将原始数据映射到低维空间中，然后计算物品item之间的相似度，可以节省计算资源。

整体思路：先找到⽤户没有评分的物品，然后再经过SVD“压缩”后的低维空间中，计算未评分物品与其他物品的相似性，得到⼀个预测打分，再对这些物品的评分从⾼到低进⾏排序，返回前N个物品推荐给⽤户。

具体代码如下，主要分为5部分：第1部分：加载测试数据集；第2部分：定义三种计算相似度的⽅法；第3部分：通过计算奇异值平⽅和的百分⽐来确定将数据降到多少维才合适，返回需要降到的维度；第4部分：在已经降维的数据中，基于SVD对⽤户未打分的物品进⾏评分预测，返回未打分物品的预测评分值；第5部分：产⽣前N个评分值⾼的物品，返回物品编号以及预测评分值。

优势在于：⽤户的评分数据是稀疏矩阵，可以⽤SVD将数据映射到低维空间，然后计算低维空间中的item之间的相似度，对⽤户未评分的item进⾏评分预测，最后将预测评分⾼的item推荐给⽤户。

#coding=utf-8from numpy import *from numpy import linalg as la'''加载测试数据集'''def loadExData():return mat([[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],[0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],[0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],[3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],[5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],[0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],[4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],[0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],[0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],[0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],[1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]])'''以下是三种计算相似度的算法，分别是欧式距离、⽪尔逊相关系数和余弦相似度,注意三种计算⽅式的参数inA和inB都是列向量'''def ecludSim(inA,inB):return 1.0/(1.0+la.norm(inA-inB)) #范数的计算⽅法linalg.norm()，这⾥的1/(1+距离)表⽰将相似度的范围放在0与1之间def pearsSim(inA,inB):if len(inA)<3: return 1.0return 0.5+0.5*corrcoef(inA,inB,rowvar=0)[0][1] #⽪尔逊相关系数的计算⽅法corrcoef()，参数rowvar=0表⽰对列求相似度，这⾥的0.5+0.5*corrcoef()是为了将范围归⼀化放到0和1之间def cosSim(inA,inB):num=float(inA.T*inB)denom=la.norm(inA)*la.norm(inB)return 0.5+0.5*(num/denom) #将相似度归⼀到0与1之间'''按照前k个奇异值的平⽅和占总奇异值的平⽅和的百分⽐percentage来确定k的值,后续计算SVD时需要将原始矩阵转换到k维空间'''def sigmaPct(sigma,percentage):sigma2=sigma**2 #对sigma求平⽅sumsgm2=sum(sigma2) #求所有奇异值sigma的平⽅和sumsgm3=0 #sumsgm3是前k个奇异值的平⽅和k=0for i in sigma:sumsgm3+=i**2k+=1if sumsgm3>=sumsgm2*percentage:return k'''函数svdEst()的参数包含：数据矩阵、⽤户编号、物品编号和奇异值占⽐的阈值，数据矩阵的⾏对应⽤户，列对应物品，函数的作⽤是基于item的相似性对⽤户未评过分的物品进⾏预测评分'''def svdEst(dataMat,user,simMeas,item,percentage):n=shape(dataMat)[1]simTotal=0.0;ratSimTotal=0.0u,sigma,vt=la.svd(dataMat)k=sigmaPct(sigma,percentage) #确定了k的值sigmaK=mat(eye(k)*sigma[:k]) #构建对⾓矩阵xformedItems=dataMat.T*u[:,:k]*sigmaK.I #根据k的值将原始数据转换到k维空间(低维),xformedItems表⽰物品(item)在k维空间转换后的值for j in range(n):userRating=dataMat[user,j]if userRating==0 or j==item:continuesimilarity=simMeas(xformedItems[item,:].T,xformedItems[j,:].T) #计算物品item与物品j之间的相似度simTotal+=similarity #对所有相似度求和ratSimTotal+=similarity*userRating #⽤"物品item和物品j的相似度"乘以"⽤户对物品j的评分"，并求和if simTotal==0:return 0else:return ratSimTotal/simTotal #得到对物品item的预测评分'''函数recommend()产⽣预测评分最⾼的N个推荐结果，默认返回5个；参数包括：数据矩阵、⽤户编号、相似度衡量的⽅法、预测评分的⽅法、以及奇异值占⽐的阈值；数据矩阵的⾏对应⽤户，列对应物品，函数的作⽤是基于item的相似性对⽤户未评过分的物品进⾏预测评分；相似度衡量的⽅法默认⽤余弦相似度'''def recommend(dataMat,user,N=5,simMeas=cosSim,estMethod=svdEst,percentage=0.9):unratedItems=nonzero(dataMat[user,:].A==0)[1] #建⽴⼀个⽤户未评分item的列表if len(unratedItems)==0:return'you rated everything'#如果都已经评过分，则退出itemScores=[]for item in unratedItems: #对于每个未评分的item，都计算其预测评分estimatedScore=estMethod(dataMat,user,simMeas,item,percentage)itemScores.append((item,estimatedScore))itemScores=sorted(itemScores,key=lambda x:x[1],reverse=True)#按照item的得分进⾏从⼤到⼩排序return itemScores[:N] #返回前N⼤评分值的item名，及其预测评分值将⽂件命名为svd2.py,在python提⽰符下输⼊：>>>import svd2>>>testdata=svd2.loadExData()>>>svd2.recommend(testdata,1,N=3,percentage=0.8)#对编号为1的⽤户推荐评分较⾼的3件商品Reference:1.Peter Harrington，《机器学习实战》，⼈民邮电出版社，2013。

矩阵的奇异值分解应用

矩阵的奇异值分解应用
奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解技术，被广泛应用于数据压缩、降维、特征提取等领域。

在实际应用中，SVD不仅可以用于矩阵的逼近表示，还可以用于推荐系统、图像处理、自然语言处理等多个领域。

1. 数据降维
SVD可以将一个大矩阵分解为三个矩阵的乘积，其中一个矩阵是对角阵，对角元素称为奇异值。

这个过程可以帮助我们发现数据中的主要特征，并实现数据的降维。

在机器学习中，数据降维可以提高模型的训练效率和泛化能力。

2. 推荐系统
在推荐系统中，我们常常需要处理用户对物品的评分数据，这些数据通常表示为一个用户-物品评分矩阵。

通过对这个矩阵进行SVD分解，可以得到用户和物品的潜在特征向量，从而实现对用户和物品的推荐，提高推荐的准确性和个性化。

3. 图像压缩
SVD还广泛应用于图像处理领域。

通过对图像的像素矩阵进行SVD分解，可以提取图像的主要特征，实现图像的压缩和重建。

这种方法不仅可以减小图像的存储空间，还可以减少传输时的带宽消耗。

4. 自然语言处理
在自然语言处理中，SVD也被用于词向量的表示。

通过对文本语料矩阵进行SVD分解，可以得到词语的语义特征向量，实现词向量间的语义相似度计算和文本分类等任务。

总之，矩阵的奇异值分解是一种强大的数学工具，在各个领域都有着广泛的应用。

通过对数据进行SVD分解，我们可以实现数据的降维、推荐系统的个性化推荐、图像的压缩和重建、以及自然语言处理中的词向量表示等多个重要任务。

随着数据量的不断增大和机器学习领域的进步，SVD的应用前景将更加广阔。

机器学习中的数学5强大的矩阵奇异值分解SV

在上篇文章中便是基于特征值分解的一种解释。

特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。

而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。

奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。

就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。

在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩(以图像压缩为代表)的算法，还有做搜索引擎语义层次检索的LSI(Latent Semantic Indexing)另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪(AK47同时代的)，是因为穿越火线这个游戏里面有一把狙击枪叫做SVD，而在Google上面搜索的时候，出来的都是奇异值分解(英文资料为主)。

想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。

国内的网页中的话语权也被这些没有太多营养的帖子所占据。

真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢整理游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。

SVD(奇异值分解)算法及其评估

rቤተ መጻሕፍቲ ባይዱ
n−r
0 r ，…(1.1) 0 m−r
其中 Σ r diag (σ 1 ,..., σ r ), σ 1 ≥ ... ≥ σ r > 0 [2]。 = 当 A 为复矩阵 C m×n 时，只需将定理中 U , V 改为酉矩阵，其它不变，定理 1.2 仍然成立[1]。称分解式(1.1)为矩阵 A 的奇异值分解，通常简称为 SVD。σ i 是 A 的奇异值，向量 ui 和 vi 分别是第 i 个左奇异向量和第 i 个右奇异向量。从 A 的奇异值分解，我们可以得到 A 的一些非常有用的信息，下面的推论就列举其中几条最基本的结论[1]：推论 1.2 设 A ∈ Crm×n ，则 (1) A 的非零奇异值的个数就等于 r = rank ( A) ； (2) vr +1 ,..., vn 是 ( A) 的一组标准正交基； (3) u1 ,..., vr 是 ( A) 的一组标准正交基； (4) A = ∑ σ i ui viH 称为 A 的满秩奇异值分解；
4
3.1：传统 QR 迭代算法[1,2,3] 设 A ∈ R m×n (m ≥ n) ，可知奇异值分解可从实对称矩阵 C = AT A 的 Schur 分解导出 [1]，因此我们自然想到先利用对称 QR 方法来实现 C 的 Schur 分解，然后借助 C 的 Schur 分解来实现 A 的奇异值分解，然而这样做有两个缺点：一是计算 C = AT A 要很大的计算量；二是计算 C = AT A 会引入较大的误差。因此 Golub 和 Kahan 在 1965 年提出了另一种十分稳定的方法，其基本思想就是隐含地应用对称 QR 算法于 AT A 上，而并不需要将 C = AT A 计算出来。方法第一步是：将 A 二对角化，即求正交矩阵 U1 和 V1 ，使得

矩阵奇异值分解算法及应用研究

矩阵奇异值分解算法及应用研究一、本文概述本文旨在深入探讨矩阵奇异值分解（Singular Value Decomposition，SVD）算法的理论基础及其在多个领域的应用。

奇异值分解作为一种重要的矩阵分析技术，不仅在数学理论上具有深厚的根基，而且在实际应用中展现出强大的功能。

通过对SVD算法的深入研究，我们可以更好地理解矩阵的内在性质，揭示隐藏在数据背后的规律，从而在各种实际问题中找到有效的解决方案。

本文首先回顾了奇异值分解算法的基本概念和性质，包括其数学定义、存在条件以及计算过程。

在此基础上，我们详细阐述了SVD算法的理论依据和实现方法，包括数值稳定性和计算复杂度等关键问题。

通过理论分析和实验验证，我们验证了SVD算法在处理矩阵问题时的有效性和可靠性。

随后，本文将重点介绍SVD算法在多个领域的应用案例。

包括但不限于图像处理、自然语言处理、机器学习、推荐系统、社交网络分析以及生物信息学等领域。

在这些领域中，SVD算法被广泛应用于数据降维、特征提取、信息融合、噪声去除以及模式识别等任务。

通过具体案例的分析和讨论，我们将展示SVD算法在实际问题中的广泛应用和重要作用。

本文还将探讨SVD算法的未来发展趋势和研究方向。

随着大数据时代的到来，SVD算法在处理大规模矩阵数据方面的潜力和挑战将越来越突出。

因此，我们需要进一步研究和改进SVD算法的性能和效率，以适应日益复杂的数据处理需求。

我们还将关注SVD算法在其他新兴领域的应用前景，如深度学习、和量子计算等。

通过不断的研究和创新，我们期待SVD算法能够在未来的科学研究和实际应用中发挥更大的作用。

二、矩阵奇异值分解算法原理矩阵奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种重要的矩阵分解方法，它将一个复杂矩阵分解为三个简单的矩阵的乘积，从而简化了矩阵的计算和分析。

奇异值分解的原理和应用在信号处理、图像处理、自然语言处理、机器学习等领域具有广泛的应用。

svd分解算法_幂法_解释说明

svd分解算法幂法解释说明1. 引言1.1 概述在数据分析和降维技术领域中，SVD（奇异值分解）算法和幂法算法扮演着重要的角色。

SVD分解算法是一种有效的矩阵分解技术，能够将一个矩阵分解为三个矩阵的乘积形式，并提取出重要特征信息。

而幂法算法则是一种用于求解矩阵最大特征值和对应特征向量的迭代过程。

本文将详细介绍SVD分解算法和幂法算法的原理、过程以及在实际应用中的作用。

1.2 文章结构本文将按照如下结构进行展开论述：首先，在引言部分概述了文章所涉及内容。

接下来，第二部分将介绍SVD分解算法，包括其基本概念、分解过程以及常见应用领域。

第三部分将详细讲解幂法算法的原理、实施步骤以及其收敛性和稳定性问题。

接着，第四部分将深入探讨SVD分解算法和幂法算法之间的联系，并比较它们各自的优缺点。

最后，在结论部分对全文进行总结和归纳。

1.3 目的本文的目的是向读者介绍SVD分解算法和幂法算法，并阐明它们在数据分析和降维等领域中的重要作用。

通过深入理解这两种算法的原理和应用，读者将能够更好地掌握这些技术，并在实际问题中灵活运用它们。

此外，本文还将比较SVD 分解算法和幂法算法在不同场景下的优缺点，以便读者能够根据具体需求选择合适的方法。

以上是“1. 引言”部分内容的详细撰写，请核对准确性。

2. SVD分解算法2.1 SVD介绍Singular Value Decomposition（SVD），即奇异值分解，是一种常用的矩阵分解方法。

它将一个任意形状的矩阵分解为三个矩阵的乘积：A = UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵。

SVD的重要性和应用广泛程度使其成为线性代数和机器学习领域中的基础知识。

2.2 SVD分解过程SVD的计算过程可以通过迭代或直接计算得到。

首先，我们从输入的矩阵A开始，通过特征值分析方法获取其对称矩阵AA^T或A^TA的特征向量和特征值信息。

然后，将这些特征向量按照对应特征值大小进行排序，并构建正交矩阵U 和V。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

在上篇文章中便是基于特征值分解的一种解释。

特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。

而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。

想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。

国内的网页中的话语权也被这些没有太多营养的帖子所占据。

真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。

前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不过本文不准备在如何计算奇异值上展开太多。

另外，本文里面有部分不算太深的线性代数的知识，如果完全忘记了线性代数，看本文可能会有些困难。

一、奇异值与特征值基础知识：特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。

两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。

先谈谈特征值分解吧：1)特征值：如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。

特征值分解是将一个矩阵分解成下面的形式：其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。

我这里引用了一些参考文献中的内容来说明一下。

首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。

比如说下面的一个矩阵：它其实对应的线性变换是下面的形式：因为这个矩阵M乘以一个向量(x,y)的结果是：上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换(每一个对角线上的元素将会对一个维度进行拉伸变换，当值1时，是拉长，当值1时时缩短)，当矩阵不是对称的时候，假如说矩阵是下面的样子：它所描述的变换是下面的样子：这其实是在平面上对一个轴进行的拉伸变换(如蓝色的箭头所示)，在图中，蓝色的箭头是一个最主要的变化方向(变化方向可能有不止一个)，如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。

反过头来看看之前特征值分解的式子，分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向(从主要的变化到次要的变化排列)当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。

我们利用这前N个变化方向，就可以近似这个矩阵(变换)。

也就是之前说的：提取这个矩阵最重要的特征。

总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。

不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

(说了这么多特征值变换，不知道有没有说清楚，请各位多提提意见。

)2)奇异值：下面谈谈奇异值分解。

特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，在现实的世界中，我们看到的大部分矩阵都不是方阵，比如说有N个学生，每个学生有M科成绩，这样形成的一个N*M的矩阵就不可能是方阵，我们怎样才能描述这样普通的矩阵呢的重要特征呢?奇异值分解可以用来干这个事情，奇异值分解是一个能适用于任意的矩阵的一种分解的方法：假设A是一个N*M的矩阵，那么得到的U是一个N*N的方阵(里面的向量是正交的，U里面的向量称为左奇异向量)，Σ是一个N*M的矩阵(除了对角线的元素都是0，对角线上的元素称为奇异值)，V'(V的转置)是一个N*N的矩阵，里面的向量也是正交的，V里面的向量称为右奇异向量)，从图片来反映几个相乘的矩阵的大小可得下面的图片那么奇异值和特征值是怎么对应起来的呢?首先，我们将一个矩阵A的转置*A，将会得到一个方阵，我们用这个方阵求特征值可以得到：这里得到的v，就是我们上面的右奇异向量。

此外我们还可以得到：这里的σ就是上面说的奇异值，u就是上面说的左奇异向量。

奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，而且σ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。

也就是说，我们也可以用前r大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解：r是一个远小于m、n的数，这样矩阵的乘法看起来像是下面的样子：右边的三个矩阵相乘的结果将会是一个接近于A的矩阵，在这儿，r越接近于n，则相乘的结果越接近于A。

而这三个矩阵的面积之和(在存储观点来说，矩阵面积越小，存储量就越小)要远远小于原始的矩阵A，我们如果想要压缩空间来表示原矩阵A，我们存下这里的三个矩阵：U、Σ、V就好了。

二、奇异值的计算：奇异值的计算是一个难题，是一个O(N^3)的算法。

在单机的情况下当然是没问题的，matlab在一秒钟内就可以算出1000*1000的矩阵的所有奇异值，但是当矩阵的规模增长的时候，计算的复杂度呈3次方增长，就需要并行计算参与了。

Google的吴军老师在数学之美系列谈到SVD的时候，说起Google实现了SVD的并行化算法，说这是对人类的一个贡献，但是也没有给出具体的计算规模，也没有给出太多有价值的信息。

其实SVD还是可以用并行的方式去实现的，在解大规模的矩阵的时候，一般使用迭代的方法，当矩阵的规模很大(比如说上亿)的时候，迭代的次数也可能会上亿次，如果使用Map-Reduce框架去解，则每次Map-Reduce完成的时候，都会涉及到写文件、读文件的操作。

个人猜测Google云计算体系中除了Map-Reduce以外应该还有类似于MPI的计算模型，也就是节点之间是保持通信，数据是常驻在内存中的，这种计算模型比Map-Reduce在解决迭代次数非常多的时候，要快了很多倍。

Lanczos迭代就是一种解对称方阵部分特征值的方法(之前谈到了，解A'*A 得到的对称方阵的特征值就是解A的右奇异向量)，是将一个对称的方程化为一个三对角矩阵再进行求解。

按网上的一些文献来看，Google应该是用这种方法去做的奇异值分解的。

请见Wikipedia上面的一些引用的论文，如果理解了那些论文，也"几乎"可以做出一个SVD了。

由于奇异值的计算是一个很枯燥，纯数学的过程，而且前人的研究成果(论文中)几乎已经把整个程序的流程图给出来了。

更多的关于奇异值计算的部分，将在后面的参考文献中给出，这里不再深入，我还是focus在奇异值的应用中去。

三、奇异值与主成分分析(PCA)：主成分分析在上一节里面也讲了一些，这里主要谈谈如何用SVD去解PCA 的问题。

PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。

方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。

但是对于我们用于机器学习的数据(主要是训练数据)，方差大才有意义，不然输入的数据都是同一个点，那方差就为0了，这样输入的多个数据就等同于一个数据了。

以下面这张图为例子：这个假设是一个摄像机采集一个物体运动得到的图片，上面的点表示物体运动的位置，假如我们想要用一条直线去拟合这些点，那我们会选择什么方向的线呢?当然是图上标有signal的那条线。

如果我们把这些点单纯的投影到x 轴或者y轴上，最后在x轴与y轴上得到的方差是相似的(因为这些点的趋势是在45度左右的方向，所以投影到x轴或者y轴上都是类似的)，如果我们使用原来的xy坐标系去看这些点，容易看不出来这些点真正的方向是什么。

但是如果我们进行坐标系的变化，横轴变成了signal的方向，纵轴变成了noise的方向，则就很容易发现什么方向的方差大，什么方向的方差小了。

一般来说，方差大的方向是信号的方向，方差小的方向是噪声的方向，我们在数据挖掘中或者数字信号处理中，往往要提高信号与噪声的比例，也就是信噪比。

对上图来说，如果我们只保留signal方向的数据，也可以对原数据进行不错的近似了。

PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。

还是假设我们矩阵每一行表示一个样本，每一列表示一个feature，用矩阵的语言来表示，将一个m*n的矩阵A的进行坐标轴的变化，P就是一个变换的矩阵从一个N维的空间变换到另一个N维的空间，在空间中就会进行一些类似于旋转、拉伸的变化。