SVD奇异值分解

有关SVD奇异值分解的研究

ZDP 有关SVD奇异值分解，主要看了两个方面的内容：1.关于矩阵的SVD分解。

2.SVD所代表的最小二乘问题。主要是为了用SVD求取最小二乘解。

1. 关于矩阵的SVD分解：相当于主成分分析，找出哪些特征比较重要。奇异值的大小代表了左奇异向量和右奇异向量的重要程度。舍弃一些小奇异值对应的向量相当于消除一些没有太大影响的特征，从而提取出矩阵的主要特征。可以用于压缩从而减少内存的使用，以及滤波去噪。

2．关于最小二乘主要参考了网上的一份资料，SVD（奇异值分解）算法及其评估，在附件中可以找到。

这里主要说一下看资料时遇到的问题以及一些注意事项。矩阵的乘法本质上就是进行坐标的变换，由一种坐标系转变为另一种坐标系的过程。由行空间的一组正交基经由A矩阵变换为列空间一组正交基的过程。A∗V=U∗Σ。A=U∗Σ∗V T这里U为A的列空间正交基，Σ为奇异值，V为行空间正交基。V中所谓的行空间正交基，是[V1,V2,⋯⋯,V n]，也是列向量的形式。

针对方程组：A∗X=b可以理解成X向量经由矩阵A变换成了b向量。同时可以表示成U∗Σ∗V T∗X=b这里要注意是X向量的变换为从右向左的。V T∗X为第一次变换，∗Σ为第二次变换，∗U为第三次变换。

从另一个角度看坐标变换的问题，A∗V=U∗Σ这个式子可以理解为一组正交基经矩阵A变换成了另一组正交基，这里Σ为缩放因子。

方程组的解X=V∗Σ+∗U T∗b这里由于矩阵A不一定为方阵，引入广义逆的概念将SVD的应用范围进行了推广。

进行SVD的具体数值解法在文章中都有具体的介绍，这里介绍两个比较有意思的公式：A T A=V∗ΣTΣ∗V T；AA T=U∗ΣΣT∗U T。其中A T A为对称正定阵，V为A T A的特征向量，U为AA T的特征向量，ΣTΣ=ΣΣT为特征值。

/s/blog_b1b831150101ey41.html