奇异值分解及应用

1 0 1 AH A 0 1 1 1 1 2
H 可求得 A A 的特征值为 1 3, 2 1, 3 0,
对应的特征向量依次为
于是可得：rankA 2, 其中
T T T x1 1,1,2 ,x2 1,1,0 , x3 1,1,1 ,
称上式为矩阵A的奇异值分解 .
推论 在矩阵A的奇异值分解A=UDVH中，U的列向量为 AAH的特征向量， V的列向量为AHA的特征向量.
证明 AAH (UDV H )(UDV H ) H
UDV HVDU H UD2U H
( AAH )U UD2 Udiag(1 , 2 ,, r ,0,,0)
U1 AV1 C
1
nr
,V2 C
n( nr )
,
mr
4]扩充U1为酉矩阵U=(U1 ,U2) 0 H 5] 构造奇异值分解 A U 0 0 V
例1、求矩阵
1 0 1 A 0 1 1 0 0 0
的奇异值分解
U1 (u1 , u2 ,, ur )
因此可将 u1 , u2 ,, ur 扩充成标准正交基，记
增添的向量为 ur 1 ,, um，并构造矩阵
U2 (ur 1 ,, um )
则
U (U1, U2 ) (u1, u2 ,, ur , ur 1,, um )
是m阶正交矩阵,且有
5 ,
对应的特征向量分别为 1 0 0 x1 0 , x2 1 , x3 0 ; 0 0 1
取 U （x1 , x2 , x3） , U1 x1 , U 2 （x2 , x3）
1 1 0 0 1 H 1 令 V1 A U1 0 2 0 0 5 0
则存在n阶酉矩阵 V ，使得
1 2 O H H V ( A A)V O O n
将 V 分块为
V (V1 V2 )
②
其中
V1 ， V2
分别是V 的前 r 列与后 n r 列.
并改写②式为
2 AH AV V O
可以达到降维的目的，同时可以降低计算机 对存贮器的要求.
2. 奇异值对矩阵的扰动不敏感
特征值对矩阵的扰动敏感.
在数学上可以证明，奇异值的变化不会超
过相应矩阵的变化，即对任何的相同阶数的实
矩阵A、B的按从大到小排列的奇异值 i和 i
有

i
i
A B 2
3. 奇异值的比例不变性,即 A 的奇异值是A的
存在酉矩阵U C mm ,V C nn , 使 A UBV
由
H AH A （UBV） (UBV) V H B H BV ,
所以A A与B B是酉相似的，有相同特 征值， 故A与B有相同的奇异值。
H
H
奇异值分解定理
设A是秩为 则存在 使得
r (r 0) 的 m n 矩阵,
T 构造： U 2 0,0,1
则
1 2 1 2 0 1 2 1 2 0 0 0 1
U U1 ,U 2
A 的奇异值分解为
3 0 0 T A U 0 1 0 V 0 0 0
奇异值分解方法2--利用矩阵AAH求解
奇异值的 倍.
4.奇异值的旋转不变性.即若P是正交阵，PA的 奇异值与A的奇异值相同.
奇异值的比例和旋转不变性特征在数字图 象的旋转、镜像、平移、放大、缩小等几何变 化方面有很好的应用.
5. 容易得到矩阵A的秩为 k k r 的一个最佳逼 近矩阵.
A是矩阵
1 2 r 0
因此, 线性方程组 Ax 0与A Ax 0同解。
H
故 rank( A) rank( AH A)
H H rank ( A ) rank ( A A ) rank ( AA ) 用A 替换A, 得
H
设A C
mn r
,
对于Hermite 矩阵AHA， AAH，设 AHA， AAH有r个非0特征值，分别记为
3 0 0 1 ,
令 V V1 , V2 ,
1 2 1 2 0 1 2 1 2 0
1 1 1 x3 V1 x1 , x2 , V2 2 3 6
计算： U1
1 AV1
1 2 r r 1 m 0
称 i 简称奇异值
说明：A的正奇异值个数等于rank( A)，并且A与AH有相同的奇 异值。
i , i 1,, r, 为矩阵A的正奇异值，
定理 酉等价的矩阵有相同的奇异值
证明
设A, B C
mn r
, A与B酉等价, 则
m 阶酉矩阵 U 与 n 阶酉矩阵V ,
O U AV S O O
H
①
其中
diag(1 , 2 ,, r ) (i 1, 2,, r )
1 r 0 为矩阵A的全部奇异值.
证明 设矩阵AH A 的特征值为
1 2 r r 1 n 0
则有
O O
AH AV1 V1 2， AT AV2 O
③
由③的第一式可得
V1H AH AV1 2， 或者( AV1 1 )H ( AV1 1 ) I r
由③的第二式可得
( AV2 )H ( AV2 ) O 或者AV2 O
1 令 U1 AV1 ，则 U1HU1 I r，即 U1的r个列是两两正交的 单位向量.记
矩阵的奇异值分解就是矩阵在酉等价下的一种标准型。
引理1
设A C
则来自百度文库
mn
, A A与AA 的特征值均为非负实数 。
H
H
证明 设是AHA的特征值，x是相应的特征向量， AHAx= x
由于AHA为Hermite 矩阵，故是实数。又
0 ( Ax, Ax) ( Ax) ( Ax) x x

推荐系统的目标就是预测出符号“？”对应位 置的分值。推荐系统基于这样一个假设：用户 对项目的打分越高，表明用户越喜欢。因此， 预测出用户对未评分项目的评分后，根据分值 大小排序，把分值高的项目推荐给用户。

矩阵分解目标就是把用户-项目评分矩阵R分 解成用户因子矩阵和项目因子矩阵乘的形式， 即R=UV，这里R是n×m， n =6， m =7，U是 n×k，V是k×m，如图所示。
0 H A U 0 0 V
例 求矩阵A的奇异值分解
1 A 0 0
2 0 0
利用矩阵AAH求解
5 0 0 H AA 0 0 0 , 1 5 , 0 0 0 AAH的特征值1 5, 2 3 0
H H
x x 0, 0
H
同理可证AAH的特征值也是非负实数。
引理2
设A C
证明
mn r
, 则rank( A A) rank( AA ) rank( A)
H H
设x是方程组AHAx=0的非0解，
H H
Ax C
m
则由 ( Ax, Ax) x ( A Ax) 0 得 Ax 0; 反之，Ax 0的解也是AH Ax 0的解；
1 5 2 5
2 5 1 5

第二节 奇异值分解的性质与应用
1.奇异值分解可以降维 A表示 n个 m 维向量，可以通过奇异值 分解表示成 远小于
r m n 维向量 个 .若A的秩 r 远
m 和 ,n 则通过奇异值分解可以降低 mn A的维数.可以计算出，当 r 时， m n 1
第一节
奇异值分解
mn nn 定理：设 A Crmn r 0, 则存在 S Cm , T Cn , 使得
Ir SAT 0
0 0
右式称为矩阵A的等价标准型
酉等价：设 A, B C mn , 若存在m阶酉矩阵U和n阶酉矩阵
H U AV B, 则称A与B酉等价。 V，使得
1 5 2 5
,
2 5 取 V2 1 , 则 V (V1 ,V2 ) 5
1 5 2 5
2 5 1 5

因此 A UAV
H
5 0 1 0 0 0 1 0 0 0 0 0 1 0 0
的加权和，其中权系数按递减排列：
A u v u v u v
T 1 1 1 T 2 2 2
T r r r
推荐系统

假设推荐系统中有用户集合有6个用户，即 U={u1,u2,u3,u4,u5,u6}，项目（物品）集合有 7个项目，即V={v1,v2,v3,v4,v5,v6,v7}，用户对 项目的评分结合为R，用户对项目的评分范围 是[0, 5]，如图所示。
记 U （u1，u2， ，un）
则 ( AAH )ui i ui , i 1,2,, n
奇异值分解方法1—利用矩阵AHA求解 1]求矩阵AHA的酉相似对角矩阵及酉相似矩阵V;
2 V H ( AH A)V 0
0 0
2]记
3]令
V (V1,V2 ),V1 C
1 2 r r 1 m 0 1 2 r r 1 n 0
则i i , i 1,2, , r
即： AHA与AAH非0特征值相同，并且非零特 征值的个数为 rank ( A)
奇异值的定义
设A Crmn , 且A H A的特征值为
1]先求矩阵AAH的酉相似对角矩阵及酉相似矩阵U;
2 U H ( AAH )U 0
0 0
mr
2]记 U (U1 ,U 2 ),U1 C
3]令
,V2 C
m( mr )
,
V1 AHU11 C nr
4]扩充V1为酉矩阵V=(V1 ,V2) 5] 构造奇异值分解
H U1HU1 I r ，U2 U1 O
于是可得
H U O H H 1 U AV U ( AV1，AV2 ) H (U1 ，O ) O O U 2
O H H H H AU V u v u v u v 1 1 1 2 2 2 r r r O O