奇异值分解及应用 PPT

U
H
( AAH
)U
2 0
00
2]记 U (U1,U2 ),U1 C mr ,V2 C m(mr) ,
3]令 V1 AHU11 C nr
4]扩充V1为酉矩阵 V=(V1 ,V2)
5] 构造奇异值分解
A
U
0
00V H
例 求矩阵A的奇异值分解 利用矩阵AAH求解
1 2 A 0 0
0 0
V (V1 V2 )
其中 V1 ，V2 分别是V 的前 r 列与后 n r 列.
并改写②式为
则有
AH AV
V
2
O
O
O
AH AV1 V1 2， AT AV2 O
③
由③的第一式可得
V1H AH AV1 2， 或者( AV1 1)H ( AV1 1) Ir
由③的第二式可得
( AV2 )H ( AV2 ) O 或者AV2 O
0 0
0 0
1 0 0
1 5
1 5
2 5
,
2
1 2
取
V2
5 1
,
则
V
(V1,V2 )
5 2
5 1
5
5 5
因此 A UAV H
1 0 0 5 0 1 0 0
0 0 1 0
0 0 0
1 5 2 5
2 5
1 5
第二节 奇异值分解的性质与应用
1.奇异值分解可以降维
A表示 n个 m维向量，可以通过奇异值
感谢聆听！
V
H
( AH
A)V
2 0
00
2]记 V (V1,V2 ),V1 C nr ,V2 C n(nr) ,
3]令 U1 AV11 C mr
4]扩充U1为酉矩阵U=(U1 ,U2)
5] 构造奇异值分解
A
U
0
0 0
V
H
例1、求矩阵
A
1 0
0 1
1 1
的奇异值分解
0 0 0
1 0 1
AH
A
矩阵A、B的按从大到小排列的奇异值 i和 i
有
i i
AB 2
3. 奇异值的比例不变性,即 A 的奇异值是A的
奇异值的 倍.
4.奇异值的旋转不变性.即若P是正交阵，PA的 奇异值与A的奇异值相同.
奇异值的比例和旋转不变性特征在数字图 象的旋转、镜像、平移、放大、缩小等几何变 化方面有很好的应用.
AAH
5 0
0 0
0 0 ,
0 0 0
1 5 , 5 ,
AAH的特征值1 5,2 3 0
对应的特征向量分别为
1
0
0
x1 0, x2 1, x3 0;
0
0
1
取 U （x1, x2 , x3）,U1 x1,U 2 （x2 , x3）
令
V1
AHU11
1 2
用AH 替换A, 得 rank(A) rank(AH A) rank(AAH )
设A
C mn r
,
对于Hermite 矩阵AHA， AAH，设
AHA， AAH有r个非0特征值，分别记为
1 2 r r1 m 0 1 2 r r1 n 0
则i i , i 1,2,, r
证明 AAH (UDV H )(UDV H )H
UDV HVDU H UD2U H
(AAH )U UD2 Udiag(1, 2,, r ,0,,0)
记 U （u1，u2，，un） 则 (AAH )ui iui , i 1,2,, n
奇异值分解方法1—利用矩阵AHA求解
1]求矩阵AHA的酉相似对角矩阵及酉相似矩阵V;
0
1
1
1 1 2
可求得AH A 的特征值为 1 3, 2 1, 3 0,
对应的特征向量依次为 x1 1,1,2T ,x2 1,1,0T , x3 1,1,1T ,
于是可得：rankA 2,
3 0
10,
令 V V1,V2 ,
其中
V1
1 6 x1,
1 2
x2
,
V2
1 3
x3
1 2
引理1
设A C mn , AH A与AAH的特征值均为非负实数 。
证明 设是AHA的特征值，x是相应的特征向量， 则 AHAx= x
由于AHA为Hermite 矩阵，故是实数。又
0 (Ax, Ax) (Ax)H ( Ax) xH x xH x 0, 0
同理可证AAH的特征值也是非负实数。
计算：
U1
AV11
1 2
0
1
2 1
2
0
构造：U2 0,0,1T 则
1 1 0
2 2
U
U1,U2
1 2
1 2
0
0 0 1
A 的奇异值分解为
3 0 0
A U 0 1 0V T
0
0 0
奇异值分解方法2--利用矩阵AAH求解 1]先求矩阵AAH的酉相似对角矩阵及酉相似矩阵U;
即： AHA与AAH非0特征值相同，并且非零特 征值的个数为rank( A)
奇异值的定义
设A Crmn , 且AH A的特征值为
1 2 r r1 m 0
称i i ,i 1,, r,为矩阵A的正奇异值，
简称奇异值
说明：A的正奇异值个数等于rank( A)，并且A与AH有相同的奇
异值。
定理 酉等价的矩阵有相同的奇异值
证明
设A,
B
C mn r
,
A与Fra Baidu bibliotek酉
等
价,
则
存在酉矩阵U Cmm,V Cnn , 使
A UBV
由 AH A （UBV）H (UBV ) V H BH BV ,
所以AH A与BH B是酉相似的，有相同特征值， 故A与B有相同的奇异值。
奇异值分解定理
设A是秩为 r(r 0) 的 m n 矩阵, 则存在 m 阶酉矩阵 U与 n 阶酉矩阵V ,
使得
U H AV
O
O O
S
①
其中 diag(1, 2 , , r ) (i 1, 2, , r)
1 r 0 为矩阵A的全部奇异值.
证明 设矩阵AH A 的特征值为
1 2 r r1
n 0
则存在n阶酉矩阵V ，使得
1
V
H ( AH A)V
n
2
O
O
O
②
将 V 分块为
是m阶正交矩阵,且有
U1HU1 Ir ，U2HU1 O
于是可得
U H AV
U H ( AV1，AV2 )
UU12HH
(U1
，O)
O
O O
A
U
O
OOV H 1u1v1H 2u2v2H
rurvrH
称上式为矩阵A的奇异值分解.
推论 在矩阵A的奇异值分解A=UDVH中，U的列向量 为AAH的特征向量， V的列向量为AHA的特征向量.
推荐系统的目标就是预测出符号“？”对应位 置的分值。推荐系统基于这样一个假设：用户 对项目的打分越高，表明用户越喜欢。因此， 预测出用户对未评分项目的评分后，根据分值 大小排序，把分值高的项目推荐给用户。
矩阵分解目标就是把用户-项目评分矩阵R分解 成用户因子矩阵和项目因子矩阵乘的形式，即 R=UV，这里R是n×m， n =6， m =7，U是n×k， V是k×m，如图所示。
奇异值分解及应用
第一节 奇异值分解 定理：设 ACrmn r 0, 则存在S Cmmn ,T Cnnn , 使得
SAT Ir 0 右式称为矩阵A的等价标准型
0 0
酉等价：设 A, B C mn , 若存在m阶酉矩阵U和n阶酉矩 阵
V，使得U H AV B, 则称A与B酉等价。
矩阵的奇异值分解就是矩阵在酉等价下的一种标准型。
引理2
设A
C mn r
,
则rank
(
AH
A)
rank
(
AAH
)
rank
(
A)
证明 设x是方程组AHAx=0的非0解，Ax C m
则由 (Ax, Ax) xH (AH Ax) 0 得 Ax 0;
反之，Ax 0的解也是AH Ax 0的解；
因此,线性方程组 Ax 0与AH Ax 0同解。
故 rank(A) rank(AH A)
分解表示成 m 个n 维r 向量.若A的秩 r 远
远小于 m和 ,n则通过奇异值分解可以降低
A的维数.可以计算出，当 r mn 时， m n 1
可以达到降维的目的，同时可以降低计算机 对存贮器的要求.
2. 奇异值对矩阵的扰动不敏感
特征值对矩阵的扰动敏感.
在数学上可以证明，奇异值的变化不会超
过相应矩阵的变化，即对任何的相同阶数的实
5. 容易得到矩阵A的秩为 k k r 的一个最佳逼
近矩阵. A是矩阵
1 2 r 0
的加权和，其中权系数按递减排列：
A 1u1v1T 2u2v2T rurvrT
推荐系统
假设推荐系统中有用户集合有6个用户，即 U={u1,u2,u3,u4,u5,u6}，项目（物品）集合有7 个项目，即V={v1,v2,v3,v4,v5,v6,v7}，用户对项 目的评分结合为R，用户对项目的评分范围是 [0, 5]，如图所示。
令 U1 AV1 1 ，则U1HU1 Ir，即 U1的r个列是两两正交的 单位向量.记
U1 (u1, u2 , , ur )
因此可将 u1, u2 , , ur 扩充成标准正交基，记
增添的向量为 ur1, , um，并构造矩阵
U2 (ur1, , um )
则
U (U1,U2) (u1, u2, , ur , ur1, , um)