奇异值分解

将上述两个式子代入（6.3.22）得
（6.3.25）
将上述式子展开，不难发现 z1 与 c 1 必须满足
z1 c1
2
(6.3.26)
而向量 z 2 与 c 2 取任意值都是方程式（6.3.25）的解，即 z 2 与 c 2 的取值是任意的。 2 由于 2 非奇异，于是用 左乘式（6.3.26），解出z1 为 （6.3.27）
AQ1 , Q2Qn B
(6.3.36)
(6.3.37)
• 这就是说，可以用酉矩阵的乘积来逼近矩阵A的右 奇异向量构成的矩阵X。因此，对矩阵A的奇异值 分解的过程，就是寻求一系列的酉矩阵 Q1 , Q2Qn 使得矩阵 AQ1 , Q2Qn B 列向量间相互正交，且 右奇异向量构成的矩阵X为式（6.3.7），而奇异 值的平方为式（6.3.5）。
6.3.4奇异值分解迭代计算简介
• 给定矩阵A，如何实现高精度奇异值分解，以及对应的右 奇异向量与左奇异向量，这是奇异值分解的数值计算问题 。在实际工程中，通常需要实时的矩阵A进行奇异值分解 ，这里简要介绍一种常用的奇异值分解迭代算法—— Hestense SVD算法。 0 • 根据 Y H AX
用奇异值分解求解最小二乘问题
矩阵的奇异值分解定理
奇异值分解与特征值分解的关系
用奇异值分解求解确定性正则方程
奇异值分解迭代计算简介
6.3.1矩阵的奇异值分解
奇异值的定义
设A C
mn r
, 且A A的特征值为
H
1 2 r r 1 m 0
称 i
Y A 0 2
H
03 H X 01
(6.3.8)
利用式（6.3.4），不难证明
(6.3.9)
类似的其向量形式为 •
(6.3.10)
6.3.2 奇异值分解与特征值分解的关系
• 由于YHY=YYH=I,式6.3.1可以改写成
（6.3.11）
(6.3.12)
• 所以
T H 03 H 0 H 2 A A X T T Y Y X 0 2 01 0 3 01
• AHA是非奇异的
• 由于 AH A C MXM 是非奇异的，即AHA的秩K=M,则AHA有M个非零特征值， 或矩阵A有M个非零奇异值。此时式（6.3.11）可表示为 H A Y X 0
， M )而 • 其中，0是（L-M)XM的零矩阵， diag( 1， 2，
1 2 M 0 是A的M个奇异值。与式（6.3.14）的推导类似，有
A H A X 2 X H
• 等式两边同时乘以 H 1 • 用 ( A A) 右乘上式得 得
(6.3.15)
•
• 将式（6.3.16）右边展开得 •
（6.3.16） （6.3.17）
• 将上式（6.3.17）带入 • • • 令 AHb, 则上式可表示为
• • 令 • ，则有
(6.3.31)
（6.3.32）
• 当AHA奇异时，最小二乘估计的最小范数解由式（6.3.32）唯一确定。该式 同样表明，这个唯一解是A的右奇异向量xi的线性组合。 • 比较式（6.3.19）和式（6.3.32）不难发现的表达形式本质上是完全一致的 。区别在于，当AHA非奇异时，A有M个非零奇异值对应的右奇异向量xi, i 1， 2， ，M所以有M项求和；而当AHA奇异时，A有K个非零奇异值对应 的右奇异向量xi，i 1， 2， ，K 且K<M,所以只有K个求和项。 • 因此矩阵的奇异值分解为求解确定性正则方程提供了一个统一的途径，即直 接计算A的奇异值分解，而不用考虑AHA是否非奇异，得到右奇异向量xi后 ，再按式（6.3.32）进行线性组合即可得到方程的解，其中求和项数K等于 矩阵A的非零奇异值对应的右奇异向量的个数。 • 算法6.1（基于SVD的LS算法） 步骤1 由N个观测数据u(1),u(2),…，u(N),构造数据矩阵AH，用 d(M),d(M+1),…，d(N)构造向量bH。 1， 2， K ，以及对应 步骤2 计算A的奇异值分解，得到K个非零奇异值 ，xK 的右奇异向量 x1，x2， 步骤3 计算 其中
其中，05是（L-K）X（L-K）的零矩阵。于是LXM复数矩阵A的非零奇 2 2， K， 异值的平方 i ，i 1， 是矩阵AAH的非零特征值，而矩阵A的左奇异 向量yi是对应 的特征向量。 2 ， 2， K， 因此， AHA与AAH有相同的非零特征值 i ，i 1
6.3.3用奇异值分解求解确定性正则方程
ˆ 的范数最小，等价于使z的范数最小。由于z是由确定量z1 这就是说，要使 w 和任意量z 2 构成的，如式（6.3.23）所示，所以，当且仅当分量z 2 =0时，向 量z的范数最小，此时的范数也将取得最小值。
• 令 •
，得方程的解为 （6.3.30）
• 利用式 得 • 将上式代入（6.3.30）得
•
得 （6.3.18）
（6.3.19）
由于式（6.3.19）括号内的项为标量，因此当AHA非奇 异时，确定性正则方程的唯一解 是A的右奇异向量 的线性组合。换句话说，通过对矩阵A进行奇异值分解得 到非零奇异值和右奇异向量 后，就可以方便的得到LS权 向量 ，并且这个解是唯一的。
• AHA是奇异的
AHA奇异，意味着AHA是降秩的。设AHA有K个非零特 征值，并且K<M。设A的奇异值分解为
i
(i 1,2, , r )
为矩阵A的正奇异值，简称奇异 值。
矩阵奇异值分解定理
对任意复矩阵 A C , L=N-M+1,秩为K，那么存在酉矩阵X C MXM 和 酉矩阵 Y C LXL ，使得
LXM
ຫໍສະໝຸດ Baidu
其中
diag 1， 2， .... K
是A的全部非零奇异值，而01，02，03分 别是（L-K)X(M-K),(L-K)XK，KX(M-K)的零矩阵。式6.3.1称为矩阵A 的奇异值分解。
ˆ A H b ，若AHA是非奇异的， • 对于确定性正则方程 A H Aw ˆ ( A H A若 w ) 1 A H b 那么利用矩阵求逆可以直接得到唯一解 ˆ AHA是奇异的，则 的解不是唯一的。 w • 下面分两种情况讨论求解确定性正则方程： • 1. AHA是非奇异的 • 2. AHA是奇异的
(6.3.13)
（6.3.14）
H MXM 其中04是（M-K)X(M-K)的零矩阵。由于 A A C ,因此，式（6.3.14） 就是方阵AHA的特征值分解。式（6.3.14）表明，LXM复数矩阵A的非零 奇异值的平方 i2，i 1 正是矩阵AHA的非零特征值，而矩阵A的 ， 2， K， 右奇异向量xi是对应的特征向量。 同样道理，由于， H 0 3 H 0T H 2 AA Y X X T Y T 0 2 01 0 3 01
0 0
0
• 由于Y是酉矩阵，于是用Y左乘上式，有
• 考虑YHY=I,而
是对角矩阵，所以矩阵
2 B B Y Y 0 0
H H 0 H
• (6.3.34) • 是MXM的实对角阵。因此矩阵B的列向量相互正交。设
2， M 是B的列向量，于是由式（6.3.34）有 • 其中 bi，i 1，
将上式代入确定性正则方程 • 经过化简得到：
将上式两边经过左乘XH ，再利用向量X和Y的的分块表达 式可以重写上式为 2 0 X 1H 0 Y1H ˆ H b H w （6.3.22） 0 0 Y2 0 0 X 2
H H ˆ ，z 2 X 2 ˆ ，c1 Y1H b，c2 Y2H b w 为了简化符号表示，令 z1 X 1 w 于是有 z1 c1 H ˆ z X w （6.3.23） c Y H b （6.3.24） z2 c 2
于是可以将确定性正则方程的解表示为
z1 ˆ Xz X w z2
（6.3.28）
其中， z1 的解是确定的，而 z 2 的取值是任意的。 因此如果AHA奇异，利用确定性正则方程求解最小二乘时，有无穷多组解。 显然，这是由于在线性方程组中，独立方程个数小于未知个数所带来的必然 结果。 如果希望在AHA奇异时，最小二乘估计有唯一确定的解，那么必须增加某种 约束条件，求出在满足该约束条件下的唯一解。如6.1节所述，w ˆ 的最小范数 解是唯一的。 2 ˆ w ˆ 的范数平方 观察 w ，由 ，并且考虑到X是酉矩阵，有 (6.3.29)
1 2 K 0
• 将矩阵X和Y表示成向量形式，
Y y1，y 2， y L C LXL X x1，x2， ， x M C MXM
其中X的第i列到Xi，i=1,2,..,M称为矩阵A 的右奇异向量，Y的第i列到Yi, i=1,2,..,L,称 为矩阵A的左奇异向量。
0 0
bi
2
i2
i 1， 2， M
i, j 1， 2， M , i j b iH b j 0 • （6.3.35） • 根据式（6.3.33），对A右乘一系列的酉矩阵 Q1 , Q2Qn ，使得到的矩 阵的任意列向量相互正交，即
• • 比较式（6.3.33）和式（6.3.36）显然有 •
• 将矩阵X和Y分块得
• 其中
• 由于YYH=I,利用Y左乘式（6.3.1）得
• 将式（6.3.4）代入上式，有
AX 1
X 2 Y1
Y2 0 2
03 01
展开后有
(6.3.6)
将式（6.3.6）写成向量形式，则 (6.3.7) 由于XXH=I,用XH右乘式（6.3.1），得