第二章 矩阵变换和计算

第二章 矩阵变换和计算一、内容提要本章以矩阵的各种分解变换为主要内容，介绍数值线性代数中的两个基本问题：线性方程组的求解和特征系统的计算，属于算法中的直接法。

基本思想为将计算复杂的一般矩阵分解为较容易计算的三角形矩阵. 要求掌握Gauss （列主元）消去法、矩阵的（带列主元的）分解、平方根法、追赶法、条件数与误差分析、QR 分解、Shur 分解、Jordan 分解和奇异值分解.LU (一) 矩阵的三角分解及其应用1．矩阵的三角分解及其应用考虑一个n 阶线性方程组的求解，当系数矩阵具有如下三种特殊形状：对角矩阵，下三角矩阵b Ax =D L 和上三角矩阵U ，这时方程的求解将会变得简单.⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=n d d d D O21, , . ⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=nn n n l l l l l l L L OM M 21222111⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=nn n n u u u u u u U M O L L 22212111对于，可得解为,b Dx =i i i d b x /=n i ,,2,1L =. 对于，可得解为,,b Lx =1111/l b x =ii i k k iki i l x lb x /)(11∑−=−=n i ,,3,2L =.对于，可得解为,,b Ux =nn n n l b x /=ii ni k k iki i l x lb x /)(1∑+=−=1,,2,1L −−=n n i .虽然对角矩阵的计算最为简单，但是过于特殊，任意非奇异矩阵并不都能对角化，因此较为普适的方法是对矩阵进行三角分解.1）．Gauss 消去法只通过一系列的初等行变换将增广矩阵化成上三角矩阵，然后通过回代求与同解的上三角方程组)|(b A )|(c U b Ax =c Ux =的解．其中第步消元过程中，在第步得到的矩阵的主对角元素称为主元.从的第j 行减去第k 行的倍数k 1−k )1(−k A)1(−k kka )1(−k A)1()1(−−=k kkk jk jk a a l （）称为行乘数（子）.n j k ≤<2）．矩阵A 的分解LU 对于n 阶方阵A ，如果存在n 阶单位下三角矩阵L 和n 阶上三角矩阵U ，使得, 则称其为矩阵LU A =A 的分解，也称为Doolittle 分解．Gauss 消去法对应的矩阵形式即为分解, 其中LU LU L 为所有行乘子组成的单位下三角矩阵, 为Gauss 消去法结束后得到的上三角矩U阵. 原方程组分解为两个三角形方程组.b Ax =⎩⎨⎧==yUx bLy 3）．矩阵分解的的存在和唯一性LU 如果阶矩阵n A 的各阶顺序主子式),,2,1(n k k L =D 均不为零, 则必有单位下三角矩阵L 和上三角矩阵U ，使得, 而且LU A =L 和U 是唯一存在的．4）．Gauss 列主元消去法矩阵每一列主对角元以下（含主对角元）的元素中, 绝对值最大的数称为列主元. 为避免小主元作除数、或作分母，在消元过程中，每一步都按列选主元的Guass 消去法称为Gauss 列主元消去法．由于选取列主元使得每一个行乘子均为模不超过1的数，因此它避免了出现大的行乘子而引起的有效数字的损失.05）．带列主元的分解LU Gauss 列主元消去法对应的矩阵形式即为带列主元的分解,选主元的过程即为矩阵的行置换. 因此, 对任意阶矩阵LU n A ，均存在置换矩阵、单位下三角矩阵P L 和上三角矩阵U ，使得．由于选列主元的方式不唯一, 因此置换矩阵也是不唯一的. 原方程组两边同时乘以矩阵得到LU PA =P b Ax =P Pb PAx =, 再分解为两个三角形方程组.⎩⎨⎧==y Ux PbLy 5）．平方根法(对称矩阵的Cholesky 分解)对任意阶对称正定矩阵n A ，均存在下三角矩阵L 使TLL A =，称其为对称正定矩阵A 的Cholesky 分解. 进一步地, 如果规定L 的对角元为正数，则L 是唯一确定的．原方程组分解为两个三角形方程组.b Ax =⎩⎨⎧==y x L bLy T 利用矩阵乘法规则和L 的下三角结构可得21112⎟⎟⎠⎞⎜⎜⎝⎛−=∑−=j k jk jj jj l a l , , i=j +1, j +2,…,n , j =1,2,…,n . jj j k jk ik ij ij l l l a l /11⎟⎟⎠⎞⎜⎜⎝⎛−=∑−=计算次序为．由于nn n n l l l l l l l ,,,,,,,,,2322212111L L L jj jk a l ≤，k =1,2,…,j ．因此在分解过程中L 的元素的数量级不会增长，故平方根法通常是数值稳定的，不必选主元．6）．求解三对角矩阵的追赶法对于三对角矩阵, 它的分解可以得到两个只有两条对角元素非零的三角形矩阵⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛=−−−n n n n n b a c b a c b a c b 11122211O O O A LU⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛=⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛=−−n n n n u d u d u d u l l l 11221132,1111OO O O U L . 其中⎪⎪⎩⎪⎪⎨⎧=−====−==−−ni c l b u n i u a l b u n i c d i i i i i i i i i ,,3,2,,,3,2,/1,,2,1,1111L L L 计算次序是. 原方程组分解为两个三角形方程组. 计算公式为n n u l u l u l u →→→→→→→L 33221b Ax =⎩⎨⎧==y Ux bLy n i y l b y b y i i i i ,,3,2,,111L =−==−,.1,,2,1,/)(,/1L −−=−==+n n i u x c y x u y x i i i i i nn n该计算公式称为求解三对角形方程组的追赶法．当A 严格对角占优时，方程组可用追赶法求解, 解存在唯一且数值稳定．b Ax =7）．矩阵的条件数设A 为非奇异矩阵，⋅为矩阵的算子范数，称1)(cond −=A A A 为矩阵A 的条件数．矩阵的条件数是线性方程组b Ax =, 当A 或的元素发生微小变化，引起方程组解的变化的定量描述, 因此是刻画矩阵和方程组性态的量. 条件数越大, 矩阵和方程组越为病态, 反之越小为良态.常用的矩阵条件数为b ∞-条件数: ∞−∞∞=1)(cond A A A ，1-条件数: 111)(cond −=A A A ，2-条件数: )()()(cond min max 2122A A A A AAA H H λλ==−．矩阵的条件数具有如下的性质： (1) ;1)(cond ≥A (2) ;)(cond )(cond 1−=A A (3) )(cond )(cond A A =α，0≠α，R ∈α;(4) 如果为正交矩阵，则U 1)(cond 2=U ，)(cond )(cond )(cond 222A AU UA ==.一般情况下，系数矩阵和右端项的扰动对解的影响为定理 2.5 设，b Ax =A 为非奇异矩阵，为非零向量且b A 和b 均有扰动．若A 的扰动非常小,使得δA 11<−A A δ，则)()(cond 1)(cond bδbA δA AAA A xδx+−≤δ. 关于近似解的余量与它的相对误差间的关系有定理2.6 设b Ax =，A 为非奇异矩阵，b 为非零向量，则方程组近似解x ~的事后估计式为bx A b A x x x b x A b A ~)cond(~~)cond(1−≤−≤−. 其中称x A b ~−为近似解x ~的余量，简称余量。

8）．矩阵的QR 分解利用正交变换保条件数的性质, 将满秩矩阵化为主对角元都大于零的上三角矩阵, 保持矩阵条件数不变.设A 是阶可逆实矩阵, 则存在正交阵Q 和对角元都大于零的上三角阵n R ，使得, 称其为矩阵QR A =A 的分解, 并且QR )(cond )(cond 22R A =.为实现矩阵一般的分解，我们引入Householder 矩阵QR ΤΤ−=ωωωωI ωH 2)(, 其中. 该矩阵具有如下性质：0,≠∈ωωn R （1） 特征值为：)(21))((T T H ωωλωωωλ−= 即，121−=−ωωωωT T ，；321L 1,,1个1−n （2） , 即H 阵为对称阵； )()(ωH ωH =Τ（3） ，即H 阵为正交阵； n I ωH ωH =Τ)()(（4） 如果，则y x ωH =)(22x y= (不变长度，镜面反射)；（5） 设且nn x x x R ∈=Τ),,,(21L x 0x ≠，取12e x x ω−=，则（6） .00)()(12212e x x x e x x H ωH =⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=−=M x 提示：Householder 变换并不是直接变换n 阶矩阵A , 而是通过重复变换矩阵的下三角部分的列向量得到上三角矩阵, 因此, 每次变换的Householder 矩阵在逐渐降阶, 然后将它们分别“嵌入”阶单位矩阵得到相应的阶正交阵, 最后得到正交阵)(,),(),(1-n 21ωH ωH ωH L n n 1-n 21Q Q Q ,,,L 1-n 21Q Q Q Q ,,,L =.具体变换过程见例子.(二) 特殊矩阵的特征系统特征系统即为矩阵的特征值和特征向量, 本节主要介绍与其计算相关的Schur 分解. 矩阵变换的思想主要为两点: 一是三角矩阵的主对角元素即为其所有特征值, 二是矩阵的特征多项式和特征值在相似变换下是不变的. 因此, 理论上获得矩阵特征值的方法就是通过相似变换将其变为一个三角矩阵.Schur定理:设，则存在酉阵使得nn A ×∈C nn U ×∈C H URU A =, 其中为上三角矩阵．n n R ×∈C 由于实矩阵的特征值可能是复数, 因此通常在复数域中考虑Schur 分解. 复数域中相应的矩阵名称及记号为:U 的共轭转置: T H U U =, 它在实数域即为转置矩阵. U 为酉阵: 若, 它在实数域即为正交阵.I UU U U H H ==A 为正规矩阵: 若H H AA A A =.常见的Hermite 阵（A A =H ）、实对称矩阵（A A =T）、斜Hermite 阵（A A −=H）、实反对称矩阵（A A −=T）、酉阵（I AA A A ==HH）和正交矩阵（I AA A A ==TT）等均为正规矩阵． Schur 分解的一些特殊情况如下:z 上三角矩阵R 为正规矩阵当且仅当R 为对角矩阵.z 阶方阵n A 为正规矩阵当且仅当存在酉阵U 使得,H UDU A =D 为阶对角阵. n z 阶方阵n A 为Hermite 阵当且仅当存在酉阵U 使得,H UDU A =D 为阶实对角阵. n z 阶方阵n A 为酉阵当且仅当存在酉阵U 使得,H UDU A =D 为n 阶对角阵,且对角元的模均为1.(三) 矩阵的Jordan 分解介绍矩阵的每一个特征值有两个重要的指标: 代数重数和几何重数. 一个特征值作为矩阵多项式的根个重数称为代数重数; 它对应的特征子空间的维数称为几何重数. 它们分别刻画了特征值在矩阵特征系统中的代数和几何的性质. 一般有, 代数重数几何重数. 当一个特征值的代数重数几何重数, 称它为半单的; 而当代数重数几何重数时称它为亏损的.≥=>n 阶方阵A 可对角化当且仅当它的所有特征值都是半单的, 此时称A 为单纯矩阵; 否则, A 不可对角化当且仅当它有亏损的特征值, 此时称A 为亏损矩阵.对于亏损矩阵, 只能将其经过相似变换为一个三角矩阵, 即为其Jordan 标准型. Jordan 标准型是一个块对角矩阵，每一个块称为Jordan 块, 其对角元便为矩阵的特征值．所谓矩阵A 的Jordan 分解即为通过可逆变换矩阵T 化为与之相似的Jordan 标准型, 使得.J 1−=TJT A 1. 关于Jordan 标准型．对于特征值J i λ, 它的代数重复度就是Jordan 标准型中以i λ为特征值的Jordan 块阶数的和，而其几何重复度（即与i λ相对应的线性无关的特征向量的个数）恰为以i λ为特征值的Jordan 块的个数．中以J i λ为特征值、阶数为l 的Jordan 块的个数为,其中, ．l l l r r r 211−+−+l i l I r )(rank A −=λn I I r i ==−=)(rank )(rank 00A λ)2. 关于变换矩阵T 可以通过Jordan 链得到． 将T 按的对角线上的Jordan 块相应地分块为, 其中T J (k T T T T ,,,21L =i 为n ×n i 型矩阵．记()in iii i t t t T ,,,21L =, 则, ⎪⎪⎩⎪⎪⎨⎧+=+==−i n i n i i n i i i i ii i i i i112211t t At t t At t At λλλM ni j C t ∈k i ,,2,1L =, i n j ,,2,1L =我们称向量为关于特征值in iii t t t ,,,21L i λ的长度为的Jordan 链．显然该Jordan 链的第一个向量就是矩阵i n A 的关于特征值i λ的特征向量，称其为链首．而链中的第j 个向量则可由等价的方程()i ij ij n i n j ,,3,2,1L ==−−t t I A λ （2-45）求出．但是应当注意:1) Jordan 链的链首不仅要求是一个特征向量，而且还要求利用（2-45）可以求出Jordan 链中的其它向量(即不是任何一个特征向量都可作为Jordan 链的链首).i1t i n ii t t ,,2L 2) 对应于某个特征值i λ 的Jordan 链虽然一定存在，但当与i λ 相对应的线性无关的特征向量的个数大于或等于2时，关于特征值i λ的特征向量中的任何一个有可能都不能作为链首.因此我们必须从i λ的特征子空间中选取适当的向量作为Jordan 链的链首．(四) 矩阵的奇异值分解对于方阵,利用其特征值和特征向量可以刻画矩阵的结构.对非方阵情形,这些方法已经不适用.而推广的特征值--矩阵的奇异值分解理论能改善这种情况. 利用奇异值和奇异向量不仅可以刻画矩阵的本身结构,而且还可以进一步刻画线代数方程组的解的结构,是构造性的研究线代数问题的有利的工具.设, Hermite 半正定矩阵n m ×∈C A A A H的特征值为021≥≥≥≥n λλλL , 称非负实数i i λσ=)(A ()为矩阵n i ,,2,1L =A 的奇异值．奇异值分解: 设A , 且其秩rank(A )=r , 则存在m 阶、n 阶酉阵U 、V 使得, 其中n m ×∈C HV ΣU A ⎟⎟⎠⎞⎜⎜⎝⎛=000),,,(diag 21r σσσL =Σ，),,2,1(r i i L =σ为矩阵A 的非零奇异值．U 与V 的列向量和分别称为矩阵A 的与奇异值m u u u ,,,21L n v v v ,,,21L i σ对应的左奇异向量和右奇异向量．利用矩阵的奇异值讨论矩阵的性质:(1) 矩阵A 的非零奇异值的个数恰为矩阵A 的秩．(2) , },,,{span )(21r u u u A L =R )(A N },,,{span 21n r r v v v L ++=，其中nm RA ×∈∀,为由},|{)(n m R x y Ax R y ∈∀=∈=A R A 的列向量生成的子空间，称为A 的值域或像空间，即。