矩阵分析---第五章 向量与矩阵的范数
教材第五章矩阵分析
第五章 矩阵分析本章将介绍矩阵微积分的一些内容．包括向量与矩阵序列的收敛性、矩阵的三种导数和矩阵微分与积分的概念，首先简要介绍向量与矩阵范数的有关知识．§5.1 向量与矩阵的范数从计算数学的角度看，在研究计算方法的收敛性和稳定性问题时，范数起到了十分重要的作用．一、向量的范数定义1 设V 是数域F 上n 维(数组)向量全体的集合，x 是定义在V 上的一个实值函数，如果该函数关系还满足如下条件1)非负性 对V 中任何向量x ，恒有0x ≥，并且仅当0=x 时，才有x =0；2)齐次性 对V 中任意向量x 及F 中任意常数k ，有;x k kx = 3)三角不等式 对任意V y x ∈,，有y x y x +≤+，则称此函数x (有时为强调函数关系而表示为⋅) 为V 上的一种向量范数．例1 对n C 中向量()T n x x x x ,,,21 =，定义222212nx x x x+++=＝H x x ，则2x 为n C 上的一种向量范数[i x 表示复数i x 的模]，称为2-范数．证 首先，2n x C 是上的实值函数，并且满足1)非负性 当0x ≠时，0x >；当0x =时，0x =； 2)齐次性 对任意k C ∈及n x C ∈，有2221222||||||||n kx kx kx kx k x =+++= ；3)三角不等式 对任意复向量1212(,,,),(,,,)T T n n x x x x y y y y == ，有222221122||||||||n n x y x y x y x y +=++++++2221122()()()n n x y x y x y ≤++++++22111||2||||||nnni i i i i i i x x y y ====++∑∑∑ (由Cauchy-ВуНЯКОВСКИЙ不等式)222222222||||2||||||||||||(||||||||),x x y y x y ≤++=+因此 222||||||||||||x y x y +≤+． 所以2||||x 确为n C 上的一种向量范数． 例2 对n C [或n R ]上向量12(,,,)T n x x x x = 定义 112||||||||||n x x x x =+++ ， 1m a x i i nxx ∞≤≤=，则1||||x 及x ∞都是n C [或n R ]上的向量范数，分别称为1-范数和∞-范数．证 仅对后者进行证明． 1)非负性 当0x ≠时，max 0i ixx ∞=>，又显然有00∞=；2)齐次性 对任意向量()T n x x x x ,,,21 =及复数k ， m a x m a x ;i i iikxkx kx k x∞∞===3)三角不等式 对任意向量1212(,,,),(,,,),T T n n x x x x y y y y ==()i i ii i iy x y x yx +≤+=+∞max maxi ii iy x m a x m a x+≤ =∞∞+y x ．综上可知∞x 确为向量范数．上两例中的∞x x x ,,21是常用的三种向量范数．一般地，对于任何不小于1的正数p ，向量()T n x x x x ,,,21 =的函数pni p i px x11⎪⎭⎫ ⎝⎛=∑= 也构成向量范数，称为向量的p -范数．注：(1)当1p =时，1pxx =；(2)当2p =时，2x 为2-范数，它是酉空间范数；当i x 为实数时，12221()ni i x x ==∑为欧氏空间范数．由p -范数的存在，可知向量的范数有无穷多种，而且向量的范数并不仅限于p -范数．在验证向量的范数定义中，三角不等式的过程中常涉及到两个著名的不等式，即1、Hölder 不等式 设正实数,p q 满足111,p q+=则对任意的,,n x y C ∈有 11111()()nnnp q pqi ii i i i i x yx y ===≤∑∑∑．2、Minkowski 不等式 对任意实数1p ≥，及,,n x y C ∈有111111()()()nnnpp ppppi i i i i i i x y x y ===+≤+∑∑∑．例3 设()Tx 1,,1,1 =为n 维向量，则1,,21===∞xn x n x ．各种范数值差距很大．但是，各种范数之间却存在着内在的制约关系，称为范数的等价性．定理1 设βα⋅⋅,为有限维线性空间V 的任意两种向量范数(它们不限于p -范数)，则存在正的常数12,C C ，使对一切向量x ，恒有βαβx C xxC 21≤≤． (1)证 如果范数x α和x β都与一固定范数，譬如2-范数2x 满足式(1)的关系，则这两种范数之间也存在式(1)的关系，这是因为若存在正常数12,C C ''和12,C C ''''，使 1222122,C x x C x C xx C x αββ''≤≤''''≤≤成立，则显然有1122||||||||||||C C x x C C x βαβ''''''≤≤． 令111222,C C C C C C ''''''==，则得式(1)，因此只要对2β=证明式(1)成立即可．设V 是n 维的，它的一个基是12,,,n x x x ，于是V 中的任意向量x 可表示为1122n n x x x x ξξξ=+++ ．从而，1122n n x x x x ααξξξ=+++ 可视为n 个变量12,,,n ξξξ 的函数，记为12(,,,)n x αϕξξξ= ，易证12(,,,)n ϕξξξ 是连续函数，事实上，若令1122n n x x x x V ξξξ''''=+++∈ ，则 12(,,,)n x αϕξξξ''''= ． 1212(,,,)(,,,)n n x x x x αααϕξξξϕξξξ'''''-=-≤-11111()()nn n nn n x x x x αααξξξξξξξξ''''=-++-≤-++- ． 由于ix α(1,2,,)i n = 是常数，因此i ξ'与i ξ充分接近时，12(,,,)n ϕξξξ''' 就与12(,,,)n ϕξξξ 充分接近，所以12(,,,)n ϕξξξ 是连续函数．所以在有界闭集{}2221212(,,,)1n S ξξξξξξ=+++= 上，函数12(,,,)n ϕξξξ 可达到最大值2C 及最小值1C ．因为在S 中，i ξ不能全为零，所以10C >．记向量1212222nn y x x x xxxξξξ=+++，则其坐标分量满足222122221nxxxξξξ+++= ，因此，y S ∈．从而有11122220,,n C yC x x x αξξξϕ⎛⎫<≤=≤ ⎪ ⎪⎝⎭．但2,xy x =故122x C C x α≤≤．即 1222C x x C x α≤≤．二、矩阵的范数定义2 设V 是数域F 上所有n m ⨯矩阵的集合，A 是定义在V 上的一个实值函数，如果该函数关系还满足如下条件：对V 中任意矩阵A 、B 及F 中任意常数k 总有1)非负性 0≥A ，并且仅当0=A 时，才有0=A ；2)齐次性 A k kA =；3)三角不等式 B A B A +≤+， 则称()⋅A是V 上的一种矩阵范数．例4 对n m C ⨯(或n m R ⨯)上的矩阵()ij A a =定义∑∑===m i nj ij M a A111，∑∑===mi nj ijM a A1122，11max ij M i m j nAa ∞≤≤≤≤=，则∞⋅⋅⋅M M M ,,21都是n m C ⨯(或n m R ⨯)上的矩阵范数．实用中涉及较多的是方阵的范数，即m n =的情形．定义 3 设F 是数域，⋅是n n F ⨯上的方阵范数．如果对任意的,n n A B F ⨯∈，总有AB A B ≤⋅，则说方阵范数⋅具有乘法相容性．注意 在某些教科书上，往往把乘法相容性直接纳入方阵范数的定义中作为第4个条件，在读书时，只要注意到各自定义的内涵就可以了．例5 对n n C ⨯上的矩阵][ij a A =，定义ij nj i a n A ≤≤⋅=,1max ，则⋅是一种矩阵范数，并且具备乘法相容性．证 非负性与齐次性显然成立，另两条证明如下． 三角不等式ij ij b a n B A +⋅=+max()m a x m a x i j i j n a b ≤+B A +=； 乘法相容性⎪⎭⎫⎝⎛⋅≤⋅=∑∑==n k kj ik nk kj ik b a n b a n AB 11max max()()B A b n a n ij ij =⋅≤max max ， 证得A 为矩阵范数且具有乘法相容性．并不是所有的方阵范数都具有乘法相容性．例如对于22⨯R 上的方阵范数.M ∞就不具备相容性条件．此时ij j i M a A2,1max ≤≤=∞．取1110,0111A B ⎛⎫⎛⎫== ⎪ ⎪⎝⎭⎝⎭，则有1==∞∞M M BA，而2M M M ABAB∞∞∞=>．定义4 如果n 阶矩阵A 的范数A 与n 维向量x 的范数x ，使对任意n 阶矩阵A 及任意n 维向量x 均有x AAx ≤，则称矩阵范数A 与向量范数x 是相容的．定理2 设x 是某种向量范数，对n 阶矩阵A 定义Ax xAx A x x 1max max=≠== (2)则A 为方阵范数，称为由向量范数x 导出的矩阵范数，而且它具有乘法相容性并且与向量范数x 相容．证 首先可证，由(2)式定义的函数关系||||A 满足与向量范数||||x 的相容性．对于任意n 阶矩阵A 及n 维向量x ，当0x ≠时，有0||||||||max ||||||||||||y Ax Ay A x y ≠≤=， 即 ||||||||||||;Ax A x ≤ (3) 而当0x =时，||||0||||||||Ax A x ==，于是总有(3)式成立．容易验证||||A 满足范数定义中的非负性、齐次性及三角不等式三个条件，因而A 是一种方阵范数．并且，对任意n 阶矩阵,A B ，利用(2)式和(3)式可得00maxmax max x x x A Bx ABx Bx AB A A B x x x≠≠≠=≤==．即说矩阵范数A 具备乘法相容性．一般地，把由向量p -范数p x 导出的矩阵范数记作p A ．下面看常用的三种矩阵范数例6 证明对n 阶复矩阵[]i j A a =，有 1)111max nij j ni A a ≤≤==∑，称为A 的列和范数．2)11max nij i nj A a ∞≤≤==∑，称为A 的行和范数．证 1)设111max n nij ik j ni i w a a ≤≤====∑∑．若A 按列分块为12(,,,)n A ααα=则111max k j j nw αα≤≤==．对任意n 维向量12(,,)T n x x x x = ，有112211221111112111()max .n n n nn jj nAx x x x x x x x x x x w ααααααα≤≤+++≤+++≤+++≤于是，对任意非零向量x 有11Ax w x ≤． 以下证明存在非零向量k e 使11k kAe w e =．事实上，设k e 是第k 个分量为1而其余分量全为0的向量，则1k e =1，且n=11k ik i Ae a w ==∑，即11k kAe w e =．2)的证明与1)相仿，留给读者去完成． 例7 证明对n 阶复矩阵A ，有21max i i nA σ≤≤=，这里()n i i ,,2,1 =σ是A 的奇异值，称此范数为A 的谱范数．证 设H A A 的全部特征根为12,,n λλλ ．不妨设11max i i nλλ≤≤=．于是111max i i nσλσ≤≤==．因为H A A 为H -矩阵，故有酉矩阵U ，使得12n (,),,H H U A AU diag λλλ=Λ= ．如设12(,,,)n U u u u = 则i u 是H A A 相应于特征根i λ的单位特征向量，即有,H i i i A A u u λ= 21iu =．对任意满足2||||1x =的复向量12(,,,)T n x x x x = ，有22||||()()H HAx Ax Ax x ==H U U x Λ．令H y U x =，则222222||||||||||||1H y U x x ===，说明y 亦为单位向量．若设12(,,,)T n y y y y = ，则2221||||||1nii y y ===∑，于是22211||||||n Hi i i Ax y y y λλ==Λ=≤∑．即有12Ax σ≤．由x 的任意性，便得21221max x A Ax σ==≤ ．特别取1x u =，则有211111112H H H Au u A Au u u λλ==＝，即112Au σ=．这说明2Ax 在单位球面{}21,n x x x C =∈上可取到最大值1σ，从而证明了21221max x A Ax σ===．各种矩阵范数之间也具有范数的等价性定理3 设,a A A β是任意两种矩阵范数，则有正实数12,,C C 使对一切矩阵A 恒有12a C AA C A ββ≤≤．§5.2 向量与矩阵序列的收敛性在这一节里，我们将把数列极限的概念，扩展到向量序列与矩阵序列上去．可数多个向量(矩阵)按顺序成一列，就成为一个向量(矩阵)序列．例如()()(12(,,,)k k k T k n x x x x = ，1,2,3,k = 是一个n 维向量序列，记为{}k x ，诸k x 的相应分量则形成数列{}k i x ．定义5 设有向量序列()()()12{}:(,,,)k k k Tk k n x x x x x = ．如果对1,2,,i n = ， 数列(){}k i x 均收敛且有()lim k i i k x x →∞=，则说向量序列{}k x 收敛．如记12(,,,)T n x x x x = ，则称x 为向量序列{}k x 的极限，记为lim k k x x →∞=，或简记为k x x →．如果向量序列{}k x 不收敛，则称为发散．类似于数列的收敛性质，读者不难证明向量序列的收敛具有如下性质．设{},{}k k x y 是n C 中两个向量序列，,a b 是复常数，n ,m A C ⨯∈如果l i m ,l i m k k k k x x y y →∞→∞==，则1lim();2lim .k k k k k ax by ax by Ax Ax →∞→∞>+=+>=定理4 对向量序列{}k x ，x x k =∞→k lim 的充分必要条件是0lim =-∞→x x k k ，其中⋅是任意一种向量范数．证 1)先对向量范数i ni x x≤≤∞=1max 证明定理成立．i k i k k k x x x x =⇔=∞→∞→)(lim lim ，n i ,...,2,1=；,0lim )(=-⇔∞→i k i k x x n i ,...,2,1=；0max lim )(1=-⇔≤≤∞→i k i ni k x x ；0lim =-⇔∞∞→xx k k ．2)由向量范数等价性，对任一种向量范数⋅，有正实数21,b b ，使∞∞-≤-≤-x x b x x x x b k k k 21．令∞→k 取极限即知lim 0lim 0k k k k x x x x∞→∞→∞-=⇔-=．于是定理对任一种向量范数都成立．根据上述定义，向量序列有极限的根本之处在于各分量形成的数列都有极限．由于m n C ⨯中矩阵可以看作一个mn 维向量，其收敛性可以和mn C 中的向量一样考虑．因此，我们可以用矩阵各个元素序列的同时收敛来规定矩阵序列的收敛性．定义6 设有矩阵序列{}n m k ij k k a A A ⨯=][:)(，如果对任何,(1,i j i m ≤≤1j ≤)n ≤均有ij k ij k a a =∞→)(lim ， 则说矩阵序列{}k A 收敛，如令n m ij a A ⨯=][，又称A 为{}k A 的极限．记为,lim A A k k =∞→或A A k →．矩阵序列不收敛时称为发散．讨论矩阵序列极限的性质，以下设所涉及的矩阵为n 阶矩阵． 1) 若A A k k =∞→lim ，{}k a 为数列且a a k k =∞→lim ，则()aA A a k k k =∞→lim ．特别，当a 为常数时，()k k k k A a aA ∞→∞→=lim lim ．2) 若A A k k =∞→lim ，B B k k =∞→lim ，则()B A B A k k k ±=±∞→lim ．3) 若A A k k =∞→lim ，B B k k =∞→lim ，则()AB B A k k k =∞→lim ．4) 若A A k k =∞→lim 且诸k A 及A 均可逆，则{}1-k A 收敛，并且11lim --∞→=A A k k ．容易证明性质1)-3)成立，对性质4)注意到行列式k A 值定义的和式无非是k A 中元素()(,1,2,,)k ij a i j n = 的乘法与加法之组合，再由lim k →∞(),k ij ij a a =即可知lim k k A A →∞=．用()k ij A 表示k A 中(,)i j 元素的代数余子式，用ij A 表示A 中(,i j )元素的代数余子式，便有()lim k ij ij k A A →∞=．进而 **lim k k A A →∞=．这里*k A 是k A 的伴随矩阵，*A 是A 的伴随矩阵．又*1kkk A A A -=， 所以*11lim kk A A A A--→∞==． 定理 5 对于矩阵序列{}k A ，lim k k A A →∞=的充分必要条件是对任何一种矩阵范数⋅，有lim 0k k A A →∞-=．定理5的证明与定理4类似，由于矩阵范数的等价性，只需证明对矩阵范数,max ij i jA a =定理成立，其方法也与定理4的证明一致，这里从略．以下主要介绍范数在特征值估计方面的应用．定义7 设n n A C ⨯∈，1,,,,j n λλλ 为A 的n 个特征值，称()max j jA ρλ=为A 的谱半径．有了谱半径的概念，可以对矩阵范数作如下的初步估计． 定理6 设n n A C ⨯∈，则对n n C ⨯上的任一矩阵范数⋅，皆有()A A ρ≤．证 设λ是A 的特征值，x 为A 的属于特征值λ的特征向量，故0x ≠，所以0x ≠．另设v ⋅是n C 上与矩阵范数⋅相容的向量范数，由Ax x λ=，应有v v Ax x λ=，而v v Ax A x ≤，于是有v v x A x λ≤，同除0v x ≠，有A λ≤．故max jA λ≤，于是()A A ρ≤．定理7 设n n A C ⨯∈，lim 0k k A →∞=的充分必要条件是()1A ρ<．证 对n n A C ⨯∈，由第三章定理15知，存在n 阶的逆矩阵P 使得112(,,,)s P AP J diag J J J -== ，其中10110i ii ii i i n n J λλλλ⨯⎛⎫ ⎪⎪⎪= ⎪ ⎪⎪⎝⎭， 则112(,,)k k k k k s P A P J diag J J J -== ．因此lim 0lim 0lim 0(1,2,,)k k k i k k k A J J i s →∞→∞→∞=⇔=⇔== ．而(1)11()()()()2(1)()()1()2()()i n k i k i k i k i i k i k i ki k i k i k i f f f f n f f J f f f λλλλλλλλλ-⎛⎫''' ⎪- ⎪' ⎪ ⎪⎪= ⎪'' ⎪ ⎪' ⎪⎪⎝⎭！！！，其中()k k f λλ=，因为对任一多项式(),g λ当k →∞时，()01k i i g λλ→⇔<．而1(1,2,,)()1i i s A λρ<=⇔< ．由定理6和定理7即得如下结果．定理8 设n n A C ⨯∈，如果存在n n C ⨯上的一种相容矩阵范数.使1A <，则lim k →∞0k A =．定理9 设λ是n 阶矩阵A 的任一特征根，那么对任一种矩阵范数⋅，都有A λ≤．证 设,A a =则0a ≥，对任意给定的0ε>，令AB a ε=+．于是，若设A 的全部特征根为12,,,,n λλλ 则B 的全部特征根恰是12,,,na a a λλλεεε+++ ．又11aB A a a εε==<++．由定理8知0k B →，再由定理６知1,1,2,,,ii n a λε<=+ 即,1,2,,.i a i n λε<+= 由ε的任意性，令0ε→取极限，便有,1,2,,.i a i n λ≤= 即知对任一特征根λ，有a λ≤．§5.3 矩阵的导数本节讨论三种导数：矩阵对变量的导数、函数对矩阵的导数、矩阵对矩阵的导数．一、函数矩阵对变量的导数如果矩阵中诸元素都是某实变量x 的函数，则称这种矩阵为函数矩阵．它的一般形式是()⎪⎪⎪⎪⎪⎭⎫⎝⎛=)()()()()()()()()(212222111211x a x a x a x a x a x a x a x a x a x A mn m m n n ， 其中()()1,2,,;1,2,,ij a x i m j n == 都是实变量x 的函数．定义8 设函数矩阵()[()]ij m n A x a x ⨯=，如果对一切正整数,i j ，1i m ≤≤1j n ≤≤，均有()0lim ij ij x x a x b →=，则说当0x x →时函数矩阵()A x 有极限，n m ij b B ⨯=][叫做()A x 的极限，记为()0lim x x A x B →=．该定义的实质是如果()A x 的所有各元素()ij a x 在0x 处都有极限，则说()A x 在0x 处有极限．如果()A x 的所有各元素()ij a x 在0x 处连续，即00lim ()()ij ij x x a x a x →=，(1,2,,;1,i m jn == ，则称()A x 在0x x =处连续，且记0lim ()()x x A x A x →=．如果()A x 在某区间[,]a b 上处处连续，则说()A x 在[,]a b 上连续．容易验证下列等式是成立的： 设()()0lim ,lim x x x x A x A B x B →→==，则(1)0lim(()())x x A x B x A B →±=±；(2)()0lim ()x x kA x kA →=；(3)()0lim ()()x x A x B x AB →=．定义9 对于函数矩阵()n m ij x a x A ⨯=)]([，如果所有元素ij a ()x (1,2,i =,;1,2,,)m j n = 在某点x 处[或在某区间上]均可导，则称()x A 在x 处[或在某区间上]可导．导数[或导函数]记为()dA x dx ，简记为()x A '．并规定 ()()()()()()()()()()()111212122212n n m m mn a x a x a x a x a x a x d A x A x dxa x a x a x '''⎛⎫ ⎪''' ⎪'== ⎪ ⎪ ⎪'''⎝⎭， 其中()ija x '表示()x a ij 对x 的一阶导数． 矩阵对变量的导数运算具有如下一些性质1°若函数矩阵()()x B x A ,都可导，则它们的和亦可导，并且()()[]()()x B dxd x A dx d x B x A dx d+=+． 2°若()x A 可导，()f x 是x 的可导函数，则()x f ()x A 可导，且()()[]()()()()x A dx d x f x A x f dx d x A x f dx d +⎥⎦⎤⎢⎣⎡=， 特别地，当()x f 为常数k 时，有()[]()x A dxd k x kA dx d=． 3°若()x A 可导，则()x A T 可导，并且()()TT dx x dA x A dx d ⎪⎭⎫ ⎝⎛=． 4°若()x A ，()x B 可导且二者可乘，则()x A ()x B 亦可导，且()()[]()()()()x B dx d x A x B x A dx d x B x A dx d +⎥⎦⎤⎢⎣⎡=⋅． 推论 若()x A 可导，Q P ,为数字矩阵，则()[]()x A dxd P x PA dx d=， ()[]()Q x A dx d Q x A dx d ⎥⎦⎤⎢⎣⎡=． 5° 若()x A 为可逆的可导函数矩阵，则()x A 1-亦可导，且()[]()()()x A dxx dA x A x A dx d 111----=． 证 因为1()(),A x A x E -=所以111()()[()()]()()0d dA x dA x A x A x A x A x dx dx dx---=+=． 于是111()()()()dA x dA x A x A x dx dx---=-． 函数矩阵的导数本身也是一个函数矩阵，它可以再进行求导运算，下面我们给出函数矩阵对变量的高阶导数22()()()d A x d dA x dx dx dx =， 3232()()()d A x d d A x dx dx dx =，1()()()k k kd A x d d A x dx dx dx-=． 例1 设)(x A 为n 阶可导函数矩阵，求()x A 2的一、二阶导数． 解()()()[]()()()()x A x A x A x A x A x A dxdx A dx d '+'==2 [注意一般 2()2()()d A x A x A x dx'≠]()()()()()[]x A x A x A x A dx dx A dxd '+'=222()()()[]()()x A x A x A x A x A ''+'+''=22．例2 设()()()⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=t x t x t x x n21，其中()t x i 均为t 的可导函数，n n ij a A ⨯=][为n 阶实对称矩阵，求二次型Ax x T 对t 的导数．解 []()x A x x A x Ax x Ax x dtd T T T T'+'+'=．又A 为数字矩阵，故0='A ，又x A x T '为t 的函数．而有()()()Ax x x A x x A x x A x T T TT T T '='='='．所以()x A x Ax x dxd T T'=2． 二、函数对矩阵的导数定义10 设n m ij x X ⨯=][为多元实变量矩阵，()()1111,,,,,,n m mn f X f x x x x =是以X 中诸元素为变量的多元函数，并且偏导数ijx f∂∂()1,2,,;1,2,,i m j n == 都存在，则定义函数)(X f 对矩阵X 的导数为⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=mn m m nn x f x f x f x f x f x f x f x f x f dX df212222111211． 特别，当X 为向量()Tn x x x x ,,,21 =时，函数()n x x x f ,,,21 对x 之导数为()x f x f x f x f dx df Tn ∇=⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂=,,,21 ． 例3 设[]()∑∑==⨯==m i nj ij nm ijx X f x X 112,，求dXdf ． 解2,1,2,,;1,2,,ij ijfx i m j n x ∂===∂ ．X x x x x x x x x x dX df mn m m n n 2222222222212222111211=⎪⎪⎪⎪⎪⎭⎫⎝⎛=．例4 设1122,n n a x a x a x a x ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭，1122()T n n f x a x a x a x a x ==+++ ，则12n a a df a dx a ⎛⎫⎪ ⎪== ⎪⎪⎝⎭． 三、矩阵对矩阵的导数定义11 设矩阵n m kl a A ⨯=][中每一个元素kl a 都是矩阵q p ij b B ⨯=][中各元素(1,2,...,;1,2,...,)ij b i p j q ==的函数，当A 对B 中各元素都可导时，则称矩阵A 对矩阵B 可导，且规定A 对B 的导数为111212122212q q p p pq A A A b b b A A A dA b b b dB A A A b b b ∂∂∂⎛⎫ ⎪∂∂∂ ⎪ ⎪∂∂∂ ⎪∂∂∂= ⎪⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭， 其中111122212212n ij ij ij n ijij ij ij m m mn ijijij a a a b b b a a a A b b b b a a a b b b ∂∂∂⎛⎫⎪∂∂∂ ⎪ ⎪∂∂∂ ⎪∂∂∂∂= ⎪∂⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭，dBdA是一个nq mp ⨯矩阵．例5 设n m ij a A ⨯=][，求dAdA 解 ⎪⎪⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=mn m m n n mn m m n n E E E E E E E E E a A a A a A a A a A a A a A a A a A dA dA212222111211212222111211． 这里),(j i E ij 是元素都是1，其余元素都是0的n m ⨯矩阵．例6 设()n x x x x ,,,21 =，()Tn y y y y ,,,21 =，其中()n i i x x x f y ,,,21 =，()m i ,,2,1 =．如果()1,2,,;1,2,i jy i m j n x ∂==∂ 都存在，则y 对x 可导且⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=⎪⎪⎭⎫ ⎝⎛∂∂∂∂∂∂=n mm m n n n x y x y x y x y x y x yx y x y x y x y x y x y dx dy21222121211121,,． 例7 设12(,,,)n x x x x = ，求Tdx dx．解 111122221212n T n nn n n x x x x x x x x x dx x x x E dxx x x x x x ∂∂∂⎛⎫ ⎪∂∂∂ ⎪⎪∂∂∂ ⎪∂∂∂== ⎪ ⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭． 以下我们考虑向量对向量的导数．设12(,,),n x x x x = 12n y y y y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭，其中12(,)(1,2,,).i i n y f x x x i m == 如果(1,2,,;1,2)ijy i m j n x ∂==∂ 都存在，则y 对x 可导，且 11112222121212(,,,)n n nm m m n y y y x x x y y y dy y y yx x x dx x x x y y y x x x ∂∂∂⎡⎤⎢⎥∂∂∂⎢⎥∂∂∂⎢⎥∂∂∂⎢⎥∂∂∂==⎢⎥∂∂∂⎢⎥⎢⎥∂∂∂⎢⎥⎢⎥∂∂∂⎣⎦(1) 在一些书上，往往对行向量和列向量不加区别，而规定任何一个m 维向量y 对另一个n 维向量x 的导数都以上面(1)式最后的矩阵形式来表达，这主要是为了应用的方便．例8 设数量函数()n x x x f y ,,,21 =的所有二阶偏导数都存在，记()Tn x x x x ,,,21 =，求梯度()dy f x dx ∇=，及海森[Hessian]矩阵22()d yH x dx=．解 12(),,,Tn dy y y y f x dx x x x ⎛⎫∂∂∂∇== ⎪∂∂∂⎝⎭． 222211212222221222222212()n n n n n yy y x x x x x yy y d y d dy H x x x x x x dx dx dx y y y x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂⎪ ⎪∂∂∂⎪⎛⎫===∂∂∂∂∂ ⎪ ⎪⎝⎭⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭． 当y 的所有二阶偏导数都连续时，Hessian 矩阵为n 阶对称矩阵．§5.4 矩阵的微分与积分定义12 当函数矩阵()[()]ij m n A x a x ⨯=可导时，其微分111212122212[]n n ij m nm m mn da da da da da da dA da da da da ⨯⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎣⎦，其中()ij ij da a x dx '=． (1) 矩阵的微分实质上就是各个元素分别微分，因此，相应于每一个导数运算性质都可以得到一个关于微分的相应性质，例如();d A B dA dB +=+ ()();d AB dA B AdB =+();d kA kdA =(k 为常数)；()()()d fA df A f dA =+ (()f f x =为可微函数) 都是正确的．如果矩阵A 中每个元素都是以矩阵B 中诸元素为变量的多元函数，则称矩阵A 是矩阵B 的函数，记为()A B ．此时矩阵A 作为一个多元函数矩阵，它的全微分仍可按(1)式定义，只不过其中元素ij da 应该换成全微分，即11p qij ij kl k l kla da db b ==∂=∂∑∑，这里,p q 分别是矩阵B 的行数和列数．定义13 若函数矩阵()(())ij m n A x a x ⨯=的所有各元素()(1,2,,;ij a x i m = 1,2,,)j n = 都在[,]a b 上可积，则称()A x 在[,]a b 上可积，且111212122212()()()()()()()()()()nn m m mn bbb a x dx a x dx a x dx a a a bbba x dx a x dx a x dxb A x dx aa a ab b b a x dx a x dx a x dx a a a ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰．函数矩阵的定积分有如下简单性质(1)()()b bkA x dx k A x dx a a=⎰⎰， k R ∈(2)[]()()()()bb b A x B x dx A x dx B x dx a a a+=+⎰⎰⎰， 函数矩阵的不定积分也有类似的情况．例1 设sin cos ()cos sin x x A x x x -⎛⎫= ⎪⎝⎭，求()0x A x dx ⎰及2()0x d A x dx dx ⎰．解 s i n(c o s )001c o s s i n ()0sin 1cos cos sin 00xx xdx x dx x x x A x dx x x x x xdx xdx ⎛⎫- ⎪--⎛⎫⎪== ⎪ ⎪-⎝⎭ ⎪⎝⎭⎰⎰⎰⎰⎰． 因为若以()ij a x 表示()A x 中各元素(,1,2)i j =，则有22()2()0ij ij x d a x dx xa x dx =⎰． 所以有222222sin cos ()2()20cos sin x x x d A x dx xA x x dx xx ⎛⎫-== ⎪⎝⎭⎰． 习 题 五1、设nn n n ij Ca A ⨯⨯∈=)(，令12211()n nij Fi j Aa ===∑∑，则F A 为方阵范数，证明：F A 是一种与向量的2-范数2x 相容的方阵范数．称它为方阵A 的Frobenius 范数，简称F-范数．2、设V 是n 维(复的或实的)线性空间，n e e e ,,,21 是V 的一组基，则对任意的V x ∈，x 有唯一表示式n n e x e x e x x +++= 2211，规定 2112)(∑==ni i Ex x．证明：E x 是V 中元素的一种范数．3、对下列矩阵A ，求21,A A 及∞A ．1)⎪⎪⎭⎫ ⎝⎛-=0123A 2)⎪⎪⎭⎫ ⎝⎛--+i i i i 114、证明：对n 阶矩阵][ij a A =，有∑=≤≤∞=nj ij ni a A 11max ．5、考察下列向量序列}{k x 的敛散性： 1)Tk k x )21,1(=； 2)Tki ki i k ix )1,0,21(11∑∑===．6、设⎪⎪⎭⎫⎝⎛-+=)1(2121)(2x x x x A 计算)(),(1x A dxd x A dx d -． 7、计算矩阵对矩阵的导数dAdx． 1)⎪⎪⎭⎫⎝⎛=32121x x x e A x x ，),,(321x x x x =；2)22212123334242,sin(3)x x x x e x x A x x x x x ⎛⎫+⎛⎫== ⎪ ⎪-⎝⎭⎝⎭． 8、设==⨯)(,][A f a A n n ij 迹A ．试求dAdf ． 9、设∑∑==+==ni ni i iTn x x ix x f x x x x 121221)(,),,,( ．试求梯度dxdfx f =∇)(及海森矩阵22)(dx fd x H =．10、已知函数矩阵⎪⎪⎪⎭⎫ ⎝⎛=-00302)(222x e ex xe e x A x xx x ，试求⎰10)(dx x A 和⎪⎭⎫ ⎝⎛⎰20)(x dt t A dx d ．。
矩阵分析第5章课件
第五章 向量与矩阵范数 前言
• 向量与矩阵范数是向量与矩阵的一个重要数 字特征---用它可以建立向量集或矩阵集的 拓扑结构,从而便于研究向量或矩阵序列,向 量或矩阵级数的收敛性质.因此,这一章的理 论在数值分析及其它领域中十分有用. • 本章是本课程重点内容之一.所有5节都要认 真学好.最后一节(矩阵幂级数)是研究矩阵 函数的重要工具.
Holder不等式与Minkowski不等式
• 下面两个不等式对本章的理论推导十分有用 • Holder不等式:对任意给定p>1和q=p/(p-1) (>1,即(1/p)+(1/q)=1)及任意ak,bk0成立 k=1nakbk (k=1nakp)1/p(k=1nbkp)1/p. (C-S不等式为其(p=2时)特例) • Minkowski不等式:对任意给定p1成立 (k=1n|ak+bk|p)1/p (k=1n|ak|p)1/p+(k=1n|bk|p)1/p
ACmn 定义 ‖A‖= maxi,k|aik| 则‖A‖显然是向量范数(向量的无穷大范数),但它 不是矩阵范数,反例如下:
1 1 1 1 1 2 A 1 1 , B 0 1 , AB 1 2
第五章 矩阵分析基础1
的矩阵 H 为上Hessenberg（海森伯格）阵，或拟上三角阵。
( i 2 , 3 , 如果次对角线元素 h ii , 1 , n ) 全不为零，则称该矩阵为
不可约的上Hessenberg阵。 定理5.2.4 对任意矩阵ARnn ，总存在正交阵 Q 使得 Q 1AQ 为上Hessenberg阵。 5.2.6 对角占优阵 定义11 设矩阵
i j 1
元素得到矩阵
1 J (i, j , ) 1 cos 1 1 sin cos 1 sin
iLeabharlann j 为旋转角。 称为Givens旋转矩阵，或称Givens变换，
T (2) 矩阵 H 是正交矩阵，即 Η Η Ι;
Ε(u, v;)中，
定理5.2.2 Householder矩阵 H 具有以下性质：
(3) H 变换保持向量长度不变，即对任意向量
v2 v2 ; v R n，H
(4) 设S 为以 u 为法向量过原点的超平面，对任意的非零 n 向量 v R ， 有 H v 与v 关于超平面 S 对称。 定理5.2.3 对任意的非零向量 v R n ，可以适当选择合适的
（3）三角不等式：即对任意两个向量X、Y R n，恒有
X YX Y
三个常用的范数： 设X = (x1, x2,…, xn)T，则有 （1） （2） （3）
X x x x 1 2 n 1
T 2 2 2 X X X x x x 1 2 n 2
X max x i
m ax i A
1in
并且如果A为对称矩阵，则
m a x A ( 谱 范 数 ） i 2
第5章 向量与矩阵的范数
kx
p
= (∑ kxi ) = k (∑ xi ) = k x p ，
p p i =1 i =1
n
满足齐次性条件． 所以 ⋅ p 满足齐次性条件
（3）当 x = ( x1 , x 2 , L , x n ) ， y = ( y1 , y2 , L , yn ) ∈ C 时，因为 ）
T
为共轭指数， 定理 5. 1.1 设 p, q 为共轭指数，则对任意的实数 α ≥ 0, β ≥ 0 ， 不等式
αβ ≤
． 2αβ ≤ α 2 + β 2 ）
αp
p
+
βq
q
（5.1.2） ）
成 立 （ 如 果 p = q = 2 ， 那 么 （ 5.1.2 ） 就 是 最 基 本 的 不 等 式
证 明 当 α = 0 或 者 β = 0 时 ， 5.1.2 ） 显 然 成 立 ， 以 下 假设 （ α > 0, β > 0 ．令
T n
n
n
定义
x
n
p
= (∑ xi ) ，
p i =1
n
1 p
（5.1.5） ）
上的一种向量范数， 范数， 则 ⋅ p 是 C 上的一种向量范数，称为向量的 p − 范数，而当 p 等于 1 或 范数． 2 时，则分别称为 C 上向量的 1 − 范数及 2 − 范数． 并且 （5.1.6） ） lim x p = max xi ，
p i =1
1 p
满足正定性条件． x = ( x1 , x2 , L , xn ) = 0 ，所以 ⋅ p 满足正定性条件．
kx = (kx1 , kx2 ,L, kxn ) ，所以
第五章矩阵分析
一般地，对于任何不小于1的正数 p , 向量
x x1, x2 ,, xn T 的函数
1
x
p
n i1
xi
p p
也构成向量范数，称为向量的P-范数。
由 p 范数的存在，可知向量的范数有无穷多种，而且，向量的范数并不
仅限于 p 范数.在验证向量的范数定义中，三角不等式的过程中常涉及到两 个著名的不等式，即： 1、Hölder 不等式 设正实数 p, q 满足 1 1 1, 则对任意的 x, y Cn , 有
有了谱半径的概念，可以对矩阵范数作如下的初步估计.
定理 6 设 A C nn ,则对 C nn 上的任一矩阵范数 ，皆有
( A) A
证 设 是 A 的特征值， x 为 A 的属于特征值 的特征向量，故 x 0 ，所 以 x 0 .另设 是 Cn 上与矩阵范数 相容的向量范数，由 Ax x ，应有
则有正实数 C1,C2 , 使对一切矩阵 A 恒有
C1
A
A
C2
A
第二节 向量与矩阵序列的收敛性
定义5：设有向量序列xk : xk x1(k) , x2(k) ,, xn(k) T ,
如果对i 1,2,, n ,
数列
x(k) i
均收敛且有lim k
xi( k
)
xi
则说向量序列xk 收敛，如记 x (x1, x2,...,xn)T ,
k
xi(k
)
xi
i 1,2,...,n
lim
k
xi(k )
xi
0,
i 1,2,...,n
lim
k
max
1in
xi(k
)
xi
向量和矩阵的范数
向量和矩阵的范数一、引言向量和矩阵是线性代数中最基本的概念之一，而范数则是线性代数中一个非常重要的概念。
范数可以用来度量向量或矩阵的大小，也可以用来衡量它们之间的距离。
在本文中，我们将讨论向量和矩阵的范数。
二、向量范数1. 定义向量范数是一个函数，它将一个向量映射到一个非负实数。
它满足以下条件：（1）非负性：对于任意的向量x，有||x||≥0；（2）齐次性：对于任意的标量α和向量x，有||αx||=|α|·||x||；（3）三角不等式：对于任意的向量x和y，有||x+y||≤||x||+||y||。
2. 常见范数（1）L1范数：也称为曼哈顿距离或城市街区距离。
它定义为所有元素绝对值之和：||x||1=∑i=1n|xi| 。
（2）L2范数：也称为欧几里得距离。
它定义为所有元素平方和再开平方根：||x||2=(∑i=1nxi^2)1/2 。
（3）p范数：它定义为所有元素p次方和的p次方根：||x||p=(∑i=1n|xi|^p)1/p 。
（4）无穷范数：它定义为所有元素绝对值中的最大值：||x||∞=ma xi|xi| 。
三、矩阵范数1. 定义矩阵范数是一个函数，它将一个矩阵映射到一个非负实数。
它满足以下条件：（1）非负性：对于任意的矩阵A，有||A||≥0；（2）齐次性：对于任意的标量α和矩阵A，有||αA||=|α|·||A||；（3）三角不等式：对于任意的矩阵A和B，有||A+B||≤||A||+||B||。
2. 常见范数（1）Frobenius范数：也称为欧几里得范数。
它定义为所有元素平方和再开平方根：||A||F=(∑i=1m∑j=1naij^2)1/2 。
（2）一范数：它定义为每列元素绝对值之和的最大值：||A||1=maxj(∑i=1m|aij|) 。
（3）二范数：它定义为矩阵A的最大奇异值：||A||2=σmax(A) 。
（4）∞范数：它定义为每行元素绝对值之和的最大值：||A||∞=maxi(∑j=1n|aij|) 。
第五章 向量范数和矩阵范数
n
，由
|| x ||1 º | x1 | + | x2 | + L + | xn |
定义的 || ||1 是 F n 上的向量范数，称为1-范数或 l1 范数或和范数，也被风趣地称为Manhattan范数。
遗憾的是，当
0 p1
2
时，由
1/ p
骣 p || x || p º 琪 | x | 琪 å i 琪 琪 桫
2 2
2
在广义实数范围内，P能否取到正无穷大呢？具体而
言，如何计算这种范数呢？
例 9 对任意
x ( x1 , x2 , , xn ) F || x ||¥ º lim || x || p
T
n
，由
也就是
p?
?
|| x ||¥ º max | xi |
i
定义的|| || 是 F n上的向量范数，称为 -范数或 l 范数或极大范数。
由于
A
为Hermite正定矩阵，故存在酉矩阵 U ，使得
U T AU = Λ = diag ( λ1 , λ 2 , L , λ n ) 这里 A 的特征值 λ i ( i = 1, 2, L , n) 都为正数。
从而有 此时
A = UΛU T = U Λ ? Λ U T º BT B
|| x || A xT Ax xT BT Bx ( Bx )T Bx || Bx ||2
x ( x1 , x2 , , xn ) F
T
n 1/ p
n
，由
骣 p || x || p º 琪 | x | 琪 å i 琪 琪 桫
i= 1
, p³ 1
定义的 || || p 是 F n 上的向量范数，称为p -范数或 l p 范数。
向量与矩阵的范数
a12 a1n A 1 max ai j 列范数 1j n i1 n a22 a2n A max aij 行范数 1i n j1 T an2 ann A 2 λm a x( A A) AF
|λ | || X ||= ||λ X ||= || A X || ≤|| A || || X ||
由X ≠0 ,所以 || X || >0 ,
计算方法三⑤
故有:
|λ | ≤|| A ||
所以特征值的最大值≤||A||，即ρ(A)≤||A||
18/35
定理3.7 设A为任意n阶方阵，则对任意 矩阵范数||A||，有： ρ(A)≤||A|| 定理3.8 设A为n阶对称方阵，则有: ||A||2= ρ(A)
1 2 3 A 4 5 6 7 8 0
计算方法三⑤
14/35
例6. 计算矩阵A的各种范数
1 2 A= 3 4 2 3 4 1 3 4 1 2 4 1 2 9
解：A=[1,2,3,4;2,3,4,1;3,4,1,2;4,1,2,9]; n1=norm(A,1), n2=norm(A), n3=norm(A,inf)，n4=norm(A, 'fro') n1=16，n2=12.4884，n3=16，n4=13.8564
解: E A ( 1) ( 2)
2
(A) 2
计算方法三⑤
17/35
矩阵范数与谱半径之间的关系为: ρ(A) ||A|| 定理3.7设A为任意n阶方阵，则对任意矩阵范 数||A||，有： ρ(A)≤||A||
证:设λ为A的任意一个特征值, X为对应的特征向量 AX= λ X 两边取范数,得: || A X || = ||λ X || =|λ | || X ||
向量与矩阵范数
向量与矩阵范数向量范数与矩阵范数是应用非常广泛的重要概念，从范数可导出向量与向量，矩阵与矩阵之间的距离，进而引进向量序列和矩阵序列收敛性问题.它是矩阵分析与计算的基础.§1 向量范数定义1．1 设V 是数域()或C R 上的线性空间，如果对于任意V ∈x 按照某种法则对应于一个实数x ，且满足：1） 非负性 0≥x .当且仅当=x 0时，0=x ； 2） 齐次性 k k =x x ；3） 三角不等式 对任意,V ∈x y 总有，+≤+x y x y ； 则称实数x 为线性空间V 上向量x 范数.简称向量范数.定义了范数的线性空间V 称为赋范线性空间.由定义1.1可以看出，向量范数是定义在线性空间上的非负实值函数，它具有下列性质：（1） 当≠x 0时，11||||=x x ； （2） 对任意向量V ∈x ，有||||||||-=x x ； （3） ||||||||||||||y -≤-x y x ； （4） ||||||||||||||y -≤+x y x .性质（1）与（2）是显然成立的，下面证明性质（3） 因为 ||||||||||||||||=-+≤-+x x y y x y y ， 所以 ||||||||||||-≤-x y x y .同理可证 ||||||||||||||()||||||-≤-=--=-y x y x x y x y ， 即 ||||||||||||-≥--x y x y . 综上有 ||||||||||||||y -≤-x y x .若用y -代替性质（3）中的y ，便得到性质（4）.n C 上最著名的范数是p 范数（也称hölder 范数） 11()nppi pk x ==∑x，T 12(,,,)n n x x x =∈x C .这里1p ≤≤∞，其中最常用的是1,2,p =∞时的p 范数，即11n i k x ==∑x ； 12221()ni k x ==∑x ； 1max i i nx ∞≤≤=x.关于1||||⋅和||||∞⋅满足范数定义的三条是容易的，而要验证||||(1)p p ⋅<<∞是nC 上的向量范数，则需要著名hölder 的不等式：1||||||||||nk kp q k a bαβ=≤∑其中T 12(,,,)n a a a α=，T 12(,,,)n n b b b β=∈C ，p ，q 均为大于1的实数，且满足1/1/1p q +=.证明 当≠x 0时，x 至少有一个分量不为零，按定义显然有1/12||||(||||||)0p p p p p n x x x =+++>x .而且||||0=x 当且仅当=x 0.对任意k ∈C ，任意向量T 12(,,,)n n x x x =∈x C 按定义有11T 1211||||||(,,,)||()||()||nnp p ppp n p i i k k k kx kx kx kx k x k ======∑∑x x .对任意两个向量,n∈x y C，其中T 12(,,,)n x x x =x ，T 12(,,,)n y y y =y ，则111||||||nnpp kk k k k k k k xy x y x y -==+=++∑∑1111||||||||nnp p k k k k k k k k x y x x y y --==≤+++∑∑利用hölder 的不等式，可得11(1)1111111(1)1111||(||)(||)(||)(||)p nnnp p p pp pkk k k k k k k p nnp p pp pk k k k k xy x x y y x y ---===---==+≤+++∑∑∑∑∑1111111(||)(||)(||)n n n p p p p p pk k k k k k k x y x y -===⎡⎤=++⎢⎥⎢⎥⎣⎦∑∑∑.从而 111111(||)(||)(||)nnnp p p pppkk k k k k k xy x y ===+≤+∑∑∑.定理1．1 （1）对任意1p q ≤<及任意的n∈x C 有，||||||||q p ≤x x ；（2）对任意的n∈x C 有，lim ||||||||p p ∞→∞=x x .证明（1）略（2）设1max ||i i nx ≤≤=ω，则1111()()pp nnp ppiipk k x x ====∑∑xωωωω.由于1ix ≤ω，因而11nii x =≥∑ω，故11pnii x n =≤≤∑ω，所以1111()p nppii x n =≤≤∑ω.由L 'Hospital 法则可知，1lim 1pp n →∞=，于是有lim ||||||||p p ∞→∞==x x ω.在实际应用中，常常利用已知范数构造出实用的新范数，下述定理就给出一种最简单的构造方法.定理1．2 设||||⋅是nC 上的范数，A 是秩为n 的m n ⨯复矩阵，则由()||||N =A x Ax ，n ∈x C所定义的实函数()N A x 是nC 上的范数.直接验证这样定义的实函数()N A x 满足范数的定义即可. 推论 设A 是n 阶正定的复矩阵，则由||||=A x n ∈x C定义的实函数||||⋅A 是nC 上的范数.||||⋅A 是一种非常重要的向量范数，他在某些实际应用中常常是十分方便的.定理1．3 设||||⋅α与||||⋅β是n 维线性空间V 的任意两种向量范数，则一定存在两个与向量x 无关的正常数12,c c ，使得对V 中所有向量x ，有下面不等式成立.12||||||||||||c c ≤≤x x x βαβ.在证明该定理时，可先证明，对V 中任意向量T 12(,,,)n x x x =x ，||||x α与||||x β都是n 个变量12,,,n x x x 的n 元连续函数，再利用连续函数在有界闭集有最大值与最小值这个性质.就可证明上述不等式.证明 设12,,,n εεε是n 维线性空间V 的一组基，于是V 中的任意向量x 都可惟一的表示为1122n n x x x =+++x εεε.则 1122||||||||n n x x x αα=+++x εεε.它可以看作是n 个坐标分量12,,,n x x x 的n 元函数，记为12||||(,,,)n x x x =x αϕ.则12(,,,)n x x x ϕ是坐标分量12,,,n x x x 的连续函数.事实上，设另一个向量为1122n n y y y =+++y εεε，112212||||||||(,,,)n n n y y y y y y ααϕ=+++=y εεε.则1212|(,,,)(,,,)|||||||||||||n n y y y x x x -=-≤-y x y x αααϕϕ111222||()()()||n n n y x y x y x =-+-++-αεεε111222||||||||||||||||||n n n y x y x y x ≤-+-++-αααεεε由于|||| (1,2,,)i i n =αε是常数，所以，当y 与 x 无限接近时，12(,,,)n y y y ϕ充分接近12(,,,)n x x x ϕ.这就说明向量范数11222||||||||n x x x εεε=+++x αα是坐标分量12,,,n x x x 的连续函数.同理可证，向量范数11222||||||||n x x x εεε=+++x ββ是坐标分量12,,,n x x x 的连续函数.当≠x 0时，||||0,||||0≠≠x x αβ，由于它们都是12,,,n x x x 的连续函数，因此，若设12||||(,,,)||||n f x x x =x x αβ， 则12(,,,)n f x x x 也是12,,,n x x x 的连续函数.考虑单位超球面2221212{(,,,)||||||1}n n S x x x x x x =+++= 由于S 有界闭集，且f 在S 上的值均不为零，因此，f 在上S 连续，根据多元连续函数的性质可知，12(,,,)n f x x x 在有界闭集S 上可取得最大值M与最小值m ，即||||||||max0,min 0||||||||s sM m ∈∈=>=>x x x x x x ααββ.即 ||||0||||m M <≤≤x x αβ，S ∀∈x 又由于对任意V∈x ，且≠x 0，则向量122222||||||||||||||||nx x x ==+++xy x x x x 为S 中的向量，从而有 221||||||||||||||||01||||||||||||||||m M <≤==≤x y x x y x x x αααβββ.即 ||||||||||||m M ≤≤x x x βαβ. 取12,m c M c ==，则有12||||||||||||c c ≤≤x x x βαβ.§2 矩阵范数本节将进一步把范数的概念推广到m ×n 矩阵上，一个m ×n 矩阵当然可以看作m ×n 维向量，因此可以按向量定义范数的办法来定义矩阵的范数.但是，由于在线性空间中只考虑加法运算与数乘运算，而在矩阵空间中，还必须考虑矩阵与向量以及矩阵与矩阵之间的乘法运算，因此在定义矩阵范数时，必须多一条反映矩阵乘法的公理.2．1 矩阵范数的概念与性质定义2．1 对任意m n⨯∈A C，按照某种法则在m n⨯C上定义了一个实值函数A ，它满足以下四个条件：1） 非负性： 0≥A ，当且仅当=A O 时，0=A ； 2） 齐次性： k k =A A ； 3） 三角不等式： 对任意,m n⨯∈A B C，+≤+A B A B ；4） 相容性： 当矩阵乘积AB 有意义时，有||||||||||||≤AB A B . 则称实数A 为矩阵A 范数.如前所述，我们若将m ×n 矩阵A 看成一个m ×n 维向量,那么很自然地就可仿照向量范数得出矩阵的几种范数，为简单起见，下面给出方阵的几种范数.例1 设()n nij a ⨯=∈A C，验证下面规定的实值函数111||||||nnm ij i j a ===∑∑A ，1,||||max ||m ij i j nn a ∞≤≤=A ，212211||||(||)n nm ij i j a ===∑∑A ，都是矩阵范数.事实上，由于矩阵范数定义中的前三条与向量范数定义的三条类似，故它们满足矩阵范数定义的前三条是显然的，只须证明它们满足矩阵范数定义的第四条即可.1111111||||||||n n n n n nm ik kj ik kj i j k i j k a b a b =======≤∑∑∑∑∑∑AB111111(||)(||)||||||||n n n nij ij m m i j i j a b ====≤=∑∑∑∑A B .1,1,111,1||||max ||max ||||max (max ||||)n nm ik kj ik kj i j ni j nk k ik kj i j nk nn a b n a b n n a b ∞≤≤≤≤==≤≤≤≤=≤≤∑∑AB1,1,(max ||)(max ||)||||||||ik kj m m i k nk j nn a n b ∞∞≤≤≤≤≤=A B .2112222111111||||(||)((||||))n n nn n nm ik kj ik kj i j k i j k a b a b =======≤∑∑∑∑∑∑AB22122211111122221111((||)(||))(||)(||)||||||||nnnnik kj i j k k nnnnik kj m m i k k j a b a b ========≤≤≤∑∑∑∑∑∑∑∑A B .方阵()n nij a ⨯=∈A C的范数2||||m A 又称为佛罗贝尼乌斯（Frobenius ）范数,简称F-范数，记作||||F A ，亦称欧几里德范数，它是矩阵最常用的范数之一.与向量范数类似.矩阵范数也有向量范数类似的性质，我们不加证明地给出如下定理.定理 m n⨯C上任意两个矩阵范数是等价的.这个定理的证明与向量范数等价性的证明完全类似.2．2 F-范数的性质定理2.1 设C 是复数域，A 为m n⨯C 中的任意n 阶矩阵，若将A 按列分块为12(,,,)n ααα=A ，则221||||||||nFk F k α==∑A .其中k α为矩阵A 的第k 列.证明留给读者自己完成.定理2.2 设A 为m n⨯C中的任意m ×n 矩阵，则有1H2||||tr()F ⎡⎤=⎣⎦A A A .其中Htr()A A 表示矩阵H A A 的迹，也就是H A A 的主对角线上元素的和.证明 设m n⨯C中的任意m ×n 矩阵A 为111212122212n n m m mn a a a a a a a a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦A ， 则 12211||||(||)m nF iji j a===∑∑A .而112111112121222H 122221212m n n m m m mn nnmn a a a a a a a a a a a a a a a a a a ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦A A1112211mi i i mi i i min in i a a aa a a ===⎡⎤*⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥*⎢⎥⎣⎦∑∑∑ 所以H1122111tr()mmmi i i i in in i i i a a a a a a ====+++∑∑∑A A22221211111||||||||m mm m ni i in ij i i i i j a a a a ======+++=∑∑∑∑∑. 故1H2||||tr()F ⎡⎤=⎣⎦A A A .定理2.3 设A 为m n⨯C 中的任意m ×n 矩阵，,U V 是m 阶酉矩阵与n阶酉矩阵，则有||||||||||||||||F F F F ===UA AV UAV A .证明 因为,U V 是m 阶酉矩阵与n 阶酉矩阵，所以有H H H H , ====U U UU E V V VV E由定理2.2知111H H H H222||||tr()()tr()tr()||||F F ⎡⎤⎡⎤⎡⎤====⎣⎦⎣⎦⎣⎦UA UA UA A U UA A A A .同理有 ||||||||F F =AV A .进而有||||||||F F =UAV A .定理2.4 设A 为m n⨯C中的任意m ×n 矩阵，则有1221||||()nF ii ==∑A σ.其中12,,,nσσσ表示矩阵A的奇异值，且1210r r n +≥≥≥>===σσσσσ.证明 设矩阵A 的奇异值分解为=A USV ，其中,U V 是m 阶酉矩阵与n 阶酉矩阵，12,diag(,,,)r ∑⎡⎤=∑=⎢⎥⎣⎦O S O O σσσ，则由定理2.3知1H2||||||||||||tr()F F F ⎡⎤===⎣⎦A USV S S S1H21H21212221tr()tr()tr ()ni i σ=⎡⎤∑∑⎡⎤⎡⎤⎡⎤==⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎣⎦⎣⎦⎣⎦⎡⎤⎡⎤∑==⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦∑O O S S O O O O O OO .2．3 矩阵的算子范数前面我们讨论了向量范数与矩阵范数的概念及性质，但在实际应用中，m ×n 矩阵和n 维向量常常以乘积形式出现，往往矩阵和向量是掺杂在一起的，由于一个m ×n 矩阵与一个n 维向量的乘积仍是一个n 维向量.因此，我们应该注意矩阵范数与相应的向量范数之间的关系，并建立它们之间的联系，这就是下面将要介绍的矩阵范数与向量范数的相容性问题.定义2．2 设,m nn ⨯∈∈A x CC ，如果对于取定的向量范数||||x α和矩阵范数||||A β满足下列不等式||||||||||||≤Ax A x αβα.则称向量范数||||x α与矩阵范数||||A β是相容的.例2 设T 12(,,,)n n x x x =∈x C ，()n n ij a ⨯=∈A C .证明：向量范数12221()ni k x ==∑x 与矩阵范数122F 11||||(||)nnij i j a ===∑∑A 是相容的证明 若将A 的第i 行记为 (1,2,,)i i n α=，于是11112211211222221122n n n n n n nn n n a x a x a x a x a x a x a x a x a x ααα+++⎡⎤⎡⎤⎢⎥⎢⎥+++⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥+++⎢⎥⎣⎦⎣⎦x x Ax x由柯西-施瓦茨不等式，有H H22|||(,)|||||||||i i i ααα=≤x x x ，因此222222222F 211||||||||||||||||||||||n ni i i i αα===≤=∑∑Ax x x A x .故2F 2||||||||||||=Ax A x ，即F ||||A 与2||||x 是相容的.例 3 设T 12(,,,)n n x x x =∈x C ，()n n ij a ⨯=∈A C .证明：向量范数11ni k x ==∑x 与矩阵范数111||||||nnm ij i j a ===∑∑A 是相容的.证明 由于11111||||||||||n n n nik k ik k i k i k a a =====≤∑∑∑∑Ax x x11111(||)||||||||||nnnik k m i k k a ===≤=∑∑∑x A x .故1||||m A 与1||||x 是相容的.矩阵A 的范数F ||||A 与向量x 的范数2||||x 相容的性质反映了这样一个事实：F ||||A 可以看成x 的像Ax 的2-范数||Ax ||2与x 的2-范数||x ||2之比的一个上界，即2F 2||||||||||||≤Ax A x .当2||||1=x 时，就有2F ||||||||≤Ax A .因此可以用上界F ||||A 来评判线性算子A （对应的矩阵为A ）的映射效果.但是，这种用上界估计映射效果是比较粗糙的，所以，改用2||||Ax 的最小上界（即上确界），即122||||1||||sup ||||=≤x Ax Ax .然而，上确界12||||1sup ||||=x Ax 这个实函数是否也是矩阵分数呢？如果是矩阵A的范数，用它来评判线性算子A 的映射效果应该是最精确的.这个问题就是下面讨论的所谓矩阵“算子范数”问题，这可由下述定理给出. 定理2.5 设||||⋅是nC 上的一个向量范数，A 为m n⨯C 中的任意m ×n 矩阵，则实值函数M ||||1||||max ||||==x A Ax是m n⨯C上的一个矩阵范数，且与已知的向量范数||||⋅相容.证明 首先，由范数等价定理知，点集{}||||1n ∈=x x C 是nC 上的有界闭集，而且向量范数||||⋅是nC 上的连续函数，因此对每个矩阵A 而言，这个最大值是可以取到的，也就说，能够找到这样的向量0x ，使得0||||1=x ，而0M ||||||||=Ax A .其次，有向量范数的定义可知，对任意非零向量y ，则1||||=x y y 满足条件||||1=x ，于是M M ||||||(||||)||||||||||||||||||||||||||==≤=Ay A y x y Ax y A A y .故M ||||A 与||||x 是相容的.下面证明如上定义的M ||||A 是矩阵范数.（1）当A 为非零矩阵时，必可找到非零向量0x ，使0≠Ax 0，从而00M 0||||||||||||<≤Ax x A .而0||||0>x ，所以M ||||0>A ，即M ||||A 满足正定性.另外，显然，M ||||0=A ，当且仅当=A O .（2）对任意k ∈C ，m n⨯∈A C，有M M ||||1||||1||||max ||||||max ||||||||||k k k k =====x x A Ax Ax A .即M ||||A 满足齐次性. （3）设m n⨯∈B C，对于矩阵+A B ，可以找到向量0x ，使得0||||1=x 和M 0||||||()||+=+A B A B x ，于是M 00000M M||||||()||||||||||||||||||||||+=+=+≤+≤+A B A B x Ax Bx Ax Bx A B .（4）设n l⨯∈B C，对于矩阵AB ，可以找到向量0x ，使得0||||1=x 和M 0||||||()||=AB AB x ，于是M 00M 0||||||()||||()||||||||||==≤AB AB x A Bx A BxM M 0M M ||||||||||||||||||||≤=A B x A B .即M ||||A 是矩阵A 的范数.定义2.3 设||||⋅是nC 上的一个向量范数，A 为m n⨯C 中的任意m ×n 矩阵，则m n⨯C上的矩阵范数M ||||1||||max ||||==x A Ax ，称为由||||⋅诱导出的算子范数，简称算子范数；有时也称作从属于向量范数||||⋅的矩阵范数.显然，n 阶单位矩阵E 的从属于任何向量范数的算子范数||||1||||max ||||1===x E Ex ，而对于单位矩阵E 的非算子范数，如1F ||||,||||m n =E E ，他们都大于1，由于=x Ex ，所以||||||||||||≤x E x ，当||||1=x 时，有||||1≥E .这说明单位矩阵的算子范数是所有与向量范数||||x 相容的矩阵范数||||E 中值最小的一个.上面的论述表明，矩阵范数是与向量范数密切相关的，有什么样的向量范数就有对应的矩阵范数，当在定理2.5中取向量范数为p-范数时，所得到矩阵范数称为矩阵的p-范数，记为||||p A .因为向量的1-范数，2-范数，∞-范数是向量最常用的三种范数，因而矩阵的1-范数，2-范数，∞-范数也是矩阵最常用的三种范数，如果用定义求这三种范数是不方便的.下面的定理给出了用A 的元素及A H A 的特征值表示矩阵的这三种常用范数的值.定理2.6 设()m nij a ⨯=∈A C，T 12(,,,)n n x x x =∈x C .则从属于向量x 的三种范数12||||,||||,||||∞x x x 的算子范数依次为（I ）111||||max||mijj ni a≤≤==∑A （称为列和范数）；（II ）11||||max||niji nj a∞≤≤==∑A （称为行和范数）；（III）2||||==A A 的最大奇异值（称为谱范数）.其中H max ()A A λ是矩阵HA A 特征值绝对值的最大值.证明 （I ）设11ni k x ==∑x=1，则1111111||||||||||||||nnnnnnij j ij j ij j i j i j j i a x a x a x =======≤=∑∑∑∑∑∑Ax1111111(||)||max ||||max ||nnm nmij j ij j ij j nj nj i i j i a x a x a ≤≤≤≤======≤=∑∑∑∑∑.所以，111||||max||mijj ni a≤≤=≤∑A .设在0j j =时，1||miji a=∑达到最大值.即111||max ||mmij ij j ni i aa ≤≤===∑∑.取向量T 0(0,,0,1,0,,0)=x ，其中第0j 个分量为1，显见01||||1=x ，而且00111111||||||||max ||m n m mij j ij ij j ni j i i a x a a ≤≤=======∑∑∑∑Ax .于是111||||111||||max ||||max ||mij j ni a =≤≤===∑x A Ax（II ）设1max i i nx ∞≤≤=x=1，即则111111||||max ||max ||||max ||nnnij j ij j ij i ni ni nj j j a x a x a ∞≤≤≤≤≤≤====≤≤∑∑∑Ax .所以，11||||max||niji nj a∞≤≤=≤∑A .设在0i i =时，1||nijj a=∑达到最大值.即0111||max ||nni jij i nj j aa ≤≤===∑∑.取向量T012(,,,)n x x x =x ，其中0000||,01 0.i j i j i j j i j a a a x a ⎧≠⎪=⎨⎪=⎩当；，当，易知，1max i i nx ∞≤≤=x =1，且当0i i =时，01111||||max ||nn nij ji j ij i nj j j a xa a ≤≤=====∑∑∑，即0Ax 至少有一个分量为11max||niji nj a≤≤=∑.从而011||||max||niji nj a∞≤≤=≥∑Ax .于是||||111||||max ||||max ||nij i nj a ∞∞∞=≤≤===∑x A Ax .（III ）因为H A A 是Hermite 矩阵，且由H H H 22()()||||0==≥x A Ax Ax Ax Ax知，H A A 是半正定的，从而它的特征值都是非负实数，设为12,,,0n ≥λλλ.由于HA A 是Hermite 矩阵，因此，它具有n 个相互正交的且2-范数为1的特征向量12,,,n x x x ，并设它们依次属于特征值12,,,,n λλλ于是，任何一个2-范数2||||1=x 的向量x ，总可以用这些特征向量线性表示，即有1122n n a a a =+++x x x x由于HHH111()n n nk k k k k k k k k k a a a ======∑∑∑A Ax A A x A Ax x λ.因此有2HHHH 21111||||()()()()n n n nk k k k k k kk k k k k k k a a a a =======∑∑∑∑Ax x A Ax x x x x λλ221111||||n nk k k k k a a ===≤=∑∑λλλ.从而有2221||||1||||max ||||===x A Ax λ.另一方面，由于12||||1=x ，而且2H H H12111111||||()===Ax x A Ax x x λλ.所以22212||||1||||max ||||||||==≥=x A Ax Ax例3 设2124⎡⎤=⎢⎥⎣⎦A ，求1||||A ，2||||A ，||||∞A ，1||||m A ，F ||||A ，||||m ∞A解 由定理2.6及例1可知，1||||5=A ，2||||=≈A 4.844，||||6∞=A ，1||||12249m =+++=A ，F ||||5==A ，||||2max{1,2,2,4}8m ∞==A .定理2.7 设n n⨯∈A C ，则（1）22H 2||||||||1||||max ||===x y A y Ax ；（2）H T222||||||||||||==A A A ；（3）H 222||||||||=A A A ；（4）221||||||||||||∞≤A A A ；（5）对任意n 阶酉矩阵,U V 恒有，22||||||||=UAV A .证明 （1）对满足22||||||||1==x y 的x 与y ，施瓦茨不等式及定理2.5有H222||||||||||||||≤≤y Ax y Ax A 施瓦茨不等式.又设有2||||1=x 的x ，并使22||||||||0=≠Ax A ，若令2||||=Axy Ax ，就有2H2222||||||||||||||||||===Ax y Ax Ax A Ax .从而 22H 2||||||||1||||max ||===x y A y Ax .（2）222222H H H H H H 22||||||||1||||||||1||||||||1||||max ||max |()|max ||||||==========x y x y x y A y Ax y Ax x A y A .222222H H T T T T 22||||||||1||||||||1||||||||1||||max ||max |()|max ||||||==========x y x y x y A y Ax y Ax x A y A（3）由H H 222||||||||||||≤A A A A 及H22||||||||=A A ，可知H 222||||||||≤A A A .设2||||1=x 的x ，并使22||||||||=Ax A ，于是22H H H 22222||||1||||1||||max ||max ||||||||==≥==x x A A x A Ax Ax A . 故有 H 222||||||||=A A A .（4）设λ是H A A 的最大特征值，对应的特征向量为x ，即H =x A Ax λ，因此H H 1111111||||||||||||||||||||||||||||||||||∞==≤≤x x A Ax A Ax A A x λλ.两边消去1||||x 可得，1||||||||||∞=≤A A λλ，即221||||||||||||∞≤A A A .（5）令H ,==v V x u Uy，则2222||||1||||1,||||1||||1=⇔==⇔=x v x u ，于是2222H H 22||||||||1||||||||1||||max ||max ||||||=======v u x y UAV u UAVv y Ax A .§3 矩阵的谱半径及其性质定义3.1 设n n⨯∈A C，12,,,n λλλ是矩阵A 的特征值，则称12max{||,||,,||}n λλλ为A 的谱半径.记为()A ρ，即12()max{||,||,,||}n =A ρλλλ.谱半径的几何意义为：以原点为圆心，包含A 的全部特征值的圆半径中最小的一个.定理3.1 对任意矩阵n n⨯∈A C和n n⨯C上的任一矩阵范数||||⋅，总有()||||≤A A ρ.即A 的谱半径不会超过A 的任何一种范数.证明 设λ是A 的任一特征值，x 是相应的特征向量，则有=Ax x λ，再由矩阵范数的相容性条件，有||||||||||||||||||||||==≤x x Ax A x λλ.即有||||||≤A λ，故()||||≤A A ρ.此定理称为特征值上界定理.特别地，如果A 为正规矩阵，则由下面的结果. 定理3.2 设n n⨯∈A C，且A 为正规矩阵，则2()||||=A A ρ.证明 由于A 为正规矩阵，所以存在酉矩阵U ，使H 12diag(,,,)n ==U AU Λλλλ于是由定理2.7及定理2.5知H 222||||||||||||===A U AV Λ()===A ρ.例4 求矩阵1231i i -⎡⎤=⎢⎥+⎣⎦A 谱半径及1，2，∞-范数，并验证定理3.1的正确性.解 因为2det()(1)5-=--E A λλ，所以A 的特征值为11=λ21=λ，从而()1=A ρ又1||||||||3∞==A A 而H 131211552131556i i i i i i +-+⎡⎤⎡⎤⎡⎤==⎢⎥⎢⎥⎢⎥-+-⎣⎦⎣⎦⎣⎦A A .H 2det()1716-=-+E A A λλλ，因此，H A A 的特征值为H H 12()16,()1==A A A A λλ，于是 2||||4=A =.因此1()||||≤A A ρ，2()||||≤A A ρ，()||||∞≤A A ρ.例4 设n n⨯∈A C，则对任一正整数k ，都有()[()]k k =A A ρρ.证明 设A 的n 个特征值是12,,,n λλλ，则k A 的n 个特征值是12,,,k k k n λλλ，于是()max ||(max ||)[()]k k k k i i ii===A A ρλλρ.定理3.3 设n n⨯∈A C ，对任意的正数ε，存在某种矩阵范数M ||||A ，使得M ||||()≤+A A ρε.证明 根据Jordan 定理 ，存在可逆矩阵n n⨯∈P C ，使得1-=P AP J .记12diag(,,,)n =Λλλλ；1210000n -⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦T δδδ，0i δ=或1. 则有=+J ΛT .这里12,,,n λλλ是A 的n 个特征值.令1diag(1,,,)n -=D εε则有11()()--==+PD A PD D JD ΛT ε.若记=S PD ，则S 可逆，且有111||||||||()-=+≤+S AS ΛT A ερε.容易验证，1M 1||||||||-=A S AS 是n n⨯C 上的矩阵范数，于是1M 1||||||||()ε-=≤+A S AS A ρ.定理3.1及定理3.3说明谱半径不是n n⨯C上的矩阵范数，但是对于给定的矩阵A ，它是A 的所有矩阵范数的最大下界.需要指出的是，定理3.3中构造的矩阵范数M ||||A 与给定A 的矩阵密切相关.对于其它的矩阵B ，不等式M ||||()≤+B B ρε一般不成立.习题1. 设||||x 是nC 中的向量范数，取n n⨯∈C A ，证明||||Ax 是nC 中的向量范数的充分必要条件为A 是可逆矩阵。
矩阵分析第五章
例1：矩阵A 的Frobenius范数与向量2-范数相容
(∑ ∑ ) (∑ ) A = F
m i =1
n|
j =1
aij
|2
1/ 2
,
x= 2
n|
j =1
xj
|2
1/ 2
∑ ∑ ∑ ∑ ∑ Ax 2 = 2
m i =1
a x n
j =1 ij j
2
≤
(4) 矩阵乘法相容性: ||AB|| ≤ ||A|| ||B||, ∀A, B: AB可相乘
则称实数||A||为矩阵A的范数.
∑ ∑ 例1：A =(aij)∈Cm×n, 定义 A =
m i =1
n|
j =1
aij
|
是A的范数,
是向量1-范数的推广
证明：(1)(2)(3)自然满足, 只需验证(4).
∑ (1) 若A = (α1, α2, L, αn), 则
A2 = F
α n
2
i=1 i 2 ;
∑ (2) A 2 = trace( AH A) = F
n i =1
λi
(
AH
A)
(3)
∀U
∈
U
m×m m
,
V
∈U
n×n n
,
A = UA = AH = AV = UAV
F
F
F
F
F
( ) ( ) 证明(3)： UA 2 = trace (UA)H (UA) = trace AH (U HU ) A
+
b n
k =1 k
ak
+ bk
05(5)-向量和矩阵的范数
§5 向量和矩阵的范数在线性代数方程组的数值解法中，经常需要分析解向量的误差，需要比较误差向量的“大小”或“长度”。
那么怎样定义向量的长度呢？我们在初等教学里知道，定义向量的长度，实际上就是对每一个向量按一定的法则规定一个非负实数与之对应，这一思想推广到n维线性空间里，就是向量的范数或模。
1．向量的范数范数的最简单的例子，是绝对值函数。
2x=x并且有三个熟知的性质：（1）x≠ 0 ⇒|x | >0 |x | = 0当且仅当x = 0（2）|ax| = |a |⋅|x |a为常数（3）|x+ y |≤|x | + |y |范数的另一个简单例子是二维欧氏空间的长度2y2OM+=（勾股定理）x欧氏范数也满足三个条件：设x = (x1, x2)（1）x≠ 0 ⇒||x || >0（2）||ax || = |a |⋅||x ||2a为常数（3）||x+ y ||2≤||x ||2 + ||y ||2前两个条件显然，第三个条件在几何上解释为三角形一边的长度不大于其它两边长度之和。
因此，称之三角不等式。
下面我们给出n 维空间中向量范数的概念：设X = (x 1, x 2, …, x n )T，记为X ∈ R n定义1：设X ∈ R n，||Ｘ|| 表示定义在R n上的一个实值函数，称之为X 的范数，它具有下列性质： 1）非负性：即对一切X ∈ R n，X ≠ 0, ||Ｘ|| >0 2）齐次性：即为任何实数a ∈ R ，X ∈ R n，Xa aX ⋅=3）三角不等式：即对任意两个向量X 、Y ∈ R n，恒有Y X Y X +≤+从以上规定范数的三种基本性质、立即可以推出R n中向量的范数必具有下列性质： 4）|| 0 || = 05）X X X =-=-16）对任意的X 、Y ∈ R n，恒有：Y X YX -≤-【证明】：根据范数的三角不等式YY X Y Y X X +-≤+-=)(所以 Y X Y X -≤-同理可证 X Y Y X X Y -=-≤-因此必有：Y X Y X -≤- 证完三个常用的范数：设X = (x 1, x 2,…, x n )T，则有（Ⅰ）n x x x X++=211；（Ⅱ）222212n T x x x X X X +++==（Ⅲ）i ni x X≤≤∞=1max不难验证，上述三种范数都满足定义的条件。
数值分析5-5(向量和矩阵的范数)
n
1
A F ( xij 2 )2
i , j1
称为Frobennius－范数
举例：
A
1 3
2 4
计算A的各种范数.
解：
n
A
max
1in
j1
aij
max{1 2,3 4} 7
n
A
1
max
1 jn
i 1
|
aij
|
max{1
3,2
x p ( xi p ) p
i 1
称为∞－范数或最大范数 称为1－范数 称为2－范数
称为p－范数
举例：计算向量 x=(1, -2, 3)T的各种范数.
解：
n
x 1 | xi | 6
i 1
n
1
x 2 ( xi 2 )2 14
i 1
x
max
1in
xi
3
3. 向量范数的性质
3) x y x y , x, y Rn(三角不等式)
则称‖x‖为向量的范数
2. 常用的向量范数
在 Rn上的向量x =(x1,…,xn)T∈Rn ，三种常 用的范数为：
x
max
1in
xi
n
x 1 | xi |
i 1
n
1
x 2 ( xi 2 )2
i 1
n
1
第五章 解线性方程组的直接法 §5 向量和矩阵的范数
一、向量的范数
二、矩阵的范数 三、小结
一、向量的范数
1. 向量范数的定义
设对任意向量 x∈Rn，按一定的规则有一实 数与之对应，记为‖x‖，若‖x‖满足
向量和矩阵的范数
一、向量的范数定义1 设x=(x1 ,x2,…,x n )n ,y=(y1 ,y2,…,y n )n∈R n (或C n )。
将实数(或复数),称为向量x,y的数量积。
将非负实数或称为向量x的欧氏范数。
对向量x,y的数量积有：1. (αx,y)=α(x,y).α为实数(或(x,αy)=(x,y),α为复数);2. (x,y)=(y,x)[(x,y)=(,)];3. (x1 +x2 ,y)=(x1 ,y)+(x2 ,y);4. (Cauchy-Schwarz不等式)(5.1)等式当且仅当x与y线形相关时成立。
对向量x的欧氏范数有：1. ‖x‖2≥0, ‖x‖2 =0当且仅当x=0时成立;2. ‖αx‖2=|α|‖x‖2，任意的α∈R(或α∈C),3. ‖x+y‖2≤‖x‖2 +‖y‖2 (三角不等式)，(5.2)注(5.1)和(5.2)有下面的事实得到(x+ty,x+ty)=(x,x)+2(x,y)t+(y,y)t2≥0由一元二次方程根的判别定理可知(5.1)成立；取t=1,再利用(5.1)得即得(5.2)。
定义2(向量的范数) 如果向量x∈R n (或C n )的某个实值函数N(x)=‖x‖, 满足条件：(1) ‖x‖≥0(‖x‖=0当且仅当x=0)(正定条件)，(2) ‖αx‖=|α|·‖x‖，任意的α∈R(或α∈C),(3) ‖x+y‖≤‖x‖+‖y‖(三角不等式)，则称N(x)是R n (或C n )上的一个向量范数(或模)。
下面我们给出几种常用的向量范数。
1. 向量的∞-范数(最大范数)：(5.3)2. 向量的1-范数：3. 向量的2-范数：(5.4)4. 向量的p-范数：(5.5)例6 计算向量x=(1,-2,3)T的各种范数。
解：定理6(N(x)的连续性) 设非负函数N(x)=‖x‖为R n上任一向量范数，则N(x)是x的分量x1 ,x2,…,x n的连续函数。
证明设其中e i=(0,…,1,0,…,0)T, . 只须证明当x→y时N(x)→N(y)即成。
向量和矩阵的范数
Im
Re
A 的特征值。 的特征值。
λ
λ
定理1.2.2 对任意算子范数 || · || 有 ρ ( A) ≤ || A || 定理
v v 证明：由算子范数的相容性， 证明：由算子范数的相容性，得到 || Ax || ≤ || A || ⋅ || x ||
将任意一个特征值 λ 所对应的特征向量 u 代入 v v v v | λ | ⋅ || u || = || λu || = || Au || ≤ || A || ⋅ || u || 对称， 对称 定理1.2.3 若A对称，则有 || A ||2 = ρ ( A) 定理 证明： 证明：|| A ||2 = λmax ( A A) = λmax ( A )
§1.2 向量和矩阵范数
一. 向量范数 定义1.2.1
v v Rn 空间的向量范数 || · || 对任意 x, y ∈ Rn满足下列条件： 满足下列条件： v v v v (1) || x || ≥ 0 ; || x || = 0 ⇔ x = 0 （正定性 正定性) v v (2) || α x || = | α | ⋅ || x || 对任意α ∈C (齐次性 齐次性) 齐次性
v v v v (3) || x + y || ≤ || x || + || y || （三角不等式 三角不等式)
常用向量范数 (设1≤ p <∞) 设 ≤ ∞
v || x ||1 =
Σ |x
i =1
n
i
|
v || x || 2 =
Σ
n
i=1
| xi |
2
v || x || p =
Σ
n
1/ p
i =1
∞ k →
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是矩阵
d1 , d
A 的任意两
2 使得
d1 A A d2 A , ACmn
诱导范数
定 数义 ，： 如设果对X于任是何向矩量阵范A数与，向A量
是矩阵范
X 都有
AX A X
则称矩阵范数 的。
A 与向量范数
X 是相容
例 1 ：矩阵的Frobenius范数与向量的2-范 数是相容的.
证明： 因为
2
(
aij )( x j )
i1 j1
j 1
A 2X 2
F
2
于是有
AX A X
2
F
2
例 2 ：设 X 是向量的范数，则
AX
A max
X i
X 0
满足矩阵范数的定义，且 A 是与向量范
X 相容的矩阵范数。
i
证明：首先我们验证此定义满足范数的四
条性质。非负性，齐次性与三角不等式易
证。现在考虑矩阵范数的相容性。
A 2
15 。
练习 ：设
0 1 i
1 0 0
A 1 0 0 或 A 0 1 0
i 0 0
0 0 1
分别计算这两个矩阵的 A ， A ， A
和A 。
1
2
F
例 ：证明：对于任何矩阵 A Cmn 都有
(a) AH AT A
1
1
(b) AH AT A
2
2
2
(c) AH A A 2
2
2
(d) A 2 A A
bkj
A B
因此 A 为矩阵 A 的范数。
例 3 ：对于任意 A Cmn，定义
m n
21
A ( F
aij ) 2
i1 j1
可以证明 A 也是矩阵 A 的范数。我们称此 范数为矩阵 A 的Frobenious范数。
证明：此定义的非负性，齐次性是显然的。
利用Minkowski不等式容易证明三角不等式。 现在我们验证乘法的相容性。
解：取 0 1
0 T 。设
X x1 x2
xn T
那么
n
X X H *
xi
X 1
i 1
矩阵的谱半径及其性质
定义：设 A Cmn ，A 的 n 个特征值为 1, 2, , n ，我们称
(A) max{1 , 2 , , n }
为矩阵 A 的谱半径。
例 ：设 A Cmn ，那么
(A) A
那么我们称 A 是矩阵 A 的范数。
例 1：对于任意 A Cmn ，定义
mn
A aij
i1 j1
可以证明如此定义的 A 的确为矩阵 A 的范
数。
证明：只需要验证此定义满足矩阵范数的 四条性质即可。非负性，齐次性与三角不 等式容易证明。现在我们验证乘法的相容
性。设 A Cmp , B C pn ，则
必要性：设
lim
k
A(k )
A
[aij ]
那么由定义可知对每一对 i, j 都有
lim
k
a (k) ij
aij
0
(i 1, 2, , m; j 1, 2, , n)
从而有
mn
lim
k
a (k) ij
aij
0
i1 j1
上式即为
lim A(k) A 0
k
充分性：设
AX
A
i
X
AX A X
i
这说明 A 与 X 是相容的。
i
定义：上面所定义的矩阵范数称为由向量范
数 X 所诱导的诱导范数或算子范数。由
向量 P--范数 X 所诱导的矩阵范数称为矩
阵P--范数。即 p
AX
A max
p
p
X 0 X
p
常用的矩阵P--范数为 A ， A 和 A 。
1
2
定理：设 A Cmn ，则
d1
b
a
d2
,
b
V
定理：有限维线性空间 V 上的任意两个向
量范数都是等价的。
利用向量范数可以去构造新的范数。
例 ：设 b是 Cm 上的向量范数，且
ACmn , rank( A) n ，则由
A , Cn
a
b
所定义的 a是 Cn 上的向量范数。
例 ： 设 V 数域 F 上的 n 维线性空间，
a (k) 21
1
r k (r
1),
那么
a (k) 22
k2 k2
k k
1 lim A(k) A 3
0
k
1 1
定理： 矩阵序列{A(k )} 收敛于 A 的充分必
要条件是
lim A(k) A 0
k
其中 A(k) A 为任意一种矩阵范数。
证明：取矩阵范数
mn
A aij
i1 j1
定理：设 A 是矩阵范数，则存在向量范数 X 使得 *
AX A X *
证明：对于任意的非零向量 ，定义向量范
数 X X H ，容易验证此定义满足向
量范数的三个性质*，且
AX AX H A X H
*
*
*
A X *
例：已知矩阵范数
mn
A A *
aij
i1 j1
求与之相容的一个向量范数。
则有
A1 1 A
例 ：如果 A 1 ，则 I A 均为可逆矩
阵，且
1 (I A)1 1
1 A
1 A
这里 A 是矩阵 A 的算子范数。
矩阵序列与极限
定义：设矩阵序列 {A(k )} ，其中
A(k
{aij
()k)},aij
(k
i
) Cmn
1,2,
，如果 mn 个数列
,m; j 1,2, ,n
1,2, ,n 为其一组基底，那么对于 V 中的任意一个向量 可唯一地表示成
n
xii , X x1, x2, , xn F n
i 1
又设 是 F n上的向量范数，则由
X V
所定义的
V
是 V 上的向量范数。
矩阵范数
定义：对于任何一个矩阵 A Cmn ，用
A 表示按照某一确定法则与矩阵 A 相对
mn p
mn p
AB
aikbkj
aik bkj
i1 j1 k 1
i1 j1 k 1
mn
p
p
[( aik )( bkj )]
i1 j1 k 1
k 1
mp
np
( aik )( bkj )
i1 k 1
j1 k 1
A B
例 2 ：设矩阵 A Cnn ，证明：
A
n max i, j
aij
是矩阵范数。
m
（1）
A 1
max( j i1
aij
),
j 1, 2,
,n
我们称此范数为矩阵A 的列和范数。
（2）
A
2
max( j
j
(
AH
A))
1 2
,
j ( AH A)
表示矩阵AH A 的第 j 个特征值。我们称此范 数为矩阵 A 的谱范数。
n
（3）
A
max( i
j 1
aij
),
i 1, 2,
,m
我们称此范数为矩阵 A的行和范数。
第五章 向量与矩阵的范数
定义： 设V 是实数域 R（或复数域 C ）上 的 n 维线性空间，对于V 中的任意一个向量 按照某一确定法则对应着一个实数，这个
实数称为 的范数，记为 ，并且要求
范数满足下列运算条件：
（1）非负性：当 0, 0 只 有且仅有当 0, 0
（2） 齐次性： k k , k 为任
命题： n 阶复矩阵 A 的谱半径不大于其任何
一种范数。
AX X , X 0 X X AX A X A
例 已知
2 1 0 A 0 2 3
1 2 0
计算 A ，A ，A 和 A 。
1
2
F
解： A 5 1
A 23 F
A 5
因为
5 0 0
AH A 0 9 6
0 6 9
所以
2
1
(c)
AH
A
2 2
max j
j
[(
AH
A)H ( AH
A)]
max j
j
[(
AH
A)2
]
[max j
j
(
AH
A)]2
A4 2
AH A A 2
2
2
(d )
A
2 2
max j
j
(
AH
A)
根据前面的命题可知
A
2 2
max j
j
( AH
A)
AH A 1
AH A A A
11
1
如何由矩阵范数构造与之相容的向量范数？
引理（Minkowski不等式）：设
a1,a2, ,an T , b1,b2, ,bn T Cn
则
n
(
ai bi p ) 1 p ( n
ai p ) 1 p ( n
bi p ) 1 p
i 1
i 1
i 1
其中实数 p 1 。
几种常用的范数
定义：设向量 a1, a2, , an T ，对任
于是有
n
x(
p
yi p ) 1 p
i 1
另一方面 n
1 yi p n
i 1
n
1
1