第五章矩阵范数与矩阵分析

合集下载

教材第五章矩阵分析

第五章矩阵分析本章将介绍矩阵微积分的一些内容．包括向量与矩阵序列的收敛性、矩阵的三种导数和矩阵微分与积分的概念，首先简要介绍向量与矩阵范数的有关知识．§5.1 向量与矩阵的范数从计算数学的角度看，在研究计算方法的收敛性和稳定性问题时，范数起到了十分重要的作用．一、向量的范数定义1 设V 是数域F 上n 维(数组)向量全体的集合，x 是定义在V 上的一个实值函数，如果该函数关系还满足如下条件1)非负性对V 中任何向量x ，恒有0x ≥，并且仅当0=x 时，才有x =0；2)齐次性对V 中任意向量x 及F 中任意常数k ，有;x k kx = 3)三角不等式对任意V y x ∈,，有y x y x +≤+，则称此函数x (有时为强调函数关系而表示为⋅) 为V 上的一种向量范数．例1 对n C 中向量()T n x x x x ,,,21 =，定义222212nx x x x+++=＝H x x ，则2x 为n C 上的一种向量范数[i x 表示复数i x 的模]，称为2-范数．证首先，2n x C 是上的实值函数，并且满足1)非负性当0x ≠时，0x >；当0x =时，0x =； 2)齐次性对任意k C ∈及n x C ∈，有2221222||||||||n kx kx kx kx k x =+++= ；3)三角不等式对任意复向量1212(,,,),(,,,)T T n n x x x x y y y y == ，有222221122||||||||n n x y x y x y x y +=++++++2221122()()()n n x y x y x y ≤++++++22111||2||||||nnni i i i i i i x x y y ====++∑∑∑ (由Cauchy-ВуНЯКОВСКИЙ不等式)222222222||||2||||||||||||(||||||||),x x y y x y ≤++=+因此 222||||||||||||x y x y +≤+．所以2||||x 确为n C 上的一种向量范数．例2 对n C [或n R ]上向量12(,,,)T n x x x x = 定义 112||||||||||n x x x x =+++ ， 1m a x i i nxx ∞≤≤=，则1||||x 及x ∞都是n C [或n R ]上的向量范数，分别称为1-范数和∞-范数．证仅对后者进行证明． 1)非负性当0x ≠时，max 0i ixx ∞=>，又显然有00∞=；2)齐次性对任意向量()T n x x x x ,,,21 =及复数k ， m a x m a x ;i i iikxkx kx k x∞∞===3)三角不等式对任意向量1212(,,,),(,,,),T T n n x x x x y y y y ==()i i ii i iy x y x yx +≤+=+∞max maxi ii iy x m a x m a x+≤ =∞∞+y x ．综上可知∞x 确为向量范数．上两例中的∞x x x ,,21是常用的三种向量范数．一般地，对于任何不小于1的正数p ，向量()T n x x x x ,,,21 =的函数pni p i px x11⎪⎭⎫ ⎝⎛=∑= 也构成向量范数，称为向量的p -范数．注：(1)当1p =时，1pxx =；(2)当2p =时，2x 为2-范数，它是酉空间范数；当i x 为实数时，12221()ni i x x ==∑为欧氏空间范数．由p -范数的存在，可知向量的范数有无穷多种，而且向量的范数并不仅限于p -范数．在验证向量的范数定义中，三角不等式的过程中常涉及到两个著名的不等式，即1、Hölder 不等式设正实数,p q 满足111,p q+=则对任意的,,n x y C ∈有 11111()()nnnp q pqi ii i i i i x yx y ===≤∑∑∑．2、Minkowski 不等式对任意实数1p ≥，及,,n x y C ∈有111111()()()nnnpp ppppi i i i i i i x y x y ===+≤+∑∑∑．例3 设()Tx 1,,1,1 =为n 维向量，则1,,21===∞xn x n x ．各种范数值差距很大．但是，各种范数之间却存在着内在的制约关系，称为范数的等价性．定理1 设βα⋅⋅,为有限维线性空间V 的任意两种向量范数(它们不限于p -范数)，则存在正的常数12,C C ，使对一切向量x ，恒有βαβx C xxC 21≤≤． (1)证如果范数x α和x β都与一固定范数，譬如2-范数2x 满足式(1)的关系，则这两种范数之间也存在式(1)的关系，这是因为若存在正常数12,C C ''和12,C C ''''，使 1222122,C x x C x C xx C x αββ''≤≤''''≤≤成立，则显然有1122||||||||||||C C x x C C x βαβ''''''≤≤．令111222,C C C C C C ''''''==，则得式(1)，因此只要对2β=证明式(1)成立即可．设V 是n 维的，它的一个基是12,,,n x x x ，于是V 中的任意向量x 可表示为1122n n x x x x ξξξ=+++ ．从而，1122n n x x x x ααξξξ=+++ 可视为n 个变量12,,,n ξξξ 的函数，记为12(,,,)n x αϕξξξ= ，易证12(,,,)n ϕξξξ 是连续函数，事实上，若令1122n n x x x x V ξξξ''''=+++∈ ，则 12(,,,)n x αϕξξξ''''= ． 1212(,,,)(,,,)n n x x x x αααϕξξξϕξξξ'''''-=-≤-11111()()nn n nn n x x x x αααξξξξξξξξ''''=-++-≤-++- ．由于ix α(1,2,,)i n = 是常数，因此i ξ'与i ξ充分接近时，12(,,,)n ϕξξξ''' 就与12(,,,)n ϕξξξ 充分接近，所以12(,,,)n ϕξξξ 是连续函数．所以在有界闭集{}2221212(,,,)1n S ξξξξξξ=+++= 上，函数12(,,,)n ϕξξξ 可达到最大值2C 及最小值1C ．因为在S 中，i ξ不能全为零，所以10C >．记向量1212222nn y x x x xxxξξξ=+++，则其坐标分量满足222122221nxxxξξξ+++= ，因此，y S ∈．从而有11122220,,n C yC x x x αξξξϕ⎛⎫<≤=≤ ⎪ ⎪⎝⎭．但2,xy x =故122x C C x α≤≤．即 1222C x x C x α≤≤．二、矩阵的范数定义2 设V 是数域F 上所有n m ⨯矩阵的集合，A 是定义在V 上的一个实值函数，如果该函数关系还满足如下条件：对V 中任意矩阵A 、B 及F 中任意常数k 总有1)非负性 0≥A ，并且仅当0=A 时，才有0=A ；2)齐次性 A k kA =；3)三角不等式 B A B A +≤+，则称()⋅A是V 上的一种矩阵范数．例4 对n m C ⨯(或n m R ⨯)上的矩阵()ij A a =定义∑∑===m i nj ij M a A111，∑∑===mi nj ijM a A1122，11max ij M i m j nAa ∞≤≤≤≤=，则∞⋅⋅⋅M M M ,,21都是n m C ⨯(或n m R ⨯)上的矩阵范数．实用中涉及较多的是方阵的范数，即m n =的情形．定义 3 设F 是数域，⋅是n n F ⨯上的方阵范数．如果对任意的,n n A B F ⨯∈，总有AB A B ≤⋅，则说方阵范数⋅具有乘法相容性．注意在某些教科书上，往往把乘法相容性直接纳入方阵范数的定义中作为第4个条件，在读书时，只要注意到各自定义的内涵就可以了．例5 对n n C ⨯上的矩阵][ij a A =，定义ij nj i a n A ≤≤⋅=,1max ，则⋅是一种矩阵范数，并且具备乘法相容性．证非负性与齐次性显然成立，另两条证明如下．三角不等式ij ij b a n B A +⋅=+max()m a x m a x i j i j n a b ≤+B A +=；乘法相容性⎪⎭⎫⎝⎛⋅≤⋅=∑∑==n k kj ik nk kj ik b a n b a n AB 11max max()()B A b n a n ij ij =⋅≤max max ，证得A 为矩阵范数且具有乘法相容性．并不是所有的方阵范数都具有乘法相容性．例如对于22⨯R 上的方阵范数.M ∞就不具备相容性条件．此时ij j i M a A2,1max ≤≤=∞．取1110,0111A B ⎛⎫⎛⎫== ⎪ ⎪⎝⎭⎝⎭，则有1==∞∞M M BA，而2M M M ABAB∞∞∞=>．定义4 如果n 阶矩阵A 的范数A 与n 维向量x 的范数x ，使对任意n 阶矩阵A 及任意n 维向量x 均有x AAx ≤，则称矩阵范数A 与向量范数x 是相容的．定理2 设x 是某种向量范数，对n 阶矩阵A 定义Ax xAx A x x 1max max=≠== (2)则A 为方阵范数，称为由向量范数x 导出的矩阵范数，而且它具有乘法相容性并且与向量范数x 相容．证首先可证，由(2)式定义的函数关系||||A 满足与向量范数||||x 的相容性．对于任意n 阶矩阵A 及n 维向量x ，当0x ≠时，有0||||||||max ||||||||||||y Ax Ay A x y ≠≤=，即 ||||||||||||;Ax A x ≤ (3) 而当0x =时，||||0||||||||Ax A x ==，于是总有(3)式成立．容易验证||||A 满足范数定义中的非负性、齐次性及三角不等式三个条件，因而A 是一种方阵范数．并且，对任意n 阶矩阵,A B ，利用(2)式和(3)式可得00maxmax max x x x A Bx ABx Bx AB A A B x x x≠≠≠=≤==．即说矩阵范数A 具备乘法相容性．一般地，把由向量p -范数p x 导出的矩阵范数记作p A ．下面看常用的三种矩阵范数例6 证明对n 阶复矩阵[]i j A a =，有 1)111max nij j ni A a ≤≤==∑，称为A 的列和范数．2)11max nij i nj A a ∞≤≤==∑，称为A 的行和范数．证 1)设111max n nij ik j ni i w a a ≤≤====∑∑．若A 按列分块为12(,,,)n A ααα=则111max k j j nw αα≤≤==．对任意n 维向量12(,,)T n x x x x = ，有112211221111112111()max .n n n nn jj nAx x x x x x x x x x x w ααααααα≤≤+++≤+++≤+++≤于是，对任意非零向量x 有11Ax w x ≤．以下证明存在非零向量k e 使11k kAe w e =．事实上，设k e 是第k 个分量为1而其余分量全为0的向量，则1k e =1，且n=11k ik i Ae a w ==∑，即11k kAe w e =．2)的证明与1)相仿，留给读者去完成．例7 证明对n 阶复矩阵A ，有21max i i nA σ≤≤=，这里()n i i ,,2,1 =σ是A 的奇异值，称此范数为A 的谱范数．证设H A A 的全部特征根为12,,n λλλ ．不妨设11max i i nλλ≤≤=．于是111max i i nσλσ≤≤==．因为H A A 为H -矩阵，故有酉矩阵U ，使得12n (,),,H H U A AU diag λλλ=Λ= ．如设12(,,,)n U u u u = 则i u 是H A A 相应于特征根i λ的单位特征向量，即有,H i i i A A u u λ= 21iu =．对任意满足2||||1x =的复向量12(,,,)T n x x x x = ，有22||||()()H HAx Ax Ax x ==H U U x Λ．令H y U x =，则222222||||||||||||1H y U x x ===，说明y 亦为单位向量．若设12(,,,)T n y y y y = ，则2221||||||1nii y y ===∑，于是22211||||||n Hi i i Ax y y y λλ==Λ=≤∑．即有12Ax σ≤．由x 的任意性，便得21221max x A Ax σ==≤ ．特别取1x u =，则有211111112H H H Au u A Au u u λλ==＝，即112Au σ=．这说明2Ax 在单位球面{}21,n x x x C =∈上可取到最大值1σ，从而证明了21221max x A Ax σ===．各种矩阵范数之间也具有范数的等价性定理3 设,a A A β是任意两种矩阵范数，则有正实数12,,C C 使对一切矩阵A 恒有12a C AA C A ββ≤≤．§5.2 向量与矩阵序列的收敛性在这一节里，我们将把数列极限的概念，扩展到向量序列与矩阵序列上去．可数多个向量(矩阵)按顺序成一列，就成为一个向量(矩阵)序列．例如()()(12(,,,)k k k T k n x x x x = ，1,2,3,k = 是一个n 维向量序列，记为{}k x ，诸k x 的相应分量则形成数列{}k i x ．定义5 设有向量序列()()()12{}:(,,,)k k k Tk k n x x x x x = ．如果对1,2,,i n = ，数列(){}k i x 均收敛且有()lim k i i k x x →∞=，则说向量序列{}k x 收敛．如记12(,,,)T n x x x x = ，则称x 为向量序列{}k x 的极限，记为lim k k x x →∞=，或简记为k x x →．如果向量序列{}k x 不收敛，则称为发散．类似于数列的收敛性质，读者不难证明向量序列的收敛具有如下性质．设{},{}k k x y 是n C 中两个向量序列，,a b 是复常数，n ,m A C ⨯∈如果l i m ,l i m k k k k x x y y →∞→∞==，则1lim();2lim .k k k k k ax by ax by Ax Ax →∞→∞>+=+>=定理4 对向量序列{}k x ，x x k =∞→k lim 的充分必要条件是0lim =-∞→x x k k ，其中⋅是任意一种向量范数．证 1)先对向量范数i ni x x≤≤∞=1max 证明定理成立．i k i k k k x x x x =⇔=∞→∞→)(lim lim ，n i ,...,2,1=；,0lim )(=-⇔∞→i k i k x x n i ,...,2,1=；0max lim )(1=-⇔≤≤∞→i k i ni k x x ；0lim =-⇔∞∞→xx k k ．2)由向量范数等价性，对任一种向量范数⋅，有正实数21,b b ，使∞∞-≤-≤-x x b x x x x b k k k 21．令∞→k 取极限即知lim 0lim 0k k k k x x x x∞→∞→∞-=⇔-=．于是定理对任一种向量范数都成立．根据上述定义，向量序列有极限的根本之处在于各分量形成的数列都有极限．由于m n C ⨯中矩阵可以看作一个mn 维向量，其收敛性可以和mn C 中的向量一样考虑．因此，我们可以用矩阵各个元素序列的同时收敛来规定矩阵序列的收敛性．定义6 设有矩阵序列{}n m k ij k k a A A ⨯=][:)(，如果对任何,(1,i j i m ≤≤1j ≤)n ≤均有ij k ij k a a =∞→)(lim ，则说矩阵序列{}k A 收敛，如令n m ij a A ⨯=][，又称A 为{}k A 的极限．记为,lim A A k k =∞→或A A k →．矩阵序列不收敛时称为发散．讨论矩阵序列极限的性质，以下设所涉及的矩阵为n 阶矩阵． 1) 若A A k k =∞→lim ，{}k a 为数列且a a k k =∞→lim ，则()aA A a k k k =∞→lim ．特别，当a 为常数时，()k k k k A a aA ∞→∞→=lim lim ．2) 若A A k k =∞→lim ，B B k k =∞→lim ，则()B A B A k k k ±=±∞→lim ．3) 若A A k k =∞→lim ，B B k k =∞→lim ，则()AB B A k k k =∞→lim ．4) 若A A k k =∞→lim 且诸k A 及A 均可逆，则{}1-k A 收敛，并且11lim --∞→=A A k k ．容易证明性质1)-3)成立，对性质4)注意到行列式k A 值定义的和式无非是k A 中元素()(,1,2,,)k ij a i j n = 的乘法与加法之组合，再由lim k →∞(),k ij ij a a =即可知lim k k A A →∞=．用()k ij A 表示k A 中(,)i j 元素的代数余子式，用ij A 表示A 中(,i j )元素的代数余子式，便有()lim k ij ij k A A →∞=．进而 **lim k k A A →∞=．这里*k A 是k A 的伴随矩阵，*A 是A 的伴随矩阵．又*1kkk A A A -=，所以*11lim kk A A A A--→∞==．定理 5 对于矩阵序列{}k A ，lim k k A A →∞=的充分必要条件是对任何一种矩阵范数⋅，有lim 0k k A A →∞-=．定理5的证明与定理4类似，由于矩阵范数的等价性，只需证明对矩阵范数,max ij i jA a =定理成立，其方法也与定理4的证明一致，这里从略．以下主要介绍范数在特征值估计方面的应用．定义7 设n n A C ⨯∈，1,,,,j n λλλ 为A 的n 个特征值，称()max j jA ρλ=为A 的谱半径．有了谱半径的概念，可以对矩阵范数作如下的初步估计．定理6 设n n A C ⨯∈，则对n n C ⨯上的任一矩阵范数⋅，皆有()A A ρ≤．证设λ是A 的特征值，x 为A 的属于特征值λ的特征向量，故0x ≠，所以0x ≠．另设v ⋅是n C 上与矩阵范数⋅相容的向量范数，由Ax x λ=，应有v v Ax x λ=，而v v Ax A x ≤，于是有v v x A x λ≤，同除0v x ≠，有A λ≤．故max jA λ≤，于是()A A ρ≤．定理7 设n n A C ⨯∈，lim 0k k A →∞=的充分必要条件是()1A ρ<．证对n n A C ⨯∈，由第三章定理15知，存在n 阶的逆矩阵P 使得112(,,,)s P AP J diag J J J -== ，其中10110i ii ii i i n n J λλλλ⨯⎛⎫ ⎪⎪⎪= ⎪ ⎪⎪⎝⎭，则112(,,)k k k k k s P A P J diag J J J -== ．因此lim 0lim 0lim 0(1,2,,)k k k i k k k A J J i s →∞→∞→∞=⇔=⇔== ．而(1)11()()()()2(1)()()1()2()()i n k i k i k i k i i k i k i ki k i k i k i f f f f n f f J f f f λλλλλλλλλ-⎛⎫''' ⎪- ⎪' ⎪ ⎪⎪= ⎪'' ⎪ ⎪' ⎪⎪⎝⎭！！！，其中()k k f λλ=，因为对任一多项式(),g λ当k →∞时，()01k i i g λλ→⇔<．而1(1,2,,)()1i i s A λρ<=⇔< ．由定理6和定理7即得如下结果．定理8 设n n A C ⨯∈，如果存在n n C ⨯上的一种相容矩阵范数.使1A <，则lim k →∞0k A =．定理9 设λ是n 阶矩阵A 的任一特征根，那么对任一种矩阵范数⋅，都有A λ≤．证设,A a =则0a ≥，对任意给定的0ε>，令AB a ε=+．于是，若设A 的全部特征根为12,,,,n λλλ 则B 的全部特征根恰是12,,,na a a λλλεεε+++ ．又11aB A a a εε==<++．由定理8知0k B →，再由定理６知1,1,2,,,ii n a λε<=+ 即,1,2,,.i a i n λε<+= 由ε的任意性，令0ε→取极限，便有,1,2,,.i a i n λ≤= 即知对任一特征根λ，有a λ≤．§5.3 矩阵的导数本节讨论三种导数：矩阵对变量的导数、函数对矩阵的导数、矩阵对矩阵的导数．一、函数矩阵对变量的导数如果矩阵中诸元素都是某实变量x 的函数，则称这种矩阵为函数矩阵．它的一般形式是()⎪⎪⎪⎪⎪⎭⎫⎝⎛=)()()()()()()()()(212222111211x a x a x a x a x a x a x a x a x a x A mn m m n n ，其中()()1,2,,;1,2,,ij a x i m j n == 都是实变量x 的函数．定义8 设函数矩阵()[()]ij m n A x a x ⨯=，如果对一切正整数,i j ，1i m ≤≤1j n ≤≤，均有()0lim ij ij x x a x b →=，则说当0x x →时函数矩阵()A x 有极限，n m ij b B ⨯=][叫做()A x 的极限，记为()0lim x x A x B →=．该定义的实质是如果()A x 的所有各元素()ij a x 在0x 处都有极限，则说()A x 在0x 处有极限．如果()A x 的所有各元素()ij a x 在0x 处连续，即00lim ()()ij ij x x a x a x →=，(1,2,,;1,i m jn == ，则称()A x 在0x x =处连续，且记0lim ()()x x A x A x →=．如果()A x 在某区间[,]a b 上处处连续，则说()A x 在[,]a b 上连续．容易验证下列等式是成立的：设()()0lim ,lim x x x x A x A B x B →→==，则(1)0lim(()())x x A x B x A B →±=±；(2)()0lim ()x x kA x kA →=；(3)()0lim ()()x x A x B x AB →=．定义9 对于函数矩阵()n m ij x a x A ⨯=)]([，如果所有元素ij a ()x (1,2,i =,;1,2,,)m j n = 在某点x 处[或在某区间上]均可导，则称()x A 在x 处[或在某区间上]可导．导数[或导函数]记为()dA x dx ，简记为()x A '．并规定 ()()()()()()()()()()()111212122212n n m m mn a x a x a x a x a x a x d A x A x dxa x a x a x '''⎛⎫ ⎪''' ⎪'== ⎪ ⎪ ⎪'''⎝⎭，其中()ija x '表示()x a ij 对x 的一阶导数．矩阵对变量的导数运算具有如下一些性质1°若函数矩阵()()x B x A ,都可导，则它们的和亦可导，并且()()[]()()x B dxd x A dx d x B x A dx d+=+． 2°若()x A 可导，()f x 是x 的可导函数，则()x f ()x A 可导，且()()[]()()()()x A dx d x f x A x f dx d x A x f dx d +⎥⎦⎤⎢⎣⎡=，特别地，当()x f 为常数k 时，有()[]()x A dxd k x kA dx d=． 3°若()x A 可导，则()x A T 可导，并且()()TT dx x dA x A dx d ⎪⎭⎫ ⎝⎛=． 4°若()x A ，()x B 可导且二者可乘，则()x A ()x B 亦可导，且()()[]()()()()x B dx d x A x B x A dx d x B x A dx d +⎥⎦⎤⎢⎣⎡=⋅．推论若()x A 可导，Q P ,为数字矩阵，则()[]()x A dxd P x PA dx d=， ()[]()Q x A dx d Q x A dx d ⎥⎦⎤⎢⎣⎡=． 5° 若()x A 为可逆的可导函数矩阵，则()x A 1-亦可导，且()[]()()()x A dxx dA x A x A dx d 111----=．证因为1()(),A x A x E -=所以111()()[()()]()()0d dA x dA x A x A x A x A x dx dx dx---=+=．于是111()()()()dA x dA x A x A x dx dx---=-．函数矩阵的导数本身也是一个函数矩阵，它可以再进行求导运算，下面我们给出函数矩阵对变量的高阶导数22()()()d A x d dA x dx dx dx =， 3232()()()d A x d d A x dx dx dx =，1()()()k k kd A x d d A x dx dx dx-=．例1 设)(x A 为n 阶可导函数矩阵，求()x A 2的一、二阶导数．解()()()[]()()()()x A x A x A x A x A x A dxdx A dx d '+'==2 [注意一般 2()2()()d A x A x A x dx'≠]()()()()()[]x A x A x A x A dx dx A dxd '+'=222()()()[]()()x A x A x A x A x A ''+'+''=22．例2 设()()()⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=t x t x t x x n21，其中()t x i 均为t 的可导函数，n n ij a A ⨯=][为n 阶实对称矩阵，求二次型Ax x T 对t 的导数．解 []()x A x x A x Ax x Ax x dtd T T T T'+'+'=．又A 为数字矩阵，故0='A ，又x A x T '为t 的函数．而有()()()Ax x x A x x A x x A x T T TT T T '='='='．所以()x A x Ax x dxd T T'=2．二、函数对矩阵的导数定义10 设n m ij x X ⨯=][为多元实变量矩阵，()()1111,,,,,,n m mn f X f x x x x =是以X 中诸元素为变量的多元函数，并且偏导数ijx f∂∂()1,2,,;1,2,,i m j n == 都存在，则定义函数)(X f 对矩阵X 的导数为⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=mn m m nn x f x f x f x f x f x f x f x f x f dX df212222111211．特别，当X 为向量()Tn x x x x ,,,21 =时，函数()n x x x f ,,,21 对x 之导数为()x f x f x f x f dx df Tn ∇=⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂=,,,21 ．例3 设[]()∑∑==⨯==m i nj ij nm ijx X f x X 112,，求dXdf ．解2,1,2,,;1,2,,ij ijfx i m j n x ∂===∂ ．X x x x x x x x x x dX df mn m m n n 2222222222212222111211=⎪⎪⎪⎪⎪⎭⎫⎝⎛=．例4 设1122,n n a x a x a x a x ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭，1122()T n n f x a x a x a x a x ==+++ ，则12n a a df a dx a ⎛⎫⎪ ⎪== ⎪⎪⎝⎭．三、矩阵对矩阵的导数定义11 设矩阵n m kl a A ⨯=][中每一个元素kl a 都是矩阵q p ij b B ⨯=][中各元素(1,2,...,;1,2,...,)ij b i p j q ==的函数，当A 对B 中各元素都可导时，则称矩阵A 对矩阵B 可导，且规定A 对B 的导数为111212122212q q p p pq A A A b b b A A A dA b b b dB A A A b b b ∂∂∂⎛⎫ ⎪∂∂∂ ⎪ ⎪∂∂∂ ⎪∂∂∂= ⎪⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭，其中111122212212n ij ij ij n ijij ij ij m m mn ijijij a a a b b b a a a A b b b b a a a b b b ∂∂∂⎛⎫⎪∂∂∂ ⎪ ⎪∂∂∂ ⎪∂∂∂∂= ⎪∂⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭，dBdA是一个nq mp ⨯矩阵．例5 设n m ij a A ⨯=][，求dAdA 解 ⎪⎪⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=mn m m n n mn m m n n E E E E E E E E E a A a A a A a A a A a A a A a A a A dA dA212222111211212222111211．这里),(j i E ij 是元素都是1，其余元素都是0的n m ⨯矩阵．例6 设()n x x x x ,,,21 =，()Tn y y y y ,,,21 =，其中()n i i x x x f y ,,,21 =，()m i ,,2,1 =．如果()1,2,,;1,2,i jy i m j n x ∂==∂ 都存在，则y 对x 可导且⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=⎪⎪⎭⎫ ⎝⎛∂∂∂∂∂∂=n mm m n n n x y x y x y x y x y x yx y x y x y x y x y x y dx dy21222121211121,,．例7 设12(,,,)n x x x x = ，求Tdx dx．解 111122221212n T n nn n n x x x x x x x x x dx x x x E dxx x x x x x ∂∂∂⎛⎫ ⎪∂∂∂ ⎪⎪∂∂∂ ⎪∂∂∂== ⎪ ⎪ ⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭．以下我们考虑向量对向量的导数．设12(,,),n x x x x = 12n y y y y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭，其中12(,)(1,2,,).i i n y f x x x i m == 如果(1,2,,;1,2)ijy i m j n x ∂==∂ 都存在，则y 对x 可导，且 11112222121212(,,,)n n nm m m n y y y x x x y y y dy y y yx x x dx x x x y y y x x x ∂∂∂⎡⎤⎢⎥∂∂∂⎢⎥∂∂∂⎢⎥∂∂∂⎢⎥∂∂∂==⎢⎥∂∂∂⎢⎥⎢⎥∂∂∂⎢⎥⎢⎥∂∂∂⎣⎦(1) 在一些书上，往往对行向量和列向量不加区别，而规定任何一个m 维向量y 对另一个n 维向量x 的导数都以上面(1)式最后的矩阵形式来表达，这主要是为了应用的方便．例8 设数量函数()n x x x f y ,,,21 =的所有二阶偏导数都存在，记()Tn x x x x ,,,21 =，求梯度()dy f x dx ∇=，及海森[Hessian]矩阵22()d yH x dx=．解 12(),,,Tn dy y y y f x dx x x x ⎛⎫∂∂∂∇== ⎪∂∂∂⎝⎭． 222211212222221222222212()n n n n n yy y x x x x x yy y d y d dy H x x x x x x dx dx dx y y y x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂⎪ ⎪∂∂∂⎪⎛⎫===∂∂∂∂∂ ⎪ ⎪⎝⎭⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭．当y 的所有二阶偏导数都连续时，Hessian 矩阵为n 阶对称矩阵．§5.4 矩阵的微分与积分定义12 当函数矩阵()[()]ij m n A x a x ⨯=可导时，其微分111212122212[]n n ij m nm m mn da da da da da da dA da da da da ⨯⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎣⎦，其中()ij ij da a x dx '=． (1) 矩阵的微分实质上就是各个元素分别微分，因此，相应于每一个导数运算性质都可以得到一个关于微分的相应性质，例如();d A B dA dB +=+ ()();d AB dA B AdB =+();d kA kdA =(k 为常数)；()()()d fA df A f dA =+ (()f f x =为可微函数) 都是正确的．如果矩阵A 中每个元素都是以矩阵B 中诸元素为变量的多元函数，则称矩阵A 是矩阵B 的函数，记为()A B ．此时矩阵A 作为一个多元函数矩阵，它的全微分仍可按(1)式定义，只不过其中元素ij da 应该换成全微分，即11p qij ij kl k l kla da db b ==∂=∂∑∑，这里,p q 分别是矩阵B 的行数和列数．定义13 若函数矩阵()(())ij m n A x a x ⨯=的所有各元素()(1,2,,;ij a x i m = 1,2,,)j n = 都在[,]a b 上可积，则称()A x 在[,]a b 上可积，且111212122212()()()()()()()()()()nn m m mn bbb a x dx a x dx a x dx a a a bbba x dx a x dx a x dxb A x dx aa a ab b b a x dx a x dx a x dx a a a ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰．函数矩阵的定积分有如下简单性质(1)()()b bkA x dx k A x dx a a=⎰⎰， k R ∈(2)[]()()()()bb b A x B x dx A x dx B x dx a a a+=+⎰⎰⎰，函数矩阵的不定积分也有类似的情况．例1 设sin cos ()cos sin x x A x x x -⎛⎫= ⎪⎝⎭，求()0x A x dx ⎰及2()0x d A x dx dx ⎰．解 s i n(c o s )001c o s s i n ()0sin 1cos cos sin 00xx xdx x dx x x x A x dx x x x x xdx xdx ⎛⎫- ⎪--⎛⎫⎪== ⎪ ⎪-⎝⎭ ⎪⎝⎭⎰⎰⎰⎰⎰．因为若以()ij a x 表示()A x 中各元素(,1,2)i j =，则有22()2()0ij ij x d a x dx xa x dx =⎰．所以有222222sin cos ()2()20cos sin x x x d A x dx xA x x dx xx ⎛⎫-== ⎪⎝⎭⎰．习题五1、设nn n n ij Ca A ⨯⨯∈=)(，令12211()n nij Fi j Aa ===∑∑，则F A 为方阵范数，证明：F A 是一种与向量的2-范数2x 相容的方阵范数．称它为方阵A 的Frobenius 范数，简称F-范数．2、设V 是n 维(复的或实的)线性空间，n e e e ,,,21 是V 的一组基，则对任意的V x ∈，x 有唯一表示式n n e x e x e x x +++= 2211，规定 2112)(∑==ni i Ex x．证明：E x 是V 中元素的一种范数．3、对下列矩阵A ，求21,A A 及∞A ．1)⎪⎪⎭⎫ ⎝⎛-=0123A 2)⎪⎪⎭⎫ ⎝⎛--+i i i i 114、证明：对n 阶矩阵][ij a A =，有∑=≤≤∞=nj ij ni a A 11max ．5、考察下列向量序列}{k x 的敛散性： 1)Tk k x )21,1(=； 2)Tki ki i k ix )1,0,21(11∑∑===．6、设⎪⎪⎭⎫⎝⎛-+=)1(2121)(2x x x x A 计算)(),(1x A dxd x A dx d -． 7、计算矩阵对矩阵的导数dAdx． 1)⎪⎪⎭⎫⎝⎛=32121x x x e A x x ，),,(321x x x x =；2)22212123334242,sin(3)x x x x e x x A x x x x x ⎛⎫+⎛⎫== ⎪ ⎪-⎝⎭⎝⎭． 8、设==⨯)(,][A f a A n n ij 迹A ．试求dAdf ． 9、设∑∑==+==ni ni i iTn x x ix x f x x x x 121221)(,),,,( ．试求梯度dxdfx f =∇)(及海森矩阵22)(dx fd x H =．10、已知函数矩阵⎪⎪⎪⎭⎫ ⎝⎛=-00302)(222x e ex xe e x A x xx x ，试求⎰10)(dx x A 和⎪⎭⎫ ⎝⎛⎰20)(x dt t A dx d ．。

第五章--向量范数和矩阵范数

圆范数。
当 x 时，|| x ||A 0 ；当 x θ 时由 A 对称
正定知 xH Ax 0 ，即 || x ||A 0 。
对于任意 k C ，有 || k x ||A (kx)T A(kx) | k | xT Ax | k | || x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
|| x ||2
| x1 |2 | x2 |2
| xn |2
定义的|| ||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
例 7 对任意 x ( x1, x2, , xn) T F n，由
|| x ||p
1/ p n
| xi |p , p 1
i1
定义的|| ||p 是 F n 上的向量范数，称为p -范数或 lp
UT AU Λ diag( λ1, λ2, , λn)
这里 A 的特征值 λi (i 1, 2, , n) 都为正数。
从而有
A UΛUT U Λ Λ UT BT B
此时
|| x ||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
因此对任意 y C n ， || x y ||A || B( x y) ||2
数 || A || 表示对于任意向量 x F n ， A 可以 “拉伸”向量 x 的最大倍数，即使得不等式
|| A x || C || x || 成立的最小的数 C 。称 || A || 为范数 || || 和 || ||
j1
n
| xj
j1
yj |; yj |;
yj |;
1
yj |m m;
以及与椭圆范数类似的Mahalanobis距离：

矩阵分析第5章课件

例：取n维线性空间的分量全为1的向量 e=(1,…,1)T为例. 易见 ‖e‖=1; ‖e‖2=n; ‖e‖1=n. 它们之间的大小关系是: ‖e‖<‖e‖2<‖e‖1. 命题:对n维线性空间的任意向量x成立 ‖x‖ ‖x‖2 ‖x‖1 n‖x‖ n‖x‖2 n‖x‖1 n2‖x‖ … 证:‖x‖= max{|x1|,…,|xn|} (i=1n|xi|2)1/2 = ‖x‖2 ((|x1|+…+|xn|)2)1/2 = ‖x‖1 n max{|x1|,…,|xn|} = n‖x‖
第五章向量与矩阵范数前言
• 向量与矩阵范数是向量与矩阵的一个重要数字特征---用它可以建立向量集或矩阵集的拓扑结构,从而便于研究向量或矩阵序列,向量或矩阵级数的收敛性质.因此,这一章的理论在数值分析及其它领域中十分有用. • 本章是本课程重点内容之一.所有5节都要认真学好.最后一节(矩阵幂级数)是研究矩阵函数的重要工具.
Holder不等式与Minkowski不等式
• 下面两个不等式对本章的理论推导十分有用 • Holder不等式:对任意给定p>1和q=p/(p-1) (>1,即(1/p)+(1/q)=1)及任意ak,bk0成立 k=1nakbk (k=1nakp)1/p(k=1nbkp)1/p. (C-S不等式为其(p=2时)特例) • Minkowski不等式:对任意给定p1成立 (k=1n|ak+bk|p)1/p (k=1n|ak|p)1/p+(k=1n|bk|p)1/p
ACmn 定义 ‖A‖= maxi,k|aik| 则‖A‖显然是向量范数(向量的无穷大范数),但它不是矩阵范数,反例如下:
1 1 1 1 1 2 A 1 1 , B 0 1 , AB 1 2

第五章矩阵分析基础1

的矩阵 H 为上Hessenberg（海森伯格）阵，或拟上三角阵。
( i 2 , 3 , 如果次对角线元素 h ii , 1 , n ) 全不为零，则称该矩阵为
不可约的上Hessenberg阵。定理5.2.4 对任意矩阵ARnn ，总存在正交阵 Q 使得 Q 1AQ 为上Hessenberg阵。 5.2.6 对角占优阵定义11 设矩阵
i j 1
元素得到矩阵
1 J (i, j , ) 1 cos 1 1 sin cos 1 sin
iLeabharlann j 为旋转角。称为Givens旋转矩阵，或称Givens变换，
T (2) 矩阵 H 是正交矩阵，即 Η Η Ι;
Ε(u, v;)中，
定理5.2.2 Householder矩阵 H 具有以下性质：
(3) H 变换保持向量长度不变，即对任意向量
v2 v2 ; v R n，H
(4) 设S 为以 u 为法向量过原点的超平面，对任意的非零 n 向量 v R ，有 H v 与v 关于超平面 S 对称。定理5.2.3 对任意的非零向量 v R n ，可以适当选择合适的
（3）三角不等式：即对任意两个向量X、Y R n，恒有
X YX Y
三个常用的范数：设X = (x1, x2,…, xn)T，则有（1）（2）（3）
X x x x 1 2 n 1
T 2 2 2 X X X x x x 1 2 n 2
X max x i
m ax i A
1in
并且如果A为对称矩阵，则
m a x A ( 谱范数） i 2

矩阵的范数及相关数学含义

矩阵的范数及相关数学含义
矩阵的奇异值：
设A为复数域内m*n阶矩阵，A*表⽰A的共轭转置矩阵，A*·A的n个⾮负特征值的算术平⽅根（即A*·A的开根号值）叫作矩阵A的奇异值。

记为σi(A)。

如果把A*·A的特征值记为λi(A*·A)，则σi(A)=sqrt(λi(A*·A))。

或者说矩阵A的奇异值是A*·A 的特征值的平⽅根。

任意矩阵都有奇异值。

对于⼀般的⽅阵来说，其奇异值与是没有关系的。

奇异值的数⽬是矩阵的最⼩的维数。

当A是⽅阵时，其奇异值的⼏何意义是：若X是n维单位球⾯上的⼀点，则Ax是⼀个n维椭球⾯上的点，其中椭球的n个半轴长正好是A的n个奇异值。

简单地说，在⼆维情况下，A将单位圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴。

如果取维空间的单位球，⽤ × 矩阵乘其中对于每个点的向量，这将得到维空间的椭球体. 的奇异值给出椭球体主轴的长度.
矩阵的2-范数 Norm 是椭球体的最⼤的主轴，等于矩阵最⼤的奇异值. 这也是对于任何可能的单位向量，的最⼤的2-范数长度.。

第五章矩阵分析

一般地，对于任何不小于1的正数 p , 向量
x x1, x2 ,, xn T 的函数
1
x
p
n i1
xi
p p
也构成向量范数，称为向量的P-范数。
由 p 范数的存在，可知向量的范数有无穷多种，而且，向量的范数并不
仅限于 p 范数.在验证向量的范数定义中，三角不等式的过程中常涉及到两个著名的不等式，即： 1、Hölder 不等式设正实数 p, q 满足 1 1 1, 则对任意的 x, y Cn , 有
有了谱半径的概念，可以对矩阵范数作如下的初步估计.
定理 6 设 A C nn ,则对 C nn 上的任一矩阵范数，皆有
( A) A
证设是 A 的特征值， x 为 A 的属于特征值的特征向量，故 x 0 ，所以 x 0 .另设是 Cn 上与矩阵范数相容的向量范数，由 Ax x ，应有
则有正实数 C1,C2 , 使对一切矩阵 A 恒有
C1
A
A
C2
A
第二节向量与矩阵序列的收敛性
定义5：设有向量序列xk : xk x1(k) , x2(k) ,, xn(k) T ,
如果对i 1,2,, n ,
数列
x(k) i
均收敛且有lim k
xi( k
)
xi
则说向量序列xk 收敛，如记 x (x1, x2,...,xn)T ,
k
xi(k
)
xi
i 1,2,...,n
lim
k
xi(k )
xi
0,
i 1,2,...,n
lim
k
max
1in
xi(k
)
xi

矩阵的范数

矩阵的范数矩阵的范数是线性代数中的一个概念，它是用来衡量矩阵大小的一种方式。

范数是一种将矩阵（或向量）映射到非负实数的函数，反映矩阵（或向量）的大小。

在实际应用中，矩阵的范数被广泛用于求解线性方程组、矩阵分解、数据压缩等各种问题中。

矩阵范数的定义比较抽象，但其有严格的数学定义。

在此先介绍一下向量范数，然后再拓展到矩阵范数的定义。

1. 向量范数向量范数是将一个向量映射到其大小的非负实数函数。

向量范数必须满足以下性质：（1）非负性：对于所有向量x，有||x||>=0。

（2）同一性：当且仅当x=[0,0,...,0]时，有||x||=0。

（3）绝对值：||x||=|-x|。

（4）三角不等式：对于所有向量x和y，有||x+y||<=||x||+||y||。

常见的向量范数有：（2）L2范数：||x||2=√(∑xi^2)。

矩阵范数类似于向量范数，也是将一个矩阵映射到其大小的非负实数函数。

矩阵范数也必须满足向量范数的四个性质（非负性、同一性、绝对值、三角不等式），同时还需要满足以下性质：（5）齐次性：对于所有矩阵A和实数t，有||tA||=|t|||A||。

（2）谱范数：||A||2=max|λi|，其中λi为A的特征值。

（5）核范数：||A||*=\sigma_1(A)+\sigma_2(A)+...+\sigma_r(A)，其中\sigma_1(A)≥\sigma_2(A)≥...≥\sigma_r(A)≥0是A的奇异值。

其中，Frobenius范数是最常用的矩阵范数，它等价于将矩阵展开成一个向量，然后计算向量的L2范数。

谱范数可以被视为矩阵的最大奇异值。

一范数和∞范数则是适用于稀疏矩阵的范数，它们可以度量矩阵的行或列中的非零元素个数。

核范数可以被视为对矩阵进行低秩近似的一种方式。

总之，矩阵范数是一种十分有用的工具，它不仅可以度量矩阵的大小，而且可以用于求解许多数学问题，如线性方程组、矩阵分解、最小二乘问题、数据压缩等。

矩阵论范数知识点总结

矩阵论范数知识点总结一、概述矩阵论是线性代数的一个分支，它研究矩阵及其性质。

矩阵的范数是矩阵的一种性质的度量，它在矩阵分析、数值线性代数、优化理论等领域中有着广泛的应用。

本文将对矩阵范数的定义、性质、应用以及相关的其他知识点进行总结和介绍。

二、矩阵的定义在数学中，矩阵是一个按照矩形排列的复数或实数集合。

也可以看成是一个数域上的矩形阵列。

矩阵的元素可以是实数、复数或者是其他的数学对象。

一个n×n矩阵A是一个由n×n个元素（a_ij）组成的矩形数组。

三、范数的定义在数学中，范数是定义在向量空间中的一种函数，它通常被用来衡量向量的大小或长度。

对于矩阵来说，范数是一种度量矩阵大小的方法。

对于一个矩阵A，它的范数通常记作||A||。

矩阵的范数满足以下性质：1. 非负性：||A|| ≥ 0，并且当且仅当A = 0时，||A|| = 02. 齐次性：对于任意标量c，||cA|| = |c| * ||A||3. 三角不等式：||A+B|| ≤ ||A|| + ||B||四、矩阵范数的种类矩阵范数一般有几种不同的类型。

1. Frobenius范数：矩阵A的Frobenius范数定义为||A||_F = sqrt(Σ_(i=1)^m Σ_(j=1)^n|a_ij|^2)2. 1-范数：矩阵A的1-范数定义为||A||_1 = max(Σ_(i=1)^n |a_ij|)3. 2-范数：矩阵A的2-范数定义为||A||_2 = max(Σ_(i=1)^m Σ_(j=1)^n |a_ij|^2)^(1/2)4. ∞-范数：矩阵A的∞-范数定义为||A||_∞ = max(Σ_(j=1)^n |a_ij|)五、矩阵范数的性质矩阵范数具有一些重要的性质，下面将介绍其中一些主要性质。

1. 非负性：||A|| ≥ 0，并且当且仅当A = 0时，||A|| = 02. 齐次性：对于任意标量c，||cA|| = |c| * ||A||3. 三角不等式：||A+B|| ≤ ||A|| + ||B||4. 乘法范数：||AB|| ≤ ||A|| * ||B||5. 谱半径：对于任意矩阵A，它的谱半径定义为rho(A) = max|λ_i(A)|6. 对称矩阵：对于对称矩阵A，其2-范数定义为rho(A)，即||A||_2 = rho(A)，其中rho(A)是A的最大特征值六、矩阵范数的应用矩阵范数在数学和工程领域有着广泛的应用，下面将介绍一些主要的应用。

矩阵分析---第五章向量与矩阵的范数

是矩阵
d1 , d
A 的任意两
2 使得
d1 A A d2 A , ACmn
诱导范数
定数义，：如设果对X于任是何向矩量阵范A数与，向A量
是矩阵范
X 都有
AX A X
则称矩阵范数的。
A 与向量范数
X 是相容
例 1 ：矩阵的Frobenius范数与向量的2-范数是相容的.
证明：因为
2
(
aij )( x j )
i1 j1
j 1
A 2X 2
F
2
于是有
AX A X
2
F
2
例 2 ：设 X 是向量的范数，则
AX
A max
X i
X 0
满足矩阵范数的定义，且 A 是与向量范
X 相容的矩阵范数。
i
证明：首先我们验证此定义满足范数的四
条性质。非负性，齐次性与三角不等式易
证。现在考虑矩阵范数的相容性。
A 2
15 。
练习：设
0 1 i
1 0 0
A 1 0 0 或 A 0 1 0
i 0 0
0 0 1
分别计算这两个矩阵的 A ， A ， A
和A 。
1
2
F
例：证明：对于任何矩阵 A Cmn 都有
(a) AH AT A
1
1
(b) AH AT A
2
2
2
(c) AH A A 2
2
2
(d) A 2 A A
bkj
A B
因此 A 为矩阵 A 的范数。
例 3 ：对于任意 A Cmn，定义
m n
21
A ( F

矩阵范数定义

矩阵范数定义矩阵范数是矩阵理论中的一个重要概念，它是用来衡量矩阵的大小的一种方法。

在实际应用中，矩阵范数被广泛应用于信号处理、图像处理、机器学习等领域。

本文将介绍矩阵范数的定义、性质以及应用。

矩阵范数的定义矩阵范数是一种将矩阵映射到实数的函数，它可以用来衡量矩阵的大小。

矩阵范数有多种定义方式，其中比较常见的有以下几种：1. Frobenius范数Frobenius范数是矩阵中所有元素的平方和的平方根，即：$$\left\|A\right\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^ 2}$$其中，$A$是一个$m\times n$的矩阵，$a_{ij}$表示矩阵$A$中第$i$行第$j$列的元素。

2. 1-范数1-范数是矩阵中每一列元素绝对值之和的最大值，即：$$\left\|A\right\|_1=\max_{1\leq j\leqn}\sum_{i=1}^m|a_{ij}|$$3. 2-范数2-范数是矩阵的最大奇异值，即：$$\left\|A\right\|_2=\sigma_{\max}(A)$$其中，$\sigma_{\max}(A)$表示矩阵$A$的最大奇异值。

4. 无穷范数无穷范数是矩阵中每一行元素绝对值之和的最大值，即：$$\left\|A\right\|_{\infty}=\max_{1\leq i\leq m}\sum_{j=1}^n|a_{ij}|$$矩阵范数的性质矩阵范数具有以下性质：1. 非负性：对于任意矩阵$A$，其范数$\left\|A\right\|$都是非负的。

2. 齐次性：对于任意矩阵$A$和标量$c$，有$\left\|cA\right\|=|c|\left\|A\right\|$。

第五专题矩阵的数值特征(行列式、范数、条件数、迹、秩、相对特征根)讲解

第五专题矩阵的数值特征（行列式、迹、秩、相对特征根、范数、条件数）一、行列式已知A p×q, B q×p, 则|I p+AB|=|I q+BA|证明一：参照课本194页，例4.3.证明二：利用AB和BA有相同的非零特征值的性质；从而I p+AB，I q+BA中不等于1的特征值的数目相同，大小相同；其余特征值都等于1。

行列式是特征值的乘积，因此|I p+AB|和|I q+BA|等于特征值（不等于1）的乘积，所以二者相等。

二、矩阵的迹矩阵的迹相对其它数值特征简单些，然而，它在许多领域，如数值计算，逼近论，以及统计估计等都有相当多的应用，许多量的计算都会归结为矩阵的迹的运算。

下面讨论有关迹的一些性质和不等式。

定义：n nii ii1i1tr(A)a====λ∑∑，etrA=exp(trA)性质：1. tr(A B)tr(A)tr(B)λ+μ=λ+μ，线性性质；2. Ttr(A )tr(A)=；3. tr(AB)tr(BA)=；4. 1tr(P AP)tr(A)-=；5. H Htr(x Ax)tr(Axx ),x =为向量；6. nnk ki i i 1i 1tr(A),tr(A )===λ=λ∑∑;从Schur 定理（或Jordan 标准形）和（4）证明； 7. A 0≥,则tr(A)0≥,且等号成立的充要条件是A=0；8. A B(A B 0)≥-≥即,则tr(A)tr(B)≥，且等号成立的充要条件是A=B （i i A B (A)(B)≥⇒λ≥λ）；9. 对于n 阶方阵A ，若存在正整数k,使得A k =0,则tr(A)=0（从Schur 定理或Jordan 标准形证明）。

若干基本不等式对于两个m ×n 复矩阵A 和B ，tr(A H B)是m ×n 维酉空间上的内积，也就是将它们按列依次排成的两个mn 维列向量的内积，利用Cauchy-schwarz 不等式[x,y]2≤[x,x]﹒[y,y]得定理：对任意两个m ×n 复矩阵A 和B |tr(A H B)|2≤tr(A H A)﹒tr(B H B)这里等号成立的充要条件是A=cB,c为一常数。

矩阵范数

r r 1) 常向量 b 的扰动 δ b 引起解的误差 δ x r r r r r r r r r −1 + 设 A x = b ， A ∃ ， x是精确解。 A y = b r δ b 的解记为 y = x + δ x 。 r 是精确解。 r r r r r r 即 A( xr+ δ x ) = b + δ b ⇒ Ax + Aδ x = b + δ b， r r r r r −1 ) 由Ax = b ，得 A(δ xr = δ b，即δ x = A (δ b )， r ( 9 .2 ) ⇒ || δ x ||≤ || A−1 || || δ b ||， r 1 || A || r r 即 r ≤ r ， ( 9 .3 ) 又 || b ||=|| Ax ||≤|| A || || x || ， r || x || r || b || || δb || x 由（9.2）式及（9.3）式得 || δv || ≤|| A −1 || || A || r ）式及（） || b || || x || 结论：扰动对解的影响扰动对解的影响。结论：b扰动对解的影响。 r r n× n 为精确解，定理27 (1) A ∈ R 为非奇异矩阵，x为精确解， x = b ≠ 0。定理 r 为非奇异矩阵，为精确解 A r r r ( 2)设 A( x + δ x ) = br+ δ b ，则b微小误差扰动、摄动引起解的相微小误差(扰动引起解x的相微小误差扰动、摄动)引起解 r || δx || || δb || ≤|| A −1 || || A || r . v 对误差有估计式对误差有估计式： || x || || b || 上式说明，常数项b微小误差引起解的相对误差可能是说明：上式说明，常数项微小误差引起解的相对误差可能是 r 说明： || δb || r 的 || A−1 || || A || 倍。即上式的不等号中的等号可以成立。即上式的不等号中的等号可以成立。 || b ||

矩阵分析与计算--07-矩阵范数

考虑n 2, 矩阵A, B分别为 1 1 A= B = , 1 1 2 2 AB 2 2 29
n2
相容矩阵范数的性质
设为F
nn
上的自相容的矩阵范数，则F 上必
n
存在与之相容的向量范数
30
2. Frobenius范数
设A (aij ) nn C ，令 A
Matrix Analysis and Computations
矩阵分析与计算 ——矩阵范数
Matrix Norms 理学院 2011年10月
1
本讲主要内容矩阵范数
向量范数 • 向量范数的定义与性质 • 几类向量范数 • 范数收敛概念 • 范数的等价矩阵范数 • 范数相容的概念 • 几类矩阵范数的定义与性质 • 矩阵的F-范数、算子范数 • 行范数、列范数、谱范数

n
n
2-范数
对于x ( x1 , x2 ,
n
, xn ) C
T 1 2
n
定义：
2 x 2 xi i 1
n
Euclid 范数
2 x 2 xi ( x, x) i 1
7
1 2
1-范数
对于x ( x1 , x2 , x 1 xi
n
17
xn en
1/2
序列收敛
定义3：设 x1 , x2 , xn , 是线性空间V中的元素序列，如果存在x V , 使得
m
lim xm x 0
则称序列{xm }按 -范数收敛于x
m
lim xm x0

0
？

18
范数等价

矩阵分析第五章

则称||A||β为与||x||α相容的矩阵范数.
例1：矩阵A 的Frobenius范数与向量2-范数相容
(∑ ∑ ) (∑ ) A = F
m i =1
n|
j =1
aij
|2
1/ 2
,
x= 2
n|
j =1
xj
|2
1/ 2
∑ ∑ ∑ ∑ ∑ Ax 2 = 2
m i =1
a x n
j =1 ij j
2
≤
(4) 矩阵乘法相容性: ||AB|| ≤ ||A|| ||B||, ∀A, B: AB可相乘
则称实数||A||为矩阵A的范数.
∑ ∑ 例1：A =(aij)∈Cm×n, 定义 A =
m i =1
n|
j =1
aij
|
是A的范数,
是向量1-范数的推广
证明：(1)(2)(3)自然满足, 只需验证(4).
∑ (1) 若A = (α1, α2, L, αn), 则
A2 = F
α n
2
i=1 i 2 ;
∑ (2) A 2 = trace( AH A) = F
n i =1
λi
(
AH
A)
(3)
∀U
∈
U
m×m m
,
V
∈U
n×n n
,
A = UA = AH = AV = UAV
F
F
F
F
F
( ) ( ) 证明(3)： UA 2 = trace (UA)H (UA) = trace AH (U HU ) A
+
b n
k =1 k
ak
+ bk

矩阵范数作用

矩阵范数作用矩阵范数是衡量矩阵性质的一种数学工具，它可以帮助我们了解矩阵的重要特征以及在实际问题中的应用。

在本文中，我们将探讨矩阵范数的定义、性质以及一些常见的应用。

让我们来定义矩阵范数。

矩阵范数是一个将矩阵映射到实数的函数，满足一定的条件。

常见的矩阵范数包括：1-范数、2-范数和无穷范数。

1-范数是矩阵每一列的绝对值之和的最大值，而2-范数是矩阵的最大奇异值，无穷范数是矩阵每一行的绝对值之和的最大值。

矩阵范数可以帮助我们评估矩阵在不同操作下的变化程度，比如矩阵乘法、矩阵求逆等。

矩阵范数具有一些重要的性质。

首先，矩阵范数是非负的，即对于任意的矩阵A，它的范数大于等于0。

其次，矩阵范数满足三角不等式，即对于任意的矩阵A和B，有范数(A+B) ≤ 范数A + 范数B。

此外，矩阵范数还满足乘法和数乘的性质，即对于任意的矩阵A和标量α，有范数(αA) = |α| × 范数A。

这些性质使得矩阵范数成为一种有效的工具，可以帮助我们分析和计算矩阵的性质。

矩阵范数在实际问题中有许多应用。

其中一个重要的应用是用于评估矩阵的条件数。

矩阵的条件数是矩阵范数的一个重要指标，它描述了矩阵在求解线性方程组时的稳定性。

具体来说，条件数越大，矩阵求解过程中的误差就越大。

因此，通过计算矩阵的条件数，我们可以评估矩阵求解的可靠性，并选择合适的算法和数值方法。

另一个应用是矩阵的奇异值分解。

矩阵的奇异值分解是将矩阵分解为三个矩阵的乘积，其中包括一个正交矩阵、一个对角矩阵和它的转置矩阵。

奇异值分解在数据分析和降维等领域有广泛的应用。

通过计算矩阵的奇异值，我们可以提取矩阵的重要信息，并进行数据压缩和降维处理。

矩阵范数还可以用于矩阵的优化问题。

在优化问题中，我们经常需要求解一个矩阵或向量的最优解。

通过定义合适的矩阵范数，我们可以将优化问题转化为一个等价的标准形式，并利用矩阵范数的性质进行求解。

矩阵范数是一种重要的数学工具，它可以帮助我们了解矩阵的重要特征以及在实际问题中的应用。

数值分析5-5(向量和矩阵的范数)

n
1
A F ( xij 2 )2
i , j1
称为Frobennius－范数
举例：
A
1 3
2 4
计算A的各种范数.
解：
n
A

max
1in
j1
aij
max{1 2,3 4} 7
n
A
1

max
1 jn
i 1
|
aij
|

max{1

3,2
x p ( xi p ) p
i 1
称为∞－范数或最大范数称为1－范数称为2－范数
称为p－范数
举例：计算向量 x=(1, -2, 3)T的各种范数.
解：
n
x 1 | xi | 6
i 1
n
1
x 2 ( xi 2 )2 14
i 1
x

max
1in
xi
3
3. 向量范数的性质
3) x y x y , x, y Rn(三角不等式)
则称‖x‖为向量的范数
2. 常用的向量范数
在 Rn上的向量x =(x1,…,xn)T∈Rn ，三种常用的范数为：
x

max
1in
xi
n
x 1 | xi |
i 1
n
1
x 2 ( xi 2 )2
i 1
n
1
第五章解线性方程组的直接法 §5 向量和矩阵的范数
一、向量的范数
二、矩阵的范数三、小结
一、向量的范数
1. 向量范数的定义
设对任意向量 x∈Rn，按一定的规则有一实数与之对应，记为‖x‖，若‖x‖满足

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

向量及矩阵范数，矩阵不等式，矩阵方程，矩阵函数，正
定矩阵，矩阵对角化, … Robust control 子空间，特征值及特征向量，矩阵求逆，广义逆，矩阵微积分，矩阵范数，奇异值分解，LMI，…
2013年11月6日5时4分北京科技大学自动化学院自动化系 5
课程内容 1/4
向量范数，矩阵范数向量和矩阵的极限
若取 C1 M , C2 1/ m ，则 x C1 x , a b
x b C2 x a 。
因此 x , x 等价。 a E
同理可证 x b , x E： x b C3 x E ,
x a C1C4 x b , x E C4 x b 。 x b C3C2 x b 。
即 x a , x b等价。
(3) | x y| | x | | y|。
2013年11月6日5时4分
北京科技大学自动化学院自动化系
9
向量范数
定义1：(向量范数) 设 V是数域 P 上的线性空间。若对于 V 中的任一向量 x ，都有
一非负实数 x 与之对应，并且满足下列三个条件：
(1) 正定性：当 x 时，都有 x 0 ；
a a
1 1 e1 a 2 2 e2 a n n en
2013年11月6日5时4分北京科技大学自动化学院自动化系
16
向量范数之间关系
由于 ei a是常数，因此当 i 与 i 充分接近时， (1, 2 ,, n ) 就
充分接近 (1, 2 ,, n ) ，即 (1, 2 ,, n ) 是连续函数。
根据连续函数的性质，可知，在有界闭集
W x (1 , 2 , , n ) | 12 22 22 1
上，函数 x (1, 2 ,, n ) 可达到最大值 M 和最小值 m。当 a
北京科技大学自动化学院自动化系 3
2013年11月6日5时4分
系统与控制中的矩阵理论
Second generation: Digital Control
Linear systems √
Nonlinear systems
Optimal control Estimation System identification Robust control Adaptive control √ √
p
p
max i
1i n
证明：当 x 时，显然成立。故只需对非零向量加以证明。
令 max i ，则有
n p i n i i 1 i 1
1i n 1 p p
p
n i i 1
则称方阵范数 A 与向量范数 x a 是相容的。
注： 1) P nn 上的每一种方阵范数，在 P n 上都存在与它相容的
2013年11月6日5时4分北京科技大学自动化学院自动化系 15
向量范数之间关系
定义： x
E
12 22 n2，显然是一种向量范数(2范数)。
a
对于向量范数 x a 1e1 2e2 nen
首先证明 x , x 的等价性。 a E
记 (1, 2 ,, n ) x ，则 (1, 2 ,, n )是连续函数： a
2013年11月6日5时4分
北京科技大学自动化学院自动化系
14
向量范数之间关系
定理1. 对于任何有限维向量空间 V 上定义的任意两种向量范数 x , x ，都存在两个与 x 无关的正的常数 C1 , C2 ，使得 a b
对 V 中任一向量 x ，都有
x a C1 x b ,
x b C2 x a 。
(3) 三角不等式： A B A B ; (4) AB A B ，则非负实数 A 称为方阵 A 的范数。
2013年11月6日5时4分
北京科技大学自动化学院自动化系
19
矩阵范数与向量范数的相容性
定义3. 若对任何 A P nn及 n 维列向量 x P n，方阵范数
A 能与某种向量范数 x a 满足关系式 Ax a A x a
北京科技大学自动化学院自动化系
17
向量范数之间关系
于是 0 m y a ( , , , ) M。 d d d 由 x dy 得 x dy d y d y 。 a a a a
1 2
n
由上式可得 md x Md , 即 m x x M x 。 E a E a
1-范数
x 1 i
i 1
n
2-范数
x2
∞-范数

i 1
n
2 i
x
p-范数

max i
1 i n
x
2013年11月6日5时4分
p
n p i i 1
1 p
(1 p )
11
北京科技大学自动化学院自动化系
常见的向量范数
1-范数
x W 时，显然 x ，因此有 m 0 。又记
d
i2
i 1
n
(x (1 , 2 ,, n ) V )
i d 1，因此 y W ； i 1
n 2
则向量 y
i 1
n
i
d
ei
1 x 的分量满足 d
2013年11月6日5时4分
i 1 i 1
n
n
x y 1 i i ( i i ) x 1 y 1
即三角不等式成立。
i 1 i 1
n
n
2013年11月6日5时4分
北京科技大学自动化学院自动化系
12
常见的向量范数
1-范数: p=1 2-范数: p=2
∞-范数： x

lim x
x 1 i
i 1
n
证明：(1)当 x 时，则 1 , 2 ,, n 不全为零，从而
x 1 i 0;
(2) 对于任何 a C ，则
i 1
n
ax 1 ai a i a x 1 ;
n (3) 若 y 1,2 ,,n C 为任意向量，则
2013年11月6日5时4分
北京科技大学自动化学院自动化系
18
§2 矩阵范数
定义2. (矩阵范数) 在 P nn上定义一个非负实值函数 A (对每个 A P nn )，如果对任意 A, B Pnn 都满足下列
四个条件：
(1) 正定性：若 A (矩阵)，则 A 0;
(2) 齐次性：对任意 a P，有 aA a A ;
Third generation: Networked control
Technology: Embedded computers, Wireless and wireline
networks, Software Theory: Multi-agent, Consensus, flocking, cooperative, …
n
1 p
1 p
1 p
n p 又因为 lim n 1, 故 lim i 1. p p i 1 n p 从而， lim i , p i 1
即， x

1 p
1 p
lim x
p
p
max i 。
1i n
1 p
p
n p i i 1
n i 1
1 p
1 p
这里 i 1，又至少有一个 i 1 ，所以有 1 i

i p n
2013年11月6日5时4分
北京科技大学自动化学院自动化系
13
常见的向量范数
p 因此， 1 i n i 1
8
§1 向量范数
内积空间和酉空间：通过内积定义了向量的长度。线性空间有“长度”？---->“范数”
若V 是实内积空间， , y V 为任意向量，a 为实数域 R 中任一 x
元素，则 V 中向量的长度具有下列三个基本性质：
(1) 当 x 时，都有 | x | 0；
(2) | ax| | a | | x | ；
Lyapunov stability
Dissipativity KYP lemma Bounded real lemma Positive real lemma
H∞
H2
2013年11月6日5时4分
北京科技大学自动化学院自动化系
7
课程内容 1/4
Some useful lemmas
注：满足以上两个不等式的向量范数称为等价的。故定理1也可叙述为：有限维向量空间上的不同向量范数是等价的。证明：只针对实数域 R 上的 n 维线性空间证明。设 e1 , e2 ,, en是 V 的一组基，则 V 中的任意向量 x 可以表示为
x 1e1 2e2 nen
Technology: Feedback amplifiers
Theory: Frequency domain analysis—Bode, Nyquist, Evans, …
Second generation: Digital Control
Technology: Digital computers Theory: State-space design,Kalman filtering,Optimal control,H∞
系统与控制中的矩阵理论
自动化系丁大伟
ustb_automation@