第四节矩阵谱分解

合集下载

第四章矩阵分解

第四章矩阵分解

第四章矩阵分解矩阵分析第四章矩阵分解§4.1: 矩阵的满秩分解§4.2: 矩阵的正交三角分解§4.3: 矩阵的奇异值分解§4.4: 矩阵的极分解§4.5: 矩阵的谱分解矩阵分解前言矩阵分解定义: 将一个已知矩阵表示为另一些较为简单或较为熟悉的矩阵的积(或和)的过程称为矩阵分解. 例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使A=Udiag(λ1,…,λn)U*, 其中λ1,…,λn为A的所有特征值的任一排列. (2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存在唯一正定阵B使A=BB. 矩阵分解意义:有利于研究已知的矩阵. 例如,利用正定阵A的平方根B为正定阵可证: 对任意Hermite阵H,AH或HA都有实特征值.1( AH~(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n )2初等变换与初等矩阵(p73)三类初等变换: (行(列)变换←→左(右)乘) (1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左乘A; (2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵P(i(k))=diag(1,…,1,k,1,…,1)左乘A. (3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第三类初等矩阵P(i,j(k)).P (i , j ) =1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 0 1 1 1 0 1 1初等变换与初等矩阵举例1 ?? 1 4 7 ? ? 1 4 7 ? ? 0 1 ??2 5 8 ? = ?3 6 9 ? ; ? ?? ? ? ? ? 1 0 ?? 3 6 9 ? ? 2 5 8 ? ? ?? ? ? ? ?14 7??1 ? ? 1 7 4? ? 25 8?? 0 1? = ? 2 8 5? ? ?? ? ? ? ? 36 9?? 1 0? ? 3 9 6? ? ?? ? ? ?1 ??1 4 7? ? 1 4 7 ? ? ?? ? ? ? 0.2 ? ? 2 5 8 ? = ? 0.4 1 1.6 ? ; ? ?1?? 3 6 9 ? ? 3 6 9 ? ? ?? ? ? ?1 4 7??1 ? ? 1 4 7 / 9? ? ?? ? ? ? ?2 5 8?? 1 ? = ? 2 5 8/9? ?3 6 9?? 1/ 9 ? ? 3 6 1 ? ? ?? ? ? ?---- i ---- j1?P (i , j ( k )) =1 ? ? ? ? ? ? ? ? ? ?1k 1---? ? ? ---? ? ? 1?i j31 ?? 12 3? ? 1 23 ? ? ?? ? ? ? ? ?4 1 ? ? 456 ? = ? 0 ?3 ?6 ? ; ? 1??78 9? ? 7 89 ? ? ?? ? ? ?3 ? ? 1 2 0 ? ? 1 2 3??1 ? ?? ? ? ? ?45 6?? 1 ? = ? 4 5 ?6 ? ?78 9?? 1 ? ? 7 8 ?12 ? ? ?? ? ? ?4初等变换与初等矩阵的性质3类初等矩阵都是可逆的(行列式不为0). 将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价于左(右)乘A以可逆矩阵Pr…P1(P1…Pr). 可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A 的行(列)的任意排列; 可适当选第三类初等矩阵P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0; 可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非零(i,i)元变为1. 存在初等矩阵的乘积P和Q,使PAQ= ,其中r=rankA.初等变换与初等矩阵的性质续命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为Er ? ? 0 ?1 ? ? D? ? = ? ? 0 ? ? ? ? ? ? 1 1 * * * * *? ? *? *? ? *? ? ? ? ?一般地,?A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=5证:因前r列线性无关,故用第一类初等矩阵左乘可使A的(1,1)元≠0. 再用第二类初等矩阵左乘可使a11=1; 最后用若干第三类初等矩阵左乘可使A的第一列=e1. 因前2列线性无关,故新的第2列与e1线性无关且≠0, 故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2. ….可使A的第r列=er.此时空白处必为0元.安徽大学章权兵1矩阵分析§4.1: 矩阵的满秩分解1 ? A = ? ?2 ? 0 ? 0 0 0 0? ?1 ? ? 1 ? , 没有P ∈ C 33 × 3 使 PA = ? ? ? 0? ?0 0 0 0??1 ?? 1??0 0??0 ?? 0 0 1 0? ? 1 ? ? 1 ? = ? ?2 0? ? 0 ? ?0 1 0 0? ? 0? 0? ?1. 0? ?定义:对任意矩阵A∈Crm×n,A=BC 称为A的一个满秩分解,如果B∈Crm×r,C∈Crr×n. 例:1 ? ?1 ?0 ? 12 1 23 1 3 ? ?1 ? ? 2 ? = ?1 ? 1? ? 0 ? ? 1? ?? 12 ?? ?0 1 ?? ? ?1 4 ? ? ? = ?1 ? 1 1 ? 1? ? ?0 0 1 2? ?? 13 ?? ?0 1 ?? ? ?1 0 1 1 5 ? ? ? 1? ?1 ? A P ( 2, 3) = ? ?2 ? 0 ?1 0 0 ? ? 1 0 0 ? ? 1 0.5 0 ? ? ?? ? ? ? PAQ = P (2,1(0.5)) AP (2, 3) = ? 0.5 1 0 ? ? ?2 1 0 ? = ? 0 1 0 ? ? 0 0 1?? 0 0 0? ? 0 0 0? ? ?? ? ? ?m=3,n=4,r=2. 注:可能存在不仅是常数差别的两个实质不同的满秩分解.矩阵满秩分解的存在定理定理 4.1.1:任意矩阵A∈Crm×n,都有满秩分解: A=BC,B∈Crm×r,C∈Crr×n. 证:由初等矩阵性质知: 存在可逆阵P∈Cmm×m和Q∈Cnn×n,使 PAQ= 从而 AEr ? ? 0 ? 0 ? ? Er ?=? 0? ? 0 ? ? ? Er ? -1 ? ? ( E r =P ? 0 ? ? ? ?(E r ? 0)存在定理中矩阵B,C的决定对于A的前r列线性无关的情形:E PA = ? r ? 0 D ? ? Er ? = (Er 0 ? ? 0 ? ? ? ? D)E A = P ?1 ? r ? 0D? Er ? ?1 ? ?= P ? ? (Er 0 ? ? 0 ?D ) = BC其中0)E ? B = P ?1 ? r ? ; C = ( Er ?0?D)Q-10)= BC,其中B=P-1 ?Er ? ? 0 ? ,C= ? ? ?(ErQ-1满足所要求的条件.C是PA的前r行(即所有非0行)组成的矩阵, B和C的秩显然都是r.10矩阵B的进一步决定对于A的前r列线性无关的情形: 要求PA的前r列化为(Er,0)T,故有B=P-1(Er,0)T ? PB=(Er,0)T=PA1, 其中,A1为A前r列组成的子矩阵,由此推出B=A1. (参看P.183-184定理的证明及例4.1.1,例4.1.2) 对下例,A的第1,3两列也线性无关. 令A1为A第1,3两列组成的子矩阵,并将A的第1,3 两列化为(E2,0)T,C为所得矩阵的前2行. 则不难看出也有 A=BC和B=A1.求矩阵满秩分解的初等变换方法再以A= ? 1 ?1 123 ? ? 2 3 2 ? 为例作说明如下: ? 0 1 1 ?1? ? ?①用初等行变换把A前两列变为(E2 0)T1 123 ? ?1 1 2 3 ? ?1 0 14 ? ?1 1? ? ? ? ? ? ? ? ??1 0 1 4 ? ? 12 3 2 ? → ? 0 1 1 ?1 ? → ? 0 1 1 ?1? = ? 1 2 ? ? 0 1 1 ?1? ? ? 0 1 1 ?1 ? ? 0 1 1 ?1 ? ? 0 0 0 0 ? ? 0 1 ? ? ? ? ? ? ? ? ? ? a1 a2 ②用初等行变换把A的1,3两列变为(E2 0)T ?1 1 2 3 ? ?1 1 2 ? ? ? ?1 2 3 2 ? → ?0 1 1 ? 0 1 1 ?1 ? ? 0 1 1 ? ? ? 3 ? ? 1 ?1 0 5 ? ? 1 2 ? ? ? ? ? ? ?1 ?1 0 5 ? ?1 ? → ? 0 1 1 ? 1 ? = ? 1 3 ? ? ? 0 1 1 ?1 ? ?1 ? ? 0 0 0 0 ? ? 0 1 ? ? ? ? ? ? ?a1 a3安徽大学章权兵2矩阵分析关于矩阵满秩分解的注矩阵满秩分解不唯一;但同一矩阵的两个满秩分解的因式矩阵之间存在密切关系(见定理4.1.2). A∈Crm×n ? r=rank A ≤ min{m,n} A的秩等于它的行秩,列秩或行列式秩. A的行(列)秩是它的行(列)最大线性无关组的行(列)数;A的行列式秩是其非0子式的最大阶数. A=BC ? rank A≤rank B 且rank A≤rank C rank A=rank A*13引理4.3.1引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 证:因方程组Ax=0的解空间维数等于n-rank A, (*) 故为了证明 rank(A*A)=rank A 只须证明下列两个方程组有相同的解空间即可Ax=0 ⑴ ⑵ A*Ax=0 显然,x满足⑴ ? x满足⑵. x满足⑵ ? x*A*Ax=0,即(Ax,Ax)=0 ? Ax=0,即x满足⑴. 注:利用A的任意性以A*代A由(*)得 rank A=rank A*=rank((A*)*A*)=rank(AA*)同一矩阵两个满秩分解间的关系定理4.1.2:若A=BC=B1C1均为A∈Crm×n 的满秩分解, 则存在θ∈Crr×r,使得B=B1θ,C=θ-1C1. 证:若A=BC=B1C1,则BCC*=B1C1C*. 由p.190引理4.3.1知:rank(CC*)=rank C=r, 从而CC*∈Crr×r为可逆矩阵,且满足B=B1C1C*(CC*)-1. 由上式推出r≥rank(C1C*)≥rank B=r,即rank(C1C*)=r. 进而θ=C1C*(CC*)-1∈Crr×r,满足B=B1θ. 同理可证 C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r. 因此,BC=B1C1 ? B1θθ′C1=B1C1 ? B1*B1θθ′C1C1* = B1*B1C1C1* 引理4.3.1 ? θθ′=E ? θ′=θ-1定理4.1.2的补充命题:设A=B1C1为A∈Crm×n的满秩分解, 则A=BC是A的满秩分解,当且仅当?θ∈Crr×r, B=B1θ,C=θ-1C1. 证: 必要性由定理4.1.2给出. 充分性. 若存在θ使(*)成立,则B,C给出A的满秩分解:BC=B1C1=A. (*)§4.2: 矩阵的正交三角分解满秩矩阵的分解行(列)满秩矩阵的分解一般矩阵的分解满秩矩阵的正交三角分解定理4.2.1:?A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中U∈Un×n,R(L)为正线上(或下)三角矩阵. 证:(存在性)令A=(α1, … ,αn),则α1, … ,αn线性无关, 用Schmidt方法从α1, …,αn得标准正交组ν1,…,νn满足α ?α 1 = C 11ν 11αn2= C 21ν1+ C 22 ν22i,Cii=‖βi‖>0n= C n 1ν+ Cn2ν+ ... + C nn νC 21 C 22于是其中,U=(ν1,…,νn)为酉矩阵,R为正线上三角矩阵.C 11 ? A= (α 1 ,..., α n ) = (ν 1 ,..., ν n ) ? ? ? ? ?C n1 ? ? C n2 ? ? ? C nn ? ?=UR,安徽大学章权兵3矩阵分析β1=α1 , β2=α2-((α2,β1)/(β1,β1))β1 , β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2 , . . . νi=(1/‖βi‖)βi, βi=‖βi‖νi, i=1,2,… α1=β1=‖β1‖ν1; C11=‖β1‖>0 α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性证明定理4.2.1:?A∈Cnn×n都可唯一地分解为A=UR(或A=LU), 其中U∈Un×n,R(L)为正线上三角矩阵. (唯一性) 设还有U′∈Un×n和正线上三角矩阵R′使A=U′R′. 则有UR=U′R′ ? U′*U = R′R-1 = W 矩阵W=U′*U∈Un×n,且W=R′R-1 仍然是正线上三角矩阵. (正线上三角阵的逆和积仍是正线上三角阵) 于是,由p.162的引理3.9.1知W=E. 即(U′)*U=R′R-1=E. 由此式立即推出:U=U′E=U′ & R′=ER=R. 得证唯一性.α3=C31ν1+C32ν2+‖β3‖ν3; . . .C33=‖β3‖>0正交三角分解下三角情形的证明定理4.2.1:?A∈Cnn×n都可唯一地分解为A=LU,其中U∈Un×n,L 为正线下三角矩阵. 证: ?A∈Cnn×n ? AT∈Cnn×n. 存在唯一的U′∈Un×n和正线上三角矩阵R,使AT=U′R. 于是A=(AT)T=(U′R)T=RTU′T=LU, 其中,U=U′T∈Un×n,L=RT为正线下三角矩阵.列(行)满秩矩阵的正交三角分解定理4.2.2:?A∈Crm×r(Crr×n)都可唯一地分解为A=UR (A=LU), 其中U∈Urm×r(Urr×n),R(L)为r阶正上线(下)三角矩阵. (定理4.2.1为m=n=r时的特例) 证:(存在性)令A=(α1, … ,αr),则α1, … ,αr线性无关, 用Schmidt方法求得标正组ν1,…,νr满足α ?αr2α 1 = C 1 1ν 1 = C 2 1ν 1 + C 2 2ν22i,Cii>0.r= C r 1ν 1 + C r 2ν+ . . . + C r rν因此A=UR,其中U=(ν1,…,νr)∈Urm×r, R=C 11 ? ? ? ? ?C 21 C 22C r1 ? ? Cr2 ? ? ? C rr ?定理4.2.2唯一性证明定理 4.2.2: ?A∈Crm×r都可唯一地分解为A=UR,其中U∈Urm×r,R为r阶正线上三角矩阵. (唯一性) 设还有U′∈Urm×r和正线上三角矩阵R′∈Cr×r 使A=U′R′. 则有R*R=A*A=(R′)*R′, 于是由定理3.9.1⑹,A*A是正定Hermite矩阵. 故A*A可唯一地表示为乘积R*R,其中R为正线上三角阵. 因此必有R=R′. 进而,由UR=U′R′给出U=U′,得证唯一性.一般矩阵的正交三角分解定理4.2.3:?A∈Crm×n可分解为A=U1R1L2U2,其中U1∈Urm×r, U2∈Urr×n,R1和L2分别为r阶正线上三角和下三角矩阵. 证:由矩阵的满秩分解知: 存在列满秩矩阵B和行满秩矩阵C使A=BC. 存在U1∈Urm×r和r阶正上线上三角矩阵R1使得B=U1R1. 存在r阶正线下三角矩阵L2和U2∈Urr×n使得C=L2U2. 从而A=U1R1L2U2满足条件.安徽大学章权兵4矩阵分析用UR(LU)分解方法解方程组例4.2.1:用UR(LU)方法解方程组 Ax=b (*) ? 2 ? 1 ? 1 ? 其中 ? ?3 ? ? ? ?1 A = ? 1 ? ?2 ? 1 1 ? 1 ? 1 0 1 ? ? 0 ?, b = ? 2 ? ? ? ? 1 ? ? ? ?. ? ? ?§4.3: 矩阵的奇异值分解引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 引理4.3.2: ?A∈Cm×n,AA*∈Cm×m 与A*A∈Cn×n 均为半正定Hermite矩阵. 证:由(A*A)*=A*A 和?x∈Cn,x*A*Ax=(Ax,Ax)≥0 得证:A*A∈Cn×n 为半正定Hermite矩阵. 同理可证: AA*∈Cm×m 为半正定Hermite矩阵.解:令A=(α1,α2,α3),易见α1,α2,α3线性无关, 用Schmidt方法得标准正交组ν1,ν2,ν3如教本所示. 则A=UR,R为正线上三角矩阵,U=(ν1,ν2,ν3)∈U34×3 于是R=U*A,代入(*)式得URx=b ? Rx=U*b ? x=R-1U*b 最后求得 x=(-5/2,-1/2,3)T.AA*∈Cm×m与A*A∈Cn×n的特征值定理4.3.1: ?A∈Cm×n, AA*∈Cm×m与A*A∈Cn×n的非零特征值(正特征值)全同. 证法1:不难验证下列矩阵等式:AA* 0 ?? Em A ? ? AA* ? * ?? ?=? ? A 0 ?? En ? ? A* ? ? ? ??因S= ? ? ? Em定理4.3.1的另一证法证法2:设λ≠0是AA*的非零特征值: AA*x=λx, λ≠0,x≠0 则A*x≠0, A*A(A*x)=λ(A*x) 所以λ也是A*A的非零特征值. 同理可证: A*A的任一非零特征值也是AA*的非零特征值.AA* A? ? Em A ?? 0 ?=? ?? En ?? A* A* A ? ? ?? ? ?0 ? ? A* A? ?0 ? ?1 0 ? ? AA * 0 ? A? ? 0 ? 0 ? = S? * ? ? ?S ~ ? * ? ? ? * ? * ? En ? 可逆,故 ? A* 0 ? ? A A A? ? A A A? ? ? ? *)=0与det(λE-A*A)=0有相同非零解, 从而det(λE-AA得证AA*与A*A有相同的非零特征值.奇异值的概念定义4.3.1:?A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n 的正特征值的算术平方根称为A的正奇异值(简称奇异值, 共有r个记为α1,…,αr). 例:求A= ? ? 1 ?0 ? ? 1 0? ? 1?∈ C 0? ?3× 2 2正规矩阵的奇异值定理4.3.2:正规矩阵的奇异值是其非零特征值的模. 证:设A为正规矩阵,则有U∈Un×n使A=Udiag(λ1, … ,λn)U* A*=Udiag(λ 1 ,..., λ n )U* 从而AA*=Udiag(|λ1|2, … ,|λn|2)U* 得证A的正奇异值是A的非零特征值的模.的奇异值.解: A*A=? ?1 ?21? ? 1? ?,det(λE-A)=λ2-3λ+1的两个根:(3±√5)/2 均为正, A的奇异值为:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2. 例4.3.1:见P.191.安徽大学章权兵5矩阵分析矩阵的酉等价关系定义:设A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n 使B=SAT,则称B 与A等价;若有U∈Um×m,V∈Un×n使B=UAV,则称B与A酉等价. 不难证明Cm×n中的等价或酉等价关系R是等价关系. ?A∈Cm×n,ARA:A=EmAEn (ARB?BRA):A=UBV?B=U*AV*,U*∈Um×m,V*∈Un×n (ARB & BRC?ARC):A=UBV & B=U′CV′?A=UU′CV′V 注1: A与B酉等价当且仅当它们有相同的奇异值. 注2: ?A∈Cm×n的酉等价类中有一个最简单形状的矩阵 (见定理4.3.3). ( A∈Crm×n等价于diag(Er,0)=PAQ ) 奇异值分解定理1定理 4.3.3:令α1,…,αr为A∈Crm×n的全部正奇异值; ?=diag(α1,…,αr),则有U∈Um×m,V∈Un×n使 U*AV= ? 0 ?0? ? =D∈C m×n r 0? ? ?(*)U满足U*AA*U是对角矩阵,V满足V*A*AV是对角矩阵. ( A=UDV*称为A的奇异值分解式) 证: 因AA*为m阶半正定矩阵,故有U∈Um×m 使2 0? ? 0? ? ? 分块U=(U1,U2),则U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)= ? 0 ?对角阵次酉阵奇异值分解定理1续2 ? ? 0 ? U1* ? ? U1* AA *U1 U1* AA *U 2 ? 0 ? ? U1* ? ? ? = ? * ? AA *(U1 , U 2 ) = ? * ? ( AA *U1 , AA *U 2 ) = ? * * U2 ? 0 ? ?U 2 ? ? ? U 2 AA *U1 U 2 AA *U 2 ?奇异值分解定理1续令V1=(v1,…,vr),则v1,…,vr为标准正交组. 将此标正组扩大为Cn 的标正基:v1,…,vr,vr+1,…,vn, 令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn). 易见 0=V1*V2=?-1U1*AV2 ? U1*AV2=0 综合以上得U * AV U 1* AV2 ? ?U * ? ? U * AV = ? 1* ? A(V1 , V2 ) = ? 1* 1 ? U AV U * AV ? ?U ? 2 2? ? 2 1 ? 2? ? U * AA * U 1??1 =? 1 ? 0 ?0 ? ? ?2 ??1 ?=? 0? ? 0 ? ? 0? ? ? 0? ?=? ? 0? ? 0 0? ? ? ?比较(1,1)块得?2=U1*AA*U1 比较(2,2)块得0=U2*AA*U2=(U2*A)(U2*A)* ? U2*A=0. ( ?M∈Cm×n,MM*=0 ? 0=tr(MM*)=Σ2 i,j|mij|i,j,mij=0 ? M=0 ) 令V1=A*U1?-1∈Cn×r 则V1*V1=?-1U1*AA*U1?-1=?-1?2?-1=E ? V1∈Urn×r奇异值分解定理2定理 4.3.4:令α1,…,αr为A∈Crm×n的全部正奇异值; ?=diag(α1,…,αr),则有U1∈Urm×r,V1∈Urn×r 使A=U1ΔV1 . 证:由定理4.3.3直接推出A = U ? ? 0 ? 0 0 ? ?V ? ?*关于奇异值分解定理的注(1)定理4.3.3的证明同时给出了因子矩阵U,V的求法. (U(V)是使AA*(A*A)酉相似对角化的变换矩阵) (2)矩阵U,V的列分别是AA*,A*A 的对应特征向量. 证: 只证U(类似可证V). U*AA*U=diag(λ1,…,λm),λi 为AA*的特征值. 令U=(u1,…,um), 则(AA*u1,…,AA*um)=AA*(u1,…,um) =(u1,…,um)diag(λ1,…,λm) =(λ1u1,…,λmum) ? ?i,AA*ui=λiui A*A=VD*U*UDV*=Vdiag(λ1,…,λm)V* ? ?i,A*Avi=λivi= (U 1 , U2)? ? 0 ?0 0V 1* ?? * ?? V ?? 2V * ? = (U 1? , 0 )? 1* ? = U 1? V1* ?V ? ? 2?安徽大学章权兵6矩阵分析奇异值分解例1例4.3.1: 求 A=1 ? ?0 ?0 ? 2? ? 0? 0? ?奇异值分解例2例:求 A= 解: AA* =1 ? ?2 ? 0 0 0? ? 0? ?的奇异值分解式.的奇异值分解式.解: AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5). U1∈U13×1是AA*对应于5的单位特征向量x=(1,0,0)T,U=E3. V1=A*U1?-1= ? ?1 ?2 0 0 ?1? 0 ?? ? ?? 0 ? ? 0 ?? ? ?0?1 ? ?2 ?2? * ? 4 ? ,σ(AA )={5,0},r=1,Δ=(√5). ?U1∈U12×1是AA*对应于5的单位特征向量x=(1/√5,2/√5)T V1=A*U1?-1 = ? 00 ? ?1 ? 2? ?? 0 ?? ? 0 ?? ?1 52 5( )=1 51 51? ? ? ? 2? ? ?, V=1 51 ? ?2 ?2? ? 1 ? ?( )=1 51 51 ? ?0 ?0 ?2? ?1? ?? 1 ? ? ? 0 ?? ? = ? 0 ? ?2? 0 ?? ? ? 0 ? ? ? ?所以A的奇异值分解式是 A=UDV*= ? 0 ?0 ?1 ? 0 1 0 0?? 5 ? 0?? 0 ? 1?? 0 ?? 0? ?? 0?? 0?? ?1 5 ?2 5 1 2 51? ? ? ? ? = ?0? 5 ? ?0? ? ?( 5 )(1 52 5)=U1V 1*所以A的奇异值分解式是? 15 * = ? A = U1ΔV1 ? 2 ? 5 ( ? ?5 ) (1, 0 , 0 )§4.4: 矩阵的极分解定义:令A∈Cn×n,A=HU或A=UH称为A的极分解式,如果U∈Un×n,H∈Cn×n 是半正定Hermite矩阵. 特例: n=1时,由复数的指数表示式a=ρeiθ 有A=(a)=(ρ)(eiθ)=HU, H=(ρ)是半正定Hermite 矩阵,U=(eiθ)是酉矩阵. 下面的定理证明:矩阵的极分解式存在并且是唯一的.满秩方阵的极分解定理4.4.1: ?A∈Cnn×n,存在U∈Un×n 和n阶正定Hermite矩阵 H1,H2 使 A=H1U (H12=AA*,即H1=√(AA*))或 A=UH2;并且这样的分解式是唯一的. 证: 由定理3.9.1和定理3.9.4, 正定Hermite矩阵A*A存在唯一正定矩阵H2=(A*A)1/2. 令U=AH2-1, 则U*U=(AH2-1)*AH2-1 =H2-1A*AH2-1=H2-1H22H2-1=E, 从而U∈Un×n使A=UH2;因H2可逆且唯一,故U也唯一. ( 另一半的证明: A=UH2=UH2U*U=H1U, H1=UH2U*为正定Hermite矩阵. AA*=H1UU*H1=H12 & H1为正定Hermite阵 ? H1唯一. ) 非满秩方阵的极分解定理4.4.2: ?A∈Crn×n,存在U∈Un×n和唯一n阶秩r半正定Hermite矩阵H1,H2使A=H1U (H12=AA*,即H1=√(AA*)) 或A=UH2 (即H2=√(A*A)). 证:存在性由奇异值分解定理有U1,V∈Un×n使A=U1DV*, D=diag(α1,…,αr,0,…,0). 令H1=U1DU1*,H2=VDV*,U=U1V*,则H1,H2,U满足要求A=U1DU1*U1V*=H1U; A=U1V*VDV*=UH2. 唯一性若A=H1U,则AA*=H12 ?H1=(AA*)1/2唯一. 注:也可用上述方法证明定理4.4.1. 思考:定理4.4.2中U是否唯一? 不一定唯一! 没有U=AH2-1 矩阵极分解的一个经典应用定理4.4.3: ?A∈Cn×n 为正规矩阵当且仅当存在U,U′∈Un×n和(同一个)n阶半正定Hermite矩阵H使A=HU=U′H. 证:必要性设A*A=AA*.由定理4.4.2,存在U∈Un×n和n 阶半正定Hermite矩阵H1,H′使A=H1U=UH′. 因此H1=(AA*)1/2=(A*A)1/2 =H′. (AA*=H1UU*H1=(H1)2,A*A=H′U*UH′=(H′)2) 充分性设A=HU=U′H. 则AA*=HU(HU)*=H2 , A*A=(U′H)*U′H=H2 =AA*安徽大学章权兵7。

4-4 单纯矩阵的谱分解[优质PPT]

4-4 单纯矩阵的谱分解[优质PPT]

例1:已知矩阵
4 6 0
A



3
5
0

3 6 0
为一个可对角化矩阵,求其谱分解表达式。
解: 首先求出矩阵 A 的特征值与特征向量。
容易计算 IA(1)2(2)
从而 A 的特征值为 121,32
可以求出分别属于这三个特征值的三个线性无 关的特征向量:
正规阵的谱分解:
设 A 为正规矩阵,那么存在UUnn 使得:
1

A 1,2,
,n


2



12HH


n


n
H

111H 222H nnnH
其中 i 是矩阵 A 的特征值 i 所对应的单位特征向
则: A P(1 d , 1 , i2 , a ,2 , g , ,) P 1
设 P(P1,P2, P),mP 1 1P P ~ ~ m1 22,其:中 Pi mCnm i,P ~iCm in

A i Ei
i 1
量。我们称上式为正规矩阵 A 的谱分解表达式。
Department of Mathematics
r 设正规矩阵 A 有 个互异的特征值 1,2, ,r ,
AE iGj iEiGj AiG E jjE iG j (ij)
iEiGj iEiGj 由于 i j ,所以: EiGj O
同理可得: EjGi O

因为 EiGj O
Gi InGi (i1Ei)Gi EiGi 因为 EjGi O
Ei EiInEi( Gi)EiGi
i1

第三、四节矩阵满秩谱分解

第三、四节矩阵满秩谱分解

6 3
e3

3 22 66 3 6 22 33 , Q 6 3 6 0 3 3
2 R 0 0
2 3 0
2 2 3 3 6 3

A QR
Householder变换
Householder变换又称为反射变换或镜像变换,有明 显的几何意义。在 R 3 中,给定一个向量,令表示 关于平面(以 为法向量)的反射变换所得像, 如图所示, R3 记
(1)H是Hermite矩阵,H H H ; (2)H是酉矩阵,H H H I ; H (3)H是对合矩阵, 2 I ; H 1 H (4)H是自逆矩阵 (5)diag(I,H ) 也是一个Householder矩阵; (6)det H = -1。
定理
令Householder矩阵 H ( ) I 2 , 其中 2
i 0 1 1 0 1 2i 2 2 r2 3r3 2 1 i H 0 0 0 1 r2 r3 0 0 0 0 0 0
满秩分解定理:设 A C rmn r 0, 且A的Hermite 标准形H为
k1 0 0 H 0 0 0 0 0 0 0 1 0 0 0 0 * 0 0 0 * 0 0 0 k2 0 1 0 0 0 * * * 0 * * 0 0 0 0 1 0 0 kr * * * 0 * * * 第r行 0 0 0
说明:1· 若不要求R具有正对角元,则A的不同QR分解仅在正交 矩阵的列和上三角矩阵R的对应行相差模为1的因子。
2· 若A为满秩复矩阵,则存在酉矩阵Q与复非奇异上三角矩阵 R,使A = QR 该定理的证明过程给出了利用Schmidt正交化方法求可逆矩阵 QR分解的方法。 例1 解

第4章 矩阵的分解

第4章 矩阵的分解
1
Problem: 矩阵的奇异值分解是酉等价型的分 矩阵的奇异值分解是酉等价型 酉等价型的分
D 0 D= 矩阵A等价于Σ 矩阵A等价于Σ= 0 0m×n m×
d2
O dr
奇异值分解基本适用于内积空间中与矩阵秩相 关的问题 A的奇异值分解依赖于正规矩阵A HA 的酉相似 的奇异值分解依赖于正规矩阵A 分解的。 分解的。
三角分解 满秩分解 等价标准形 相似标准形
可对角化矩阵的谱分解
4.1 LU分解(图灵Turing, 1948) LU分解 图灵Turing, 分解(
LU分解: LU分解:A∈Fn×n, 存在下三角形矩阵L , 存在下三角形矩阵L 分解 上三角形矩阵U 使得A=LU。 上三角形矩阵U ,使得A=LU。
A–1 = A + ;
例 求下列特殊矩阵的广义逆; 求下列特殊矩阵的广义逆; 零矩阵0 零矩阵0; 0 + m×n =0 对角矩阵Λ 对角矩阵Λ
n×m
2、M-P 广义逆的惟一性
4.2 QR分解 QR分解
例 P090 例4.2.1
此例中矩阵是列满秩的
例 P091 例4.2.2
此例表明即使矩阵不是列满秩的,也可以用G 此例表明即使矩阵不是列满秩的,也可以用G-S正交化 方法,但是其QR分解不是唯一的 分解不是唯一的。 方法,但是其QR分解不是唯一的。
4.2 QR分解 QR分解
计算机处理图像技术的第一步是图像的数字化 存储技术,即将图像转换成矩阵来存储。 存储技术,即将图像转换成矩阵来存储。 转换的原理是将图形分解成象素(pixels) 转换的原理是将图形分解成象素(pixels)的一 个矩形的数阵, 个矩形的数阵,其中的信息就可以用一个矩阵 A=( A=(a ij)m×n来存储。矩阵A的元素a ij是一个 来存储。矩阵A的元素a 正的数,它相应于象素的灰度水平( level) 正的数,它相应于象素的灰度水平(gray level) 的度量值。 的度量值。 由于一般来讲, 由于一般来讲,相邻的象素会产生相近的灰度 水平值, 水平值,因此有可能在满足图像清晰度要求的 条件下,将存储一个m 条件下,将存储一个m×n阶矩阵需要存储的 m×n个数减少到n+m+1的一个倍数。 个数减少到n+m+1的一个倍数 的一个倍数。

第四章 矩阵分解

第四章 矩阵分解

定理1.2:若 A BC B1C1 均为A的满秩分解,那么
(1)存在 CrrR , 使得B B1 , C 1C1 (2)C H (CC H )1 (BH B)1 BH C1H (C1C1H )1 (B1H B1 )1 B1H
4.2 矩阵的正交分解 (UR、QR分解)
证明:
AAH 是正规矩阵,所以存在酉矩阵使得
H U H AAH U 0
0 0
U U1 U2
U1 U mr
U2 U m( mr )
0 0
U1H H H H AA U1 U 2 0 U 2
U1H H H H AA U1 U 2 0 U 2
则称 i
i (i 1,2,, n) 为 A 的奇异值.
本书中只考虑i=1,3,…,r时非零奇异值
1 0 3 2 5 17 H A 1 1 例如,对于 ,A A 2 2 的特征值是 1 2 , 1 1
A UR
U U rmr
R 是 r 阶正线上三角阵
推论2.2:设 A Crrn , 则 A 可以唯一的分解为
A LU
U U rrn
L 是 r 阶正线下三角阵
mn A C 推论2.3:设 , 则 A 可以分解为 r A U1R1L2U 2 R1 是 r 阶正线上三角阵 U1 Urmr L2 是 r 阶正线上三角阵 U U rn
nn 定理2.1:设 A Cn , 则 A 可以唯一的分解为
A UR
A RU 1 1
nn
R 是正线上三角阵
U , U1 U
证明:
R1 是正线下三角阵

谱分解定理使用条件

谱分解定理使用条件

谱分解定理使用条件
谱分解定理是线性代数中的一个重要定理,它允许我们将一个矩阵分解为特征值和特征向量的一种表达形式。

在使用谱分解定理时,有一些必要的条件需要满足。

下面我们将详细讨论这些条件。

1.正规性
矩阵必须是正规的,即满足AA^T=A^TA,其中A^T表示矩阵A的转置。

正规矩阵具有实数特征值和正交的特征向量。

在谱分解定理中,正规矩阵的谱分解唯一,这是使用谱分解定理的前提条件。

2.紧性
紧性是指矩阵的谱半径必须小于1。

谱半径是指矩阵特征值的模最大值。

如果矩阵的谱半径大于1,则矩阵的特征值和特征向量可能不存在或者不唯一,这将导致谱分解定理无法使用。

3.无穷可分性
对于一个给定的矩阵A,其无穷可分性是指A可以被分解成若干个可求和的特征值的无穷级数之和。

这个条件保证了我们可以通过求和无穷多的特征值来得到矩阵A的谱分解。

4.特征值的可求和性
对于紧性矩阵A,其特征值的可求和性是指可以将A的特征值进行求和得到A的谱分解。

这个条件是谱分解定理的核心,它保证了我们可以将矩阵A分解为特征值和特征向量的线性组合。

5.无界性
无界性是指矩阵A的特征值必须是无界的。

这意味着矩阵A的特
征值不能是有界的,否则谱分解定理将无法使用。

无界性保证了我们可以将矩阵A的特征值进行无穷求和得到A的谱分解。

总之,在使用谱分解定理时,需要满足正规性、紧性、无穷可分性、特征值的可求和性和无界性等条件。

这些条件保证了我们可以将矩阵分解为特征值和特征向量的线性组合,从而得到谱分解定理的使用效果。

正规矩阵谱分解定理

正规矩阵谱分解定理

正规矩阵谱分解定理
正规矩阵谱分解定理是指一个复数域上的正规矩阵可以被唯一地分解为一个酉矩阵与一个对角矩阵的乘积。

具体来说,设A是一个n×n的正规矩阵,则存在一个酉矩阵U和一个对角矩阵D,使得A = U D U*,其中U*表示U的共轭转置,D的对角线上的元素是A的特征值。

这个定理的意义在于,谱分解提供了一种将正规矩阵表达为更简单形式的方法,使得我们可以更方便地计算和理解矩阵的性质。

同时,由于酉矩阵是可逆的,谱分解定理也给出了一个正规矩阵的逆矩阵的表达式。

值得注意的是,正规矩阵的谱分解只适用于复数域上的矩阵。

对于实数域上的正规矩阵,可以通过对复数域作适当的推广,得到一个类似的分解定理。

第九章 矩阵分解

第九章 矩阵分解
* * 的任一解为 x0 有 Ax0 = x= 0 0 A Ax0
2013-12-02
于是 Ax0 = 0
从而知 x0 也是(6)的解。 1
引理2: 对任意复矩阵 Am× n , * A 和 AA* 都是 A 半正定H-矩阵(Hermite阵)。 证明一: 首先,A* A 显然为H-矩阵,我们来考虑 艾尔米特二次型 f ( x) = x* A* A x 。 对任意n维复向量 x0 , 有
其中是阶正线上三角矩阵 r U1 ∈U rm×r ,U 2 ∈U rr×n R L是阶正线下三角矩阵。 r
2013-12-02 1
,
求矩阵 例2:
1 1 0 A = 1 0 − 1 0 1 − 1
的 QR 分解。
记 解: A 的三个列向量依次为α1 , α 2 , α 3 , 用施密 特正交化方法得
从而 I 0 −1 −1 r A= P Q 0 0 I −1 r = P [ I r 0] Q −1 0
= BC
2013-12-02
其中
I −1 r B = P 0 C = I 0 Q −1 [r ]
定理1
设,则存在,满足 A ∈ Crm×n
2013-12-02 1
c1 n c2 n = UR c nn
唯一性证明
设有两个分解式为 A = UR UR A = 则 U −1U = RR −1
U −1U RR −1 由于是酉矩阵,是正线上三角矩阵, ⇒ U −1U = RR −1 = I U 从而, U R R = =
2013-12-02
1 0 0 3 0 0 − 2C1 + C2 1 − 2 γ2 +γ3 0 1 0 0 0 0

矩阵理论谱分解

矩阵理论谱分解
§2 矩阵的谱分解
一、单纯矩阵的谱分解
定义 1 设 1 , 2 ,, k是 A C nn 的相异特征值,
其重数分别为 1 , r 2 , , rk , 则称 ri 为矩阵A的特 r
征值i的 代数重复度
定义 2 齐次方程组 i x Ax
i
( i 1,2,, k )
的解空间 称为A的对应于特征值 i的特征 V
H
AUU
H
H
A U AU
U
H
AA U U
H
A
H
AU U
H
H
A UU
H
(U
H
AU )
(U
H
AU ) B
B
B为正规矩阵
引理 2 ( Schur )
U,使得
设A C
nn
,则存在酉矩阵
A URU
H
其中,R是一个上三角矩阵且主 对角线上的 元素为A的特征值.
证: A C
nn
条件是存在k 个矩阵 Ai ( i 1,2,, k ) 满足
(1) Ai Ai A j 0 k i j i j
( 2)
Ai
i 1
En
( 3)
A
i Ai
i 1
k
(4)
H Ai
Ai
( i 1,2,, k )
证 必要性: A是正规矩阵
A Udiag(1 Er , 2 Er ,, k Er )U
i 1
k
H

i Ai
i 1
k
( Ai ViVi
)
H Ai
(ViVi
H H
)

《矩阵谱分解》课件

《矩阵谱分解》课件

图像处理:用于图像去噪、图像增强等 信号处理:用于信号分析、信号处理等 机器学习:用于特征提取、模型优化等 网络科学:用于网络分析、网络优化等
矩阵谱分解的方法
添加标题 添加标题 添加标题
概念:将矩阵分解为三个矩阵的乘积,分别是左奇异向量矩阵、对角矩 阵和右奇异向量矩阵
步骤:首先计算矩阵的奇异值和奇异向量,然后根据奇异值和奇异向量 构建左奇异向量矩阵、对角矩阵和右奇异向量矩阵
计算复杂度高:矩阵谱分解的计算复杂度较高,需要大量的计算资源和时间。 数值稳定性差:矩阵谱分解的数值稳定性较差,容易受到数值误差的影响。 适用范围有限:矩阵谱分解只适用于对称矩阵和正定矩阵,对于非对称矩阵和负定矩阵不适用。 难以解释:矩阵谱分解的结果难以解释,需要一定的数学背景和知识才能理解。
谱分解在数值计算 、信号处理等领域 有广泛应用
矩阵谱分解是将矩阵分解为两个或多个矩阵的乘积,这些矩阵的乘积等于原矩阵。
矩阵谱分解的目的是为了简化矩阵运算,提高计算效率。
矩阵谱分解可以分为实矩阵谱分解和复矩阵谱分解。
实矩阵谱分解可以将矩阵分解为两个实对称矩阵的乘积,而复矩阵谱分解可以将 矩阵分解为两个复对称矩阵的乘积。
应用:在数据压缩、图像处理、自然语言处理等领域有广泛应用
添加标题
优点:计算简单,易于实现,适用于大规模矩阵分解
特征值分解:将矩阵分解为特征值和特征向量的形式 特征值:矩阵的特征值是矩阵的特征方程的解 特征向量:矩阵的特征向量是满足矩阵乘以向量等于特征值乘以向量的向量 应用:特征值分解法在矩阵分析、数值计算、信号处理等领域有广泛应用
步骤四:计算矩 阵A的谱分解结果
确定矩阵A的奇异值或特征 向量
计算矩阵A的奇异值或特征 值
计算矩阵A的逆矩阵

矩阵谱分解例题

矩阵谱分解例题

矩阵谱分解例题矩阵谱分解(MatrixSpectralDecomposition,MSD)是一种常用的线性代数方法,可以将一个复杂的矩阵分解为若干子矩阵的乘积,其中每个子矩阵都具有特定的特性,使得它们之间存在明确的关系。

矩阵谱分解是一种无损压缩算法,用于将大型矩阵压缩到更小的空间,同时保留有用的结构和内容。

科学计算、图像处理、机器学习等领域,矩阵谱分解已经成为一种基本的技术手段。

本文旨在介绍矩阵谱分解的基本原理和例题,为读者提供一种理解矩阵谱分解的方法。

一、矩阵谱分解的基本原理矩阵谱分解的基本原理是将一个大的复杂的矩阵分解为若干小的矩阵的乘积,同时保留有用的结构和内容。

它通过分析一个矩阵的特征值(Eigenvalues)和特征向量(Eigenvectors),将矩阵分解为一系列子矩阵,每个子矩阵都可以通过特征值和特征向量来表示。

例如,原始矩阵A可以表示为A=EVV*,其中V是特征向量,E是特征值。

传统的矩阵谱分解算法包括以下三步:(1)计算矩阵A的特征值和特征向量;(2)将矩阵A的特征值和特征向量连接起来,得到一个新的矩阵S;(3)将矩阵S进行分解,得到一系列子矩阵,其中每个子矩阵都可以通过特征值和特征向量得到。

二、矩阵谱分解的例题下面将对矩阵谱分解的例题进行分析:例题1:有一个2阶矩阵A,其中A=$begin{bmatrix}3 & -1 2 & 4end{bmatrix}$将A分解为若干子矩阵的乘积。

首先,计算矩阵A的特征值和特征向量。

A的特征值为$lambda_1=5$,$lambda_2=1$,其特征向量为$vecv_1=(frac{1}{4},frac{3}{4})^T$,$vecv_2=(-frac{3}{4},frac{1}{4})^T$。

将特征值和特征向量连接起来,得到矩阵S,即$S=begin{bmatrix}5 & 0 0 & 1end{bmatrix}begin{bmatrix}frac{1}{4} & -frac{3}{4} frac{3}{4} & frac{1}{4} end{bmatrix}$最后,将矩阵S进行分解,得到$A=begin{bmatrix}5 & 0 0 & 1end{bmatrix}begin{bmatrix}frac{1}{4} & -frac{3}{4} frac{3}{4} & frac{1}{4} end{bmatrix}begin{bmatrix}3 & -1 2 & 4end{bmatrix}$综上,矩阵A可以分解为三个子矩阵的乘积,分别是:$A=begin{bmatrix}5 & 0 0 & 1end{bmatrix}begin{bmatrix}frac{1}{4} & -frac{3}{4} frac{3}{4} & frac{1}{4} end{bmatrix}begin{bmatrix}3 & -1 2 & 4end{bmatrix}$例题2:有一个4阶矩阵A,其中A=$begin{bmatrix}2 & -1 & 4 & 0 0 & -2 & 5 & 1 1 & -1 & 2 & 0 2 & -1 &3 & 4end{bmatrix}$将A分解为若干子矩阵的乘积。

第四节 矩阵分解

第四节  矩阵分解
则 A=LDLT =LD1D1LT= (LD1)( LD1)T
1 u11 l 1 21 记 L1 = LD1 = l l 1 n1 n2

u22
unn
A=
T L1 L1
L1为下三角矩阵 为下三角矩阵.
上页 下页 返回
第三章 第四节
对称正定时, 等价于解LL 当 A 对称正定时 解方程组 Ax=b 等价于解 Tx=b,而 而 后者可转化为依次解两个三角形方程组 Ly=b , LTx=y, , 其计算公式如下
上页 下页 返回
第三章 第四节
u11=2 u12=1 u13=4
4 l21 = = 2 u22 = 4 2 × 1 = 2 u23 = 1 2 × 4 = 7 2 u33 = 12 3 × 4 1 × ( 7 ) 6 5 3×1 l31 = = 3 l32 = =1 =7 2 2
所以
2 1 4 1 0 0 2 1 4 4 4 1 = 2 1 0 0 2 7 6 5 12 3 1 1 0 0 7
1 2 3 11 5 0 6 20
4 8 A= 4 5 12 10 6 20
2 7 8 6
1 2 3 11
5 10 6 20
上页
下页Leabharlann 返回4 2 → 1 3
2 3 2 0
1 0 3 11
1 所以 2 L= 1 3
5 4 2 0 → 6 1 3 20 4 2 → 1 3 0 0 0 1 0 0 2 1 0 0 4 1
因此, 因此,由分块矩阵乘法可得
Ln1 Ln 2 L2 L1 A = U
Ln1 Ln 2 L2 L1b = y
上页 下页 返回
令 可得
L = ( Ln1 Ln 2 L2 L1 )

《矩阵的分解》课件

《矩阵的分解》课件
矩阵分解的算法实 现
高斯消元法
基本思想:通过行变换将矩阵 化为上三角矩阵或对角矩阵
步骤:选择主元素、消元、回 代
应用:求解线性方程组、求逆 矩阵、求特征值和特征向量
优点:计算量小,易于实现, 适用于稀疏矩阵和带状矩阵
迭代法
迭代法的基本思想:通过不断迭代, 逐步逼近目标解
迭代法的应用:在矩阵分解、数值 优化、图像处理等领域有广泛应用
U:上三角矩阵,对角线以上元素为0
LDU分解的应用:求解线性方程组、计算矩阵的逆矩阵等
平方根分解
平方根分解的定义:将矩阵分解为 两个矩阵的乘积,其中一个矩阵是 单位矩阵,另一个矩阵是矩阵的平 方根。
平方根分解的应用:平方根分解在 数值计算、线性代数、优化等领域 有着广泛的应用。
添加标题
添加标题
添加标题
添加标题
添加标题
添加标题
迭代法的步骤:设定初始值,计算 迭代函数,更新迭代值,直到满足 停止条件
迭代法的优缺点:优点是简单易实 现,缺点是收敛速度慢,容易陷入 局部最优解
共轭梯度法
共轭梯度法是一种求解线性方程组的迭代方法 共轭梯度法的基本思想是利用共轭梯度方向进行迭代 共轭梯度法的优点是收敛速度快,稳定性好 共轭梯度法的缺点是计算量大,需要存储大量的中间结果
a. 选取一组向量 b. 计算向量组的内积 c. 计算向量组的正交化向量 d. 重复步骤b和c,直到所有向量都正交
优点: a. 简单易行 b. 适用于任意维数的向量组
a. 简单易行 b. 适用于任意维数的向量组
应用: a. 矩阵的正交分解 b. 线性代数的其他领域
a. 矩阵的正交分解 b. 线性代数的其他领域
添加标题
添加标题

矩阵论四 矩阵的分解

矩阵论四  矩阵的分解

1
mk1,k
mmk
1
1
Lk Lk
A (k ) b (k)
A(k 1) b (k1)

1
Lk A(k )
Hale Waihona Puke 1 mk1,kmmk
a (1) 11
1
1
a(k) kk
a(k) k 1k
a(k) mk
a(k)
kk 1
a(k) k 1k 1
a(k) mk 1
a (1) 1n
使得
PA
Ir 0
D
0
于是有
A
P1
Ir 0
Ir
其中
D BC
B
P1
Ir
0
Crmr ,C
Ir
D Crrn
r 如果 A 的前 列线性相关,那么只需对 A r 作初等列变换使得前 个列是线性无关的。然
后重复上面的过程即可。这样存在
P Cmmm , Q Cnnn
且满足
PAQ
Ir 0
由此可知 Rank( A) 2 ,且该矩阵第一列,
第三列是线性无关的。选取
1
B 1 2 4
1
2 3
C 42 2
6
C
1 0
2 0
0 1
1 1
1 2
1 1
C 26 2
同样,我们也可以选取
1
B 1 2 4
0
1 1
C 42 2
2
1 C 0
2 0
1 1
0 1
1 2
2 1
C 26 2
(2)对此矩阵只实施初等行变换可以得到
非奇异矩阵a。k(kk)当 0,(k 2,3,,时n),直接进行消元计算,当

矩阵分析 第四章 矩阵分解

矩阵分析 第四章 矩阵分解

按照分解的存在性可知
A UR 其中 U U nn , R 是正线上三角矩阵。
T
于是
TU T RU A R 1 1
R1 是正线下三角矩阵,而 U1 U nn 其中
此结论也可以被推广为
定理:设 解为
A Cr
m r
,则
A 可以唯一地分
m r
A UR
其中 R 是 r 阶正线上三角矩阵,U U r ,即 U 是一个次酉矩阵。
0 1 0 1 1 0 2 0 1 1 (3) 0 3 0 2 2
解 :(1)对此矩阵只实施行变换可以 得到
1 1 (1) 2 4
2 1 0 1 2 2 1 3 4 3 1 4 8 6 2 8 2 1 0 1 0 0 0 0
1 r4 r3 0 r3 (r1 r2 ) 0 r2 r1 0
A
B B1 , C C1
1
(2)
C (CC ) ( B B ) B
H H 1 H
H
H 1
H
1
H 1 H
C1 (C1C1 ) ( B1 B1 ) B1
H H 1
证明:A BC B C H H B1C1C 1 1 BCC
H
同理
B B1C1C (CC ) B11 ,1 C1C (CC )
0 0 1 1 0 0 0
所以 Rank ( A) 2 ,且容易看出此矩阵的 第二列和第四列是线性无关的,选取
1 1 2 1 C 32 , B 2 3 2 0 1 0 0 0 25 C C2 0 0 0 1 1
解:(2)对此矩阵只实施行变换可以得到

第四节矩阵谱分解

第四节矩阵谱分解
其中
diag1 , 2 ,, n
这表明AT也与对角矩阵相似,故AT也是单纯矩阵
设y1,y2, …,yn是AT的n个线性无关的特征向量.则
( y1,y2, …,yn ) = (PT )-1 = (P-1 ) T 从而
P 1
T y1 T y2 yT n
即单纯矩阵A分解成n个矩阵Ai之和的形式,其系数组合是A的谱 (所有相异的特征值)。
对于 Ai 有下面的性质:
(1)
Ai xi y
T i
Ai A j ( xi yiT )( x j y T ) xi ( yiT x j ) y T 则 j j
xi y o
Ai o
T T y1 x2 y1 xn T T y2 x2 y2 xn I, T T yn x2 yn xn
1, i j y xj 0, i j
T i
对于单纯矩阵A(矩阵特征值的代数重复度都为1), 由 A PP 1
x1 x2 1 xn
2、酉相似
设A, B C nn , 若存在可逆矩阵P, 使P 1 AP B, 则称A与B是相似的。
若P是正交矩阵(实矩阵),即P 1 PT, 则称A与B是正交相似的。
若P是酉矩阵(复矩阵),即P 1 P H, 则称A与B是酉相似的。
3、Schur 定理
(1)任意复方阵酉相似于一个上三角矩阵。即
则A UU H
由U H U I , H H , 则
AA H (UU H )(UU H ) H UU H UH U H UH U H UH U H (UH U H )(UU H ) A H A

【工程数学课件】矩阵谱分解

【工程数学课件】矩阵谱分解

充分性:
k
k
AAH ( i Ai )( j Aj )H
i 1
j1
kk
i j Ai AHj
i1 j1
kk
i j Ai Aj
i1 j1
k
| i |2 Ai
i 1
同理可知
k
AAH | i |2 Ai
i 1
AH A AAH
A 是正规矩阵
充分性: A与对角矩阵酉相似
A是正规矩阵
定理6 设A C nn,它有k 个相异特征值
i (i 1,2, , k),则A是正规矩阵的充要
条件是存在k 个矩阵Ai (i 1,2, , k)满足
(1)
Ai Aj
k
0Ai
(2) Ai En
i 1
i j i j
k
(3) A i Ai
i 1
(4) AiH Ai (i 1,2, , k)
定义 3 若n阶复矩阵A满足 AAH AH A
则称 A为正规矩阵 引理 1 设A为正规矩阵,A与B酉相似,则 B为正规矩阵
证 A与B酉相似
B U 1AU U H AU
BBH U H AU(U H AU)H U H AUU H AHU
U H AAHU U H AH AU U H AHUU H AU
(U H AU )H (U H AU ) BH B
B为正规矩阵
引理 2 (Schur) 设A C nn,则存在酉矩阵
U,使得
A URU H
其中,R是一个上三角矩阵且主对角线上的
元素为A的特征值.
证: A C nn
A PJP1 P UR1
A UR1J(UR1)1 UR1JR11U H URU H

矩阵谱分解例题

矩阵谱分解例题

矩阵谱分解例题矩阵谱分解(MatrixFactorization,MF)是一种在机器学习中非常重要的技术,它的主要目的是将复杂的数据矩阵分解成两个更为简单的矩阵,使得矩阵分解后的组合更容易理解数据的内在结构。

MF 可以将矩阵的行(用户)分解为一组因子,可以将矩阵的列(物品)分解为另一组因子。

MF是一种非常实用的技术,它可以用来帮助理解数据,有助于数据建模和构建预测模型。

下面我们以一个典型的MF问题来讨论矩阵谱分解的一些方面。

假设我们有一个用户-物品的矩阵:$$begin{bmatrix}3 & 0 & 5 & 04 & 0 & 0 & 00 & 5 & 0 & 20 & 0 & 0 & 3end{bmatrix}$$每一行代表一个用户,每一列代表一个物品。

数字代表用户对物品的喜欢程度,数字越大,用户就越喜欢这个物品。

现在我们要做的是将这个矩阵分解为两个更为简单的矩阵:用户因子和物品因子。

首先,我们定义因子的维数。

由于这里只有4行和4列,我们可以设定因子的维数为3。

这意味着我们将每个用户和每件商品都映射为长度为3的向量。

接下来,我们定义物品因子和用户因子,如下所示:$$begin{bmatrix}0.5 & 0.7 & 0.90.3 & 0.4 & 0.80.6 & 0.2 & 0.10.5 & 0.1 & 0.6end{bmatrix}quadbegin{bmatrix}1.1 & 0.4 & 0.2 & 0.81.2 & 0.6 & 0.9 & 0.11.0 & 0.3 & 0.7 & 0.4end{bmatrix}$$由于我们定义的因子维度为3,所以物品因子和用户因子都是3维的矩阵。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

A = PΛP −1 , AT = ( PT ) −1 ΛPT
其中
Λ = diag (λ1 , λ2 , ⋯ , λn )
这表明A 也与对角矩阵相似, 这表明 T也与对角矩阵相似,故AT也是单纯矩阵
个线性无关的特征向量 设y1,y2, …,yn是AT的n个线性无关的特征向量 则 个线性无关的特征向量.则 ( y1,y2, …,yn ) = (PT )-1 = (P-1 ) T
n× n 设单纯矩阵 A ∈ C 的谱为 λ1 , λ2 ⋯, λs ,其代数重数分为
m1 , m2 , ⋯, ms 则存在唯一的 Ei ∈ C n×n , i = 1,2, ⋯ , s 使
(1)
(2)
A = ∑ λi Ei ;
i =1
s
Ei , i = j Ei E j = o, i ≠ j
∀A ∈ R n×n , ∃P ∈ R n×n , P −1 = PT ,
λ1 * ⋯ ⋯ * λ2 ⋱ ⋮ P −1 AP = ⋱ ⋱ ⋮ ⋱ * λn
其中λ1,λ2, λn为A的特征值. ⋯
引理 证明
正规上三角矩阵是对角矩阵 设n阶矩阵A是正规上三角矩阵,则 阶矩阵A是正规上三角矩阵,
第六节
主要内容: 主要内容:
矩阵谱分解
一、单纯形矩阵的谱分解 二、正规矩阵与酉对角化 三、正规矩阵的谱分解
一、单纯形矩阵的谱分解 左特征向量 给定n阶矩阵 , 的特征值。 给定 阶矩阵A,λ是A的特征值。由于 T与A有相同的 阶矩阵 的特征值 由于A 有相同的 特征值, 特征值,设Y是AT的属于λ的特征向量,则 是 的属于λ的特征向量,
Y 1T T Y2 = ( X 1 , X 2 , ⋯ , X s ) ⋮ Y T s
同时
I n = PP
−1
=

s
i =1
X iY i T =

s
i =1
Ei
1 2 2 例2:求单纯矩阵A = 2 1 2 的谱分解 : 2 2 1
n× n
, 满足 A H A = AA H
下列类型的矩阵都是正规矩阵: 下列类型的矩阵都是正规矩阵: AT=A; 实对称矩阵 AT=-A; 反实对称矩阵 AT=A-1; 正交矩阵 AH=A-1; 酉矩阵 Hermite矩阵 AH=A; 矩阵 反Hermite矩阵 AH=-A; 矩阵 对角矩阵
2、酉相似 、
设A, B ∈ C n×n , 若存在可逆矩阵P, 使P −1 AP = B, 则称A与B是相似的。
若P是正交矩阵(实矩阵),即P −1 = PT, 则称A与B是正交相似的。
若P是酉矩阵 (复矩阵),即 P −1 = P H , 则称 A与B是酉相似的。
3、Schur 定理 (1)任意复方阵酉相似于一个上三角矩阵。即 任意复方阵酉相似于一个上三角矩阵。
a11 a12 ⋯ a1n a22 ⋯ a2n A= , ⋱ ⋮ ann
∵ A H A = AA H ,
a11 a12 AH = ⋮ a1n ⋱ ⋯ a nn
a 22 ⋮ a 2n
∴ ∑ aij = ∑ aij a ij = ∑ a ji a ji = ∑ a ji ,
∀A ∈ C n×n , ∃U ∈ C n×n ,U −1 = U H ,
λ1 * ⋯ ⋯ * λ2 ⋱ ⋮ U H AU = ⋱ ⋱ ⋮ ⋱ * λn
其中λ1,λ2, λn为A的特征值. ⋯
Schur 定理 (2)任意实方阵正交相似于一个上三角矩阵。即 任意实方阵正交相似于一个上三角矩阵。
=
xi yiT = ∑
i =1
n
∑A
i =1
n
i
求矩阵A的谱分解 例1 求矩阵 的谱分解
1 1 A= 4 1

由 得
f A (λ ) =
λ −1
−4
−1
λ −1
= (λ + 1)(λ − 3)
λ1 = 3, λ2 = −1,
1 1 x1 = , x2 = 2 − 2
y 1T T y 2 P −1 = 从而 , ⋮ y T n y 1T T y2 −1 ∵ P P = x2 ⋯ (x 1 ⋮ yT n
AT = (PT )−1ΛPT
xn
)=
I
即:
T y1 x1 T y 2 x1 −1 P P == ⋯ yT x n 1

T y1 E1 = ( x1 , x2 ) T = y 2
1 1 2 − − 3 1 1 1 − 2 1 31 23 1 3 3 3 = − − − 1 0 1 1 3 2 3 3 0 − 1 − 1 1 2 3 3 3 − − 3 3 3
⋯ ⋯ ⋯
Y 1T X Y 2T X ⋮ Y sT X
s s
1
2
s

可得
I mi Yi X j = 0
T
i= j i≠ j

E i E j = ( X i Yi T )( X j Y jT ) = X i (Yi T X j )Y jT
Ei = 0 i= j i≠ j
从而
Y1T T Y2 −1 P = ( X 1 , X 2 , ⋯, X s ), P = ⋮ Y T s
λ2 I m2
Y1T T Y2 ⋮ λs I ms YsT
= ∑ λi X iYi
= ( x1 x2
T λ1 y1 T λ2 y2 ⋯ xn ) ⋮ ⋱ T λn yn
T T = λ 1 x1 y 1T + λ 2 x 2 y 2 + ⋯ + λ n x n y n
= ∑ λi xi y = ∑ λi Ai ---矩阵A的谱分解 矩阵A
T i
T i T j T i T j
则 Ai A j = ( xi y )( x j y ) = xi ( y x j ) y
xi y = o
Ai = o
T i
i= j i≠ j
i= j i≠ j
(2 )
I = P P −1 = ( x1
x2
T y1 T y2 ⋯ xn ) ⋮ yT n
i =1
(3)
∑ Ei = I
s
谱分解定理的证明
对于特征值λ 对于特征值λi , x1i,x2i, …,xmii是A的相应的 , i (yii )T , (y2i )T ,⋯, (ym )T 是A mi个线性无关的右特征向量, 个线性无关的右特征向量 特征向量, 个线性无关的左特征向量 的相应的mi个线性无关的左特征向量
设A的左特征向量为 的
y ,y
T 1
T 2
因为 y , y
T 1
T 2
满足
y x = 1, y x2 = 0
T 1 1 T 1
y x = 0, y x2 = 1
T 2 1 T 2
可解得
1 y = 2
T 1
1 T 1 , y2 = 4 2
1 4 1 2
1 − 4
从而
1 T E1 = x1 y1 = 2 1
j =i j =i j =1 j =1
n
2
n
i
i
2
依次取i = 1,2,⋯, n得
a11 + a12 + ⋯ + a1n = a11 ,
2 2 2 2
a22 + ⋯ + a2 n = a12 + a22
2 2 2
2
ห้องสมุดไป่ตู้
⋯⋯⋯ ann = a1n + a2 n + ⋯ + ann
2 2 2 2
比较等式两边, 比较等式两边,可得
T y1 x2 ⋯ T y 2 x2 ⋯ ⋯ ⋯ T y n x2 ⋯
T y1 xn T y 2 xn = I, ⋯ T y n xn
1, i = j ∴ y xj = 0, i ≠ j
T i
对于单纯矩阵A 矩阵特征值的代数重复度都为 ) 对于单纯矩阵A(矩阵特征值的代数重复度都为1), 由 A = P Λ P −1
由矩阵A 由矩阵A的特征多项式 λE − A = (λ − 1) 2 (λ − 5) 得A的特征值 λ1 = −1, λ2 = 5 及相应的线性无关的特征向量 为
x1 = (1,−1,0 ) , x2 = (1,0,−1) , x3 = (1,1,1)
T T T
T T T y1 , y 2 , y 3 则由 设 λi 对应的左特征向量为
i =1
s
T
= ∑ λi Ei
i =1
s
再由
In
Y 1T T Y2 −1 = P P = ⋮ Y T s
Y 1T X T Y2 X = ⋮ Y T X s
1 1
(X 1 , X 2 , ⋯ , X
2 2
s
)
Y 1T X Y 2T X ⋮ Y sT X
aij = 0, j ≠ i, i = 1,2,⋯, n
定理 设A ∈ C n×n 则A酉相似于一个对角矩阵的充 , 分必要条件是A为正规矩阵, 分必要条件是A为正规矩阵,即
i =1 T i i =1
n
相关文档
最新文档