5.4矩阵三角分解法

u11 l21 l31 l41
u12 u22 l32 l42
u13 u23 u33 l43
u14 u24 u34 u44
y1
y2
y3 y4
从上式最后一个矩阵中 可知L,U , y 然后解线性方程组 Ux y
紧凑格式的 Doolittle法
例2. 用紧凑格式的Doolittle法解方程组(例1)
则方程组 A(n)x b(n) 的解不难得到
即 Ax b
A(n) x b(n)
同解
以上求解线性方程组的方法称为Gauss消去法
如果将线性方程组 Ax b 的系数矩阵 A分解成
两个三角形矩阵 L和U ,即 A LU
都是三角 形方程组
则 Ax b
LUx b
Ly b Ux y
上述方法称为直接三角形分解法
i 1
一、对称正定矩阵的三角分解(Cholesky分解)
若n阶矩阵A为对称正定矩阵 则det( A) 0, AT A
且A的顺序主子式 det Ak 0, k 1,2, , n 因此A可以进行 LU分解(或Doolittle分解)
记为
A LU
其中, L为单位下三角阵 ,U为上三角阵
u11 u12 u13 u1n
...
an1 ...
…a1...…n
...
ann
1
l
21
ln...1
1 ... ...
u11 ...
...
1
u1n
...
...
unn
min( i , j )
ai j
li k uk j
k 1
§2 Matrix Factorization – Doolittle
固定 i :
det( A) 0
determinantal
det( A) |A|
行列式的记号
则方程组 Ax b 有唯一解
若用初等变换法求解,则对其增广矩阵作行初等变换:
A ( A, b) ( A(1) , b(1) )
( A(2) , b(2) )
经过n-1次 ( A(n) , b(n) ) 目标：A(n)为上三角阵
U
u22 u23 u2n
u33
u3n
unn 1 u12 u13
u1n
u11
u22
u33
u11 u11 1 u23
u22
u11
u2n u22
ˆ DU 0
unn
1
un1,n
un1,n 1
1
D diag(u11, u22 , , unn ) [diag( u11 , u22 , , unn )]2
y1
b1 l11
i1
bi lik yk
yi
k 1
lii
2. 解 LT x y
xn xi
yn lnn
yi
n
lki
k i1
lii
xk
l11
L li1 lii
ln1
lni
lnn
i 2,3, , n
l11 li1 ln1
LT
lii
llnnni
对称正定方程 i n 1, ,2,1 组的平方根法
§2 Matrix Factorization – Doolittle
➢ 道立特分解法 /* Doolittle Factorization */： —— LU 分解的紧凑格式 /* compact form */
思路反复通计过算比,较法直接导出L 和 U 的计算公式。
很浪a...1费1 哦...
b
上述解线性方程组的方法称为 直接三角分解法的 Doolittle法
例1. 用Doolittle法解方程组
2 3
1
4
10 4 2 14
0 12
3 9
3 13
4
13
x1 x2
x3 x4
10 5
2
7
解: 由Doolittle分解
u11 u12 u13 u14 2 10 0 3 1 l21 l31 l41 T 1 1.5 0.5 2T
k 1
urr
0 0 1 l43 T 0 0 1 9T 0 0 0 u44 0 0 0 4
解Ly b,得
y1 y2 y3 y4 T 10 20 17 /11 16T
解Ux y,得
x1 x2 x3 x4 T 1 2 3 4T
xn
yn unn
n
yr urj x j
xr
jr1
urr
11
U DU 0 D 2 D 2U 0
Diagonal:对角
11
1
1
A LU LD 2 D 2U 0 (LD 2 )( D 2U0 )
由于 A LU LDU0 唯一，
U
0是单位上三角阵，U
T 0
是单位下三角阵
而 A 为对称正定阵 , AT A
因此
AT
(LDU 0 )T
U
T 0
DT
一、直接法概述
直接法是将原方程组化为一个或若干个三角形 方程组的方法，共有若干种．
对于线性方程组
Ax b
其中
a11
A
a21
an1
a12 a22
a1n a2n
an2
ann
x1
x
x2
xn
b1
b
b2
bn
系数矩阵
未知量向量 常数项
根据Cramer(克莱姆)法则,若
u1 j a1 j
li 1
ai 1 u11
0 u22 u23 0 1 l32 0 0 u33
u24 0 l42 T 0 u34 0
11 12 8.5
r 1
urj arj lrkukj k 1
1 3 /11 6 /11T
r 1
air likukr
0
3/11
lir
2 /11
2
解Ux y
3 2 1
2
2
U
10 0 3 10
11 3
11 6
11
12 3
11 9
17 2 2 11 4
20
y
17
11
16
10 0 3 1
11 3
11
12 3
11
17 2 2 11
2
所以
3
x
6 9 11
4 4
x1 1
x2
2
x
x3
3
Doolittle法在计算机上实现是比较容易的
但如果按上述流程运算仍需要较大的存储空间:
A,b, x, L,U , y都需要单独的存储空间
而从lij , uij的计算过程 (1) ~ (4)式可知
求出U的第一行 u1 j后a1 j ( j 1)的存储位置即不再需要
求出L的第一列 li1后ai1(i 2)的存储位置即不再需要 求出U的第r行urj后arj ( j r)的存储位置即不再需要 求出L的第r列lir后air (i r 1)的存储位置即不再需要
k 1
k 1
r
r 1
air lik lrk lik lrk lir lrr
k 1
k 1
i r, r 1, , n
由(6) ~ (8)式可得L的元素的计算公式
l11 a11
li 1
ai 1 l11
i 2,3, , n
r 1
lrr arr lr2k k 1
r 1
air lik lrk
ann
ln
1
lrr
lnr
lnn
lrr
llnnnr
a11 l11 l11 a21 l21 l11 ai1 li1 l11 i 1,2, , n
L的第一列元素 li1可以求出 假设L的第1 ~ r 1列已求出, 考察A的第r列元素air
r
r 1
arr lrk lrk lr2k lr2r
3 2 1
4 2
12 3
13 4
5
2
2
2
14
9
13
7
u1 j a1 j
li 1
ai 1 u11
r 1
urj arj lrkukj k 1
r 1
air likukr
lir
k 1
urr
2 10 0 3 10
r
2
3 2 1
11 3
12 3
2 11
17 2 4
20
a11
a1r
a1n
设 A ar1 arr arn
an1
anr
ann
l11
L lr1 lrr
ln1
lnr
lnn
aij a ji
a11
a1r
a1n
l11
l11
lr1
ln1
ar1
an1
arr
anr
arn lr1
因此可按下列方法存储数据:
arj urj ( j r), r 1,2, , n air lir (i r 1), r 1,2, , n 1
同样,解三角形方程组 Ly b时,有如下特点： 求出y1后b1的存储位置即不再需要
求出yi后bi (i 2)的存储位置即不再需要 因此yi的存储可以使用 bi (i 1)空出的存储位置
定义 一个矩阵 A 称为正定阵，如果 xT Ax 0 对任意非
零向量 x都成立。
回顾：对称正定阵的几个重要性质
A1 亦对称正定，且 aii > 0
称AAA 正的 的 的定顺特全若序征部不A主值顺然设对即xAxkT子序，x对/T对任A1因*yAk阵主e则为应x称x意为iIgk子A特e/性,A，*d0xn0e1式l存x征xtxe显(v则(。TaA0aA在dx值Ad然,l)uxTia1ex存n0Te)i非Ati。TgA存*x(在An/p零0对的Ax1Tr在,xTikyi解nix任其A非>)非cTxI。i>意中零y00p零xT,a00A使特lxx解As其k第得u征。，1b中i(Ax向m0x0位AA即kyxay量21tR)rTiy0kc(xT0有e,A.s.R.Ay1*n.。/.1.A00)kT 亦对
a21 a31 a41
a22 a32 a42
a23 a33 a43
a24 a34 a44
b2
b3 b4
存储单元(位置)
u11 u12 u13 u14 y1
u11 u12 u13 u14 y1
r
1
l21 l31 l41
a22 a32 a42
a23 a33 a43
a24 a34 a44
x4
4
Matrix Factorization – Choleski
➢ 平方根法 /* Choleski’s Method */： ——对称 /* symmetric */ 正定 /* positive definite */ 矩阵的分解法
定义 一个矩阵 A = ( aij )nn 称为对称阵，如果 aij = aji 。
lir
k 1
lrr
r 2, ,n i r 1, , n
二、对称正定线性方程组的解法
线性方程组
Ax b
其中A为n阶对称正定矩阵 则存在主对角元为正数的下三角阵L, 使得
A LLT
则线性方程组(10)可化为两个三角形方程组
L(LT x) b
Ly b LT x y
1. 解 Ly b
LT
LDLT
所以
L
U0T
,
1
(LD2
)T
1
D
U 2 0
综合以上分析,
若n阶矩阵A为对称正定矩阵，令L1
1
LD2
则有
A L1LT1
定理1. (Cholesky分解) 设A为对称正定矩阵,则一定存在一个主对角元全是 正数的下三角阵L, 使得
A LLT 且该分解式唯一
这种关于对称正定矩阵的分解称为Cholesky分解
i 1
对 j = i, i+1, …, n 有 aij lik ukj uij
k 1
i 1
uij aij lik ukj
a
k 1
lii = 1
固定 j ，对 i = j, j+1, …, n 有
j 1
lij (aij lik ukj ) / u jj k 1
j 1
aij lik ukj liju jj k 1
解:
a11
A
a21 a31 a41
a12 a22 a32 a42
a13 a23 a33 a43
a14 a24 a34 a44
a15 a25 a35 a45
2 3 1 4
10 4 2 14
0 12
3 9
3 13 4 13
10 5 2 7
2 10 0 3 10
r
1
bi yi , i 1,2, , n
直接三角分解的Doolittle法可以用以下过程表示:
a11 a12 a13 a14 a15 a11 a12 a13 a14 b1
a21
a31 a41
a22 a32 a42
a23 a33 a43
a24 a34 a44
a25
源自文库
a35 a45
b2 b3 b4
r
2
l21 l31 l41
u22 l32 l42
u23 a33 a43
u24 a34 a44
y2
b3 b4
u11 u12 u13 u14
r
3
l21 l31 l41
u22 l32 l42
u23 u33 l43
u24 u34 a44
y1 y2 y3 b4
r
4
2
2
6 11
9
13 7
2 10 0 3 10
r
3
3 2 1
2
2
11 3
11 6
11
12 3
11 9
17 2 2 11 13
20
17
11
7
r 1
urj arj lrkukj k 1
r 1
air likukr
lir
k 1
urr
2
r
4
3 2 1
2
L 2