1-2 线性方程组求解(1)

2 方程组求解
高斯消元法 迭代法初步 初等变分原理 最速下降法 共轭梯度法
1
参考文献
[1]李庆扬 关治 白峰杉 数值计算原理 清华 李庆扬 白峰杉, 数值计算原理(清华 清华) [2]蔡大用 白峰杉 现代科学计算 蔡大用 白峰杉, [3] 李庆扬 等, 数值分析 [4]Numerical Analysis (Seventh Edition) 影印版） 数值分析 （第七版 影印版） [5]David Kincaid,数值分析 第三版 数值分析(第三版 数值分析 第三版) [6] John H. Mathews,数值方法 数值方法(MATLAB版) 数值方法 版
AX = b
X?
b
3
高斯消元法
第一步: 将方程组化简为三角形方程组; 第一步: 将方程组化简为三角形方程组; 第二步: 解三角形方程组,获方程组的解。 第二步: 解三角形方程组,获方程组的解。
4
增广矩阵
计算: [m21 m31 m41]T = [a21 a31 a41]T / a11 用–m21乘矩阵第一行加到矩阵第二行; 用–m31乘矩阵第一行加到矩阵第三行; 用–m41乘矩阵第一行加到矩阵第四行;
乘、除法运算共 n(n+1)/2 次, 简记为 O( n2 )
8
例2.1 列主元法 10 −8
(8位浮点数) (8位浮点数) 位浮点数
−1 −2
3 x1 1 3.712 4.623 x2 = 2 1.072 5.643 x3 3 2
24
准确解
雅可比迭代法 雅可比迭代法
(i = 1,2,…,n)
(i = 1,2,…n; k=1,2,……) 取初始向量X 取初始向量 (0)=[x1(0) x2(0) ··· xn(0)]T, 迭代计算
25
迭代法适用于解大型稀疏方程组 迭代法适用于解大型稀疏方程组 (万阶以上的方程组,系数矩阵中零元素占很大比例, 万阶以上的方程组,系数矩阵中零元素占很大比例, 万阶以上的方程组 而非零元按某种模式分布) 而非零元按某种模式分布 背景: 电路分析、边值问题的数值解和数学物理方程 背景: 电路分析、
a11 L a1k Dk = M O M ≠ 0 a k 1 L a kk
( k = 1,2,····,n)
11
迭代法初步
一、向量的范数 向量的范数
定义2.1 设 Rn是n维向量空间 如果对任意 ∈Rn,都有 维向量空间,如果对任意 定义 维向量空间 如果对任意x∈ 都有 一个实数与之对应,且满足如下三个条件 且满足如下三个条件: 一个实数与之对应 且满足如下三个条件
或
17
定义 2.4
18
定理 2.2
19
例 2.4
定理 2.2
20
三、矩阵的条件数概念
方程组 Ax = b, 右端项 b 有一扰动 . 解 x 的扰动 的解,则有 设 x 是方程组 Ax = b 的解 则有 化简,得 化简 得 引起方程组
由 Ax = b 得 所以
21
定义4 条件数: 定义 条件数 Cond(A) = ||A ||·||A-1|| 或 C(A) = ||A ||·||A-1|| 当条件数很大时,方程组 是病态问题; 当条件数很大时 方程组 Ax = b是病态问题 是病态问题 当条件数较小时,方程组 是良态问题。 当条件数较小时 方程组 Ax = b是良态问题。 是良态问题
n 1 1 n n ϕ(x )= ( Ax , x ) − ( b, x ) = ∑ ∑ a ij x i x j − ∑ bi x i 2 2 i =1 j =1 i =1
（2）
1 例 ： 设 A = 2 1 ( x 12 ϕ (x )= 2
2 , 6
4 b = 10
−2 −1 10 − 8 1.072 5.643 3 3.712 4.623 2 2 3 1
第一列中绝对值最大为– 第一列中绝对值最大为 2 ，取– 2为主元 为主元
10 −8 −1 −2
不 选 主 元
1 3.712 4.623 2 1.072 5.643 3 2 3
2
线性方程组的矩阵形式
a11x1+ a12x2+····+ a1nxn = b1 a21x1+ a22x2+····+ a2nxn = b2 ········································· an1x1+ an2x2+····+ annxn = bn
( i=1,2,···,n ) 线性方程组求解: 线性方程组求解 1. 直接方法 直接方法; 2. 基本迭代法 基本迭代法; 3. 子空间方法
-1 1 -1
-1 ||X|| = 1 ∞
14
二、矩阵的范数
定义2.2 定义2.2
15
例 2.3
Frobenius范数 范数
16
矩阵算子范数的概念
定义 2.3 设 ||x||是Rn上的向量范数 ∈Rn×n,则A的 是 上的向量范数,A∈ × 则 的 非负函数
称为矩阵A的算子范数。 称为矩阵 的算子范数。 的算子范数 矩阵算子范数由向量范数诱导出, 注1: 矩阵算子范数由向量范数诱导出 如
10 −8 0 0
2 0.2 × 10 9 0.4 × 10 9
3 0.3 × 10 9 0.6 × 10 9
9 0.1 × 10 0.2 × 109 1
wenku.baidu.com
Error
9
1.072 5.643 3 − 2 0 0.3176 × 10 0.18015 × 10 0 .5 0 0.2 × 10 0.3 × 10 0.1 × 10 1.072 5.643 3 − 2 0 0.3176 × 10 0.18015 × 10 0.5 0 0 0.18655541 × 10 0.68513854 × 10 回代计算
2 + 6 x 2 + 4 x 1 x 2 ) − ( 4 x 1 + 1 0 x 2）
32
定理1 定理1 函数
对称正定矩阵, 设A =( aij )n×n为实对称正定矩阵 b , x∈R n, 则 x使二次 ∈ 使二次 × 为实对称正定矩阵
取极小值
x 是线性方程组 = b 的解。 是线性方程组Ax 的解。
(1)正定性 ||x||≥0,且||x||=0 <=> x = 0 ; 正定性: 正定性 且 (2)齐次性 齐次性: λ为任意实数 为任意实数 齐次性 (3)三角不等式 三角不等式: 三角不等式
则称||x||为向量 的范数 则称 为向量x的范数 . 为向量
12
( y ∈Rn )
向量范数是向量长度概念的推广.例如 注: 向量范数是向量长度概念的推广 例如
x=0
31
设 A对 称 正 定 ， 求 解 的 线 性 方 程 组 为 Ax = b
（1）
其 中 A = ( a ij ) ∈ R n× n , x = ( x1 , x 2 , ..., x n )T , b = ( b1 , b2 , ..., bn )T
对 应 的 二 次 函 数 ϕ: R n× n → R， 称 为 模 函 数 ， 定 义 为
26
高斯-赛德尔迭代法 高斯-赛德尔迭代法
(i = 1,2,…,n)
(i = 1,2,…n; k =1,2,……) 取初始向量x 取初始向量 (0)=[x1(0) x2(0) ··· xn(0)]T, 迭代计算
27
例
28
雅可比迭代算法
高斯高斯-赛德尔迭代算法
0.7778 0.8000 0.9630 0.9644 0.9929 0.9935 0.9987 0.9988 0.9998 0.9998 1.0000 1.0000 1.0000 1.0000
是向量 x 的范数。 的范数。 例2.2
(2) || x ||2 = ( ∑ | xi |2 )1 / 2
i =1
n
(3) || x ||∞ = max | xi |
1≤ i ≤ n
13
范数意义下的单位向量: 例2.3 范数意义下的单位向量 X=[x1, x2]T
1 -1 1 ||X||1 = 1 -1 1 ||X||2 = 1 -1 1 1
7
解上三角方程组
(a11…ann≠0)
计算：xn = bn /ann
xk=[bk－(ak , k+1xk+1+ … + ak n)] / ak k ( k =n－1,···,1 ) 除法: n次; 乘法: n(n-1)/2次,
n 高斯 克莱姆 2 6 8 3 17 51 4 36 364 5 6 65 106 2885 25206
1 ϕ ( x ) = ( Ax, x ) − (b, x ) 2
对任意的 x,y ∈ Rn及α∈ R ,有 有
1 ϕ ( x + α y) = ( A( x + α y), x + α y) − (b, x + α y) 2 1 α2 = ( Ax, x ) − (b, x ) + α ( Ax, y) − α (b, y) + ( Ay, y) 2 2 = ϕ ( x ) + α ( Ax − b, y) +
α2
2
( Ay, y)
33
构 造 一 个 向 量 序 列 { x ( k ) }， 使 ϕ ( x ( k ) ) → min ϕ ( x )
求 二 次 函 数 ϕ ( x )极 小 值 点 的 一 般 方 法 是 ：
可以采取以下方法： (1） 任 取 一 个 初 始 向 量 x ( 0 )， （2） 构 造 迭 代 格 式 x ( k + 1) = x ( k ) + α k p ( k ) ,
22
例4.1
特点: 特点:系数矩阵主 对角元均不为零 取 X(0) = 计算格式 X(1)=B X(0) + f
23
计算格式: 计算格式 X(k+1)=BX(k)+f X(0) 0 0 0 X(1) 0.7778 0.8000 0.8667 X(2) X(3) X(4) ········
0.9630 0.9929 0.9987 0.9644 0.9935 0.9988 0.9778 0.9952 0.9991 X* 1.0000 1.0000 1.0000
0.8667 0.9719 0.9952 0.9991 0.9998 1.0000 1.0000 0.7778 0.9839 0.9994 1.0000 1.0000 0.8778 0.9961 0.9998 1.0000 1.0000 0.9770 0.9987 0.9999 1.0000 1.0000
29
极小化方法
一、与线性方程组等价的变分问题 二、最速下降法 共轭斜量法) 三、共轭梯度法(共轭斜量法 共轭梯度法 共轭斜量法 四、预条件共轭梯度法
30
一、与线性方程组等价的变分问题
设x, y∈R n, 记 ( x , y) = xT y ∈ ( x, y ) = ( y, x ); ( tx, y ) = t ( x, y); ( x+ y, z ) = ( x, z ) + ( y, z ); ( x, x) ≥ 0, 且( x, x) = 0 x = 0; 设A是n阶对称正定阵 是 阶对称正定阵 ( Ax, y ) = ( x, Ay ) ; ( Ax，x ) ≥0, 且( Ax, x) = 0 ，
5
实现第一轮消元
计算: [m32 m42]T = 用–m32乘矩阵第二行加到矩阵第三行; 用–m42乘矩阵第二行加到矩阵第四行; 实现第二轮消元、第三轮消元········· 实现第二轮消元、第三轮消元
6
上三角方程组
n阶方程组消元过程乘法次数 阶方程组消元过程乘法次数: 阶方程组消元过程乘法次数 (n-1)n+(n-2)(n-1)+…+1×2=(n3-n)/3 × 除法次数: 除法次数 (n-1)+(n-2)+…+1=n(n-1)/2
x1=-0.49105820, x2=-0.050886075, x3=0.367257384
正确结果
-0.49105816158235 -0.05088609088002 0.36725741028862
10
定理2.1 约化主元 k+1,k+1(k) ≠ 0 (k=0,1,···,n-1) 约化主元a 定理 矩阵A的各阶顺序主子式 的充分必要条件是 矩阵 的各阶顺序主子式 不为零.即 不为零 即