完整word版最速下降法求解线性代数方程组
线性方程组的最速下降法与共轭梯度法word精品文档6页
西京学院数学软件实验任务书【实验课题】线性方程组的最速下降法与共轭梯度法【实验目的】学习和掌握线性方程组的最速下降法与共轭梯度法的求解方法。
【实验内容】1、问题重述对于线性方程组A b X =，即：1111221n 12112222n 21122nn n n n n n na x a x a xb a x a x a x b a x a x a x b +++=⎧⎪+++=⎪⎨⎪⎪+++=⎩L L M L （1） 其中，()=ij n n a ⨯A 为对称正定矩阵，()1i n b b ⨯=，如何熟练地运用最速下降法与共轭梯度法的求解线性方程组。
2、方法理论在求解线性方程组之前，首先用内积将问题转化为函数问题。
2.1 最速下降法最速下降法是一种运用梯度与极值的性质，综合数值计算方法寻找局部极值。
基本思想：任一点的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法。
具体步骤：1、搜索方向：()k k d f x =-∇，即最速下降方向。
2、搜索步长：k λ取最优步长，即满足：Step 1 给定初始点0n x R ∈，允许误差0ε≥，令1k =。
Step 2 计算搜索方向()k k d f x =-∇。
Step 3 若k d ε≤P P ，则k x 为所求的极值点，否则，求解最优步长k λ，使得()min ()k k k k k f x d f x d λλλ+=+。
Step 4 令1k k k k x x d λ+=+，1k k =+最速下降方向是反映了目标函数的局部性质，它只是局部目标函数值下降最快的方向。
2.2 共轭梯度法对于 1min()2T T f x x Ax b x =+其中，0n x R ∈，A 是对称正定矩阵。
基本思想：将共轭性与最速下降法相结合利用已知迭代点的梯度方向构造一组共轭方向，并沿此方向搜索，求出函数的极小值。
(完整word版)自适应滤波LMS算法及RLS算法及其仿真
自适应滤波第1章绪论 (1)1.1自适应滤波理论发展过程 (1)1. 2自适应滤波发展前景 (2)1. 2. 1小波变换与自适应滤波 (2)1. 2. 2模糊神经网络与自适应滤波 (3)第2章线性自适应滤波理论 (4)2. 1最小均方自适应滤波器 (4)2. 1. 1最速下降算法 (4)2.1.2最小均方算法 (6)2. 2递归最小二乘自适应滤波器 (7)第3章仿真 (12)3.1基于LMS算法的MATLAB仿真 (12)3.2基于RLS算法的MATLAB仿真 (15)组别: 第二小组组员: 黄亚明李存龙杨振第1章绪论从连续的(或离散的)输入数据中滤除噪声和干扰以提取有用信息的过程称为滤波。
相应的装置称为滤波器。
实际上, 一个滤波器可以看成是一个系统, 这个系统的目的是为了从含有噪声的数据中提取人们感兴趣的、或者希望得到的有用信号, 即期望信号。
滤波器可分为线性滤波器和非线性滤波器两种。
当滤波器的输出为输入的线性函数时, 该滤波器称为线性滤波器, 当滤波器的输出为输入的非线性函数时, 该滤波器就称为非线性滤波器。
自适应滤波器是在不知道输入过程的统计特性时, 或是输入过程的统计特性发生变化时, 能够自动调整自己的参数, 以满足某种最佳准则要求的滤波器。
1. 1自适应滤波理论发展过程自适应技术与最优化理论有着密切的系。
自适应算法中的最速下降算法以及最小二乘算法最初都是用来解决有／无约束条件的极值优化问题的。
1942年维纳(Wiener)研究了基于最小均方误差(MMSE)准则的在可加性噪声中信号的最佳滤波问题。
并利用Wiener. Hopf方程给出了对连续信号情况的最佳解。
基于这～准则的最佳滤波器称为维纳滤波器。
20世纪60年代初, 卡尔曼(Kalman)突破和发展了经典滤波理论, 在时间域上提出了状态空间方法, 提出了一套便于在计算机上实现的递推滤波算法, 并且适用于非平稳过程的滤波和多变量系统的滤波, 克服了维纳(Wiener)滤波理论的局限性, 并获得了广泛的应用。
第三章求解线性方程组第五讲求解（简化）线性方程组的方法-----消元
第三章：求解线性方程组第五讲：求解（简化）线性方程组的方法-----消元法这一讲，我们一起来总结求解线性方程组的一个系统有效的方法，这个方法叫消元法(Gauss Eliminations)。
例：⎩⎨⎧=+=-112312y x y x解：①+② 目的是消灭y x-2y+3x+2y=1+11⇒4x=12 ⇒x=3②-3① 目的消灭x 3x+2y-3x+6y=11-3 ⇒8y=8 ⇒y=1一 达到平衡的称（方程）的性质1 可以用一个数去乘一个方程；2 一个方程可以加上（也可以减去）另一个方程的一个倍数；3 可以交换两个方程的位置；总结：上面这三个性质当作三个方法来简化（求解）方程组，叫消元法。
首先通过三个简单的例子来总结消元法：例1、例2、例3；同时总结线性方程组的三种解的情况：例1唯一解，例2无穷多个解，例3无解。
然后完全用矩阵形式来进行消元法，获得线性方程组的最简单形式。
二 如何求解（化简）例：⎩⎨⎧=+=-112312y x y x →→⎩⎨⎧=+=-112312y x y x ②—3①→ ⎩⎨⎧==-8812y y x 18×③→ ⎩⎨⎧==-112y y x ①＋2②→ ⎩⎨⎧==13y x 这里我们用了： ①数去乘以个方程，可以吗？②一个方程减去另一个方程的一个倍数，可以吗？当然可以，这是因为我们对方程所做了这些变换后，方程仍保持平衡（与称的性质一样）这样，最后获得了例1的最简形式，⎩⎨⎧==13y x ，这就是原方程组的唯一解。
总结：上面三个线性方程组的解的情况：例1有唯一解（没有自由未知量），例2无解（矛盾方程），例3有无穷多个解（自由未知量）。
这三种就是线性方程组的解的三种情况。
三：矩阵形式例1 ⎥⎦⎤⎢⎣⎡-2321⎥⎦⎤⎢⎣⎡y x =⎥⎦⎤⎢⎣⎡111 解：设A=⎥⎦⎤⎢⎣⎡-2321 X=⎥⎦⎤⎢⎣⎡y x b=⎥⎦⎤⎢⎣⎡111 把A 与b 放在一起[]Ab 叫增广矩阵，它可以代表示该线性方程组，所以我们只需简化[]Ab[]Ab =⎥⎦⎤⎢⎣⎡-1123121②−3①→⎥⎦⎤⎢⎣⎡-88012118×②→ ⎥⎦⎤⎢⎣⎡-110121①+2②→ ⎥⎦⎤⎢⎣⎡110301→即原方程组同解于⎩⎨⎧==13y x ，设：A 1 =⎥⎦⎤⎢⎣⎡1001 b 1=⎥⎦⎤⎢⎣⎡13 此时，[]Ab 已经变成了最简单形式，不能再化简。
03第二版 第三章 解线性方程组的迭代法
a1n
x(k 1) n
)
x2( k
)
1 a22
( b2
a x(k 1) 21 1
a x(k 1) 23 3
a2n xn(k1) )
xn( k
)
1 ann
( bn
a x(k 1) n1 1
a x(k 1) n2 2
a x(k1) n,n1 n1
)
(3.3)
或
x1(
k
)
x(k 1) 1
1 a11
(b1
a x(k1) 11 1
a x(k1) 12 2
a1n xn(k1) )
x2( k
)
x(k 1) 2
1Байду номын сангаасa22
(b2
a x(k1) 21 1
a x(k1) 22 2
a2n xn(k1) )
xn( k
)
x(k 1) n
1 ann
(bn
a x(k1) n1 1
a x(k1) n2 2
-ann xn(k1) )
)
x(k 1) 3
1( 5
3
x(k 1) 2
5x3(k1) )
对于初始向量 x0 0, 0, 0T，由雅克比迭代法得到下
面的表格（表3-1）.
表 3-1 雅克比迭代法计算结果
k
x(k) 1
x(k) 2
x(k) 3
max
1i3
|
x(k ) i
x(k 1) i
|
k
x(k) 1
x(k) 2
x(k) 3
1.40000 1.24000 0.99200 0.84320 0.67456 0.57338 0.45870 0.38990 0.31192 0.26513 0.21210 0.18029 0.14423 0.12260 0.09808 0.08336 0.06669 0.05669 0.04535 0.03855 0.03084 0.02621 0.02097 0.01782 0.01426
第六章 解线性方程组的消去法
§6.1 §6.2 §6.3 约当(Jordan)消去法 高斯(Gauss)消去法 追赶法
引
言
在实际问题中，存在大量的解线性方程组的问题： 如求一块方形平板的二维稳定状态，导热过程的温度 分布，给了25个节点，就需解一个9阶方程组。另外 很多数值方法到最后也会涉及到线性方程组的求解问 题：如 三次样条插值最后的三对角线性方程组，曲线 拟合的法方程，方程组的Newton迭代等问题。因此掌 握线性方程组的求解方法是很有必要的。 ※ 线性代数中常用克莱姆法则求解线性方程组，但其 不适合于求解大型方程组。
第k步先使(6.14)的第一个方程中xk的系数化为 1
( (k ( xk akkk)1xk 1 akn ) xn akkn)1 , ,
n 3
2
次乘除法。
2.算法的压缩存储：
( ( 每步计算出aijk )后,老值aijk 1)就失去了保留的必要， ( ( 可以将aijk )放到aijk－1)的存储单元中去。
3.流程图：（略）
§6.2 高斯(Gauss)消去法
※ 高斯方法是约当方法的一种改进，它在约当方法
的基础上减少了计算量。由其改进得到的选主元的高 斯消元法是目前计算机上常用的解低阶稠密矩阵方程 的有效方法。
(6.6)1 (6.6)2 (6.6) k 1 (6.6) k (6.6) n
( 符号说明：aijk ) 表示第i个方程x j的系数，
上标k 表示经过k步消元后所取的值。
消元过程的第k步要做两项工作：
(k (1) 将第k个方程xk的系数化为1，为此用akk 1)遍除
(6.6)k 的系数，可记 ( akjk 1) ( akjk ) ( k 1) j k 1, k 2,, n 1 akk
线性代数—解线性代数方程组的消元法
x4 x4
0 0
x1 x2 4 x3 3x4 0
令 x3 c1, x4 c2， 则方程组的通解为
x1
2c1
5 3
c2
x2
2c1
4 3
c2
x3 c1
x4 c2
5
或
x1 x2 x3 x4
c1
2 2 1 0
c2
3 4
3 0
1
称非零解向
量1，2 构
2 2 0
5 3
4
3
0
故 r(A)=2, 又n=4, 方程组有非零解且带有
n-r(A)=2常数.
x1
2x3
5 3
x4
x2
2 x3
4 3
x4
与原方程组同 解的方程组
x1
2 x3
5 3
x4
0
x2
2 x3
4 3
x4
0
根据
x1
2 x3
5 3
x4
x2
2 x3
4 3
x4
2
x1 x1
2 x2 2 x3 x2 2 x3 2
A(x1 x2 ) Ax1 Ax2 0 0 0 即 x1 x2 N(A).
说明N(A)对向量的线性运算封闭，故N(A)是向量空间, 且N(A)是Rn的子空间，称之为齐次方程组Ax=0的解空间
或矩阵A的零空间 ( null space ),即 N( A) {x | Ax 0}
Ax=
x1PNxy2=04,即x3Ny3=x04. 0
解 对系数矩阵施行初等行变换
1
A
2
1
2 1 1
2 2 4
1
2
3
线性代数方程组求解
线性代数方程组求解线性代数方程组是线性代数中一个重要的概念，它描述了一组线性方程的集合。
求解线性代数方程组是线性代数中的一项基本任务，它对于解决实际问题和数学推理都具有重要意义。
本文将介绍线性代数方程组的求解方法，包括矩阵消元法和矩阵的逆。
矩阵消元法矩阵消元法是求解线性代数方程组的一种常用方法。
它通过消元和回代两个步骤来求解方程组。
具体步骤如下：1.构造增广矩阵：将线性方程组的系数矩阵和常数向量按列合并，得到增广矩阵。
2.初等行变换：对增广矩阵进行初等行变换，将其转化为阶梯形矩阵或行最简形矩阵。
3.回代求解：从最后一行开始，逐步代入求解未知数，得到方程组的解。
矩阵消元法的优点是简单直观，容易理解和实现。
然而，当矩阵的行数和列数较大时，矩阵消元法的计算复杂度会很高，需要消耗大量的时间和计算资源。
矩阵的逆除了矩阵消元法，我们还可以使用矩阵的逆来求解线性代数方程组。
矩阵的逆是一个与原矩阵相乘后得到单位矩阵的矩阵。
对于给定的线性方程组Ax=b，我们可以通过以下步骤求解：1.计算矩阵A的逆矩阵A^-1。
2.将方程组转化为x=A^-1b。
3.计算x的值。
求解矩阵的逆的方法有多种，包括伴随矩阵法和初等变换法等。
其中，伴随矩阵法是一种常用的求解逆矩阵的方法。
它通过求解伴随矩阵和矩阵的行列式来计算矩阵的逆。
使用矩阵的逆求解线性代数方程组的优点是计算速度快，尤其适用于行数和列数较大的情况。
然而，矩阵的逆并不是所有矩阵都存在，如果矩阵不存在逆矩阵或逆矩阵存在但计算困难，则无法使用矩阵的逆求解方程组。
小结线性代数方程组的求解是线性代数中的一个重要问题，涉及到实际问题的解决和数学推理。
本文介绍了两种求解线性代数方程组的方法：矩阵消元法和矩阵的逆。
矩阵消元法通过消元和回代的过程来求解方程组，简单直观但计算复杂度较高；矩阵的逆通过求解矩阵的逆矩阵来求解方程组，计算速度快但存在逆矩阵不存在的情况。
根据具体问题的需求和矩阵性质的条件，选择合适的方法来求解线性代数方程组是十分重要的。
第三章 线性代数方程组的解法
计算得
(1) x 1 4 (1) x2 3
(2) (1) x 0.5 x 1 2 4 0.5 3 4 5.5 (2) (1) x 0.2 x 3 0.2 4 3 2.2 2 1
x 0.5 x 4 0.5 2.2 4 5.1 , (3) (2) 3 0.2 5.5 3 1.9 x2 0.2 x1
(3-2)
x1 g1 x g 2 2 xn g n
8
3.1 简单迭代法的一般形式
x1 m11 x1 m12 x2 m1n xn g1 x2 m21 x1 m22 x2 m2 n xn g 2 x m x m x m x g n1 1 n2 2 nn n n n
1计算方法吴筑筑编231323334353637383931简单迭代法的一般形式32雅可比迭代法和高斯33超松弛34顺序高斯消去法35选主元高斯消去法36行列式和逆矩阵的计算37追赶法38三角分解法39线性方程组的最小二乘解简单迭代法的一般形式雅可比迭代法和高斯超松弛sor顺序高斯消去法赛德尔迭代法赛德尔迭代法sor迭代法迭代法选主元高斯消去法行列式和逆矩阵的计算追赶法三角分解法线性方程组的最小二乘解3本章解决的问题线性代数方程组的基本解法
k
13
3.1 简单迭代法的一般形式
定理3-1 简单迭代公式 x(k + 1) = Mx( k ) + g , k = 0,1, 2,L
收敛的充要条件是迭代矩阵M的谱半径 r (M ) < 1
证:必要性 设迭代公式收敛,当k→∞时,
x
(k )
第二章 线性代数方程组的数值方法
（二）回代过程
以上为高斯消去法的回代过程的算法。
高 斯 消 去 法 题1 试用高斯消去法解下列方程（小数点后取4位数 字计算）。
3 x1 x2 x3 2 x1 4 x2 x3 12 2 x x 2 x 10 3 1 2
解: 第一步消元
1 0.3333 0.3333 A 0 3 . 6667 1 . 3333 0 0.3333 2.6667
第二章 线性代数方程组的方程组的直接解法 第二节 线性代数方程组的迭代解法
重点
各种直接解法的基本原理及构造迭代格式的 基本原理。
第一节 线性代数方程组的 直接解法
直接解法是用有限次代数运算得到方程组解的方法。 如无舍入误差，则由直接解法得到的解就是精确解。但 舍入误差以及误差的积累是无法避免的，因此直接解法 给出的仍是近似解。本节给出的各种直接解法都是适用 于计算机的有效方法。它们对稠密系数阵的较低阶方程 组（几百个方程）以及带状系数阵的高阶方程组（几千 个方程）都很有效。
绝对值最大者作为主元，交换第k行与此主元所在的行， 再按高斯消去法消去第k行之后的方程中 xk 的系数，只要 方程是可解的，这一过程定能执行到底。
(1) (1) ) (1) x1 a12 x2 a13 x3 a1(1 n xn b1 ( 2) ( 2) ( 2) x2 a23 x3 a2 x b n n 2
第k部消元
(1) (1) ) (1) x1 a12 x2 a13 x3 a1(1 n xn b1 ( 2) ( 2) ( 2) x2 a23 x3 a2 n xn b2
( k 1) ( k 1) ( k 1) xk 1 ak 1k xk ak 1n xn bk 1 (k ) (k ) (k ) xk akk 1 xk 1 akn x n bk
第02讲：线性代数方程组求解(直接方法)
A(1) ( A(1)
§2.1 Gauss evaluation method
首先进行消去过程，对 A (1) 分别用-2，-3，-4乘第一行 后加到第2、3、4行有
例：试用高斯顺序消去法求解线性代数方程组：
x1 x2 x3 x4 4 2x x x x 5 1 2 3 4 3 x1 2 x2 x3 x4 7 4 x1 3 x2 2 x3 x4 10
解：线性方程组的增广矩阵为：
(2) a22 0时，用矩阵 第二步：等价于：若 左乘 A (1) 即有
(1) a 0 1 11 0 0 1 (1) l0 L A 1 L 0 2 32 0 0 l n2
(1) a 012 (2) a 022
1
(2) a 0n 2
基本思想 对线性代数方程组所对应的增广矩阵进行一系 列 “把某一行的常数倍加到另一行上去” 这样的 初等行变换,最后得到上三角矩阵所对应的线性代数 方程组,只要回代就可得到原方程组的解。
A
a
(1)
(A
(1)
b ) ( A b)
(1)
(1) ij
aij (i, j 1,2,3, , n)
, n)
§2.1 Gauss evaluation method
(1) a11 0 ( A(3) | b(3) ) 0 0 (1) a12 (2) a22 0 (1) a13 (2) a23 (3) a33 (1) a1(1) b n 1 (2) (2) a2 n b2 (3) (3) a3 b n 3 (3) (3) ann bn
求解线性方程组的方法
6
(1) (1) (1) (1) (1) A ( a ) ( a ), b b. A x b 将原方程组记为 其中 i j i j
则第一步（k=1)，若a11不等于0，则可以计算乘数
(1) mi1 ai(1) / a (i 2,3,, m) 1 11
(k ) kk
0 计算乘数 mik a
(k ) ik
/a
(k ) kk
(i k 1,, m)
用-mik乘上面的线性方程组的第k个方程加到第i个方程，可 以消去xk元,得到同解方程组 A( k 1) x b( k 1) ( k 1) (k ) (k ) 其中 a a m a i j i j ik k j (i k 1,, m, j k 1, n).
3 n 高斯消去法总的乘除运算量为： n2 n 3 3
10
定理2 约化的主元素 akk
(k )
0(k 1,2,, n) 的充要条件是
矩阵A的顺序主子式 Di 0(i 1, 2,, k ). 即
D1 a11 0 a11 a1i Di
证明略
推论 如果矩阵A的顺序主子式 Di 0(i 1, 2,, k ). 则
(1)
x1 0.1 x2 0.2 x3 0.72 x2 0.1 x1 0.2 x3 0.83 x 0.2 x 0.2 x 0.84 1 2 3
(2)
19
2 例题分析:
考虑解方程组 建立与式(1)相等价的形式：
10 x1 x2 2 x3 7.2 x1 10 x2 2 x3 8.3 x x 5 x3 4.2 2 1
完整版)线性方程组的常见解法
完整版)线性方程组的常见解法一、高斯消元法高斯消元法是解线性方程组的常见且有效的方法。
它的基本思想是通过一系列的行变换，将线性方程组化为简单的等价形式，从而得到方程组的解。
具体步骤如下：1.将方程组写成增广矩阵的形式。
2.选择一个主元，通常选择首行首列的元素作为主元。
3.对其它行进行变换，使得主元下面的元素都变为0.4.重复步骤2和步骤3，直到将增广矩阵变成上三角形矩阵。
5.从最后一行开始，逐步计算出未知数的值。
高斯消元法的优点是简单、直观，适用于任意的线性方程组。
然而，当线性方程组中出现矩阵的秩小于未知数量的情况时，可能存在无解或无穷多解的情况。
二、克拉默法则克拉默法则是另一种常见的解线性方程组的方法。
它通过分别计算每个未知数在方程组中的系数的行列式值，从而求解出未知数的值。
具体步骤如下：1.将方程组写成矩阵的形式。
2.计算系数矩阵的行列式值。
3.将未知数的系数替换为方程组中的常数，然后计算新的矩阵的行列式值。
4.重复步骤3，每次只替换一个未知数的系数。
5.将每次计算得到的行列式值除以系数矩阵的行列式值，得到各个未知数的值。
克拉默法则的优点是在某些特定情况下比高斯消元法更便捷，且不需要判断线性方程组是否有解或有无穷多解。
但是，克拉默法则的计算复杂度比较高，不适用于大规模的线性方程组。
三、矩阵求逆法矩阵求逆法是另一种常见且有效的解线性方程组的方法。
它通过求解矩阵的逆矩阵，从而得到方程组的解。
具体步骤如下：1.将方程组写为矩阵的形式。
2.判断系数矩阵是否可逆，若可逆则继续，否则方程组无解或有无穷多解。
3.求解系数矩阵的逆矩阵。
4.将常数向量乘以逆矩阵，得到未知数向量。
矩阵求逆法的优点是计算精确，适用于任意规模的线性方程组。
然而，计算矩阵的逆矩阵需要一定的计算量，不适合处理大规模的方程组。
总结：以上是线性方程组的常见解法。
在选择解法时，可以根据方程组的特点、规模、求解的精确度要求等因素进行权衡。
我们需要明确方程组是否有解或有无穷多解，并选择适用于特定情况的求解方法。
第二讲最速下降法
对于最速下降法的第k个自然模式，并初始化可以得到
n v () n ( 1 ) ( 0 ) k k v k
vn () ( 1 ) vn () k k k
为了满足最速下降法的稳定性或收敛性，对于所有k，我们可以 有
1 1 1 k
因此最速下降法稳定性的充分必要条件是步长因子满足不等式
2 p 2 R w ( n )
自适应信号处理
17
因此维纳滤波中最速下降法的数学表达式为:
w ( n 1 )( w n ) [ p R w ( n ) ] n = 0 , 1 , 2 , . . .
从另一个角度，可以将上公式看做一个反馈模型，信号流图如下
1 w ( n 1 ) w ( n ) g ( n ) 2
第二讲 最速下降算法
Y.J.Pang
最速下降法（method of steepest descent）是一种基于 梯度的自适应方法。 最速下降法可用反馈系统来表示，滤波器的计算式一步 一步迭代进行的。从该意义上讲，最速下降法是递归的。 在适当条件下，最速下降法的解收敛于维纳解而不需要求 输入向量相关矩阵的逆矩阵。
自适应信号处理 24
均方误差的瞬态特性
可知误差性能曲面的规范形式
2 J ( n )J | v ( n )| m i n k k k 1 M
其中 J m i n 是最小均方误差
n 2 2 H 2 1 1 H 1 p R p ( w R p ) R ( w R p) J () n J ( 1 ) | v ( 0 ) | d m i n k k k k 1
i 1 , 2 , . . . , M
1-2 线性方程组求解
(1)正定性 ||x||≥0,且||x||=0 <=> x = 0 ; 正定性: 正定性 且 (2)齐次性 齐次性: λ为任意实数 为任意实数 齐次性 (3)三角不等式 三角不等式: 三角不等式
则称||x||为向量 的范数 则称 为向量x的范数 . 为向量 向量范数是向量长度概念的推广.例如 注: 向量范数是向量长度概念的推广 例如
5
实现第一轮消元
计算: [m32 m42]T = [a 32 a42 ] / a 22
(1)
(1)
(1)
用–m32乘矩阵第二行加到矩阵第三行; 用–m42乘矩阵第二行加到矩阵第四行; 实现第二轮消元、第三轮消元········· 实现第二轮消元、第三轮消元
6
上三角方程组
n阶方程组消元过程乘法次数 阶方程组消元过程乘法次数: 阶方程组消元过程乘法次数 (n-1)n+(n-2)(n-1)+…+1×2=(n3-n)/3 × 除法次数: 除法次数 (n-1)+(n-2)+…+1=n(n-1)/2
1 ϕ ( x ) = ( Ax, x ) − (b, x ) 2
（ 2） 对 一 切 x , y ∈ R n , α ∈ R ） 1 ϕ ( x + α y ) = ( A ( x + α y ), x + α y ) − ( b , x + α y ) 2 1 α2 ( Ay , y ) = ( Ax , x ) − ( b , x ) + α ( Ax , y ) − α ( b , y ) + 2 2 = ϕ ( x ) + α ( Ax − b , y ) +
2 + 6 x 2 + 4 x 1 x 2 ) − ( 4 x 1 + 1 0 x 2）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最速下降法求解线性代数方程组要求：对于给定的系数矩阵、右端项和初值，可以求解线性代数方程组
一、最速下降法数学理论
PP?tX?Xf(X)的负梯中，在基本迭代公式每次迭代搜索方向取为目标函数kk1kkk?t)X??f(P?取为最优步长，由此确定的算法称为最速度方向，即，而每次迭代的步长kkk下降法。
X)Xminf(kk。
现在次，获得了第，假定我们已经迭代了为了求解问题个迭代点k X出发，可选择的下降方法很多，一个非常自然的想法是沿最速下降方向（即负梯度方从k X邻近的范围内是这样。
因此，去搜索方向为 )进行搜索应该是有利的，至少在向k P???f(X).
kk P k?1进行一维搜索，由此得到第为了使目标函数在搜索方向上获得最多的下降，沿k个跌带点，即
X?X?t?f(X)，kk1k?k t按下式确定其中步长因子k f(X?t?f(X))?minf(X?t?f(X))，
kkkkkk X?ls(X,??f(X)). （ 1）
k1k?k X X,XX,, ,,?k0,12是初始点，由计算就可以得到一个点列,显然，令其中0210{X}f)X(X)(f 的满足一定的条件时，由式（）所产生的点列必收敛于者任意选定。
当1k极小点。
二、最速下降法的基本思想和迭代步骤
???,)(Xf(X)g. ，终止限已知目标函数及其梯度和321Xf?f(X),g?g(X)k?0.
，计算；置（1）选定初始点00000X?ls(X,?g)f?f(X),g?g(X). （2）作直线搜索：；计算
k?1kk1?k1k?kk?1?1(X,f(X))k?k?1，置，结束；用终止准则检验是否满足：若满足，则打印最优解否则，1k?1?k转（2）
（3）最速下降法算法流程图如图所示.
X
结束
三、最速下降法的matlab实现
function [x,n]=twostep(A,b,x0,eps,varargin) %两步迭代法求线性方程组Ax=b的解
if nargin==3
eps= 1.0e-6;
M = 200;
elseif nargin<3
error
return
elseif nargin ==5
M = varargin{1};
end
D=diag(diag(A)); %求A的对角矩阵
L=-tril(A,-1); %求A的下三角阵
U=-triu(A,1); %求A的上三角阵
B1=(D-L)\U;
B2=(D-U)\L;
f1=(D-L)\b;
f2=(D-U)\b;
x12=B1*x0+f1;
x =B2*x12+f2;
n=1; %迭代次数
while norm(x-x0)>=eps
x0 =x;
x12=B1*x0+f1;
x =B2*x12+f2;
n=n+1;
if(n>=M)
'); 迭代次数太多，可能不收敛！ disp('Warning: return;
end
end
的解最速下降法求线性方程组Ax=bfunction [x,n]= fastdown(A,b,x0,eps) %if(nargin == 3)
eps = 1.0e-6;
end
x=x0;
n=0;
tol=1;
以下过程 % while(tol>eps)
可参考算法流程 r = b-A*x0;
d = dot(r,r)/dot(A*r,r);
x = x0+d*r;
tol = norm(x-x0);
x0 = x;
n = n + 1;
end
四、最速下降法的算例实现
A=[5 2 0;6 4 1;1 2 5];
b=[10 18 -14]';
eps=1.0e-6;
x =
-0.8750
7.1875
-5.5000 k =
60。