附录 非线性代数方程组的求解方法

方面，不少文献 [18,19] 介绍了牛顿法的一些改进方案，
有兴趣的读者请参阅之。
作者用FORTRAN语言编制的牛顿法子程序取名为NRM.
上海海运大学专用
三、詹重禧法 在机构分析与综合等工程问题中，更一般的情况是需 要求解下列相容非线性方程组：
f ( x) [ f1 ( x), f2 ( x),..., fm ( x)]T 0, x n , m n
（15）
上海海运大学专用
将近似式（14）和（15）代入梯度表达式（12）， 可得 F ( x )的近似表达式：
F ( x) 2J k T [ f ( x( k ) ) J k ( x x( k ) )]
在极小值点
（16）
x * 处，应成立：
（17）
0 F ( x*) 2J k T [ f ( x( k ) ) J k ( x * x( k ) )]
特 别 ， 当 1 时 ， 称 迭 代 序 列 x 具 线 性 敛 速 ； 当 1 2 时,称迭代序列 x ( k ) 具超线性敛速；而 当 2 时，称迭代序列 x ( k ) 具二阶敛速。
(k )
向量值函数 f ( x ) 的雅可比矩阵 J ( x ) 的表达形式为:
x ( x)
（6）
式中， ( x) : D Rn Rn 为x的n维向量值函数。 此时，方程组（6）的解 x * 成为向量值函数 ( x ) 的不动点
上海海运大学专用
对于具有式（6）形式的非线性方程组，可构作如下 的简单迭代格式：
x(k 1) ( x(k ) ) (k 0,1,...)
定理1 设 x * 为非线性方程组（6）的解， : D Rn Rn
若存在球域 {x / x x * , 0} D 和常数
q(0<q < 1) ,对一切 x 成立
( x) ( x*) q x x *
，并具有线性敛速。 x 且收敛于解 x *
上海海运大学专用
2、基本公式 令 Ak JkT Jk (aij )nn ，并设 分解成
上海海运大学专用
二、牛顿一拉夫逊法
将一元方程的牛顿迭代法推广应用于解非线性方程组 (1) ，即得牛顿一拉夫逊法(以下简称牛顿法)。牛顿法由 非线性函数线性化得到。设已有迭代点 x ( k ) ，将向量值 函数 f ( x ) 近似地取为点 x ( k ) 处的一阶展式
f ( x) f ( x( k ) ) J ( x( k ) )( x x( k ) ) 0,从中解出x，作为下一个
附录 非线性代数方程组的求解方法
由n个变量n个方程（n>1）组成的非线性代数方程 组（简称为非线性方程组）可表示为：
f ( x) 0
(1)
式中，x [ x1 ,..., xn ]T Rn 为n个待定的变元组成的列阵，
f ( x) [ f1 ( x),..., fn ( x)]T 为定义在维子空间 D R n
x ( k ) x * ( x ( k ) ) ( x*) q x ( k ) x * ... q k 1 x (0) x *
可知，x ( k 1) .这表明对一切 k
另外，由不等式
0 ，有
{ x ( k ) } ，又因，
0<q < 1，由上式可知 lim x ( k ) x *，序列{x( k ) }的收敛性得证。 k 0
... ... ... ...
f1 ( x ) xn f 2 ( x ) xn ... f n ( x ) xn
（4）
从上述表达式可知，一个向量值函数值 f ( x ) 的雅可 比矩阵 J ( x )的第i行就是 f ( x ) 的第个函数 fi ( x ) 的梯度向 量 fi ( x) 的转置，即
在上述三个要求中，前两个要求是必须满足的。第 三个要求是计算复杂性问题，是衡量一个算法好坏的标志。 迭代格式（2）的含意是明确的。即求解时，必须取 定一个初始点（或初值） ，通过逐次迭代，最终求得 方程组（1）的满足精度要求的数值近似解 。 x (0)
x (n)
上海海运大学专用
如果一个数值迭代法对初值 x (0) 没有本质上的限制， 则称这种方法为大范围收敛的方法，如同伦法和区间分析 [18,19, Z 27] 法等 ；否则，称为一般迭代法。 除必须满足适定性和收敛性条件外，还应考虑迭代 格式的收敛速度。迭代格式收敛的快慢，是衡量算法好坏 的标准之一。对于迭代格式的收敛速度，我们建立如下的 衡量标准。
对 收 敛 于 解 x * 的 迭 代 序 列 x ， 若 存 在 正 实 数
(k )
和一个与迭代步数k无关的正常数q，由某 k0 开始，若成立
x
( k 1)
x* q x
(k )
x*

( k k0 )
（3）
x ( k ) 具有 阶敛速。 则称迭代序列
上海海运大学专用
fi ( x) fi ( x) fi ( x) fi ( x) T [fi ( x)] [ , ,..., ] (i 1,..., n) （5） x x1 x2 xn
上海海运大学专用
§1 求解非线性代数方程组的一般迭代法
本 节 将 介 绍 简 单 代 法 、 牛 顿 一 拉 夫 逊 (NewtonRaphson )法和詹重禧法。 一、简单迭代法 对于非线性方程组（1），若令 ( x) f ( x) x ，则该非 线性方程组可等价地表示为
m n 的雅可比矩阵，
（13）
设
) k) ) x ( k为已知的迭代点，取 f ( x在 x (点的一阶展开式：
f ( x) f ( x ) J ( x )( x x )
(k ) (k ) (k )
（14）
于是
记 f ( x ) (k ) J ( x) J ( x ) Jk x
上海海运大学专用
若 J ( x(k ) ) 非奇异，则可通过解线性方程组求得增 ) 量 x ( k，进而求得下一个迭代点 x ( k 1) 。若范数
f ( x (k ) )
(
0 为精度)，则可取为方程组(1)的近似
解。牛顿法是求解非线性方程组(1)的一个极为基本而又
十分重要的算法。该法的最大优点是收敛快，具有二阶敛 速。但牛顿法的一个致命缺点是对初始点 x (0) 的要求非常 苛刻。若初始点 x (0) 取得不合适，往往导致计算失败。
（2）
1)适定性。即由迭代格式（2）得到的序列 x ( k ) 是适 定的，也就是 x ( k ) D ，对 k 0,1, 均成立； (k ) * 2)收敛性。若 x * D 是方程组（1）的解，则 lim x x k
x* 3)在给定精度内求得解
的近似解 x ( n ) 的工作量较少。
上海海运大学专用
1、法式方程 如式（11）所示的目标函数 ( x ) F
T
的梯度 （12）
F ( x) 2J ( x) f ( x)
式中， J ( x ) 为向量值函数 f ( x ) 的
J ( x) f ( x ) [f1 ( x ), f 2 ( x ),..., f m ( x )]T x
J ( x ) f / x [f1 ( x ), f 2 ( x ),..., f n ( x )]T f1 ( x ) x 1 f 2 ( x ) x1 ... f n ( x ) x1
上海海运大学专用
f1 ( x ) x2 f 2 ( x ) x2 ... f n ( x ) x2
(k )
（8）
(0) 则对任意 x 由迭代格式（7）产生的迭代序列
证明：由于 x （8）可得
(0)
,利用迭代格式（7）和条件式
x (1) x * ( x (0) ) ( x*) q x (0) x *
上海海运大学专用
因此 x
(1)
若已知 x ( k ) ， 则由
n n 上的维向量值函数，即 f : D R R 若 fi ( x) i 1,2,..., n
中至少有一个为非线性函数，则称(1)为非线性方程组。 n求非线性方程组数值解的一般迭代法的迭代格式为:
上海海运大学专用
x( k 1) Gx( k ) (k 0,1,...)
式中，G为迭代矩阵。 上述迭代格式必须满足：
（7）
式中， (0) 称为初始向量或初始点。 x 非线性方程组（6）的简单迭代格式（7）具有计算方 便、编程容易、每迭代一步只需计算一个向量值函数 ( x(k ) ) 等优点。但对任取的初始点 x (0) 迭代格式（7）并不一定收 敛；而且，即使收敛，其敛速也很不理想，其依据为下列 定理：
上海海运大学专用
上海海运大学专用
牛顿法的另一个问题是迭代过程中需计算雅可比矩
阵 J ( x(k ) ) 。当函数 f ( x ) 复杂，求导不易时，可用数值 求导法计算一阶偏导数。当然，这要以牺牲一定的敛速 为代价的。围绕着放宽对初始点 x (0) 的要求，改善雅可 比矩阵 J ( x( k ) ) 可能出现的病态性以及提高敛速等三个
(10)
显然，只要方程组(10)有解，求解非线性方程组(10) 等价于求解如下最小二乘问题的最小值点：
min F ( x ) fi 2 ( x ) f T ( x ) f ( x)
i 1
m
（11）
上述问题属无约束优化间题，当然可用无约束优化方法 求出其极小值点 x * ，但考虑到该问题的目标函数F ( x )为 平方和形式，故可用更有效的优化方法求解。
或
J k T J k ( x * x( k ) ) J k T f ( x( k ) ) 0
方程（17）称为法式方程。从法式方程（17）中解 出 x * ，并将 x * 作为新的迭代点 x ( k 1)，即得下列迭代 格式：
上海海运大学专用
x (k 1) x (k ) ( J k T J k )1 J k T f ( x (k ) ) (k 0,1,...)
式中的 x (0) 称Hale Waihona Puke Baidu初始点。
（18）
上述迭代格式就是最小二乘法的迭代格式。在最小二 乘法的计算过程中，需求矩阵 J k T J k 的逆。虽然 J k T J k 总是 1 对称半正定，在一般情况下逆矩阵 J k T J k 似乎总存在，但 其行列式det( J k T J k )很小，病态情况相当严重。因而解的 稳定性很差。针对最小二乘法这一致命的不足，不少学者 提出了各种改进方案。其中，最有名的算法是阻尼最小二 乘法(又称为L－M法)。但中国学者詹重禧提出的方法(本书 作者称之为詹重禧法)的计算效果比L－M法更好，收敛速度 比L－M法更快，是目前为止求解最小二乘问题的最好方法。
新的迭代点 x ( k 1) ，即得如下牛顿法的迭代格式：
J ( x ( k ) )x ( k ) f ( x ( k ) ) x ( k 1) x ( k ) x ( k )
(k 0,1...)
（9）
式中， ( x( k ) ) 为向量值函数 f ( x ) 在点 x ( k )处的雅可比矩阵。 J
x
( k 1)
x* q x
(k )
x*
证毕
可知，迭代序列{x ( k ) } 具线性敛速。
上海海运大学专用
定理1中的条件(8)称为 ( x ) 的压缩条件。这个条 件对讨论迭代法的收敛性以及解的存在性等理论间题都 是极为重要的。至于合适初始点 x (0)的选取，由于对于 任意向量值函数 ( x ) ，事先无法知道满足定理1条件的 球域 ，我们只能根据试算情况或所求问题的物理意 义经验地确定之。简单迭代法只具线性敛速，这一缺点 影响了该法的实用价值。文献[18]介绍了一个较实用的 简单迭代法的改进方案，需要时，可参考之。