第6章 非线性方程(组)和最优化问题的计算方法

f (x0 ) f '' (x) 0 则以x0为初值所产生的Newton迭代序列{xk } 必定收敛到f (x) 0的唯一实根x *
1) 简化Newton迭代法
为了避免求导运算或减少导数值的计算次数，
用常数C取作
f ( xk )
xk1 xk
f (xk ) c
, k 0,1, 2,
收敛速度是线性的。
| (x1)- (x2)|≤L|x1-x2|
例：求方程f (x) xex 1 0 (或x ex )在[1，ln 2]中的解。 2
若要求 x * xk 106 ，迭代次数k至少应为多少？
6.1.3 Newton迭代法
1．迭代过程的收敛速度
定义6.3：设迭代格式xk+1= (xk)收敛于方程x= (x)的不动
近似值，使误差不超过10-2
6.1.2 迭代法
1．简单迭代法
f (x) = 0 等价变换 x (x)
定义6.2 称所有满足方程x (x)的点，
为此方程的不动点
迭代格式： xk1 ( xk ), k 1,2,
若
lim
k
xk
x*成立，则称此迭代法是收敛的，否
则称为发散的。
例6.2 用简单迭代法求x3-2x-3=0在[1, 2]内的根。 解：容易验证方程在[1, 2] 内只有单根 。 改写原方程为 x 3 2x 3 这里 g( x) 3 2x 3 得迭代格式 xk 1 3 2xk 3 , k 0,1, 2, 取初始值 x0=1.9 ，由上面的迭代格式求得近似解如下：
第6章 非线性方程(组)和最优化问题 的计算方法
6.1 方程式求根(二分法、迭代法和 Newton迭代法)
给定如下非线性方程组
fi (x1, x2 , , xn ) 0, i 1, 2, , n 引入向量，向量函数记号
(6.1.1)
x1
x
x2
,
xn
f1(x)
0
F(x)
f2
(
x)
定理6.1：假定x = (x) 满足下列条件
(1) (x)在[a, b]上连续
(2) 当x[a, b]时， (x) [a, b]
(3) '(x) 存在，且对任x[a, b]，有
'(x) L 1
(6.1.10)
则方程x = (x)在[a, b]上有唯一的根x*, 且对任意初
值 x0[a, b]时，迭代序列xk+1= (xk) (k = 0, 1, …)所定
1 2
(
xk3
3), k
0,1, 2,
求得近似解为： x0=1.900 x1=1.930 x2=2.095 x3=3.098 x4=13.37 得到的近似解是不收敛的，越来越发散。
由此可见迭代函数 g(x) 选取的适当，近似解将会 收敛；选取的不适当，近似解将会发散。
那么选择怎样的g(x)迭代格式才会收敛呢？
定理6.2 设函数f (x)在根x *附近有f (x*) 0，
则存在x *的邻域D=x | | x x* | , 使对任意
x0 D,由迭代公式：xk1
xk
f (xk ) f (xk )
所定义的序列{xk }收敛到方程f (x) 0的根，
且有
lkim（xx**xxkk）12
f 2
''( x*) f (x*)
0 f ( x*) f ( x0 ) f ( x0 )( x * x0 )
xk1
xk
f ( xk ) f ( xk )
x*
x0
f ( x0 ) f ( x0 )
(2.3)
只要 f C1，每一步迭代都有 f ’( xk ) 0，而且
lim
k
xk
x *，则
x*就是
f
(x)的根。
2. Newton迭代法的收敛性与收敛阶
y 0 g '(x) 1 p1 p0
y=x y=g(x)
✓
x
x0
x1 x*
y
y=x
y=g(x)
g '(x) 1
p0
p1
x x1 x0 x*
y p0 1 g '(x) 0
y=x
✓
y=g(x) p1
x0
x*
y
y=g(x) p0
x x1
y=x
g '(x) 1
p1
x x0 x* x1
收敛性条件
3） 割线法
牛顿法一步要计算 f 和 f ’，相当于2个函数值。现用 f 的值近似 f ’ :
割线
切线
x* xk 1 xk -1 xk
切线斜率割线斜率
f (xk )
f (xk ) f (xk1) xk xk1
xk 1 xk
( xk xk 1) f (xk ) f (xk1)
f (xk )
x1=1.8945647
x2=1.89352114 …………… x8=1.89328920
x9=1.89328920
由于 x8、x9 相当接近，故可取 x*≈x8=1.89328920。
如果将原方程 x3-2x-3=0 改为得 x 1 ( x3 3)
2
仍取初值 x0=1.9 , 得迭代格式如下：
xk 1
满足条件：（1）一个套一个，即
an1,bn1 an,bn ，用不等式表达为：
an an1 bn1 bn , n 1, 2, 3,
(2)区间的长度单调趋于零，即lnim(bn an ) 0,
则存在
使
lim
n
an
lim
n
bn
,
并且这个
是所
有闭区间an,bn 的唯一公共点
例：用二分法求方程f (x) sin x x2 的非零实根的 4
即Newton迭代法是平方收敛的
例:利用Newton迭代法求方程 f (x) ex/4 (2 x) 1 0 于[0, 2]内的根。
定理6.3 假定方程f (x) 0在[a,b]区间上有二 阶连续导数，且满足条件：
(1) f (a) f (b) 0 (2) f (x) 0, x [a,b] (3) f '' (x)在[a, b]上不变号. 那么多任意x0 [a,b],只要满足
0
f
n
(
x)
fn
( x(k )
)
( x1
x (k) 1
)
fn
( x(k x1
)
)
( xn
x (k) n
)
fn ( x(k ) xn
)
0
记x *的第k 1次近似值为x(k1) ( x1(k1) , x2(k1) ,
以及
j
fi
(x)
fi (x) x j
, xn(k 1) )T
f1(x(k ) ) f2(x(k) )
k 1, 2,
例: 用割线法求方程 f (x) xex 1 0 于[0.5,0.6]内的根
例：应用Newton法于方程
f (x) xn a 0 和f (x) 1 a 0 (a 0)分别 xn
导出n
a
的迭代公式，求
lim
k
ek 1 ek 2
, ek
n
a
xk
6.2 解非线性方程组的Newton迭代法
f1 f1
( (
x) x)
3 x1
cos(x2 x3
)
1 2
0
x12 81(x2 0.1)2 sin
x3
1.06
Βιβλιοθήκη Baidu
0
f3(x)
e x1x2
20x3
10
3
3
0
6.3 拟Newton法
拟Newton法----Newton法的修正过程
x(k 1)＝x(k ) -Bk Bk 1(x(k 1) x(
反复执行步骤2、3，便可得到一系列有根区间： (a, b), (a1, b1), …, (ak, bk), …
4、当 bk1 ak1 时
5、则
xk 1
1 2
(ak
bk
)
即为根的近似
①简单; ② 对f (x) 要求不高(只要连续即可) .
①无法求复根及重根 ② 收敛慢
区间套定理：若一系列闭区间an,bn
x0 a x0 h
f(x)
x* b
执行步骤:
1．计算f (x)在有解区间[a, b]端点处的值，f (a)，f (b)。
2．计算f (x)在区间中点处的值f (x1)。
3．判断若f (x1) = 0，则x1即是根，否则检验： （1）若f (x1)与f (a)异号，则知解位于区间[a, x1]， b1=x1, a1=a; （2）若f (x1)与f (a)同号，则知解位于区间[x1, b]， a1=x1, b1=b。
如果F(x(k) )可逆，得到Newton法的迭代公式 x(k1＝ ) x(k ) F ( x(k ) )-1 F ( x(k ) )
当n很大时，求Jacobi阵的逆是比较困难的
x(k1＝) x(k＋) x(k )
F
'(x(k ) )x(k )
F(x(k) )
例：用Newton法求解下列非线性方程组
F ( x(k ) ) F '( x(k ) )( x(k1) x(k ) ) 0
1 f1(x) 2 f1(x) n f1(x)
其中
F '( x(k ) )
1
f２(
x)
2
f２(
x)
n
f２(
x)
1 fn (x)
2
fn
(
x)
n
fn
(x)
x x( k
)
为F ( x)于点x( k )处的Jacobi矩阵
2) Newton下山法
为使 f (xk ) 具有单调下降性质：| f (xk1) || f (xk ) |
将Newton迭代法与下山法结合起来应用：
xk 1
xk
f (xk ) f (xk )
xk1 xk1 (1 )xk
即：Newton下山法计算公式为：
xk 1
xk
f (xk ) f (xk )
,
0
0
fn
(x)
0
则方程(6.1.1)可改为
(6.1.2)
F(x) 0
当n 1时，方程组 (6.1.1)是一个非线性方程式
f (x) 0
(6.1.3)
定义6.1 设x * 使f (x) 0，则称x *为方程 (6.1.3)的根或零点。若
存在正整数m, 使
f (x) (x x*)m g(x)
点x*，如果迭代误差 k x*满 x足k 渐进关系式
lim
k
k 1 k p
lim k
x* xk1 x* xk p
C 0
则称此迭代格式是p阶收敛的，或称该方法具有p阶敛速。
当p = 1时，称迭代格式为线性（一次）收敛；
当p >1时，称迭代格式为超线性收敛。
当p = 2时，称迭代格式为平方（二次）收敛；
1F (x(k ) k)) F(
) x
(k
1)
)
F
(
x
(
k
)
)
Bk
1
Bk
Bk
(k 0,1, 2, )
用x 表示迭代近似值，用 x表示新的近似值
迭代方程为： x＝x B1F(x) 拟Newton方程为: B(x x) F(x ) F(x) 令 s x x, y F(x) F(x) 则拟Newton方程为 Bs y
且0 g(x*) ,则称x *为方程 (6.1.3)m重根。当m 1时，x * 单根，
x *满足条件 f (x*) 0，
f '(x*) 0
6.1.1 二分法
定理1：设函数 f (x) 在区间[a, b]上连续，如果f (a) f (b) < 0， 则方程 f (x) = 0 在[a, b]内至少有一实根x*。
牛顿法
牛顿法的迭代公式
f(x) y
x
x*
x2 x1
x0
原理：将非线性方程线性化 —— Taylor 展开
取 x0 x*，将 f (x)在 x0 做一阶Taylor展开:
f (x)
f ( x0 )
f ( x0 )(x x0 )
f
(
2!
)
(
x
x0
)，2
在
x0
和
x
之间。
将 (x* x0)2 看成高阶小量，则有：
x (k) i
)的二次以上的项，有
f1(x)
f1( x(k )
)
( x1
x (k) 1
)
f1 ( x(k ) x1
)
( xn
x (k) n
)
f1( x(k ) ) xn
0
,
f
2
(
x
)
f2
(
x(k
)
)
(
x1
x1( k
)
)
f2
( x(k x1
)
)
( xn
x (k) n
)
f2 ( x(k ) ) xn
义的唯一不动点x*收敛，即
lim
k
xk
x，*同时有下列误
差估计式成立
x* xk
1 1 L
xk 1 xk
,
x* xk
Lk 1 L
x1 x0 ,
(6.1.11) (6.1.12)
条件(3)还可削弱为:若 (x)在[a, b]上满足Lipschitz条
件, 即对[a, b]上的任意两点 x1,x2, 有
设x* (x1*, x2*, , xn*)T 是 fi (x1, x2 , , xn ) 0, i 1, 2, , n
的精确解
(6.1.1)
将每个 fi (x1 , x2 , , xn ) 在x(k ) (x1(k ) , x2(k ) , , xn(k ) )T 点
作泰勒展开，并舍去
( xi
1
1
f1 ( x) f２( x)
2 f1(x) n f1(x)
2
f２(
x)
n
f２(
x)
x (k 1) 1
x (k 1) 2
x (k) 1
x (k) 2
0
fn (x)
1 fn (x)
2
fn (x)
n
fn (x) xx(k)
x (k 1) n
x (k) n
矩阵形式为