拟牛顿法的研究现状文献综述

拟牛顿法的研究现状

文献综述

姓名:孟媛媛 学号：112111215 指导老师：肖伟

前言

求解非线性方程组

0)(=x F

的方法有很多，最速下降法具有结构简单，计算量小的优点，但是它的收敛速度较慢；牛顿法及其改进牛顿法，虽然收敛速度快，但在迭代过程中的每一步构造搜索方向时，首先要计算目标函数的Hessian 矩阵，然后需要解一个线性方程组，计算工作量很大，这就抵消了牛顿法收敛速度快的优点。为了克服牛顿法的缺点，人们提出了拟牛顿法，拟牛顿法在构造搜索方向时，只需要利用目标函数及其一阶导数的信息，避免了Hessian 矩阵的计算，减少了计算量，并且具有超线性收敛的优点，经理论证明和实践检验，拟牛顿法已经成为一类公认的比较有效的算法.

拟牛顿法 一、求解非线性方程组的拟牛顿法

设R R n

n

F →：是连续可微映射．考虑下面的非线性方程组：

0)(=x F )1.1(

牛顿法是求解方程组)1.1(的经典的方法之一，其迭代格式为：

d x x k k k +=+1，)()(1

x x d k k k F F -'-=，

其中)(x k F '是F 在x k 处的Jacobian 阵.牛顿法的一个显著优点就是具有局部的超线性甚至二阶收敛速度，由于牛顿法这一优点，使其成为颇受欢迎的算法之一， 然而，当Jacobian 矩阵)(x k F '奇异时，牛顿方向可能不存在．克服牛顿法的这一缺陷的一个主要途径就是采用拟牛顿法，其基本思想是利用某个矩阵B k 作为

)(x k F '的近似取代)(x k F '.拟牛顿法的一般格式为：

d x x

k k k k α+=+1

， )2.1(

)(1

x B d

k k k

F --=， )3.1(

其中

α

k

是步长，通常由某种线性搜索确定.

B

k

是)(x k F '的近似，它满足下面的

拟牛顿方程：

)(1

y s

B k

k

k =+， )4.1(

其中x x

s x x y k k k k k k

F F -=

-=++1

1),()(.注意到≈y k

s x k k F )(1+'，因此，B k 1+与

)(1x k F +'沿方向s k 很接近.拟牛顿矩阵B k 1+的不同的校正公式导致不同的拟牛顿法.著名的拟牛顿校正公式有Broyden 秩一校正公式，对称秩一校正公式，DFP 校正公式，BFGS 校正公式，PSB 校正公式等，它们分别由下面这些公式定义：

;

)

()()

()(2

1

y

y s y

s

s B y s

y s B y y y s B y B

B

T k

k

k

T k

k

T

k k k

k

T k

T

k

k

k

k

T

k k k k

k

DFP k --

-+

-+

=

+

;)

()()()(2

1

s

s s s s

s B y s

s s B y s s s B y B B

T k

k

k T

k k

T

k k k

k

T

k

T

k k k

k T

k k k k

k PSB k --

-+-+

=+

;1

s

y y y s

B s B s s B B B

k

T k

T

k k k

k

T k

T k

k

k

k

k BFGS k +

-

=

+

.)

())((11

s

s B y s B y s B y B B

k

T

k k k

T

k k k

k k k

k R k ---+

=+

容易看到，DFP ，PSB ，BFGS ，SR1校正公式都是对称的，他们适合求解对称问题，而Broyden R1校正公式是不对称的，因此它常被用来求非对称问题.如果0>s

y

k

T k

，则DFP 和BFGS 公式保持迭代矩阵B k 的对称正定性，而其它几种

方法不具有这种性质. PSB 校正公式在非线性最小二乘问题中经常被采用. BFGS 公式是颇受欢迎的拟牛顿公式，它具有DFP 校正所具有的各种性质.此外，当采用Wolfe 线性搜索时，BFGS 算法对凸极小化问题具有全局收敛性质，这个性质对于DFP 方法是否成立尚不清楚.大量的数据结果表明，BFGS 方法的数值效果优于其它的拟牛顿方法.

拟牛顿法不需要明显计算Jacobian 阵，同时保持牛顿法的快速收敛速度.自20世纪60年代Broyden 第一次提出求解非线性方程组的拟牛顿法后，因其深邃丰富的理论知识和实际计算中的有效性，很快受到最优化工作者和计算数学家的特别青睐.特别是拟牛顿法的局部收敛性得到了广泛的研究. 此外，人们对拟牛顿法求解无约束问题的全局收敛性分析进行了相当的努力并且取得了巨大进展．尽管拟牛顿法的局部收敛性结果十分丰富，但是其求解非线性方程组的全局收敛性结果却很少．全局化方法d

x x k

k

k k α+

=+1需要采用某种搜索计算步

α

k

，但是此

时拟牛顿方向一般不再是某个度量函数的下降方向，从而使得线性搜索难以实现或考说缺少一种有效的线性搜索.

Griewank 在1986年研究了解非线性方程组的Broyden 秩一方法的全局收敛性，并在文献[2]中提出了一种无导数的线性搜索，同时证明了Broyden 方法在该搜索下的全局收敛性．Li 和Fukushima 在文献[3]中构造了一个反例表明Griewank 在文献[2]中的线性搜索在计算中可能会产生某些困难，即该搜索不是