牛顿法

牛顿法

如前面所提到的，最速下降法在最初几步迭代中函数值下降很快外，总的说来下降的并不快，且愈接近极值点下降的愈慢。因此，应寻找使目标函数下降更快的方法。牛顿法就是一种收敛很快的方法，其基本思路是利用二次曲线来逐点近似原目标函数，以二次曲线的极小值点来近似原目标函数的极小值点并逐渐逼近改点。

一维目标函数()f x 在()k x 点逼近用的二次曲线（即泰勒二次多项式）为

()()()()()()21

()()()()()()2

k k k k k k x f x f x x x f x x x ?'''=+-+

- 此二次函数的极小点可由()()0k x ?'=求得。

对于n 维问题，n 为目标函数()f X 在()

k X

点逼近用的二次曲线为：

()()()()()2()()

1

()()().[][].().[]2

k k k k k T k k X f x f X X X X X f X X X ???=+?-+-?-??

令式中的Hessian 2()()()()k k f X H X ?=，则上式可改写为：

()()()()()()()

1

()()().[][].().[]2

()

k k k k k T k k X f x f X X X X X H X X X f X ???=+?-+--??

≈

当()0X ??=时可求得二次曲线()X ?的极值点，且当且仅当改点处的Hessian 矩阵为正定时有极小值点。

由上式得：

()()()()()()[]k k k X f X H X X X ??=?+-

令()0X ??=，则()

()()()()[]0k k k f X H X X X ?+-=

若()

()k H X

为可逆矩阵，将上式等号两边左乘1

()

()k H X -????，则得

1

()()()

()()[]0k k k n H X f X I X X -???+-=??

整理后得

1

()

()()

()()k k k X X

H X f X -??=-???

当目标函数()f X 是二次函数时，牛顿法变得极为简单、有效，这时()

()k H X 是一个

常数矩阵，式

()()()()()()()

1

()()().[][].().[]2

()

k k k k k T k k X f x f X X X X X H X X X f X ???=+?-+--??

≈变成精

确表达式，而利用式1

()

()()

()()k k k X X

H X f X -??=-???

作一次迭代计算所得的X 就是最优点*

X 。在一般情况下()f X 不一定是二次函数，则不能一步就能求出极小值，即极小值点不在1

()

()

()()k k H X

f X -??-???

方向上，但由于在()k X 点附近函数()X ?与()f X 是近似的，所以这个方向可以作为近似方向，可以用式1

()

()()

()()k k k X X H X f X -??=-???求出点X 作为一个逼近点(1)

k X +。这时式1

()

()()

()()k k k X X

H X f X -??=-???可改成牛顿法的一般迭代

公式：

1

(1)()()()

()()k k k k X X H X f X -+??=-???

式中1

()

()

()()k k H X

f X -??-???

称为牛顿方向，通过这种迭代，逐次向极小值点*X 逼近。 例：试用牛顿法求目标函数22

12

()25f X x x =+的极小值点 解：设取[]()

22T

k X

=，则

11()2224()50100k f x x f X f x x ???

???????

???===????????????????

()

222

112()2()

2

22

21

220()()050k k k X X f f x x x H X f X f f x x x =?????????????=?==????????

?

?????? 则，

1

(1)()()()

()()25004012021000100k k k k X X H X f X -+??=-???

????????=-=????????????????

(1)()0k f X +=，故(1)00k X +??

=????

为极小点

例：试用牛顿法求目标函数22

121212()10460f X x x x x x x =+---+的极小点。

解：取[]()

00T

k X

=，则

112()

21221010()244k f x x x f X f x x x ???

???---???????===?????---????

???????

()

222

112()2()

2

22

21

221()()12k k k X X f f x x x H X f X f f x x x =?????????-????=?==????-????

?

?????? 1

(1)()()()()()0211081012463k k k k X X H X f X -+??=-???

-????????=-=????????-????????

(1)86k X +??

=????

即为最小点*X ，只迭代一次就达到了*X 。

由上述可见，牛顿法无一维探索而直接代入公式计算，当初始点选得合适且当()f X 为二次函数时收敛很快。即使目标函数()f X 不是二次函数，当初始点选得好时，例如满足初

始误差(0)*

1X X -<时，也会很快收敛。但是这种方法对初始点的选择要求较高，如不满

足(0)*

1X X -<就不能保证有比较好的收敛性。初始点的选择有时甚至会影响到是否收敛。

如果选择不当使初始点离较大点近时，计算结果就可能收敛于极大点。初始点选择不当有时也会导致收敛到鞍点或不收敛，基于这种原因，对古典的牛顿法要做些修改，于是便出现了修正牛顿法。其修正方法是：()

k X

求(1)

k X

+时不是直接用原来的迭代公式，而且沿着()

k X

点

处的牛顿方向进行一维搜索，将该方向上的最优点最为(1)

k X +。这样就会避免收敛于极大点

或鞍点。于是式1

(1)

()()()

()()k k k k X

X H X f X -+??=-???改写成： 1

(1)()()()()

()()k k k k k X X H X f X α-+??=-???

令

1

()()()

()()k k k S H X f X -??=-???

则

(1)()()()k k k k X X S α+=+

式中的探索步长()

k α

为

()()()()()0

min ()()k k k k k f X S f X S ααα≥+=+

这种修正牛顿法虽然计算工作量多一些，但是具有收敛快的优点，并且，即使初始点选择不当，用这种探索方法也会成功。

1. 牛顿法算法原理

牛顿法是基于多元函数的泰勒展开而来的，它将1

()

()

()()k k H X f X -??-???作为探索方向，因此它的迭代公式可直接写出来：

1

(1)()()()

()()k k k k X X H X f X -+??=-???

2. 牛顿法算法步骤

（1） 给定初始点(0)x ，及精度0ε>，令0k =；

（2） 若()

()k f X ε?≤，停止，极小点为()k x ，否则转步骤（3）；

（3） 计算12()

()k f X

-?????，令1

()()()

()()k k k s H X f X -??=-???

； （4） 令(1)()()k k k x x s +=+，1k k =+，转步骤（2）。

3. 牛顿法算法的MATLAB 程序

调用格式：[,min ]min (,0,var,)x f NT f x eps = 其中，f ：目标函数 0x ：初始点

v a r ：自变量向量 e p s ：精度

x ：目标函数取最小值时的自变量值

m i n f ：目标函数的最小值 牛顿法的MATLAB 程序代码如下： function [x,minf]=minNT(f,x0,var,eps) %目标函数:f; %初始点:x0;

%自变量向量:var;

%目标函数取最小值时的自变量值:x; %目标函数的最小值:minf; format long; if nargin==3 eps=1.0e-6; end

tol=1;

x0=transpose(x0); while tol>eps

gradf=jacobian(f,var); %梯度方向 jacf=jacobian(gradf,var); %雅克比矩阵 v=Funval(gradf,var,x0); tol=norm(v);

pv=Funval(jacf,var,x0); p=-inv(pv)*transpose(v); x1=x0+p; x0=x1; end x=x1;

minf=Funval(f,var,x); format short;

4. 修正牛顿法算法原理

如果2()()k f X ?不正定，则牛顿法有可能不收敛，为了解决这个问题，引进修正牛顿法。此方法与牛顿法不同的是在于引进了搜索步长，而搜索步长的大小通过一维搜索算法确定。

5. 修正牛顿法算法步骤

（1） 给定初始点(0)

x

，及精度0ε>，令0k =；

（2） 若()

()k f X ε?≤，停止，极小点为()k x ，否则转步骤（3）；

（3） 计算12()()k f X -?????，令1

()()()()()k k k s H X f X -??=-???；

（4） 用一维搜索法求

α，使得()

()()()()0

()min ()k k k k k f X

S f X S ααα≥+=+，令

(1)()

(

)k k k k

X X S α

+=+，1k k =+，转步骤（2）。

6. 修正牛顿法算法的MATLAB 程序

调用格式：[,min ]min (,0,var,)x f MNT f x eps = 其中，f ：目标函数 0x ：初始点

v a r ：自变量向量 e p s ：精度

x ：目标函数取最小值时的自变量值

m i n f：目标函数的最小值

修正牛顿法的MATLAB程序代码如下：function [x,minf]=minMNT(f,x0,var,eps)

%目标函数:f;

%初始点:x0;

%自变量向量:var;

%目标函数取最小值时的自变量值:x;

%目标函数的最小值:minf;

format long;

if nargin==3

eps=1.0e-6;

end

tol=1;

x0=transpose(x0);

syms l;

while tol>eps

gradf=jacobian(f,var); %梯度方向

jacf=jacobian(gradf,var); %雅克比矩阵

v=Funval(gradf,var,x0);

tol=norm(v);

pv=Funval(jacf,var,x0);

p=-inv(pv)*transpose(v);

y=x0+l*p

yf=Funval(f,var,y);

[a,b]=minJT(yf,0,0.1);

xm=minHJ(yf,a,b);

x1=x0+xm*p;

x0=x1;

end

x=x1;

minf=Funval(f,var,x);

format short;