拟牛顿法ppt

合集下载

牛顿法ppt

改用差商 f ( xk ) − f ( xk−1 ) 代替牛顿法中的
xk − xk −1
导数有以下快速弦截法迭代公式：
xk+1 = xk − f ( xk f) −( xfk )( xk−1 ) ( xk − ) xk−1
弦线法的几何意义
xk+1 = xk − f ( xk f) −( xfk )( xk−1 ) ( xk − ) xk−1
从几何图形上看，上面的公式实际上是用 y = f (x) 上一系列的弦线与x轴的交点来逐步逼近曲线与 x 轴的交点．
因此称这种方法为弦线法(弦截法或弦割法). 过两点 (x0, f (x0 )), (x1, f (x1)) 作一条直线，令y = 0（ f(x) = 0)，得与 X 轴的交点 x 作为 x1，即
= 2.506184 − 2.506184lg 2.506184 −1 ≈ lg 2.506184 + lg e
2.506184
x3= − x2 4.315377 ×10−5 > ε , x4= − x3 0.000000 < ε
∴ x ≈ 2.506184
解: (4) 用双点弦割法求此实根同解变换 f (=x) x lg x −=1 0, [a,=b] [2,3] f (2) =2lg 2 −1 =−0.40 < 0, f (3) =3lg3−1 =0.43 > 0 ∴ f (a) f (b) < 0, 可取 x0 = 2，x1 = 3
f
y− ( x0 )
f (x1) − f (x1)
=
x − x1 x0 − x1
,
⇒
x2 =x =x1 −
f
(
f x1 )

牛顿法和拟牛顿法

解：
f x1
26
x1
x2
22
3 x1
3 x2
x1 x2 3
x2
f x2
26
x1
x2
2 2 3 x1
3x2
x1 x2 3
x1
故
f x1 x 4,6T
344,
f x2
x 4,6T
56,
f
(
x1
)
344 56
.
2 f x12
2 23
x2 2 ,
2 f x22
在确定拟牛顿方程式的Hk+1时，若矩阵Hk+1对称，则需要待定（n+n2)/2个未知数，n个方程，所以拟牛顿方程一般有无穷个解，故由拟牛顿方程确定的一族算法，通常称之为拟牛顿法
拟Newton算法
1、给定初始点x0,正定矩阵H0,精度ε>0,k=0 2、计算搜索方s向k Gk f(x k ) 3、令xk+1=xk+tk.sk,其中
当H 可逆时， k
若 f(x k 1)
,停止x*
xkx+k11=;否xk则-H，k-令1.hk k
k
1,转step2
Step4:
例1. 设 f x 6 x1 x2 2 + 2 3 x1 3 x2 x1 x2 2
求在点 x1 (4, 6)T 处的搜索方向.
分析: 搜索方向
故需要写出 f ( x), 2 f ( x) 的表达式.
Sk
-H
1 k
hk
k 1
其中
H k 2f(x(k )) hk f(x(k ))
1.牛顿法几何解释
几何直观解释：最密切的二次曲线逼近

牛顿法和拟牛顿法

重置否
x (1 ) = x ( n + 1 )
例4.13：用DFP方法求解 min 2 x + x − 4 x1 + 2
2 1 2 2
初始点x
(1)
2 1 0 = , H1 = 1 0 1
λ1 =
5 18
2 1
8 9 4 9
SQP方法
• 良好的性质 • 广泛应用 • 与Lagrange-Newton 法的关系
总结
简单的“拟”可以是革命性的进步!
1 v
( k )T
q (k )
∆H k =
p
(k )
⋅p
( k )T (k )
p
( k )TΒιβλιοθήκη q−Hkq q
(k )
⋅q
( k )T
Hk
( k )T
Hkq
(k )
计算步骤：
x (1 ) , ε > 0
H1 = I n , d (1) = −∇f ( x(1) ), k = 1
∇f ( x ( k ) ) < ε
p ( k ) := x ( k +1) − x ( k ) ⇓ q ( k ) := ∇f ( x ( k +1) ) − ∇f ( x ( k ) ) q
(k )
≈ ∇ f (x
2
( k +1)
)p
(k )
p ( k ) = H k + 1q ( k )
p ( k ) ≈ ∇ 2 f ( x ( k +1) ) −1 q ( k )
FletcherDavidon(1959), Fletcher-Powell(1963) DFP 方法

非线性最小二乘数据拟合高斯-牛顿法ppt课件.ppt

程序及做法:
function y=xzz(x)； y(1)=x(1)+2 * x(2)+x(3); y(2)=2 * x(1)+2 * x(2)+3 * x(3)-3; y(3)=-x(1)-3 * x(2)-2; y=[y(1) y(2) y(3)]; x0=[1 1 1]; [x,fva1,exitflag,output]=fsolve(′xzz′,x0)
篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统Fra bibliotek2 解线性方程组
• MATLAB用函数linsolve求解线性方程组 Ax=b，要求A的列数等于b的行数；也可用矩阵除等方法求解。linsolve的语法格式为
• x=linsolve(A,b)
篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统
[1/2/a * (-g+(g ^ 2-4 * 2 * c) ^ (1/2))]
[1/2/a * (-g+(g ^ 2+4 * 2 * c) ^ (1/2))] 类似地，solve (′2 * x ^ 2+6 * x+4′)
得 ans=[-2][-1]
g=a * x
篮球比赛是根据运动队在规定的比赛时间里得分多少来决定胜负的，因此，篮球比赛的计时计分系统是一种得分类型的系统
补充知识 :解方程或方程组
用solve 符号解代数方程 solve (′eq1′，′eq2′, ′eqn′, ′var1,var2,…,varn′) eqn为符与方程，varn为符号变量。

高三物理复习试验04验证牛顿运动定律精选课件PPT

2021/3/2
14
1.在平衡摩擦力时，不要把悬挂小盘的细绳系在小车上，即不要给小车加任何牵引力，并要让小车拖着纸带匀速运动. 2.整个实验平衡了摩擦力后，不管以后是改变小盘和砝码的总质量还是改变小车和砝码的总质量，都不需要重新平衡摩擦力. 3.每条纸带都必须在满足小车的质量远大于小盘和砝码的总质量的条件下打出.只有如此，小盘和砝码的总重力才可视为小车受到的拉力.
实验四验证牛顿运动定律
1.学会用控制变量法研究物理规律 2.验证牛顿第二定律 3.掌握利用图象处理数据的方法
2021/3/2
1
探究加速度a与力F及质量M的关系时，应用的基本方法是控制变量法，即先控制一个参量——小车的质量M不变，探究加速度a 与力F的关系；再控制小盘和砝码的质量不变，即力F不变，探究加速度a与小车质量M的关系.
2021/3/2
12
本实验用小盘和砝码的总重力mg代替小车的拉力，而实际上小车所受的拉力要小于小盘和砝码的总重力.小盘和砝码的总质量越小于小车的质量，由此引起的误差就越小.因此，满足小盘和砝码的总质量远小于小车的质量的目的就是减小因实验原理不完善而引起的误差.
2021/3/2
13
2.摩擦力平衡不准确造成误差，在平衡摩擦力时，除了不挂小盘外，其他的均与正式实验一样(比如要挂好纸带、接通打点计时器)，匀速运动的标志是打点计时器打出的纸带上各相邻两点间的距离相等. 3.质量的测量误差、纸带上打点计时器打点间隔距离的测量误差、细绳或纸带不与木板平行等都会引起误差.
2021/3/2
18
实验原理和实验器材的分析【例证1】(2011·浙江高考)在“探究加速度与力、质量的关系”实验时，已提供了小车、一端附有定滑轮的长木板、纸带、带小盘的细线、刻度尺、天平、导线.为了完成实验，还须从图中选取实验器材，其名称是 ① ；并分别写出所选器材的作用 ② .

拟牛顿法

•主页•专栏作家•量化基础理论•软件使用经验•量化软件•资源导航•资料下载•量化论坛搜索搜索用户登录用户名:*密码:*登录•创建新帐号•重设密码首页拟牛顿法及相关讨论星期三, 2009-06-17 00:24 —satchel1979使用导数的最优化算法中，拟牛顿法是目前为止最为行之有效的一种算法，具有收敛速度快、算法稳定性强、编写程序容易等优点。

在现今的大型计算程序中有着广泛的应用。

本文试图介绍拟牛顿法的基础理论和若干进展。

牛顿法(Newton Method)牛顿法的基本思想是在极小点附近通过对目标函数做二阶Taylor展开，进而找到的极小点的估计值[1]。

一维情况下，也即令函数为则其导数满足因此(1)将作为极小点的一个进一步的估计值。

重复上述过程，可以产生一系列的极小点估值集合。

一定条件下，这个极小点序列收敛于的极值点。

将上述讨论扩展到维空间，类似的，对于维函数有其中和分别是目标函数的的一阶和二阶导数，表现为维向量和矩阵，而后者又称为目标函数在处的Hesse矩阵。

设可逆，则可得与方程(1)类似的迭代公式：(2)这就是原始牛顿法的迭代公式。

原始牛顿法虽然具有二次终止性（即用于二次凸函数时，经有限次迭代必达极小点），但是要求初始点需要尽量靠近极小点，否则有可能不收敛。

因此人们又提出了阻尼牛顿法[1]。

这种方法在算法形式上等同于所有流行的优化方法，即确定搜索方向，再沿此方向进行一维搜索，找出该方向上的极小点，然后在该点处重新确定搜索方向，重复上述过程，直至函数梯度小于预设判据。

具体步骤列为算法1。

算法1：(1) 给定初始点，设定收敛判据，.(2) 计算和.(3) 若< ，则停止迭代，否则确定搜索方向.(4) 从出发，沿做一维搜索，令.(5) 设，转步骤(2).在一定程度上，阻尼牛顿法具有更强的稳定性。

拟牛顿法(Quasi-Newton Method)如同上一节指出，牛顿法虽然收敛速度快，但是计算过程中需要计算目标函数的二阶偏导数，难度较大。

AAA最优化理论与方法课件(第5章,马昌凤版)

和yk
,
可根据(*)估计在xk
处的
+1
Hesse矩阵的逆.令H k 1取代牛顿欠定法方中程的Hesse阵
H 的逆2
f
( xk
)1,则H
k
满足
1
d自k 1由度？ 2 f (xkk11)1f (xk 1)
sk =Hk1 yk
(A1)
(样A1确)称定为满拟足牛这顿个条条件件(的方HHH程0kk)+，11 ?也I;H称k为割H线k方程。怎校矩正阵
0 0 3 1
5.1拟牛顿法及其性质
1
第一次迭代在 x(0)的梯度是 g(0) 1 ，于是
1
1 d (0) H (0) g(0) 1
1
步长0
( g(0) )T d (0) (d (0) )T Gd (0)
1 ，于是
2
x(1) =x(0) +0d (0)
1, 2
1, 2
1 2
T
5.1拟牛顿法及其性质
目标函数是凸函数，因此 x(3) 是全局极小点。
5.1拟牛顿法及其性质
5.1拟牛顿法及其性质
5.1拟牛顿法及其性质
点评
• 在一定条件下，对称秩1校正算法收敛且具有二次终止性。
• 无法保证Hk和Bk的正定性。
H k 1 yk =sk
• 具体而言，有以下三种情况：
Bk1sk =yk
若yk =Bk sk，则满足拟牛顿方程的迭代矩阵Bk+1=Bk。若(yk Bk sk )T sk 0，则满足拟牛顿方程的SR1校正公式存在且唯一。
方法总结:
xk +1 xk k Hk (gk )
H
k
I,

例题是唐老师教材_1025_拟牛顿法(DFP算法)

)
Step4: 令 k
k 1,
返回Step2.
注: 第一步迭代与最速下降法相同.
三. 对称秩2算法（DFP校正公式）
设校正矩阵的形式为:
H k H k 1 k uk uk
T
Page 10
k vk vk
T
( II )
其中 k 0, uk = uk 1 , uk 2 , , ukn 0
x
k 1
x k d .
k k
Page 13
Step3: 计算
k 1 x
k 1
x
k 1
k
k 1 f ( x
) f ( x )
k T
H k 1 H k d
k 1
k 1 k 1 k 1 k 1
T k 1
)
H k k 1 k 1 H k
2
0 4 , 10 1
0 8
2 x1 f x , 8 x2
0
2 f x 0
2 2 0 0 f ( x ) , d f ( x ) 8 8
f
T
H1 H 0
1 1
T
T
1 1

H 0 1 1 H 0
T
1 H 0 1 Page 16
T
又
0.26154 1 x x 1.04 x
1
f x
0
0.52308 8.36923
1 0 0
Page 15
f
x 1.47692,
1
0.36923 ,

《牛顿迭代法》PPT课件

f ( x0 )
类方法计算量省，但只有线性收敛，其几何意义是用平行弦与 x轴交点作为 x的*近似. 如图7-4所示.
图7-4
11
（2）牛顿下山法.
牛顿法收敛性依赖初值的x0选取. 如果偏离x0所求根 x较* 远，则牛顿法可能发散.
例如，用牛顿法求方程
x3 x 1 0.
（3.8）
在 x 1附.5近的一个根 . x *
f (x1，) 而0.656643 f ( x0 ) 1.384
显然 f ( x1) f. (x0 )
由计x1算 x2时, x3 ,, 均能使 1条件（3.10）成立. 计算结果如下：
x2 1.36181, x3 1.32628, x4 1.32472,
f ( x2 ) 0.1866; f ( x3 ) 0.00667; f ( x4 ) 0.0000086.
10.723805
4
10.723805
8
三简化牛顿法与牛顿下山法
牛顿法的优点收敛快，牛顿法的缺点
一每步迭代要计算 f及( xk ) ，计f (算x量k )较大
且有时 f ( x计k )算较困难，
二是初始近似只x在0 根附x近*才能保证收敛，
如 x给0 的不合适可能不收敛.
9
为克服这两个缺点，通常可用下述方法.
设取迭代初值 x0 ， 1用.5牛顿法公式
xk 1
xk
xk3 xk 1 3xk2 1
计算得
x1 1.34783, x2 1.32520,
迭代3次得到的结果 x3有6位有效数字.
（3.9）
x3 1.32472.
12
但如果改用 x0 作 0为.6迭代初值，则依牛顿法公式（3.9）迭代一次得

高三第一轮复习实验-验证牛顿运动定律精品PPT课件

服/务/教/师免/费/馈/赠
高三一轮总复习·物理
●实验器材小车，砝码，小盘，细线，附有定滑轮的长木板，垫木，打点计时器，低压交流电源，导线两根，纸带，复写纸，托盘天平，米尺．
服/务/教/师免/费/馈/赠
高三一轮总复习·物理
●实验过程一、实验步骤 1．称量质量——用天平测量小盘的质量 m0 和小车的质量 M0.
4．让小车靠近打点计时器，挂上小盘和砝码，先接通电源，再让小车拖着纸带在木板上匀加速下滑，打出一条纸带．计算小盘和砝码的重力，即为小车所受的合外力，由纸带计算出小车的加速度，并把力和对应的加速度填入表 1 中．
服/务/教/师免/费/馈/赠
高三一轮总复习·物理
5．改变小盘内砝码的个数，重复步骤 4，并多做几次． 6．保持小盘内的砝码个数不变，在小车上放上砝码改变小车的质量，让小车在木板上滑动打出纸带．计算砝码和小车的总质量 M，并由纸带计算出小车对应的加速度，并将所对应的质量和加速度填入表 2 中．
服/务/教/师免/费/馈/赠
高三一轮总复习·物理
●误差来源 1．测量误差 (1)质量的测量． (2)打点间隔距离的测量．
服/务/教/师免/费/馈/赠
高三一轮总复习·物理
2．操作误差 (1)拉线或纸带与木板不平行． (2)倾斜角度不当，平衡摩擦力不准． 3．原理误差本实验中用小盘和砝码的总重力代替小车受到的拉力(实际上小车受到的拉力要小于小盘和砝码的总重力)，存在系统误差．
服/务/教/师免/费/馈/赠
高三一轮总复习·物理
7．改变小车上砝码的个数Байду номын сангаас重复步骤 6，并多做几次．表1
实验次数加速度 a/(m·s－2) 小车受力 F/N 1 2 3 4

2012实验专题实验4：验证牛顿运动定律PPT教学课件

5.作图象时，要使尽可能多的点在所作直线上，不在直线上的点应尽可能对称
分布在所作直线两侧。
6.作图时两轴标度比例要选择适当。各量须采用国际单位。这样作图线时，坐
标点间距不至于过密，误差会小些。
7.为提高测量精度
(1)应舍掉纸带上开头比较密集的点，在后边便于测量的地方找一个起点。
(2)可以把每打五次点的时间作为时间单位，即从开始点起，每五个点标出一个
计数点，而相邻计数点间的时间间隔为T=0.1 s。
20208/1.2调/11整定滑轮的高度，保证细绳与长木板平行。
3
六、误差分析
1.质量的测量误差，纸带上打点计时器打点间隔距离的测量误差，细线或纸带不与木板平行等都会造成误差。
2.因实验原理不完善造成误差。本实验中用小盘和砝码的总重力代替小车受到的拉力(实际上小车受到的拉力要小于小盘和砝码的总重力)，存在系统误差。小盘和砝码的总质量越接近小车的质量，误差就越大；反之，小盘和砝码的总质量越小于小车的质量，误差就越小。
车的拉力大小等于盘及盘中砝码的重力。
(2)一组同学在做加速度与质量的关系实验时，保持盘及盘中砝码的质量一定，改变小车及车中砝码的质量，测出
图3-4-2
相应的加速度，采用图象法处理数据。为了比较容易地确定出加速度a与质量M的关系，
应该作a与_1_/_M__的图象。
(3)如图3-4-3(a)为甲同学根据测量数据作出的a-F图线，说明实验存在的问题是__没__有__平__衡__
的细绳系在小车上(即不给小车加牵引力)。
3.平衡摩擦力：在长木板的不带定滑轮的一端下面
垫上一块薄木板，反复移动木板的位置，直至小车在斜
面上运动时保持匀速运动状态，这时小车拖着纸带运动

20120516_牛顿法和拟牛顿法

)
因此 2 f ( x k ) k k （对二次函数为等式）
2 f ( x k )
可逆,则有
2
2
f ( x ) k k
k
1
1
用 H k 代替上式中的
f ( x ) .并强制上式取等号.
k
得到
H k k k
（拟牛顿方程）
k
1
k 1
)
其实该方程是 f ( x ) 近似满足的式子, 证明如下：
设 f x 是二次连续可微的，由Taylor公式 Page 18
f x f x
k
f ( x )
k
k T
x x
2
k
k

k
k
1 2
x x
k
k 1
k

T
f (x ) x x
d
k
f ( x )
2 k
1
f ( x ) .
Step3: 沿 d k 进行线搜索，得最优步长 k . Step4: 令 x
k 1
x k d , k k 1,
k k
转Step2.
3. 收敛性定理
2
Page 13
定理3.7 设 f x 二次连续可微， f x 正定．记 x 是由阻尼牛顿法得到的迭代点列. 若水平集 L x R f x f x 有界, 则 x 必有聚点, 且任何聚点 x 满足
理论推导
设 f x 是二次连续可微的，由Taylor公式
f x f x
k
Page 4
f ( x )

牛顿法与拟牛顿法PPT课件

1 ( x x k1 )T 2 f ( x K 1 )( x x k1 ) 2
g( x) g( x k1 ) 2 f ( x k1 )( x x k1 )
gk gk1 Gk1 ( x k x k1 ) Gk11 ( gk1 gk ) x k1 x k ,
这样我们想到
Hk1(gk1 gk ) xk1 xk 。
否则，令k : k 1,转step 4。
第61页/共76页
4. 算法特点
▪ 收敛速度快，为二阶收敛。 ▪ 初始点要选在初始点附近。
5. 存在缺点及修正
(1) f ( x k1 ) f ( x k ) ?
（2）初始点的选取困难，甚至无法实施。
(3) Gk1的存在性和计算量问题。
第62页/共76页
问题一：如何使得 f ( xk1 ) f ( xk ) ?
在Newton 法中，有 x k 1 x k Gk1 gk x k d k
当Gk 0 时，有 f ( xk )T d k f ( xk )T Gk1gk gkTGk1gk 0,
当Gk 0 时，d k是下降方向。
如果对New ton法稍作修正： xk1 xk tkd k tk : f ( x k tk d k ) min f ( x k t d k ) 则有：f ( x k1 ) f ( x k ) 。
其中tk : f ( xk tk d k ) min f ( xk t d k )。
第68页/共76页
Step 4. 判断 xk1 是否满足终止准则：
yes: 计算 stop, x* : xk1
No : 转step 5 。
step 5. 令 gk1 f ( xk1 ) , gk f ( xk ) , yk f ( xk1 ) f ( xk ) gk1 gk , sk xk1 xk 。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

p( j)T q( j) 0
(10.4.22)
( yT p( j) )2 p( j)T q( j)
0
(10.4.23)
接下来证明（10.4.20）等式右端两项不能同时为零。假设第一项为零，则p//q，即p=βq，（β为非零常数）
将
代入上式得到
故y=βq(j)，所以yTp(j)=βq(j)Tp(j).
k
1时，H2 Ap(1)
(H1
p(1) p(1)T p(1)Tq(1)
H1q(1)q(1)T H1 ) Ap(1)
q H q (1)T
(1)
1×1
1
1×1
Ap(i) A(x(i1) x(i) ) g(i1) g(i) q(i) ,
(10.4.26)
（10.4.27）
把（10.4.27）令i=1代入（10.4.26），得到
（10.4.5）（10.4.6）
p(k ) H k1q(k )
（10.4.7）
1.秩1校正 2.DFP(Davidon-Fletcher-Powell)算法：
秩2校正
3.BFGS(Broyden-Fletcher-GoldfarbShanno)公式及Broyden族
H1 I; Hk1 Hk Hk
q( j)T H
q( j)
j
qT q,
根据以上三式，将（10.4.18）写成如下：
yT H j1 y
pT
p
( yT p( j) p( j)T q(
)2
j)
(
pT q)2 qT q
( pT
p)(qT q) ( pT q)2 qT q
( yT p( j) p( j)T q(
)2
j)
（10.4.20)
DFP算法的正定性及二次终止性
1、正定性 DFP方法构造的矩阵Hk是对称的正定矩阵
搜索方向 d (k) Hkf (x(k) ) 均为下降方向
每次迭代使函数值有所下降
定理10.4.1 若gi≠0(i=1,2,....,n)，则DFP方法构造的矩阵Hi(i=1,2,,.....,n)为对称正定矩阵。
搜索方向
最速下降法：共轭梯度法：牛顿法：
牛顿方向
牛顿方向
是如下问题的解
牛顿法的优缺点
收敛快－－－二次收敛程序简单
计算量大－－－需要二阶导数要求高－－－需要二阶导数需要计算Hesse矩阵，而此矩阵可能非正定，可能导致搜索方向不是下降方向。
找替代牛顿法的方法
目标：收敛快程序简单
拟牛顿法
14721511 朱雯灵
目录
1
引论
2
拟牛顿条件
3
秩1校正
4
DFP算法
5
BFGS公式及Broyden族
引论
无约束优化问题
线搜索方法
x(k 1) x(k ) k d (k)
• dk ：搜索方向（下降就可）： dk ▽f(xk) < 0
• k ：搜索步长：f (x(k) k d (k) ) 达到最小
令
8
x (2)
x (1)
1d (1)
2
1
5 18
4 2
9
4
, 得到
g2
4
9
8
.
9
9
算出
p (1)
x(2)
x(1)
1d (1)
10 9
5 9
,
q (1)
g2
g1
40 9
10 9
,
根据DFP定义的ΔHk，得
H2
H1
p(1) p(1)T p(1)T q (1)
H1q q (1) (1)T H1 q (1)T H1q (1)
证明：
思路：归纳法。在DFP方法中H1给定的n阶单位阵，只要假设Hj 是对称正定阵成立，证明Hj也是对称正定阵。
对任意非零量 y R n ，
yT H j1 y
yT H j y
yT p( j) p( j)T p( j)T q ( j)
y
yT H j q ( j)q ( j)T H j y q ( j)T H j q ( j)
H 2 Ap(1) p(1)
即（10.4.25）在k=1时成立。
当k=2时，p(1) Ap(2) p(1)T A(2 H2 g2 ) 2 g2T H2 Ap(1) 2 g2T p(1) 0, （10.4.24）成立。
先证k=m+1时（10.4.24）成立。
当1=<i<=m时，有 Hm1 Ap(i) p(i) ,
（1）给定初始点 x(1) Rn ,允许误差ε>0。
（2）置 H1 In (单位矩阵），计算出在x(1)处的梯度g1，置k=1。
（3）令 d (k) Hk gk
。
（4）从x(k)出发，沿方向d(k)搜索，求步长λk，使它满足
f
(x(k)
k d (k) )
min
0
f
(xk
d(k))
令
x(k 1) x(k ) k d (k )
（5）检验是否满足收敛准则，若 f (x(k1)) 时则停止迭代，
得到点 __
x x(k1)
；否则，进行步骤（6）。
（6）若k=n,则令 x(1) x(k1) ，返回步骤（2）；否则，进行步骤
（7）。（7）令 gk1 f (x(k1) ), p(k ) x(k1) x(k ) , q(k ) gk1 gk 。利用
由此得出：p(i)T Ap(m1) p(i)T A(m1Hm1gm1) m1gmT 1Hm1Ap(i)
g p T (i)
m1 m1
m1gmT 1 id (i).
(10.4.28)
因为有 gmT 1d (i) 0, i m 1,
证得 p(i)T Ap(m1) 0
再证k=m+1时（10.4.25)成立。
f ( x(k) ) f ( x(k1) ) 2 f ( x(k1) )(x(k) x(k1) )
p(k ) : x(k 1) x(k ) q(k ) : f (x(k 1) ) f (x(k ) )
q(k ) 2 f (x(k 1) ) p(k ) p(k ) 2 f ( x(k 1) )1 q(k )
解：
初始点及初始矩阵分别取为：
x( 1 )
2
1
,
H1
1 0
0 1 ,
点x=x(x1,x2)T的梯度及在x（1）处的梯度：g
4(x1 1)
2x2
,
4 g1 2 ,
令搜索方向为
d (1)
H1 g1
4 2
从x（1）出发沿d（1）做一维搜索：min 0
f ( x (1) d (1) ),得到λ1=5/18。
校正矩阵
（10.4.8）
秩1校正
Hk k z(k ) (z(k ) )T
秩为1
（10.4.9）
p(k ) H k1q(k )
(Hk k z(k)z(k)T )q(k)
z(k)
p(k) Hkq(k)
k z(k)T q(k)
（10.4.10）（10.4.11）
k (z(k)T q(k) )2 q(k)T ( p(k) Hkq(k) ) （10.4.12）
(10.4.13)式计算 Hk+1 ，
并用(10.4.14)求出在点x(k+1)出发的搜索方向d(k+1)。
以此类推，直至|| f (x(k) ) || ，
是事先给定的允许误差。
DFP算法
Hk k u(k) u(k)T kv(k) v(k)T
p(k ) H k1q(k )
(Hk k u(k)u(k)T kv(k)v(k)T )q(k)
yT H j y
( yT p( j) )2 p( j)T q ( j)
( yT H jq( j) )2 q ( j)T H j q ( j)
(10.4.18)
11
因为Hj是对称正定阵，故存在对称正定阵Hj1/2,使得
Hj
H
2 j
H
2 j
.
1
1
令
p
H
2 j
y,
q
H
q2 (i)
j
,
(10.4.19)
则有 yT H j y pT p, yT H jq(j) pT q,
同时不需要二阶导数
找：像牛顿又不是牛顿的家伙！！！
基本思想：
用不包含二阶导数的矩阵近似Hesse矩阵的逆。
拟牛顿条件
d (k ) 2 f H( xk(k ) )1f ( x(k ) )
x x d (k1)
(k)
( k ) （10.4.1）
k
首先分析 2 f (x(k) )1与一阶导数的关系：
0? Hk
( p(k)
Hkq(k)
)(
p( k )
Hkq(k)
)T
（10.4.13）
q(k)T ( p(k) Hkq(k) )
注释
• 在一定条件下，收敛且具有二次终止性。
• 无法保证Hk的正定性；即使能，也有可能导致 △Hk无界。
• 利用秩1校正极小化函数f(x)时，在第k次迭代中，令搜索方向
k u(k )u(k )T q(k ) kv(k)v(k)T q(k) p(k ) Hkq(k)
令u(k )
p(k )；k
1 u(k )T q(k )
;v(k)
Hkq(k )； k
1 v(k )T q(k )
H k
p(k) p(k)T p(k )T q(k )
Hkq(k) q(k)T Hk q(k)T H kq(k )