牛顿法和拟牛顿法

9 9 0 x x d 1 1 0
1 0 0
因
f x 1 0,
所以迭代终止, 最优点为: x x 0, 0 .
1 T
3. 牛顿法优缺点 优点 (1) 对正定二次函数，迭代一次就可以得到 极小点． (2) 如果 正定且初始点选取合适， 算法
若 f(x k 1 ) ,停止x* xk 1; 否则，令k k 1,转step2
例1. 设 f x 6 x1 x 2 + 2 3 x1 3 x 2 x1 x 2
2
2
求在点 x 1 ( 4, 6)T 处的搜索方向.
分析: 搜索方向
一. 牛顿法
令上式为0：
f(x(k )) f(x(k 1)) 2f(x(k 1))(x(k ) x(k 1)) 0

x
则 H (x (k ))
( k 1)
x
(k )
f(x
2

(k )
) f (x (k ))

1
若Hesse 矩阵正定，即 H (x (k )) 0，
很快收敛．
缺点
(1) 要求函数二阶可微. (2) 收敛性与初始点的选取依赖很大．
(3) 每次都需要计算海森阵 (4) 每次都需要解方程组
方程组有时奇异或病态的， 不是下降方向．
计算量大．
二. 阻尼牛顿法—Newton法改进
1. 基本思想 针对缺点中的(2), 在求新迭代点时，不直 接用公式进行迭代，而是以 sk 作为搜索方 向进行一维搜索，求步长 k ，使
Step3: 沿
sk
k 1 k k x x s ,k k 1, 转Step2. Step4: 令 k
3. 收敛性定理 定理3.7 设 f x 二次连续可微， 2 f x 正定． 记 x k 是由阻尼牛顿法得到的迭代点列. 若水平集 L x R n f x f x 0 有界, 则 x k 必有聚点, 且任何聚点 x 满足
§4.6.5
牛 顿 法
&
拟 牛 顿 法
x
2
0
x
1
Penalty method
系统思想
系统思想
•
迭代法共同特点：对求解变量的数值进行逐步改进， 使之从开始不能满足方程的要求，逐渐逼近方程所 要求的解，每一次迭代所提供的信息（表明待解变 量的数值同方程的解尚有距离的信息），用来产生 下一次改进值，迭代方案有多种，这就形成了不同 的迭代方法。
1.牛顿法几何解释
几何直观解释：最密切的二次曲线逼近
2.Newton算法
•Step1: 0 Step2: 计算 Step3: 由方程组 H(x k) △x k = -h k 解出xk+1, 当H k可逆时，xk+1=xk-Hk-1.hk Step4:
k 2 k h f ( x ) 和 H f ( x 给初始点 x ,精度 k k ε>0,k=0）
在点x(k )处进行二阶Taylor 展开： 1 T ) (x x(k )) 2f(x(k ))(x x(k )) 2
f(x ) f(x ) f(x )(x x
(k )
T
(k )
(k )

f(x ) f(x(k )) 2f(x(k ))(x x(k )) f(x(k )) f(x(k 1)) 2f(x(k 1))(x(k ) x(k 1))
k
2
k
k
k
k 1
T
k 1
k 1
k 1
2
k 1
k
k 1
2
hk hk 1 H k 1(x k x k 1 )
1
H k 1 (hk 1 hk ) x
1
k 1
x
k
Gk H k
Gk(hk 1 hk ) x k 1 x k 记yk hk 1 hk f(x k 1 ) f(x k） d k x k 1 x k 则有Gk 1 y k d k(称为拟牛顿方程）
x1
x 4,6
T
故 f
f 344, x 2
x 4,6
T
344 56, f ( x ) . 56
1
2 f 2 2 2 3 x2 , 2 x1
2 f 2 2 2 3 x1 2 x 2
620 14 41 56
因此所求的牛顿方向为
1 110 155 630 2 11 31 63
例2： 用牛顿法求解：
1 2 9 2 min f x x1 x 2 2 2 x 9, 1
56
x 4,6
T
56
x 4,6
T
164 56 所以 f ( x ) 56 4
ቤተ መጻሕፍቲ ባይዱ2 1
由 进而得
164 56 f (x ) 56 4
2 1
f ( x )
2 1
1

1 1 14 620 14 41 344 1 1 14
sk G k hk
拟牛顿条件
分析：Hk-1需满足的条件，并利用此条件确定 Gk 记h(x ) f(x），h f(k x可求 ），H H f (x ),则 由归纳法，若由 H , 则在 xk+1点， k+1 1 Taylor 展开 f(x ) f( x ) f(x )(x x ） （x - x ) f(x )(x x )
f x 0.
1.分析： Newton法 优点：高收敛速度（二阶收敛） 缺点：对初始点目标函数要求高，计算量， 存 储量大（需要计算、存储hessian矩阵 及其逆矩阵） 拟牛顿法——模拟牛顿法给出的一个“保优去 劣”的算法
考虑Newton迭代公式：
x k 1 x k H k
2 f 2 f 2 2 3 x1 3 x2 2 2 3 x1 3 x2 x1 x2 x2 x1 x1x2
故
2 f 2 x1
164,
x 4,6
T
2 f 2 x 2
4
x 4,6
T
2 f x2 x1 2 f x1x2
x k 1 x k f ' (x k ) f (x k )


1
一.牛顿法
将f(xk+1)在x=xk处二阶泰勒展开：
f(x k 1 ) f(x k ) f ' x k (x k 1 x k )

1 " k f x (x k 1 x k )2 2

hk，步长因子 k 1
此时sk G k hk ,但步长因子取为最优步 长
当Gk I(单位阵）时，最速下降 法 ;当Gk H k 时，阻尼牛顿法
1
这样的H k存在？
若存在，使 sk G k hk ,并易于计算，对 Gk 人为附加条件
1、为保证 总是下降方向，要 求每一个G k均称为正定矩阵 Gk 1 G k G k 2、为易于计算，要求有简单的迭代形式，最 Gk 称为校正矩阵，称上式 为校正公式 简单的迭代关系为
最速下降
图4-12 从目标函数值近似值的观点 比较最速下降法和牛顿法
一、牛顿法
一.牛顿法
将f(xk+1)在x=xk处一阶泰勒展开：
f(x k 1 ) f(x k ) f ' x k (x k 1 x k )

目标函数趋于零
f(x k ) f ' (x k ) x k 1 f ' (x k ) x k 0
变量轮换 单纯形法 最速下降法 共轭梯度法 牛顿法 &拟牛顿法
一.牛顿法
• 1.问题提出
f ( X ) min
• 最速下降法：当前迭代点 Xk,迭代简单， 但容易产生锯齿现象，使得收敛缓慢，即一 阶逼近函数得到的模型比较粗糙。 • 提高逼近阶数 •牛顿法：二阶逼近函数算法，快速收敛 牛顿迭代 •


1
0,此时有
(k )
x
( k 1)
x
H (x

( k ) 1
) f(x (k ))
——Newton迭代公式

比较迭代公式 ,x k 1 x k kS k ,有
S k -H k1 hk k 1
其中
H k 2f(x (k )) hk f(x (k ))
0 T
解：f ( x )
x1 1 0 2 ， f ( x ) 9 x 0 9 1 0 9 2
1
0 9 9
9 1 0 9 1 0 1 / 9 9
k min f(x s )
k k 0
然后，令x k 1 x k ks k
这样往往可以克服上述缺点.
2. 阻尼牛顿法算法
Step1: 给出 x 0 R n , 0 1 , k 0 Step2: 计算 f x k , 如果 f x k , 停． 否则计算 2 f ( x k ), 并令 进行线搜索， 得最优步长 k .
sk H k
1
1
hk ,(k 0, 1, 2,...)
1 1 搜索方向为 Gk H k 替代H k xk 1 x k G k hk， 进行改进：一、避免求逆矩阵，用 sk G k hk 则上式变为 k 1 此时搜索方向为 k 1, 步长因子为 x k 1 二、更大的灵活性，一般化 x k tk G k hk ,(k 0, 1, 2,...)
故需要写出 f ( x ), 2 f ( x ) 的表达式. 解： f 2 6 x x 2 2 3 x 3 x x x 3 x 1 2 1 2 1 2 2
x1 f 2 6 x1 x 2 2 2 3 x1 3 x 2 x1 x 2 3 x1 x 2
目标函数趋于零
x k 1
' k f ( x ) -1 k k '' k ' k x '' k = x f ( x ) f ( x ) f (x )
—— 一维搜索简化公式
一. 牛顿法
推广到多元函数情况，即得到求解多元函数极小的 牛顿迭代算法：
假定要求f(x ) 在X k处的二次近似值：
k
k 1 k 1
k 1
k 1
k
k 1
k
k
k
k 1
k
k 1
k
k
按照校正公式 Gk+1=Gk+△Gk,计算GK+1使得 Gk+1满足拟牛顿条件或拟Newton方程：
DFP算法
1、DFP算法提出：(1)Davidon (2)Fletcher&Powell (3)多变量无约束优化 T T G、如何确定△ Gk a2 bkv kv k 2 G(k)? 秩 校正法 k 1 G k G k —— ku kuk H 待定：ak ,ak R ,uk ,v k R
在确定拟牛顿方程式的Hk+1时，若矩阵Hk+1对称，则需 要待定（n+n2)/2个未知数，n个方程，所以拟牛顿方程 一般有无穷个解，故由拟牛顿方程确定的一族算法，通 常称之为拟牛顿法
拟Newton算法
1、给定初始点x0,正定矩阵H0,精度ε>0,k=0 s G k f(x k ) 2、计算搜索方向 3、令xk+1=xk+tk.sk,其中 t 为f(xk+tkSk)=min f(xk+tsk) h f (x )k k+1为最优解，否 4、若 ，则 x 令h f(x ),h f(x ), y f(x ）- f(x ) h h , 则转步骤 5 d x x 5、