第四讲 多维无约束最优化Newton法、最速下降法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其中， 足够大使得上式中的逆矩阵存在。
改进Newton法
Gill-Murray方法：在 X 处 计算 g k f ( xk ) ，如果 g ＝0，停止，否则 Gk 2 f ( xk )，作强迫正定Cholesky分解 计算
k
k
Gk Lk Dk LT k
解方程组 得下降方向 p 从 X 出发沿方向 p 作一维搜索，得 X 。 Rosenbrock function
最速下降法
沿着梯度方向，函数值改变最大 最速下降法：
x
k 1
x f ( x )
k * k k
* f ( x k k f ( x k )) min f ( x k k f ( x k ))
k 0
特点：全局收敛，线性收敛，易产生扭摆现象而 造成早停。（当x(k)距最优点较远时，速度快， 而接近最优点时，速度下降），现已较少单独 使用。
共轭梯度法的特点
全局收敛（下降算法）；线性收敛； 每步迭代只需存储若干向量（适用于大 规模问题）； 有二次终结性（对于正定二次函数，至 多n次迭代可达opt.） 对不同的βk 公式，对于正定二次函数是 相等的，对非正定二次函数，有不同的 效果，经验上PRP效果较好。
例子
例1
3 1 2 2 f ( x) ( x1 ) ( x2 ) x1 x2 2 x1 2 2
最速下降法流程图
x(1), ε >0, k=1
k=k+1 || ▽f(x(k) ) ||< ε? No
Yes
stop. x(k) –解
d(k)= －▽f(x(k) )
解 min f(x(k)+λ d(k)) s.t. λ >0 得 x(k+1)=x(k)+λkd(k)
Goldstein-Price算法
例子
例
3 1 2 2 f ( x) ( x1 ) ( x2 ) x1 x2 2 x1 2 2
算法对严格凸函数具有超线性收敛性 Q是Hessen阵的近似
共轭梯度法
共轭方向法具有二次收敛性。 如果能利用梯度来构造共轭方向，可以 预计算法更简便、收敛更快。 缺点是依赖于一维搜索的精度。
Goldstein-Price算法流程图(II)
f ( x k ) f ( x k ( x k )) g ( x k , ) f ( x k )T ( x k )
g ( x ,1)
k
n
取k满足 g ( x , k ) 1
k
y
k 1
如果||f(x k )|| ，迭代终止。否则x k+1 =x k k (x k )
重新开始
N k=Байду номын сангаас?
y
x(1)=x(n+1) d(1)=-▽ f(x(1)),k=1
共轭梯度法的几种形式
k有下列三种等价形式：
f ( x ( k 1) )T f ( x ( k 1) ) k f ( x ( k ) )T f ( x ( k ) ) f ( x ( k 1) )T [f ( x ( k 1) ) f ( x ( k ) )] k f ( x ( k ) )T f ( x ( k ) ) f ( x ( k 1) )T f ( x ( k 1) ) k f ( x ( k ) )T d ( k ) (q1) FR法 (q 2) PRP法 (q3) 共轭下降法
综合使用最速下降法和Newton法
Goldstein-Price算法流程图(I)
给定r>0,0< ɗ < 1/2, Ii是单位阵的第I列，b0=r, k=1
f ( x k bk I i ) f ( x k ) Qi ( x k ) , i 1,...n bk bk r || ( x k ) ||, k 1, 2...,而 由下式给出 f ( x k），当k=0，或Qi ( x k )奇异或 f ( x k )T [Qi ( x k )]1 f ( x k ) 0 x k）＝ （ [Qi ( x k )]1 f ( x k ) ，否则
多维最优化的Newton法
令梯度函数的线性化主部为0：
f ( x ) f ( x )( x x ) 0
k 2 k k
优点：具有二次终结性，收敛快 缺点：计算量大（求导数和解方程组） 要求Hessen 阵正定， Hessen 阵病态时 更糟糕；非下降算法不保证
x
k 1
x [ f ( x )] f ( x )
k 2 k k
1
f(xk+1) < f(xk)
Newton法流程图
x(1), ε >0, k=1 k=k+1
实用中，判断 若▽2f(x(k)) 非正定时
▽2f(x(k)) S= -▽f(x(k)) 得 s(k) , x(k+1)=x(k)+s(k)
No || Yes
进行相应处理
s(k)
||< ε?
k
Lk Dk LT p g k k
k
k
k 1
二次型目标函数的Newton法
1 f ( x) x ' Ax b ' x c, A 0(正定)，则 2 f ( x) A 2 极小点x*满足 Ax* b 0, 而在任意点x 0 , f ( x 0 ) Ax 0 b, 综合这两个方程，得 x* x 0 A1f ( x 0 ) 因此，Newton 法一步就能从任意初始点求得极小点。 例 f ( x1 , x2 , x3 ) ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2
Rosenbrock function
拟Newton法（变尺度法）
统一的迭代格式
x
k 1
x B(k )f ( x )
k k
) 尺度矩阵 B(k是变化的，k=0时为单位矩阵I，k 趋向于无穷时极限为H-1，Hessen矩阵的逆。 尺度矩阵 B(k )满足如下的拟Newton方程 k 1 k k 1 k x x B(k 1)(f ( x ) f ( x )) B(k )的构造： (k 1) B(k ) E(k ) B B(k ) 的不同选取构成了不同的拟Newton方法族
STOP.x(k+1)—l.opt
改进Newton法
限步长Newton法：
k 1 k 2 k 1 k
x x [ f ( x )] f ( x ) 其中选 ɘ 使f(xk+1) < f(xk) 从而不需要Hessen矩阵是正定的。 信赖域法 x k 1 x k [2 f ( x k ) I ]1 f ( x k )
共轭梯度法流程图
x(1), ε >0 d(1)=-▽ f(x(1)),k=1
k=k+1 ||▽ f(x(k))||< ε? k=1
y
Stop.x(k)—解
N
解 min f(x(k)+λ d(k)) s.t. λ >0
得 λk x(k+1)=x(k)+λk d(k) 求β k d(k+1)= -▽ f(x(k+1))+β kd(k)
改进Newton法
Gill-Murray方法：在 X 处 计算 g k f ( xk ) ，如果 g ＝0，停止，否则 Gk 2 f ( xk )，作强迫正定Cholesky分解 计算
k
k
Gk Lk Dk LT k
解方程组 得下降方向 p 从 X 出发沿方向 p 作一维搜索，得 X 。 Rosenbrock function
最速下降法
沿着梯度方向，函数值改变最大 最速下降法：
x
k 1
x f ( x )
k * k k
* f ( x k k f ( x k )) min f ( x k k f ( x k ))
k 0
特点：全局收敛，线性收敛，易产生扭摆现象而 造成早停。（当x(k)距最优点较远时，速度快， 而接近最优点时，速度下降），现已较少单独 使用。
共轭梯度法的特点
全局收敛（下降算法）；线性收敛； 每步迭代只需存储若干向量（适用于大 规模问题）； 有二次终结性（对于正定二次函数，至 多n次迭代可达opt.） 对不同的βk 公式，对于正定二次函数是 相等的，对非正定二次函数，有不同的 效果，经验上PRP效果较好。
例子
例1
3 1 2 2 f ( x) ( x1 ) ( x2 ) x1 x2 2 x1 2 2
最速下降法流程图
x(1), ε >0, k=1
k=k+1 || ▽f(x(k) ) ||< ε? No
Yes
stop. x(k) –解
d(k)= －▽f(x(k) )
解 min f(x(k)+λ d(k)) s.t. λ >0 得 x(k+1)=x(k)+λkd(k)
Goldstein-Price算法
例子
例
3 1 2 2 f ( x) ( x1 ) ( x2 ) x1 x2 2 x1 2 2
算法对严格凸函数具有超线性收敛性 Q是Hessen阵的近似
共轭梯度法
共轭方向法具有二次收敛性。 如果能利用梯度来构造共轭方向，可以 预计算法更简便、收敛更快。 缺点是依赖于一维搜索的精度。
Goldstein-Price算法流程图(II)
f ( x k ) f ( x k ( x k )) g ( x k , ) f ( x k )T ( x k )
g ( x ,1)
k
n
取k满足 g ( x , k ) 1
k
y
k 1
如果||f(x k )|| ，迭代终止。否则x k+1 =x k k (x k )
重新开始
N k=Байду номын сангаас?
y
x(1)=x(n+1) d(1)=-▽ f(x(1)),k=1
共轭梯度法的几种形式
k有下列三种等价形式：
f ( x ( k 1) )T f ( x ( k 1) ) k f ( x ( k ) )T f ( x ( k ) ) f ( x ( k 1) )T [f ( x ( k 1) ) f ( x ( k ) )] k f ( x ( k ) )T f ( x ( k ) ) f ( x ( k 1) )T f ( x ( k 1) ) k f ( x ( k ) )T d ( k ) (q1) FR法 (q 2) PRP法 (q3) 共轭下降法
综合使用最速下降法和Newton法
Goldstein-Price算法流程图(I)
给定r>0,0< ɗ < 1/2, Ii是单位阵的第I列，b0=r, k=1
f ( x k bk I i ) f ( x k ) Qi ( x k ) , i 1,...n bk bk r || ( x k ) ||, k 1, 2...,而 由下式给出 f ( x k），当k=0，或Qi ( x k )奇异或 f ( x k )T [Qi ( x k )]1 f ( x k ) 0 x k）＝ （ [Qi ( x k )]1 f ( x k ) ，否则
多维最优化的Newton法
令梯度函数的线性化主部为0：
f ( x ) f ( x )( x x ) 0
k 2 k k
优点：具有二次终结性，收敛快 缺点：计算量大（求导数和解方程组） 要求Hessen 阵正定， Hessen 阵病态时 更糟糕；非下降算法不保证
x
k 1
x [ f ( x )] f ( x )
k 2 k k
1
f(xk+1) < f(xk)
Newton法流程图
x(1), ε >0, k=1 k=k+1
实用中，判断 若▽2f(x(k)) 非正定时
▽2f(x(k)) S= -▽f(x(k)) 得 s(k) , x(k+1)=x(k)+s(k)
No || Yes
进行相应处理
s(k)
||< ε?
k
Lk Dk LT p g k k
k
k
k 1
二次型目标函数的Newton法
1 f ( x) x ' Ax b ' x c, A 0(正定)，则 2 f ( x) A 2 极小点x*满足 Ax* b 0, 而在任意点x 0 , f ( x 0 ) Ax 0 b, 综合这两个方程，得 x* x 0 A1f ( x 0 ) 因此，Newton 法一步就能从任意初始点求得极小点。 例 f ( x1 , x2 , x3 ) ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2
Rosenbrock function
拟Newton法（变尺度法）
统一的迭代格式
x
k 1
x B(k )f ( x )
k k
) 尺度矩阵 B(k是变化的，k=0时为单位矩阵I，k 趋向于无穷时极限为H-1，Hessen矩阵的逆。 尺度矩阵 B(k )满足如下的拟Newton方程 k 1 k k 1 k x x B(k 1)(f ( x ) f ( x )) B(k )的构造： (k 1) B(k ) E(k ) B B(k ) 的不同选取构成了不同的拟Newton方法族
STOP.x(k+1)—l.opt
改进Newton法
限步长Newton法：
k 1 k 2 k 1 k
x x [ f ( x )] f ( x ) 其中选 ɘ 使f(xk+1) < f(xk) 从而不需要Hessen矩阵是正定的。 信赖域法 x k 1 x k [2 f ( x k ) I ]1 f ( x k )
共轭梯度法流程图
x(1), ε >0 d(1)=-▽ f(x(1)),k=1
k=k+1 ||▽ f(x(k))||< ε? k=1
y
Stop.x(k)—解
N
解 min f(x(k)+λ d(k)) s.t. λ >0
得 λk x(k+1)=x(k)+λk d(k) 求β k d(k+1)= -▽ f(x(k+1))+β kd(k)