最优化方法 第五章 无约束最优化方法

解 min f(x(k)+λ d(k))
s.t. λ >0 得 x(k+1)=x(k)+λkd(k)
第五章 无约束最优化
5.2 最速下降法（续）
特点：全局收敛，线性收敛，易产生扭摆现象而造成 早停。
（当x(k)距最优点较远时，速度快，而接近最优点时， 速度下降）
原因：f(x)=f(x(k))+▽Tf(x(k))(x-x(k)) + o||x-x(k)|| 当 x(k)接近 l.opt.时 ▽f(x(k) ) →0，于是高阶项 o||x-x(k)||的影响可能超过▽Tf(x(k))(x-x(k)) 。
求得λk , x(k+1)=x(k)+λkd(k)
特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负 方向搜索，但可能出现± d(k)均非下降方向的情况。
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(3)Goldstein-Price方法(G-P法)：
5.2 最速下降法
在迭代点 x(k) 取方向 d(k)= －▽f(x(k) )
精确一维搜索
最 速 下降法：梯度方向函数值变化最快的方
向
第五章 无约束最优化
5.2 最速下降法（续）
x(1), ε >0, k=1
k=k+1
Yes
|| ▽f(x(k) ) ||< ε?
stop. x(k) –解
No
d(k)= －▽f(x(k) )
取 d(k)= -[▽2f(x(k)) ]-1 ▽f(x(k)) ， ▽2f(x(k)) 正定
- ▽f(x(k))
，否则
采用下列精确一维搜索： 求λk，使其中δ ∈(0,1／2)
1° f(x(k)+λk d(k)) ≤ f(x(k))+ δ ▽f(x(k)) Td(k) λk 2° f(x(k)+λk d(k)) ≥f(x(k))+ (1-δ) ▽f(x(k)) Td(k) λk
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
j=0,1,2, …,m-1 , k=0,1,2, …
特点：收敛速度随m的增大而下降 m=1时即Newton法， m→∞ 即线性收敛。
(2)带线性搜索的Newton法：
在Newton迭代中，取d(k)= -[▽2f(x(k)) ]-1 ▽f(x(k)) , 加入线性搜索：min f(x(k)+λk d(k))
5.3 Newton法及其修正
一、 Newton法： 设f(x)二阶可微，取f(x)在x(k)点附近的二阶Taylor近似函数：
qk(x)=f(x(k))+ ▽Tf(x(k))(x-x(k)) +1／2 (x-x(k))T▽2f(x(k)) (x-x(k))
求驻点：
▽ qk(x)= ▽f(x(k))+ ▽2f(x(k)) (x-x(k))=0
第五章
无约束最优化方法
百度文库五章 无约束最优化
（f） min f(x)
f : Rn→R
5.1 最优性条件
设 f 连续可微
必要条件：若x*－l.opt. 则▽f(x*)=0 (驻点)。 当 f 凸时， x*－l.opt. ←→ ▽f(x*)=0
注意： f(x) ≥f(x*)+ ▽Tf(x*)(x-x*), x. 故 f(x*) ≤f(x)， x. （ 由于▽Tf(x*) =0）
第五章 无约束最优化
5.4 共轭梯度法
一、共轭梯度法的方向：
设f(x)=(1/2)xTGx+bTx+c
Gn×n对称正定，b∈ Rn,从最速下
降方向开始，构造一组共轭方向：
设初始点x(1),取d(1)= -▽f(x(1)) ……① (最速下降方向)
设k≥1,已得到k个相互共轭的方向d(1),d(2), …,d(k),以及，由x(1) 开始依次沿上述方向精确一维搜索得到点x(2), …，x(k),x(k+1).即 有下式：
二次终结性：当f(x)为正定二次函数时，从任意初始点可一步迭 代达到最优解。
设f(x)=1／2xTQx+PTx+r , Qn×n对称正定，P∈ Rn, r∈ R. x(1),
▽f(x(1))=Q x(1) +P
▽2f(x(1))=Q
迭代： x(2) = x(1) - Q –1(Qx(1) +P) = - Q –1 P (驻点即opt.)
x(i+1)=x(i)+αid(i) , i=1,2, …,k
精确一维搜索保证方向导数为0：
……②
▽fT(x(i+1))d(i)=0, i=1,2, …,k
……③
▽2f(x(k)) S= -▽f(x(k)) 得s(k) , x(k+1)=x(k)+s(k)
实用中，判断
若▽2f(x(k)) 非正定时 进行相应处理
No
|| s(k) ||< ε?
Yes STOP.x(k+1)—l.opt
第五章 无约束最优化
Newton法： （续） 特点：二阶收敛，局部收敛。
（当x(k)充分接近x*时,局部函数可用正定二次函数很好地近似， 故收敛很快）
特点：在一定条件下， G-P法全局收敛。
但当▽2f(x(k)) 非正定情况较多时，收敛速度降为 接近线性。
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(4)Levenberg-Marguardt法（L-M法）：
主要思想：
用[▽2f(x(k)) +μ I ] 取代▽2f(x(k)) 进 行迭代，其中I 为单位矩阵。 μ>0 使 [▽2f(x(k)) +μ I] 正定， μ尽量小。 特点：全局二阶收敛。
主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程组，计算量大
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个
Hesse阵，迭代公式变为：
x(km+j+1)=x(km+j)-[▽2f(x(km))]-1 ▽f(x(km+j))