无约束最优化方法

算法构造
问题： 如何从 xk xk 1 ? 海色阵 Gk f xk 正定．
2
xk R , g k f xk , 设 f x 二阶连续可微，
n
T x xk f x f xk x xk qk x f k g k 1 T x xk Gk x xk 2 因为Gk 正定， 则 qk x 有唯一极小点， 用这个 极小点作为 xk 1.
9 1 x1 x0 G g 0 1 0
1 0
x0 9, 1
0 9
0 9
1
Twenku.baidu.com
x 0,0
*
T
9 0 * 9 0 x
牛顿法收敛定理
定理1: 设 f x 二次连续可微， x * 是 f x 的局 部极小点， 假定 f x 的海色阵 f x* 正定．
小结
(1) 最速下降法是基本算法之一，而非有效 的实用算法． 最速下降法的本质是用线性函数来近似 目标函数， 要想得到快速算法，需要考 虑对目标函数的高阶逼近．
§ 4.2 牛顿法
基本思想
利用目标函数 f x 在点 xk 处的二阶Taylor 展开式去近似目标函数， 用二次函数的极小点 去逼近目标函数的极小点．
0 9
*
T
x 0,0
T
T
x0 9,1
T
g0 f x0 9,9
T 7.2 7.2 g0 g0 x1 x0 T g0 g1 0 . 8 7 . 2 g 0 Gg0 2 T 9 0 . 8 g1 g1 x2 x1 T g1 2 1 0.82 g1 Gg1
k
证明： 用以上的结论：
1 f xk f xk 1 gk 2M
2
最速下降法优点
(1) 程序设计简单，计算量小，存储量小， 对初始点没有特别要求． (2) 有着很好的整体收敛性，即使对一般的 目标函数，它也整体收敛．
最速下降法缺点
(1) 最速下降法是线性收敛的，并且有时是 很慢的线性收敛． 原因： ① d k g k 仅反映 f x 在 xk 处 的局部性质． T g ② k 1d k 0 , 相继两次迭代中搜索 方向是正交的．
n
Step3: 否则计算 Gk , 并且求解方程
Gk d k g k , 得出d k .
Step4: 令 xk 1 xk d k , 转步２.
例1：用牛顿法求解：
1 2 9 2 min f x x1 x2 2 2 x1 1 解： g x 0 9x Gx 2
g k 0.
证明： 对于最速下降法， k 0,由以上定理立得．
收敛性分析
定理2: 设 f x 二次连续可微， 且 2 f x M , 其中 M 是个正常数， 对任何给定的初始点 x0 , 最速下降算法或有限终止， 或者lim f xk ,
k
或者 lim g k 0.
§ 4.1 最速下降法
问题提出
问题： 在点 xk 处， 沿什么方向 d k , f x 下降最快? 分析：f xk dk f xk g d o dk 0
T k k
考查： g d g k d k cos
T k k
T 显然当 cos 1 时， g k d k 取极小值． 因此： d k g k
1 T 分析： 设 f x x Gx bT x c 是正定二次函数, 2 由精确的线搜索确定的 k ?
T gk dk k T d k Gd k
特别当：d k g k
T gk gk k T g k Ggk
例1：用最速下降法求解：
1 2 9 2 min f x x1 x2 2 2 x1 1 解： g x 0 9x Gx 2 x0 9, 1
结论： 负梯度方向使 f x 下降最快， 亦即最速 下降方向．
最速下降法算法
Step1: 给出 x0 R ,0 1, k : 0 Step2: 计算f xk , 如果 f xk , 停．
n
Step3: 计算下降方向 d k g k . Step4: 计算步长因子 k . Step5: 令 xk 1 xk k d k , 转步２.
T d0 9,9 d1 7.2, 7.2 d0 d1 0 T T
收敛性分析 定理1: 设f x 在 L x R f x f x
n 0
上存在且一致连续， 则最速下降法产生的序列 满足或者对某个 k 有 g k 0, 或者 f xk ,
所以要求： qk xk 1 0
即：Gk xk 1 xk g k 0 因此： xk 1 xk G g
1 k k
这就是牛顿法迭代公式． 注： 这里 k 1, d k G g .
1 k k
牛顿法算法
Step1: 给出 x0 R ,0 1, k : 0 Step2: 计算f xk , 如果 f xk , 停．
9 k xk , k 1, 2, k 0.8 1 xk 1 x* xk 1 lim 0.8 分析： (1) lim * k k xk xk x
因此： 最速下降法是整体收敛的， 且是线性收敛的． (2) 两个相邻的搜索方向是正交的．