最速下降法简介

谢谢
x( k 1) x( k ) p ( k ) ，
使得
( x ( k 1) ) min ( x ( k ) k p k )
R
确定最优步长的方法如下： 采用任意一种一维寻优法 此时的 ( x
(k )
Baidu Nhomakorabea
p ) 已成为步长 的一元函数，
k
故可用任意一种一维寻优法求出 k ， 即
最速下降法
3118
最速下降法简介
最速下降法又称为梯度法，早先求解无约束多元 函数极值的数值方法，是1847 年由著名数学家 Cauchy 给出的，它是解析法中最古老的一种，其 他解析方法或是它的变形，或是受它的启发而得 到的，因此它是最优化方法的基础。作为一种基 本的算法，他在最优化方法中占有重要地位。 优点：是工作量少，存储变量较少，初始点要求 不高； 缺点：是收敛慢，效率不高，有时达不到最优解。
( p ( k 1) , p ( k ) ) (b A( x ( k ) p ( k ) ), p ( k ) ) ( p ( k ) , p ( k ) ) k ( Ap ( k ) , p ( k ) ) 0
说明两个相邻的搜索方向是正交的。

对于最优化目标函数来说，图中的一束椭圆表 示函数的等值线，愈是内圈的椭圆，所对应的 函数值愈小。由于最速下降法相邻两次的搜索 方向互相垂直，搜索路径实际上是一条锯齿状 的路径，也就是最速下降法的锯齿现象。
x
(k )
1 n k (0) * x ( ) x x A 1 n
*
A
其中， 1 ， n 分别为对称正定矩阵 A 的最大与最小特征值， 当 1 》 n 时收敛就变的非常慢，而且当 r
(k )
很小时，由于舍
入误差的影响，计算将出现不稳定，所以这个算法实际中使用 很少，一般作为其他优化算法的启动项。

最速下降法基本思想
从当前点 出发，取函数在该点 处下降最快的 方向作为搜索方向 。 任一点的负梯度方向是函数值在该点下降最快 的方向。 将n维问题转化为一系列沿负梯度方向用一维 搜索方法寻优的问题。

定义函数：
，
可微。
梯度的概念： 是定义在 量为 即 上的可微函数，称以 的 n 个偏导数为分量的向
由以上计算步骤可知，最速下降法迭代终止时，求得的是目标函数驻点的一个 近似点。
例题
求解 min f ( x) x1 3x2 ，设初始点为 x
2 2
(1)
(2,1)T
求迭代一次后的迭代点 x 解：因为 所以 所以 令 求解 令 所以
(2)
f ( x) (2 x1 , 6 x2 )T
(k )
f ( x( k ) ) ；
(k )
4 进行一维搜索，求 k ，使得 f ( x 令x
( k 1)
k p ( k ) ) min f ( x ( k ) p ( k ) )
0
x( k ) k p ( k ) ， k : k 1 ，转第二步。
n
( Ax ( k ) b, p ( k ) ) k 的表达式可表示为 k ( Ap ( k ) , p ( k ) )
因为 p
(k )
( x ( k ) ) b Ax ( k )
( p(k ) , p(k ) ) 所以 k 可表示为 k ( Ap ( k ) , p ( k ) )
( x ( k 1) ) ( x ( k ) k p k ) min ( x ( k ) p k )
R
计算步骤 1 选取初始点 x(0) ，给点终止误差 0 ； 2 计算 f ( x) ，若 f ( x) ，停止迭代，输出 x( k ) ，否则，进行第三步； 3 取p
x(2) x(1) 1 p1 ( 36 8 T , ) 31 31
13 62
关于相邻连个梯度的关系
n 1 1 n n 函数 : R R ； ( x) ( Ax, x) (b, x) aij xi x j b j x j 2 2 i 1 j 1 j 1
p1 f ( x (1) ) (4, 6)T x(1) p1 (2 4 ,1 6 )T
( ) f ( x(1) p1 ) (2 4 )2 3(1 6 ) 2
min ( x)

' ( ) 8(2 4 ) 36(1 6 ) 0 1
的梯度，记作
函数的梯度是一个向量，
在
处的梯度向量为：
梯度方向是函数在该点增长最快的方向，负梯度方向是函数 在该点减少最快的方向。 如下示意图：
令 p ( k ) ( x ( k ) ) ， k 为在 x
(k )
点沿最速下降
方向 p ( k ) 所走的距离，最优步长。 可有最速下降法的迭代公式：