梯度法

基本思想 1、任一点的负梯度方向是函数值在该点下降最快的方向。 2、将n维问题转化为一系列沿负梯度方向用一维搜索方法 寻优的问题。 3、利用负梯度作为搜索方向，故称最速下降法或梯度法。
收敛准则
|| f ( x (k) ) ||
梯度法（最速下降法）：
1. 搜索方向：pk f (xk ) ,也称为最速下降方向；
最速下降法的收敛性
性质. 证明
设 f ( x) 有一阶连续偏导数，若步长 k 满足
f
(xk
kd k
)
min
f
(xk
d k
)
则有 f ( xk kd k )T d k 0。
令 ( ) f ( xk d k )，所以
( ) f ( xk d k )T d k .
f
(xk
kd k )
min
梯度法的内容
几个概念
1、梯度：f(x)是定义在Rn上的可微函数，称以f(x)的n个偏导
数为分量的向量，为f(x)的梯度，记作▽ f(x)即：
T
f(x)
f(x x1
)
,
f(x) x2
,,
f(x xn
)
2、梯度向量：
f
Hale Waihona Puke ( x0 )f (x0 ) x1
,
f (x0 ) x2
,
,
f (x0 ) xn
T
上式即为为f(x) 在x0处的梯度向量。
3、梯度▽ f(x)的模：
|| f (x) ||
f (x) x1
2
f (x) x2
2
,
,
f (x) xn
2
梯度法的基本原理
由高等数学知识知道任意一点的负梯度方向是函数值 在该点下降最快的方向，那么利用负梯度作为极值搜索方 向，达到搜索区间最速下降的目的。
而由极值点导数性质，知道该点的梯度▽f(x)=0，故而其终止条件也就 是梯度逼近0，也就是当搜索区间非常逼近极值点时。
f
(xk
pk
)。
4. 令 xk1 xk k pk ,令 k : k 1,转2。
给定X (0) ,
0k
f ( X (k) ) p(k)
p(k) ?
是
否
求k ,使 min f ( X (k) k p(k) )
X (k) k p(k) X (k)
k 1 k
输出X (k) , f ( X (k) )
f
(xk
d k )
(k ) f ( xk kd k )T d k 0 .
因为梯度法的搜索方向d k1 f ( xk kd k )，所以
(d k1 )T d k 0 d k1 d k 。
少一个倒三角
相邻两次的搜索方向是正交的， 所以搜索路径是曲折的锯齿形的； 对于高维的非线性函数，接近极值 点处，当迭代点接近极小点时，步 长变得很小，越走越慢容易陷入稳 定的锯齿形搜索路径。最速下降方 向反映了目标函数的一种局部性质 。它只是局部目标函数值下降最快 的方向。因此，最速下降法一般适 用于计算过程的前期迭代或作为检 查步骤。
2. 搜索步长:
k
取最优步长,
即满足
f
(xk
k pk )
min
f
(xk
pk )。
梯度法算法步骤：
1. x0 Rn, 0, k 0
2. 计算搜索方向 pk f (xk ) ;
3. 若|| pk || ,则停止计算，xk为所求极值点；否则，求最优步长 k
使得
f
(xk
k
pk
)
min