梯度法

2 x1 f ( x1 , x2 ) 8 x 2 f ( x(0) ) (2,8)T
f ( x (0) ) 8.24621
d (0) f ( x(0) ) (2, 8)T x(1) x(0) 0d (0) , 其中0由min f ( x(0) d (0) ) min(1 2 )2 4(1 8 )2
1 2 0.73846 x 0.13077 1 8 0.04616
(1)
f ( x(1) ) (1.47692, 0.36923)T
f ( x (1) ) 1.52237
d (1) f ( x(1) ) (1.47692,0.36923)T
形的；对于高维的非线性函 数，接近极值点处，容易陷 入稳定的锯齿形搜索路径。
四、梯度法的例题
试用梯度法求
2 的极小点。迭代两次，计算各迭代点的函数值、梯 f ( x1, x2 ) x12 4x2
度、及其模，并验证相邻两个搜索方向是正交的。 解：设初始点为
x(0) . (1,1)T
由 x(0) (1,1)T
f ( x(2) ) 0.06134 f ( x(2) ) (0.22152,0.88608)T
f ( x ( 2) ) 0.91335
d (2) (0.22152, 0.88608)T
验证d 和d 及d 和d 的正交性：
0 1 1 2
d
d
(1)T
d (0) (1.47692)(2) (0.36923)(8) 0
k arg min f ( x( k ) k d ( k ) )
于是，就有
df ( x ( k ) d ( k ) ) k f ( x ( k 1) )T d 0 d
k
上式表明方向 和d ( k )是正交的 d ( k 1) .
3、梯度法的特点
梯度法
组员： 左益平 王秀坤 朱德鹏 张涛
主要内容
1、梯度法的提出
2、梯度法的内容
3、梯度法的特点
4、梯度法的例题
1、梯度法的提出
计算目标函数的一阶导数、甚至二阶导数的方法即为梯度法。梯
度法又被称为最速下降法，是1847 年由著名数学家Cauchy（柯 西） 给出的，它是解析法中最古老的一种，其他解析方法或 是它的变形，或是受它的启发而得到的，因此它是最优化方法 的基础。 它的理论和方法渗透到许多方面，特别是在军事、经济、 管理、生产过程自动化、工程设计和产品优化设计等方面都有 着重要的应用。研究梯度法原理及其算法实现对我们有着极其
(2)T
d (1) (0.22152)(1.47692) (0.88608)(0.36923) 0
对于解二次函数最小值问题时，由于最速下降法中，当迭代点接近极小点时， 步长变得很小，越走越慢。所以把此法改进为共轭梯度法。
优点
初始点可任选，每次迭代计算量小，存储量少，
程序简短。即使从一个不好的初始点出发，开 始的几步迭代，目标函数值下降很快，然后慢 慢逼近局部极小点。
缺点
梯度方向目标函数值下降迅速只是个局部性质， 从整体来看，不一定是收敛最快的方向。
以二维二次函数为例，相邻 两次的搜索方向是正交的，
所以搜索路径是曲折的锯齿
x(2) x(1) 1d (1)
df ( x (1) d (1) ) 由 0, 求得1 0.42500 d
x
(2)
0.73846 1.47692 0.11076 0.42500 0.04616 0.36923 0.11076
2
2
2
梯度法的基本原理
由高等数学知识知道任意一点的负梯度方向是函数值 在该点下降最快的方向，那么利用负梯度作为极值搜索方
向，达到搜索区间最速下降的目的。
而由极值点导数性质，知道该点的梯度=0，故而其终止条件也就是梯度
逼近0，也就是当搜索区间非常逼近极值点时。即：
0 当f f(a)
f(a) f(x)极值，f(a)即为所求。
利用必要条件
df ( x(0) d (0) ) 4(1 2 ) 64(1 8 ) 520 68 0 d
df ( x(0) d (0) ) 4(1 2 ) 64(1 8 ) 520 68 0 d 68 0 0.13077 520
重要的意义。
2、梯度法的内容
几个概念
1、梯度：f(x)是定义在Rn上的可微函数，称以f(x)的n个偏 导数为分量的向量，为f(x)的梯度，记作▽ f(x)即：
f ( x ) f ( x ) f ( x ) f ( x ) x , x , , x 1 2 n
1、选定初始点 x (1) , 给定精度要求 2、若
k) f ( x (，则停， )
, 令 0 ； k 1 ； d (k ) f ( x( k ) )
，否则令 x* x( k )
k) 3、在 x (处沿方向
做一维搜索得 d (k )
x( k 1) x( k ) k d k , k k 1,回2.
2、梯度向量：
T
f ( x ) f ( x ) f ( x f ( x ) , , , x2 xn x1
0 0 0
0
)
T
上式即为为f(x) 在x0处的梯度向量。 3、梯度▽ f(x)的模：
f ( x ) f ( x ) f ( x ) || f ( x ) || x x , x 1 2 n
基本思想
1、任一点的负梯度方向是函数值在该点下降最快的方向。 2、将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题。 3、利用负梯度作为搜索方 k ) ) ||
具体步骤
求解问题
1 min f ( x ), f C n xR