算法的收敛性和收敛速度的定义式-西南科技大学网络教育学院

西 南 科 技 大 学 网 络 教 育 系 列 课 程
2、 梯度 1）梯度的定义 函数在点X( k)的梯度是由函数在该点的各个 一阶偏导数组成的向量。 2）梯度的表达式
f ( X
(k )
f ( X ) f ( X ) f ( X ) ) , , , x x x 1 2 n
(k ) (k ) (k )
T
结论 函数在某点的梯度是这样一个向量，它的 方向与取得最大方向导数的方向一致, 而它的模为 方向导数的最大值。梯度的模为 gradf
f f gradf ( x1 , x2 ) x + x 1 2
2 2
P
f x 轴到梯度的转角的正切为 tan x2 f x1
f 不为零时， 当 x
gradf
在几何上 z f ( x1 , x2 ) 表示一个曲面
曲面被平面 z
c
z f ( x1 , x2 ) 所截得 , z c
所得曲线在xoy面上投影如图
x2
f ( x1 , x2 ) c2
cosj
sin j
f f ( x + Dx, y + Dy ) f ( x, y ) lim l 0 f f cos j + sin j . x y
推广可得三元函数方向导数的定义
对于三元函数 u f ( x , y , z )，它在空间一点 P ( x , y , z ) 沿着方向 L 的方向导数 ，可定义 为
西南科技大学网络教育系列课程
5. 优 化 设 计
5.2 优化方法的数学基础
5.2.1函数的方向导数和梯度
1、函数的方向导数
实例：一块长方形的金属板，四个顶点的坐 标是(1,1)，(5,1)，(1,3)，(5,3)。在坐标原点处有 一个火焰，它使金属板受热。假定板上任意一点 处的温度与该点到原点的距离成反比。在(3,2)处 有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能 最快到达较凉快的地点？ 问题的实质：应沿由热变冷变化最剧烈的方 向（即梯度方向）爬行．
2 2 | PP | (Dx ) + (Dy ) ,
且 Dz f ( x + Dx, y + Dy ) f ( x, y ) 考虑
Dz

当 P 沿着 l 趋于 P 时，
lபைடு நூலகம்m
0
f ( x + Dx, y + Dy ) f ( x, y )

是否存在？
定义 函数的增量 f ( x + Dx, y + Dy ) f ( x, y )与 PP/ 两点间的距离 ( Dx )2 + ( Dy )2 之比值，
f f f ( x + Dx, y + Dy ) f ( x, y ) Dx + Dy + o( ) x y
两边同除以 , 得到
由于函数可微，则增量可表示为
f ( x + Dx , y + Dy ) f ( x , y )

故有方向导数
f Dx f Dy o( ) + + x y
同理：当函数在此点可微时，那末函数在该点 沿任意方向 L 的方向导数都存在，且有
f f f f cos + cos + cos . l x y z
推导出n元函数f(x)在点X( k)处沿任意给定方 向S的方向导数 表达式为：
f ( X ( k ) ) f ( X ( k ) ) f ( X ( k ) ) f ( X ( k ) ) cos1 + cos 2 + + cosn S x1 x 2 x n
西 南 科 技 大 学 网 络 教 育 系 列 课 程
1）方向导数的定义 讨论函数 z f ( x , y ) 在一点P沿某一方向 的变化率问题．
设函数z f ( x , y )在点 P ( x , y ) 的某一邻域 U ( P ) 内有定义，自点 P 引射线 l。 设 x 轴正向到射线 l 的转角 / j , P 为 并设 ( x + Dx , y + Dy ) 为 l 上的另一点且 P/ U ( p/). （如图）
f f ( x + Dx, y + Dy, z + Dz ) f ( x, y, z ) lim , 0 l
2 2 2 ( D x ) + ( D y ) + ( D z ) 其中
设方向 L 的方向角为 , ,
Dx cos , Dy cos , Dz cos ,
gradf( x1 , x2 )
P
f ( x, y) c1
x1
梯度为等高线上的法向量
f ( x1 , x2 ) c
当 P 沿着 l 趋于 P/ 时，如果此比的极限存 在， 则称这极限为函数在点 P 沿方向 l 的方向导数。
f f ( x + Dx, y + Dy) f ( x, y) 记为 lim . l 0
r 依定义，函数f ( x , y ) 在点 P沿着 x 轴正向e {1,0}、 1 r 轴正向 e {0,1}的方向导数分别为 f x , f y ； 2 y
沿着x 轴负向、 y 轴负向的方向导数是 f x , f y .
2）方向导数的计算 定理 如果函数z f ( x , y ) 在点P ( x , y ) 是可微分 的，那么函数在该点沿任意方向 L 的方向导数都 存在，且有
其中 j 为 x 轴到方向 L 的转角。 证明
f f f ， cos j + sin j l x y
cos1 cos (k ) (k ) (k ) f ( X ) f ( X ) f ( X ) 2 (k ) T , , , [ f ( X )] S x 2 x n : x1 cos n
西 南 科 技 大 学 网 络 教 育 系 列 课 程