算法的收敛性和收敛速度的定义式

技 大 学 网 络 教
f
பைடு நூலகம்
(
X
(k)
)
f
(X (k) x1
)
,
f
(X (k) x2
)
,
,
f
(X (k) xn
)
T
育
系
列
课
程
结论 函数在某点的梯度是这样一个向量，它的 方向与取得最大方向导数的方向一致, 而它的模为 方向导数的最大值。梯度的模为
gradf (x1, x2 )
f x1
2
+
f x2
育
系 列 课 程
f ( X (k) )
f
(X (k) )2
x1
+
f
(X (k) )2
x2
+
+
f
(X (k) )2
xn
f ( X (k) ) f ( X (k) ) cos f ( X (k) ), S S
由上式表明：函数在某点沿方向S的方向导数
等于该点的梯度在方向身上的投影。见下图。
西
S
南 科
当方向S与梯度方向的夹角为锐角时有：
技
大 学
f ( X (k ) ) f ( X (k ) ) T S 0
网 络
S
教 育
当方向S与梯度方向的夹角为钝角时有：
系 列 课 程
西
当方向S与梯度的
南 科
夹角为零时，方向
技 大
导数达到最大值，
学 网
即
络
教 育
f ( X (k ) ) f ( X (k ) )
系 列
S
课
程
从图中可以看出： 当方向S与点X( k)的梯度相垂直时，函数在该
点沿S的方向导数等于零，即
f ( X (k ) ) f ( X (k ) ) T S 0
l 0
依y 轴定正义向，er函2 数{f0(,1x},的y)方在向点导P数沿分着别x 轴为正f x向, f；ery1 {1,0}、
沿着x 轴负向、y 轴负向的方向导数是 f x , f y .
2）方向导数的计算
定理 如果函数z f ( x, y)在点P( x, y)是可微分 的，那么函数在该点沿任意方向L 的方向导数都
x y
故有方向导数
cosj sin j
f lim f ( x + Dx, y + Dy) f ( x, y)
l 0
f cosj + f sin j.
x
y
推广可得三元函数方向导数的定义
对于三元函数 u f ( x, y, z)，它在空间一点 P( x, y, z)沿着方向 L 的方向导数 ，可定义
5.2.1函数的方向导数和梯度
1、函数的方向导数
实例：一块长方形的金属板，四个顶点的坐
标是(1,1)，(5,1)，(1,3)，(5,3)。在坐标原点处有
一个火焰，它使金属板受热。假定板上任意一点
西 南
处的温度与该点到原点的距离成反比。在(3,2)处
科 技
有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能
大 学
2
P
f
当 不为零时，
x
f
x
轴到梯度的转角的正切为
tan
x2 f
x1
在几何上 z f (x1, x2 ) 表示一个曲面
曲面被平面 z c
所截得
z z
f c
( x1 ,
x2
) ,
所得曲线在xoy面上投影如图
x2
f (x1, x2 ) c2
gradf (x1, x2 )
P 梯度为等高线上的法向量
为
f lim f ( x + Dx, y + Dy, z + Dz) f ( x, y, z) ,
l 0
其中 (Dx)2 + (Dy)2 + (Dz)2
设方向 L 的方向角为 , ,
Dx cos, Dy cos , Dz cos ,
同理：当函数在此点可微时，那末函数在该点
最快到达较凉快的地点？
网
络 教
问题的实质：应沿由热变冷变化最剧烈的方
育 系
向（即梯度方向）爬行．
列
课
程
1）方向导数的定义
讨论函数 z f ( x, y)在一点P沿某一方向
的变化率问题．
设函数z f ( x, y)在点
P( x, y) 的某一邻域 U(P) 内有定义，自点 P 引射线 l。
设 x 轴正向到射线 l 的转角
为 j ,并设 P/( x + Dx, y + Dy)
为 l 上的另一点且 P/ U ( p/). （如图）
| PP | (Dx)2 + (Dy)2 ,
且 Dz f ( x + Dx, y + Dy) f ( x, y) Dz
考虑
当 P 沿着 l 趋于 P 时，
lim f ( x + Dx, y + Dy) f ( x, y) 是否存在？
f (x, y) c1
o
x1
f (x1, x2 ) c 等高线
3、方向导数和梯度的关系
根据矢量代数的概念，方向导数的表达式可写 成：
f ( X (k ) ) f ( X (k ) ) T S
西 南
S
科 技
f ( X (k)) S cos f ( X (k) ),S
大
学
网 络 教
S cos2 1 + cos2 2 + + cos2 n 1
0
定义 函数的增量f ( x + Dx, y + Dy) f ( x, y)与
PP/ 两点间的距离 (Dx)2 + (Dy)2 之比值，
当 P 沿着 l 趋于 P/时，如果此比的极限存 在，
则称这极限为函数在点 P 沿方向 l 的方向导数。
记为f lim f ( x + Dx, y + Dy) f ( x, y).
存在，且有 f f cosj + f sin j，
l x
y
其中 j 为 x 轴到方向L 的转角。
证明 由于函数可微，则增量可表示为
f (x + Dx, y + Dy) f (x, y) f Dx + f Dy + o()
x y
两边同除以 , 得到
f ( x + Dx, y + Dy) f ( x, y) f Dx + f Dy + o( )
cosn
南
科 技 大 学 网 络 教 育
cos1
f
(X (k x1
)
)
,
f
(X (k x2
)
)
,
,
f
(X( xn
k
)
)
c
os2
:
[f
(
X
(
k
)
)]T
S
c
osn
系
列
课
程
2、 梯度
1）梯度的定义
函数在点X( k)的梯度是由函数在该点的各个
西 一阶偏导数组成的向量。
南 科
2）梯度的表达式
沿任意方向 L 的方向导数都存在，且有
f f cos + f cos + f cos .
l x
y
z
推导出n元函数f(x)在点X( k)处沿任意给定方 向S的方向导数 表达式为：
西
f ( X (k) ) S
f
(X ( x1
k
)
)
c
os1
+
f
(X ( x2
k
)
)
c
os2
++
f
(X (k) x n
)