算法的收敛性和收敛速度的定义式
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
沿着x 轴负向、 y 轴负向的方向导数是 f x , f y .
2）方向导数的计算 定理 如果函数z f ( x , y ) 在点P ( x , y ) 是可微分 的，那么函数在该点沿任意方向 L 的方向导数都 存在，且有
其中 j 为 x 轴到方向 L 的转角。 证明
f f f ， cos j + sin j l x y
当 P 沿着 l 趋于 P/ 时，如果此比的极限存 在， 则称这极限为函数在点 P 沿方向 l 的方向导数。
f f ( x + Dx, y + Dy) f ( x, y) 记为 lim . l 0
r 依定义，函数f ( x , y ) 在点 P沿着 x 轴正向e {1,0}、 1 r 轴正向 e {0,1}的方向导数分别为 f x , f y ； 2 y
f f f ( x + Dx, y + Dy ) f ( x, y ) Dx + Dy + o( ) x y
两边同除以 , 得到
由于函数可微，则增量可表示为
f ( x + Dx , y + Dy ) f ( x , y )
故有方向导数
f Dx f Dy o( ) + + x y
f f ( x + Dx, y + Dy, z + Dz ) f ( x, y, z ) lim , 0 l
2 2 2 ( D x ) + ( D y ) + ( D z ) 其中
设方向 L 的方向角为 , ,
Dx cos , Dy cos , Dz cos ,
gradf( x1 , x2 )
P
f ( x, y) c1
x1
梯度为等高线上的法向量
f ( x1 , x2 ) c
等高线
o
3、方向导数和梯度的关系 根据矢量代数的概念，方向导数的表达式可写 成：
西 南 科 技 大 学 网 络 教 育 系 列 课 程
f ( X ( k ) ) (k ) T f ( X ) S S
图5.11 例1的梯度
5.2.1 函数的方向导数和梯度
例题2 一般二元二次函数的矩阵式为
1 T f ( X ) X AX + B T X + C 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
，其中
X x1 x2
a11 a12 A a21 a22
P
f x 轴到梯度的转角的正切为 tan x2 f x1
f 不为零时， 当 x
gradf
在几何上 z f ( x1 , x2 ) 表示一个曲面
曲面被平面 z
c
z f ( x1 , x2 ) 所截得 , z c
所得曲线在xoy面上投影如图
x2
f ( x1 ,ቤተ መጻሕፍቲ ባይዱx2 ) c2
其中 a12 a21 ，于是梯度为
f ( X ) x a x + a x + b a a x b 1 f ( X ) 11 1 12 2 1 11 12 1 + 1 f ( X ) a 21 x1 + a 22 x2 + b2 x2 b2 a 21 a 22 x 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
1）方向导数的定义 讨论函数 z f ( x , y ) 在一点P沿某一方向 的变化率问题．
设函数z f ( x , y )在点 P ( x , y ) 的某一邻域 U ( P ) 内有定义，自点 P 引射线 l。 设 x 轴正向到射线 l 的转角 / j , P 为 并设 ( x + Dx , y + Dy ) 为 l 上的另一点且 P/ U ( p/). （如图）
f ( X ( k ) ) S cos f ( X ( k ) ), S
S cos 2 1 + cos 2 2 + + cos 2 n 1
f ( X
(k )
f ( X ) f ( X ) f ( X ) ) + + + x x x 1 2 n
B b1 b2
C为常数，求梯度 f ( X ) 。
5.2.1 函数的方向导数和梯度
解：将二元二次函数的矩阵式展开
1 2 f ( X ) ( a11 x12 + 2a12 x1 x2 + a 22 x2 ) + b1 x1 + b2 x2 + C 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
当方向S与梯度方向的夹角为锐角时有：
f ( X ( k ) ) (k ) T f ( X ) S 0 S
当方向S与梯度方向的夹角为钝角时有：
T f ( X ( k ) ) f ( X ( k ) ) S 0 S
西 南 科 技 大 学 网 络 教 育 系 列 课 程
(k ) (k ) (k )
2
2
2
f ( X ( k ) ) f ( X ( k ) ) cos f ( X ( k ) ), S S 由上式表明：函数在某点沿方向S的方向导数 等于该点的梯度在方向身上的投影。见下图。
西 南 科 技 大 学 网 络 教 育 系 列 课 程
当方向S与梯度的 夹角为零时，方向 导数达到最大值， 即
则
f ( X
(1)
( 2)
2 x1 4 2 ) 2 3 2 x 2 2 2
f ( X
2 x1 4 0 ) 2 2 2 x 2 2 2
(1) 2 2 f ( X ) 2 + 2 2 2 解：梯度的模为：
2 2 | PP | (Dx ) + (Dy ) ,
且 Dz f ( x + Dx, y + Dy ) f ( x, y ) 考虑
Dz
当 P 沿着 l 趋于 P 时，
lim
0
f ( x + Dx, y + Dy ) f ( x, y )
是否存在？
定义 函数的增量 f ( x + Dx, y + Dy ) f ( x, y )与 PP/ 两点间的距离 ( Dx )2 + ( Dy )2 之比值，
cos1 cos (k ) (k ) (k ) f ( X ) f ( X ) f ( X ) 2 (k ) T , , , [ f ( X )] S x 2 x n : x1 cos n
西 南 科 技 大 学 网 络 教 育 系 列 课 程
例1 求函数f(X)＝(x1－2)2十(x2－1)2在点X(1)＝[3,2]T 和X( 2)＝[2,2] T的梯度并作图表示。 解：根据定义，梯度为
西 南 科 技 大 学 网 络 教 育 系 列 课 程
f ( X ) / x1 2 x1 4 f ( X ) f ( X ) / x 2 x 2 2 2
这说明，与梯度成锐角的方向是函数值上升 的方向，而与梯度成钝角的方向则是函数值下降 的方向。
西 南 科 技 大 学 网 络 教 育 系 列 课 程
综上所述，函数的梯度具有以下性质 (1)函数在一点的梯度是一个向量。梯度的方向 是该点函数值上升得最快的方向，梯度的大小就是 它的模长。 (2) 一点的梯度方向为过该点的等值线或等值 面的切线或切平面相垂直的方向，或者说是该点等 值线或等值面的法线方向。 (3) 梯度是函数在一点邻域内局部性态的描述。 在一点上升得快的方向，离开该领域后就不一定上 升得快，甚至可能下降。
(k ) (k ) (k )
T
结论 函数在某点的梯度是这样一个向量，它的 方向与取得最大方向导数的方向一致, 而它的模为 方向导数的最大值。梯度的模为 gradf
f f gradf ( x1 , x2 ) x + x 1 2
2 2
cosj
sin j
f f ( x + Dx, y + Dy ) f ( x, y ) lim l 0 f f cos j + sin j . x y
推广可得三元函数方向导数的定义
对于三元函数 u f ( x , y , z )，它在空间一点 P ( x , y , z ) 沿着方向 L 的方向导数 ，可定义 为
同理：当函数在此点可微时，那末函数在该点 沿任意方向 L 的方向导数都存在，且有
f f f f cos + cos + cos . l x y z
推导出n元函数f(x)在点X( k)处沿任意给定方 向S的方向导数 表达式为：
f ( X ( k ) ) f ( X ( k ) ) f ( X ( k ) ) f ( X ( k ) ) cos1 + cos 2 + + cosn S x1 x 2 x n
5.2.1 函数的方向导数和梯度
即
f ( X ) AX + B
西 南 科 技 大 学 网 络 教 育 系 列 课 程
同理，推广到n元二次函数，则一般n元 二次函数梯度的矩阵表达式为
f ( X ) AX + B
式中
a11 a 21 A ... a n1 a12 a 22 ... a n2 ... ... ... ... a1n a 2n ... a nn
西 南 科 技 大 学 网 络 教 育 系 列 课 程
2、 梯度 1）梯度的定义 函数在点X( k)的梯度是由函数在该点的各个 一阶偏导数组成的向量。 2）梯度的表达式
f ( X
(k )
f ( X ) f ( X ) f ( X ) ) , , , x x x 1 2 n
f ( X ( 2 ) ) 1 0 0 (2) 2 2 1 f ( X )
西 南 科 技 大 学 网 络 教 育 系 列 课 程
在设计平面x1ox2内 标出点(2,2)和点(0, 2)，并将此两点分 别与原点相连得到 向量[2,2]T和[0,2]T。 将这两个向量各自 平移至点X(1)和X(2)， 所得新的向量就是 点X(1)和X(2)的梯度。
f ( X ( 2 ) ) 0 2 + 2 2 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
单位梯度的向量为：
S
(1)
f ( X (1) ) 1 (1) f ( X ) 2 2
2 2 / 2 2 2 / 2
S (2)
f ( X ( k ) ) f ( X ( k ) ) S
从图中可以看出： 当方向S与点X( k)的梯度相垂直时，函数在该 点沿S的方向导数等于零，即
西 南 科 技 大 学 网 络 教 育 系 列 课 程
f ( X ( k ) ) f ( X ( k ) ) S
T
S 0
西南科技大学网络教育系列课程
5. 优 化 设 计
5.2 优化方法的数学基础
5.2.1函数的方向导数和梯度
1、函数的方向导数
实例：一块长方形的金属板，四个顶点的坐 标是(1,1)，(5,1)，(1,3)，(5,3)。在坐标原点处有 一个火焰，它使金属板受热。假定板上任意一点 处的温度与该点到原点的距离成反比。在(3,2)处 有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能 最快到达较凉快的地点？ 问题的实质：应沿由热变冷变化最剧烈的方 向（即梯度方向）爬行．
2）方向导数的计算 定理 如果函数z f ( x , y ) 在点P ( x , y ) 是可微分 的，那么函数在该点沿任意方向 L 的方向导数都 存在，且有
其中 j 为 x 轴到方向 L 的转角。 证明
f f f ， cos j + sin j l x y
当 P 沿着 l 趋于 P/ 时，如果此比的极限存 在， 则称这极限为函数在点 P 沿方向 l 的方向导数。
f f ( x + Dx, y + Dy) f ( x, y) 记为 lim . l 0
r 依定义，函数f ( x , y ) 在点 P沿着 x 轴正向e {1,0}、 1 r 轴正向 e {0,1}的方向导数分别为 f x , f y ； 2 y
f f f ( x + Dx, y + Dy ) f ( x, y ) Dx + Dy + o( ) x y
两边同除以 , 得到
由于函数可微，则增量可表示为
f ( x + Dx , y + Dy ) f ( x , y )
故有方向导数
f Dx f Dy o( ) + + x y
f f ( x + Dx, y + Dy, z + Dz ) f ( x, y, z ) lim , 0 l
2 2 2 ( D x ) + ( D y ) + ( D z ) 其中
设方向 L 的方向角为 , ,
Dx cos , Dy cos , Dz cos ,
gradf( x1 , x2 )
P
f ( x, y) c1
x1
梯度为等高线上的法向量
f ( x1 , x2 ) c
等高线
o
3、方向导数和梯度的关系 根据矢量代数的概念，方向导数的表达式可写 成：
西 南 科 技 大 学 网 络 教 育 系 列 课 程
f ( X ( k ) ) (k ) T f ( X ) S S
图5.11 例1的梯度
5.2.1 函数的方向导数和梯度
例题2 一般二元二次函数的矩阵式为
1 T f ( X ) X AX + B T X + C 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
，其中
X x1 x2
a11 a12 A a21 a22
P
f x 轴到梯度的转角的正切为 tan x2 f x1
f 不为零时， 当 x
gradf
在几何上 z f ( x1 , x2 ) 表示一个曲面
曲面被平面 z
c
z f ( x1 , x2 ) 所截得 , z c
所得曲线在xoy面上投影如图
x2
f ( x1 ,ቤተ መጻሕፍቲ ባይዱx2 ) c2
其中 a12 a21 ，于是梯度为
f ( X ) x a x + a x + b a a x b 1 f ( X ) 11 1 12 2 1 11 12 1 + 1 f ( X ) a 21 x1 + a 22 x2 + b2 x2 b2 a 21 a 22 x 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
1）方向导数的定义 讨论函数 z f ( x , y ) 在一点P沿某一方向 的变化率问题．
设函数z f ( x , y )在点 P ( x , y ) 的某一邻域 U ( P ) 内有定义，自点 P 引射线 l。 设 x 轴正向到射线 l 的转角 / j , P 为 并设 ( x + Dx , y + Dy ) 为 l 上的另一点且 P/ U ( p/). （如图）
f ( X ( k ) ) S cos f ( X ( k ) ), S
S cos 2 1 + cos 2 2 + + cos 2 n 1
f ( X
(k )
f ( X ) f ( X ) f ( X ) ) + + + x x x 1 2 n
B b1 b2
C为常数，求梯度 f ( X ) 。
5.2.1 函数的方向导数和梯度
解：将二元二次函数的矩阵式展开
1 2 f ( X ) ( a11 x12 + 2a12 x1 x2 + a 22 x2 ) + b1 x1 + b2 x2 + C 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
当方向S与梯度方向的夹角为锐角时有：
f ( X ( k ) ) (k ) T f ( X ) S 0 S
当方向S与梯度方向的夹角为钝角时有：
T f ( X ( k ) ) f ( X ( k ) ) S 0 S
西 南 科 技 大 学 网 络 教 育 系 列 课 程
(k ) (k ) (k )
2
2
2
f ( X ( k ) ) f ( X ( k ) ) cos f ( X ( k ) ), S S 由上式表明：函数在某点沿方向S的方向导数 等于该点的梯度在方向身上的投影。见下图。
西 南 科 技 大 学 网 络 教 育 系 列 课 程
当方向S与梯度的 夹角为零时，方向 导数达到最大值， 即
则
f ( X
(1)
( 2)
2 x1 4 2 ) 2 3 2 x 2 2 2
f ( X
2 x1 4 0 ) 2 2 2 x 2 2 2
(1) 2 2 f ( X ) 2 + 2 2 2 解：梯度的模为：
2 2 | PP | (Dx ) + (Dy ) ,
且 Dz f ( x + Dx, y + Dy ) f ( x, y ) 考虑
Dz
当 P 沿着 l 趋于 P 时，
lim
0
f ( x + Dx, y + Dy ) f ( x, y )
是否存在？
定义 函数的增量 f ( x + Dx, y + Dy ) f ( x, y )与 PP/ 两点间的距离 ( Dx )2 + ( Dy )2 之比值，
cos1 cos (k ) (k ) (k ) f ( X ) f ( X ) f ( X ) 2 (k ) T , , , [ f ( X )] S x 2 x n : x1 cos n
西 南 科 技 大 学 网 络 教 育 系 列 课 程
例1 求函数f(X)＝(x1－2)2十(x2－1)2在点X(1)＝[3,2]T 和X( 2)＝[2,2] T的梯度并作图表示。 解：根据定义，梯度为
西 南 科 技 大 学 网 络 教 育 系 列 课 程
f ( X ) / x1 2 x1 4 f ( X ) f ( X ) / x 2 x 2 2 2
这说明，与梯度成锐角的方向是函数值上升 的方向，而与梯度成钝角的方向则是函数值下降 的方向。
西 南 科 技 大 学 网 络 教 育 系 列 课 程
综上所述，函数的梯度具有以下性质 (1)函数在一点的梯度是一个向量。梯度的方向 是该点函数值上升得最快的方向，梯度的大小就是 它的模长。 (2) 一点的梯度方向为过该点的等值线或等值 面的切线或切平面相垂直的方向，或者说是该点等 值线或等值面的法线方向。 (3) 梯度是函数在一点邻域内局部性态的描述。 在一点上升得快的方向，离开该领域后就不一定上 升得快，甚至可能下降。
(k ) (k ) (k )
T
结论 函数在某点的梯度是这样一个向量，它的 方向与取得最大方向导数的方向一致, 而它的模为 方向导数的最大值。梯度的模为 gradf
f f gradf ( x1 , x2 ) x + x 1 2
2 2
cosj
sin j
f f ( x + Dx, y + Dy ) f ( x, y ) lim l 0 f f cos j + sin j . x y
推广可得三元函数方向导数的定义
对于三元函数 u f ( x , y , z )，它在空间一点 P ( x , y , z ) 沿着方向 L 的方向导数 ，可定义 为
同理：当函数在此点可微时，那末函数在该点 沿任意方向 L 的方向导数都存在，且有
f f f f cos + cos + cos . l x y z
推导出n元函数f(x)在点X( k)处沿任意给定方 向S的方向导数 表达式为：
f ( X ( k ) ) f ( X ( k ) ) f ( X ( k ) ) f ( X ( k ) ) cos1 + cos 2 + + cosn S x1 x 2 x n
5.2.1 函数的方向导数和梯度
即
f ( X ) AX + B
西 南 科 技 大 学 网 络 教 育 系 列 课 程
同理，推广到n元二次函数，则一般n元 二次函数梯度的矩阵表达式为
f ( X ) AX + B
式中
a11 a 21 A ... a n1 a12 a 22 ... a n2 ... ... ... ... a1n a 2n ... a nn
西 南 科 技 大 学 网 络 教 育 系 列 课 程
2、 梯度 1）梯度的定义 函数在点X( k)的梯度是由函数在该点的各个 一阶偏导数组成的向量。 2）梯度的表达式
f ( X
(k )
f ( X ) f ( X ) f ( X ) ) , , , x x x 1 2 n
f ( X ( 2 ) ) 1 0 0 (2) 2 2 1 f ( X )
西 南 科 技 大 学 网 络 教 育 系 列 课 程
在设计平面x1ox2内 标出点(2,2)和点(0, 2)，并将此两点分 别与原点相连得到 向量[2,2]T和[0,2]T。 将这两个向量各自 平移至点X(1)和X(2)， 所得新的向量就是 点X(1)和X(2)的梯度。
f ( X ( 2 ) ) 0 2 + 2 2 2
西 南 科 技 大 学 网 络 教 育 系 列 课 程
单位梯度的向量为：
S
(1)
f ( X (1) ) 1 (1) f ( X ) 2 2
2 2 / 2 2 2 / 2
S (2)
f ( X ( k ) ) f ( X ( k ) ) S
从图中可以看出： 当方向S与点X( k)的梯度相垂直时，函数在该 点沿S的方向导数等于零，即
西 南 科 技 大 学 网 络 教 育 系 列 课 程
f ( X ( k ) ) f ( X ( k ) ) S
T
S 0
西南科技大学网络教育系列课程
5. 优 化 设 计
5.2 优化方法的数学基础
5.2.1函数的方向导数和梯度
1、函数的方向导数
实例：一块长方形的金属板，四个顶点的坐 标是(1,1)，(5,1)，(1,3)，(5,3)。在坐标原点处有 一个火焰，它使金属板受热。假定板上任意一点 处的温度与该点到原点的距离成反比。在(3,2)处 有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能 最快到达较凉快的地点？ 问题的实质：应沿由热变冷变化最剧烈的方 向（即梯度方向）爬行．