优化设计基础PPT讲稿

第一节 多元函数的方向导数和梯度
f
梯度：二元函数f
(x1, x2 )在点x0处的梯度是f
(x0)
x1
f
x2
x0
f
x1
f , x2
T x0
梯度的性质：
1）梯度是一个向量； 2）梯度方向是方向导数最大的方向，即函 数值变化最快（函数值变化率最大）的方向 ； 3）梯度方向是等值面（线）的法线方向 。
多元函数的方向导数：
n元函数f (x1, x2 ,…, xn )在点x0处沿方向d的方向导数可以表示成：
f
d
x0
f x1
x0
cos1
f x2
x0
cos2
…
f xn
x0
cosn
n i 1
f xi
x0
cosi
其中，cosi是方向d与坐标轴xi方向之间夹角的余弦。
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
正定矩阵：
如果对于任意x
0，有二次型
T
x
Ax
0成立，则矩阵A为正定矩阵；
若二次型
T
x
A
x
0，则矩阵A为半正定矩阵；
相反，如果对于任意x 0，有xT Ax 0，则矩阵A负定。
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
矩阵正定与负定的判定：
正定：矩阵A正定的条件是A的各阶主子式大于零； 负定：矩阵A负定的条件是各阶主子式负、正相间。
(x0 )
x1
f
x2
x0
f
x1
T
f
,
x2
x0
方向导数与梯度的关系： f f (x0 )T d f (x0 ) cos(f , d) d x0
二元函数f
(
x1,
x2
)在点x0处的方向导数
f d
x0
等于该点处的梯度
f
(x0 )与方向单位向量d
cos 1 cos2
的内积。
第二章 优化设计的数学基础
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
二元函数：
f (x1, x2 )在点x0 (x10 , x20 )处的泰勒展开式：
f (x1, x2 )
f
(
x10
,
x20
)
f x1
x0
x1
f x2
x0
x2
1
2
f
2 x12
x0
x12
2 2 f x1x2
x0
x1x2
2 f x22
x0
x22 …
d 0
x1
d
f d
x0
f x1
x0
cos1
f x2
x0
cos2
lim f x10 x1, x20 x2 f (x10 x1, x20 ) x2
d 0
x2
d
f x1
x0
cos1
f x2
x0
cos2
x2 x20
d X0
x2
θ2
x1
θ1
o
x10
x1
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
x1 x0
x1 0
x1
f lim f x10 , x20 x2 f x10 , x20
x2 x0
x2 0
x2
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
方向导数：
称函数f (x1, x2 )在点x0 (x10 , x20 )处沿某一方向d 的变化率为该函数沿此方向的方向导数，
x0
是函数在该点的梯度
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
多元函数的海赛矩阵：
2 f
x12
2 f
G x0 x2x1
2 f
xn
x1
2 f x1x2 2 f
x22
2 f xnx2
2 f
x1xn
2 f
x2xn
2 f
xn2
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
其中，x1 x1 x10，x2 x2 x20
二元函数泰勒展开式的矩阵形式：
f
x
f
x0
f x1
f x2
x0
x1
x2
1 2
x1
2 f
x2
x12 2 f
x2x1
f
x0
f
T
1T
x0 x x G
x0
x …
2
2 f
x1x2 2 f x22
x0
例：设目标函数f (x)
f (x1, x2 ) 4
x12 x2 , 求点x0
[1
1]T 处沿
d1和d2两个方向的方向导数。
向量d1的方向为：1
2
，
4
向量d2的方向为：1
3
，2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f
梯度：二元函数f
(x1, x2 )在点x0处的梯度是f
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
多元函数的梯ห้องสมุดไป่ตู้：
函数f (x1, x2 ,…, xn )在点x0 (x10, x20,…, xn0 )处的梯度是
f
x1
f
f
x0
x2
f
x1
f x2
f
xn x0
f T
xn
x0
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
公式可以表示为
f lim f x10 x1, x20 x2 f x10 , x20
d d0 x0
d
偏导数与方向导数之间的数量关系：
f lim f x10 x1, x20 x2 f x10 , x20
d d0 x0
d
lim f x10 x1, x20 f x10 , x20 x1
4 2
2
2
f (x0 )
f
x1
f x2
2 5
p
f (x0 )
2
5
f (x0 )
1 5
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
一
f (x)在x x0点处的泰勒展开式：
元 函
f
(x)
f
(x0 )
f
'(x0 )x
1 2
f
''(x0 )x2
…
数
其中，x x x0，x2 (x x0 )2
x1
x2
…
对称矩阵
G x0 是函数f (x1, x2 )在点x0 (x10, x20 )处的海赛矩阵
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
多元函数泰勒展开式的矩阵形式：
f (x) f
x0
f
x0
T
x
1
T
x
G
x0
x …
2
f
x0
f x1
f x2
T
f xn
例题：求二元函数f x1, x2 x12 x22 4x1 2x2 5在点x0 0 0T
处函数变化率最大的方向和数值。
解：
函数变化率最大的方向就是
梯度方向，用单位向量 p 表
示，函数变化率最大的数值就 是梯度的模 。
f
f
(x0 )
x1
f
x2
x0
2x1 4
2x2
2
x0
优化设计基础课件
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。
二元函数的偏导数：
一个二元函数f (x1, x2 )在点x0 (x10 , x20 )处的偏导数是
f lim f x10 x1, x20 f x10 , x20