机械优化设计-第二章优化设计的数学基础

梯度的模：
f (x0 )
f x1
2
f x2
2
当梯度方向和d方向重合时，方向导数值 最大，即梯度方向是函数值变化最快方向， 而梯度的模就是函数值变化率的最大值。
机械优化设计
多元函数的梯度
f
x1 f
f
(
x0
)
x2
f
f x1
xn x0
f x2
f T
xn
x0
f
d
x0
海赛矩阵是由函数 f (x1, x2 ) 在点 x0 处的二阶偏
导数组成的方阵。由于函数的二次连续性，有：
2 f 2 f x2x1 x1x2
所以 G(x0 ) 矩阵为对阵方阵。
机械优化设计
3、多元函数
4 2
42 (2)2
2 51
5
5
5
新点 x1
该点函数值
2
x1
x0
e
0 1
51
5 5
1
2
5 1
5 5
5 5
f
( x1 )
3x12
4x1x2
x22
x1
26 5
2
5
机械优化设计
常用梯度公式：
注意：梯度为向量
(1) f (X ) C(常数) f (X ) 0
(2) f (X ) bT X
f lim f (x10 x1, x20 x2 ) f x10, x20
d d 0 x0
d
方向导数
机械优化设计
f lim f (x10 x1, x20 x2 ) f x10, x20
d d 0 x0
d
=
f x1
x0
cos1
+
f x2
x0
cos2
X2
d
偏导数与 方向导数
的关系
cos2
x0
f f
x1
,
x2
x0
cos1
cos
2
f
令
f
(x0 )
x1
f
x2
x0
f
x1
, f x2
T
x0
梯度
d
cos1
c
os
2
f d
x0
f (x0 )T d
f (x0 )
cos(f , d)
机械优化设计
f d
x0
f (x0 )T d
f (x0 )
cos(f , d)
机械优化设计
第二章 优化设计的数学基础
一、多元函数的方向导数和梯度 二、多元函数的泰勒展开 三、无约束优化问题的极值条件 四、凸集、凸函数与凸规划 五、等式约束优化问题的极值条件 六、不等式约束优化问题的极值条件
机械优化设计
一、多元函数的方向导数和梯度
1、方向导数
二元函数 f (x1, x2 )在 x0 x10, x20 点处的偏导数的定义是：
f (X ) b
(3) f (X ) X T X
f (X ) 2X
(4) Q为对称矩阵，f (X ) X TQX f (X ) 2QX
二次型
机械优化设计
二、多元函数的泰勒展开
1、一元函数
f x 在 x x0 点处的泰勒展开为：
f
x
f
x0
f
x0 x
1 2
f
x0 x2
其中 x x x0, x2 x x0 2
机械优化设计 2、二元函数
二元函数 f (x) 在 x0 (x10 , x20 )点处的泰勒展开式为：
f
x1, x2
f
(x10 , x20 )
f x1
x1
x0
f x2
x2
x0
1
2
f
2! x12
x0
x12
2
2 f x1x2
x0
x1x2
2 f x22
x22 ...
x0
其中： x1 x1 x10 , x2 x2 x20
n i 1
f xi
x0
c ຫໍສະໝຸດ Baidus i
f (x0 )T d
f (x0 )
cos(f , d )
机械优化设计
多元函数的梯度的模：
f (x0 )
[
n
( f
2
)
]1/ 2
i1 xi x0
函数的梯度方向与函数的等值面相垂直，也 就是和等值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处 的最大变化率是不同的。因此，梯度是函数的一 种局部性质。
机械优化设计 上式写成矩阵形式：
f (x)
f
( x0
)
f x1
1 2
x1
2 f
x2
x12 2 f
x1x2
f x2
x0
x1 x2
2 f
x1x2
2 f
x1 x2
x22 x0
机械优化设计
2 f
令
G(
x0
)
x12 2 f
x2x1
上式可写成
2 f
x1x2
2 f
处的梯度。
解：
f
f
(x)
x1 f
2x1
2x2
4
x2
在点 3,2T 处的梯度为：
f
( x1
)
2x1
2x2
4
2 4
机械优化设计
例2：试求二次函数 f x1, x2 3x12 4x1x2 x22在点 x0 0,1 T
处的最速下降方向，并求沿这个方向移动一个单位长 度后新点的目标函数值。
f lim f (x10 x1, x20 ) f x10 , x20
x1 x0
x1 0
x1
f lim f (x10 , x20 x2 ) f x10 , x20
x2 x0
x2 0
x2
d 二元函数 f (x1, x2 ) 在 x0 x10, x20 点处沿某一方向
的变化率，其定义为
X20
θ2
X0
△d △X2 △X1
θ1
O
X10
X1
图1 二维空间中的方向
机械优化设计
n元函数在点x0处沿d方向的方向导数
f d
x0
f x1
x0
cos1
f x2
x0
cos2
f x1
xn
cosn
n i 1
f xi
x0
cosi
机械优化设计
2、二元函数的梯度
f d
x0
f x1
cos 1 +
x0
f x2
机械优化设计
梯度的两个重要性质：
① 函数在某点的梯度不为零，则必与过该点的等值面垂 直（即为过点的等值线的法线方向）； ② 梯度方向具有最大变化率方向
正梯度方向是函数值最速上升的方向， 负梯度方向是函数值最速下降的方向。
机械优化设计
例1：求二次函数 f x1, x2 x12 x22 4x1 4 在点 3,2T
x22 x0
x
x1 x2
f
x
f x0 f
x0 T x
1 2
xT
Gx0
x
Gx0 称为函数 f x1, x2 在 x0 (x10 , x20 ) 点处的
海赛（Hessian）矩阵
参见教材例题P30
机械优化设计
2 f
G ( x0
)
x12 2 f
x2x1
2 f
x1x2
2 f
x22
解：
f x1
6 x1
4x2
f x2 4x1 2x2
则函数在 x0 [0,1]T 处的最速下降方向为
P
f
(
x
0
)
f
x1 f
6x1 4x2
4x1 2x2
x10
4 2
x2 x10
x2 1
x2 1
机械优化设计
该方向上的单位向量为
e f (x0 ) f (x0 )