现代设计理论与方法(优化设计第二章)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0
明 德 任 责 致 知 力 行
cos1 d cos 2
梯度
f d
f ( x0 )T d f ( x0 ) cos(f , d )
x0
当梯度方向和d方向重合时，方向导数值最大， 即梯度方向是函数值变化最快方向，而梯度的模就 是函数值变化率的最大值。
f d
det(G) 0
矩阵负定的充要条件：矩阵G的
奇数阶主子式 det(G ) 0
偶数阶主子式
德 任 责
det(G) 0
海赛矩阵的正定性：
G ( x ) 正定-----x G ( x ) 负定-----
x
致 为全局极小值点的充分条件 知 为全局极大值点的充分条件 力 行
6 3 1 例3 判定矩阵 G 3 2 0 是否正定？ 1 0 4
f f cos 2 , x1 x2 x x0 0
cos 1 cos 2
f T x 1 f , f f ( x0 ) f x1 x2 x0 x 2 x
f 6 x1 4 x2 f 4 x 2 x 1 2 x1 x2
则函数在
任 责 致 知 力 行
x 0 [0,1]T 处的最速下降方向为
f x 6 x1 4 x2 4 0 1 P f ( x ) x 0 2 f 4 x1 2 x2 1 x2 1 x2 x1 0
f ( x0 )T d f ( x0 ) cos(f , d )
x0
明 德 任 责 致 知 力 行
梯度的模：
f f f ( x0 ) x x 1 2
2
2
多元函数的梯度
f x 1 f f f ( x0 ) x2 x1 f xn x
其中
明 德 任 责 致 知 力 行
x x x0 , x x x0
2
2
2、二元函数
明 二元函数 f (x) 在 x0 ( x10 , x20 ) 点处的泰勒展开式为： 德 任 f f f x1 , x2 f ( x10 , x20 ) x1 x 2 责 x x
矩阵形式
f x xT Gx
G -----对称矩阵
力 行
正定矩阵
当对任何非零向量x使
f x x Gx 0
T
明 德 任 责 致 知 力 行
则二次型函数正定，G为正定矩阵。
海赛矩阵的特征：是实对称矩阵。 4、海赛矩阵与正定 主子式 矩阵正定的充要条件：矩阵G的各阶顺序主子式为正，即明
解：该对称矩阵的三个主子式依次为：
明 德 任 责 致 知 力 行
6 60
6 3
3 2
6 30 3 1
3 1 2 0 0 10 0 4
故可知矩阵G是正定的。
1 T f 定理：若二次函数 ( X ) X QX bX c 中Q正定，则 2 明 它的等值面是同心椭球面族，且中心为 X Q 1b
上式可写成
2 f x1x2 2 f 2 x2 x
x1 x x 2
0
明 德 任 责 致 知 力 行
f x f x0 f x0
T
1 T x x Gx0 x 2
G x0 称为函数 f x , x 在 x ( x , x ) 点处的 1 2 0 10 20
n元函数在点x0处沿d方向的方向导数
f d
n
x0
f x1
x0
f cos1 x2
x0
f cos 2 x1
cos n
xn
明 德 任 责 致 知 力 行
f i 1 xi
cos i
x0
2、二元函数的梯度
f d
令
x0
f x1
x0
f cos 1 + x2
证明：作变换 X Y Q b 式中： (Y ) f (Y Q 1b)
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
德 任 责 致 知 力 行
若将函数的泰勒展开式只取到线性项，即取
z x f x0 f x0 ( x x0 )
T
则 z x 是过点 切的切平面。
x0
和函数
f x
所代表的超曲面相
明 德 任 责
致 若将函数的泰勒展开式取到二次项时，则得到二次函数形 式，在线性代数中将二次齐次函数称为二次型。 知
x0
f ( x10 x1 , x20 x2 ) f x10 , x20
+
d 0
f x1
cos 1
x0
f x2
d
cos 2
x0
X2
X20 θ2 θ1 O X10 X0
d
△d △X 2
明 德 任 责 致 知 力 行
偏导数与方向 导数的关系
△X1
X1
图1 二维空间中的方向
明 德 任 责 致 知 力 行
2 f x1 , x2 x12 x2 4 x1 4 在点 3,2 T 例1：求二次函数
f x 2 x1 4 解： f ( x ) 1 f 2 x2 x2
在点
处的梯度。
明 德 任 责 致 知 力 行
3,2
T
处的梯度为：
2 x1 4 2 f ( x1 ) 4 2 x2
2 f x1 , x2 3x12 4 x1 x2 x2 在点 x 0 0,1T 例2：试求二次函数 处的最速下降方向，并求沿这个方向移动一个单位长 明 度后新点的目标函数值。 德 解：
0
f x2
f xn x
T
0
明 德 任 责 致 知 力 行
f d
x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
n 2
明 德 任 责
函数的梯度方向与函数的等值面相垂直，也就是和等 值面上过x0的一切曲线相垂直。 由于梯度的模因点而异，即函数在不同点处的最大变致 化率是不同的。因此，梯度是函数的一种局部性质。 知
力 行
梯度的两个重要性质： ① 梯度与切平面垂直。 ② 梯度方向具有最大变化率方向 正梯度方向是函数值最速上升的方向， 负梯度方向是函数值最速下降的方向。
现代设计理论与方法（优化设计） 第二章 优化数学基础
致明 知德 力任 行责
Kunming University of Science and Technology
Faculty of Mechanical and Electrical Engineering
机电学院 刘孝保
目
录
第一节 多元函数的方向导数和梯度
明 德 任 责 致 知 力 行
f f x2 x1 x1x2
2 2
所以 G ( x0 )矩阵为对阵方阵。
3、多元函数 泰勒展开式 其中：梯度 海赛矩阵
f x f x0 f x0
f f ( x0 ) x1 f x2
T
1 T x x Gx0 明 x 2
该点函数值
明 德 任 责 致 知 力 行
f ( x ) 3x 4 x1 x2 x
1 2 1
2 2 x1
26 2 5 5
常用梯度公式：
注意：梯度为向量
(1) (2) (3) (4)
f ( X ) C (常数) f ( X ) bT X f (X ) X T X
f (X ) 0 f ( X ) b f ( X ) 2 X
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
海赛（Hessian）矩阵
2 f x12 G ( x0 ) 2 f x x 2 1
2 f x1x2 2 f 2 x2
海赛矩阵是由函数 f ( x1 , x2 ) 在点 x0 处的二阶偏导数组成 的方阵。由于函数的二次连续性，有：
明 二元函数 f ( x , x )在 x0 x10 , x20 点处的偏导数的定义是： 德 任 f ( x10 x1 , x20 ) f x10 , x20 f lim 责 x1 x x 0 x1
1 2
1 0
二元函数 f ( x1 , x2 ) 在 x0 x10 , x20 点处沿某一方向 d 的变化率，其定义为
T
f xn x
0
2 f x12 2 f G ( x0 ) x2 x1 2 f x x n 1
2 f x1x2 2 f 2 x2 2 f xn x2
2 f x1xn 2 f x2 xn 2 f 2 xn
第二节 多元函数的泰勒展开
第 二 章 优 化 设 计 的 数 学 基 础
1 2 3 4 5 6
第三节 无约束优化问题的极值条件
第四节 凸集、凸函数与凸规划
明 德 任 ຫໍສະໝຸດ Baidu 致 知 力 行
第五节 等式约束优化问题的极值条件 第六节 不等式约束优化问题的极值条件
第一节 多元函数的方向导数和梯度
1、方向导数
f x2
lim
x0
f ( x10 , x20 x2 ) f x10 , x20 x2
x2 0
f d
lim
x0
f ( x10 x1 , x20 x2 ) f x10 , x20 d
d 0
致 知 力 行
方向导数
f d
=
lim
1 x0 2 x0
1 2 f 2 2! x1
其中：
x0
2 f x12 2 x1x2
x0
2 f x1x2 2 x2
x ... x0
2 2
x1 x1 x10 , x2 x2 x20
致 知 力 行
上式写成矩阵形式：
f f ( x ) f ( x0 ) x1 1 x1 2 2 f 2 x1 x2 2 f x x 1 2
明 德 任 责 致 知 力 行
cos1 d cos 2
梯度
f d
f ( x0 )T d f ( x0 ) cos(f , d )
x0
当梯度方向和d方向重合时，方向导数值最大， 即梯度方向是函数值变化最快方向，而梯度的模就 是函数值变化率的最大值。
f d
det(G) 0
矩阵负定的充要条件：矩阵G的
奇数阶主子式 det(G ) 0
偶数阶主子式
德 任 责
det(G) 0
海赛矩阵的正定性：
G ( x ) 正定-----x G ( x ) 负定-----
x
致 为全局极小值点的充分条件 知 为全局极大值点的充分条件 力 行
6 3 1 例3 判定矩阵 G 3 2 0 是否正定？ 1 0 4
f f cos 2 , x1 x2 x x0 0
cos 1 cos 2
f T x 1 f , f f ( x0 ) f x1 x2 x0 x 2 x
f 6 x1 4 x2 f 4 x 2 x 1 2 x1 x2
则函数在
任 责 致 知 力 行
x 0 [0,1]T 处的最速下降方向为
f x 6 x1 4 x2 4 0 1 P f ( x ) x 0 2 f 4 x1 2 x2 1 x2 1 x2 x1 0
f ( x0 )T d f ( x0 ) cos(f , d )
x0
明 德 任 责 致 知 力 行
梯度的模：
f f f ( x0 ) x x 1 2
2
2
多元函数的梯度
f x 1 f f f ( x0 ) x2 x1 f xn x
其中
明 德 任 责 致 知 力 行
x x x0 , x x x0
2
2
2、二元函数
明 二元函数 f (x) 在 x0 ( x10 , x20 ) 点处的泰勒展开式为： 德 任 f f f x1 , x2 f ( x10 , x20 ) x1 x 2 责 x x
矩阵形式
f x xT Gx
G -----对称矩阵
力 行
正定矩阵
当对任何非零向量x使
f x x Gx 0
T
明 德 任 责 致 知 力 行
则二次型函数正定，G为正定矩阵。
海赛矩阵的特征：是实对称矩阵。 4、海赛矩阵与正定 主子式 矩阵正定的充要条件：矩阵G的各阶顺序主子式为正，即明
解：该对称矩阵的三个主子式依次为：
明 德 任 责 致 知 力 行
6 60
6 3
3 2
6 30 3 1
3 1 2 0 0 10 0 4
故可知矩阵G是正定的。
1 T f 定理：若二次函数 ( X ) X QX bX c 中Q正定，则 2 明 它的等值面是同心椭球面族，且中心为 X Q 1b
上式可写成
2 f x1x2 2 f 2 x2 x
x1 x x 2
0
明 德 任 责 致 知 力 行
f x f x0 f x0
T
1 T x x Gx0 x 2
G x0 称为函数 f x , x 在 x ( x , x ) 点处的 1 2 0 10 20
n元函数在点x0处沿d方向的方向导数
f d
n
x0
f x1
x0
f cos1 x2
x0
f cos 2 x1
cos n
xn
明 德 任 责 致 知 力 行
f i 1 xi
cos i
x0
2、二元函数的梯度
f d
令
x0
f x1
x0
f cos 1 + x2
证明：作变换 X Y Q b 式中： (Y ) f (Y Q 1b)
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
德 任 责 致 知 力 行
若将函数的泰勒展开式只取到线性项，即取
z x f x0 f x0 ( x x0 )
T
则 z x 是过点 切的切平面。
x0
和函数
f x
所代表的超曲面相
明 德 任 责
致 若将函数的泰勒展开式取到二次项时，则得到二次函数形 式，在线性代数中将二次齐次函数称为二次型。 知
x0
f ( x10 x1 , x20 x2 ) f x10 , x20
+
d 0
f x1
cos 1
x0
f x2
d
cos 2
x0
X2
X20 θ2 θ1 O X10 X0
d
△d △X 2
明 德 任 责 致 知 力 行
偏导数与方向 导数的关系
△X1
X1
图1 二维空间中的方向
明 德 任 责 致 知 力 行
2 f x1 , x2 x12 x2 4 x1 4 在点 3,2 T 例1：求二次函数
f x 2 x1 4 解： f ( x ) 1 f 2 x2 x2
在点
处的梯度。
明 德 任 责 致 知 力 行
3,2
T
处的梯度为：
2 x1 4 2 f ( x1 ) 4 2 x2
2 f x1 , x2 3x12 4 x1 x2 x2 在点 x 0 0,1T 例2：试求二次函数 处的最速下降方向，并求沿这个方向移动一个单位长 明 度后新点的目标函数值。 德 解：
0
f x2
f xn x
T
0
明 德 任 责 致 知 力 行
f d
x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
n 2
明 德 任 责
函数的梯度方向与函数的等值面相垂直，也就是和等 值面上过x0的一切曲线相垂直。 由于梯度的模因点而异，即函数在不同点处的最大变致 化率是不同的。因此，梯度是函数的一种局部性质。 知
力 行
梯度的两个重要性质： ① 梯度与切平面垂直。 ② 梯度方向具有最大变化率方向 正梯度方向是函数值最速上升的方向， 负梯度方向是函数值最速下降的方向。
现代设计理论与方法（优化设计） 第二章 优化数学基础
致明 知德 力任 行责
Kunming University of Science and Technology
Faculty of Mechanical and Electrical Engineering
机电学院 刘孝保
目
录
第一节 多元函数的方向导数和梯度
明 德 任 责 致 知 力 行
f f x2 x1 x1x2
2 2
所以 G ( x0 )矩阵为对阵方阵。
3、多元函数 泰勒展开式 其中：梯度 海赛矩阵
f x f x0 f x0
f f ( x0 ) x1 f x2
T
1 T x x Gx0 明 x 2
该点函数值
明 德 任 责 致 知 力 行
f ( x ) 3x 4 x1 x2 x
1 2 1
2 2 x1
26 2 5 5
常用梯度公式：
注意：梯度为向量
(1) (2) (3) (4)
f ( X ) C (常数) f ( X ) bT X f (X ) X T X
f (X ) 0 f ( X ) b f ( X ) 2 X
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
海赛（Hessian）矩阵
2 f x12 G ( x0 ) 2 f x x 2 1
2 f x1x2 2 f 2 x2
海赛矩阵是由函数 f ( x1 , x2 ) 在点 x0 处的二阶偏导数组成 的方阵。由于函数的二次连续性，有：
明 二元函数 f ( x , x )在 x0 x10 , x20 点处的偏导数的定义是： 德 任 f ( x10 x1 , x20 ) f x10 , x20 f lim 责 x1 x x 0 x1
1 2
1 0
二元函数 f ( x1 , x2 ) 在 x0 x10 , x20 点处沿某一方向 d 的变化率，其定义为
T
f xn x
0
2 f x12 2 f G ( x0 ) x2 x1 2 f x x n 1
2 f x1x2 2 f 2 x2 2 f xn x2
2 f x1xn 2 f x2 xn 2 f 2 xn
第二节 多元函数的泰勒展开
第 二 章 优 化 设 计 的 数 学 基 础
1 2 3 4 5 6
第三节 无约束优化问题的极值条件
第四节 凸集、凸函数与凸规划
明 德 任 ຫໍສະໝຸດ Baidu 致 知 力 行
第五节 等式约束优化问题的极值条件 第六节 不等式约束优化问题的极值条件
第一节 多元函数的方向导数和梯度
1、方向导数
f x2
lim
x0
f ( x10 , x20 x2 ) f x10 , x20 x2
x2 0
f d
lim
x0
f ( x10 x1 , x20 x2 ) f x10 , x20 d
d 0
致 知 力 行
方向导数
f d
=
lim
1 x0 2 x0
1 2 f 2 2! x1
其中：
x0
2 f x12 2 x1x2
x0
2 f x1x2 2 x2
x ... x0
2 2
x1 x1 x10 , x2 x2 x20
致 知 力 行
上式写成矩阵形式：
f f ( x ) f ( x0 ) x1 1 x1 2 2 f 2 x1 x2 2 f x x 1 2