第二章 优化设计基础
合集下载
02-优化的设计数学基础
22
2.7 最优解与最优解条件
1.无约束优化设计问题的最优解条件
无约束优化问题的最优解的实质是求目 标函数的最 min f (X ) f (X *) X En
小值:
对一维问题
数x*等为于极零值的点ff ''的'((xx**)必)00要极条大件点 f’(x)=0。一阶导
点为驻点，极f '值'(x*点) 是0 极驻小点点 ，但驻点不一定
1
2
x1
x1(k ) ,
x2
x2(k ) ,,
xn
x(k) n
2 f (X (k x12
2 f (X (k x2x1
) )
) )
, ,
2 f (X (k x1x2 2 f (X (k
x22
) )
) )
,, ,,
2 f (X (k x1xn 2 f (X (k x2xn
) )
) )
x1 x2
x(k) 1
x(k) 2
.
2 f (X (k))
xnx1
,
2 f (X (k)) xnx2
,,
2
f (X xn2
(
k
)
)
xn
xn(k )
f ( X (k) ) f ( X (k) )T ( X X (k) ) 1 ( X X (k) )T 2 f ( X (k) )(X X (k) ) 2
2 f (X (k x2x1
)
)
,
2
f (X x22
(k
)
)
,,
2 f (X (k x2xn
)
)
,,
2 f (X (k)
机械优化设计总复习
机械优化设计总复习
1
第一章 机械优化设计的基本概念和理论
机械优化设计过程包括： (1) 将实际问题加以数学描述，形成数学模型； (2) 选用适当的一种最优化数值方法和计算程序运
算求解。
2
• 建立最优化问题数学模型的三要素：
• （1）设计变量和参数。
•
设计变量是由数学模型的解确定的未知数。
• （2）约束或限制条件。
解析解法 图解法 数值解法
8
第二章 优化设计的数学基础
多元函数的梯度
f
x1
f
X
f xf2
f X
x1
xn
f X
x2
f X
xn
T
9
例1：求二次函数 fx 1 , x 2 x 1 2 x 2 2 4 x 1 4 在点 3,2T
处的梯度。
解：
f
f
(
x)
x1 f
x2x1
2 f
xn
x1
2 f
x1x2
2 f x22
2 f xnx2
2 f
x1xn
2 f
x2xn
2 f
xn2
x
海色（Hessian）矩阵 H ( x ) 正定，即各阶主 子式均大于零，则X*为极小点。
15
4、凸规划
对于约束优化问题
min f X
s .t . gj X 0 (j1,2,3,,m) 若 f X g j X 都为凸函数，
则称此问题为凸规划。
16
六、不等式约束优化问题的极值条件
对于多元函数不等式的约束优化取得极值的条 件：
库恩—塔克条件
f x m xi j 1
1
第一章 机械优化设计的基本概念和理论
机械优化设计过程包括： (1) 将实际问题加以数学描述，形成数学模型； (2) 选用适当的一种最优化数值方法和计算程序运
算求解。
2
• 建立最优化问题数学模型的三要素：
• （1）设计变量和参数。
•
设计变量是由数学模型的解确定的未知数。
• （2）约束或限制条件。
解析解法 图解法 数值解法
8
第二章 优化设计的数学基础
多元函数的梯度
f
x1
f
X
f xf2
f X
x1
xn
f X
x2
f X
xn
T
9
例1：求二次函数 fx 1 , x 2 x 1 2 x 2 2 4 x 1 4 在点 3,2T
处的梯度。
解：
f
f
(
x)
x1 f
x2x1
2 f
xn
x1
2 f
x1x2
2 f x22
2 f xnx2
2 f
x1xn
2 f
x2xn
2 f
xn2
x
海色（Hessian）矩阵 H ( x ) 正定，即各阶主 子式均大于零，则X*为极小点。
15
4、凸规划
对于约束优化问题
min f X
s .t . gj X 0 (j1,2,3,,m) 若 f X g j X 都为凸函数，
则称此问题为凸规划。
16
六、不等式约束优化问题的极值条件
对于多元函数不等式的约束优化取得极值的条 件：
库恩—塔克条件
f x m xi j 1
现代设计理论与方法(优化设计第二章)
证明：作变换 X Y Q b 式中： (Y ) f (Y Q 1b)
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
1
致 1 结论：Q为正定矩阵的二次型 Y QY 的等值面是以 Y 0知 2 的同心椭球面族。原二次函数就是以 X Q b 为中 力 行 心的同心椭球面族，椭圆中心为极小值点。
0
f x2
f xn x
T
0
明 德x0
f i 1 xi
n
cos i f ( x0 )T d f ( x0 ) cos(f , d )
x0
多元函数的梯度的模：
f 1/ 2 f ( x0 ) [ ( ) ] i 1 xi x0
x2 1
该方向上的单位向量为
4 2 2 5 0 5 f ( x ) e 0 2 2 1 f ( x ) 4 (2) 5 5
2 2 1 0 5 5 5 5 新点 x x1 x 0 e 1 1 1 5 1 5 5 5
明 德 任 责
Q为对称矩阵，f ( X ) X T QX
二次型
f ( X ) 致 2QX
知 力 行
第二节 多元函数的泰勒展开
1、一元函数
f x 在
x x0
点处的泰勒展开为：
1 x0 x f x0 x 2 f x f x0 f 2
f x1 x x2 x 2 0
2 f x1x2 x1 2 x f 2 致 2 知 x2 x
0
明 德 任 责
力 行
2 f x12 令 G ( x0 ) 2 f x x 2 1
第2章 优化方法的数学基础
X ∈ D 对满足 ,
F ( X ) ( X X * ) ≥ 0
*
T
注意: 注意:
不论是无约束或有约束的优化问题,在实际应用中, 不论是无约束或有约束的优化问题,在实际应用中,要证明一个 优化问题是否为凸规划,一般比较困难, 优化问题是否为凸规划,一般比较困难,有时甚至比求解优化问题本 身还要麻烦.尤其对一些工程问题,由于其数学模型的性态都比较复 身还要麻烦.尤其对一些工程问题, 杂,更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 而通常是从几个初始点出发,找出几个局部最优解, 而通常是从几个初始点出发,找出几个局部最优解,从中选择目标函 数值最好的解. 数值最好的解.
2 2
设: 则有
cos θ1 s≡ 为单位向量. 为单位向量. cos θ 2 F = F ( x0 )T s = F ( x0 ) cos(F , s ) x s 0
梯度方向是函数值变化最快的方向,而梯度的模 梯度方向是函数值变化最快的方向, 就是函数变化率的最大值 .
x2 x0
-f(x0) 最速下降方向 下降方向 变化率为零的方向 上升方向 f(x 0) 最速上升方向
凸规划的一些性质: 凸规划的一些性质: 1)可行域 D = X g j ( X ) ≤ 0
{
j = 1, 2, , m
}
为凸集; 为凸集;
2)凸规划问题中的任何局部最优解都是全局最优解; 凸规划问题中的任何局部最优解都是全局最优解; 为凸规划问题 最优解的充分必要条件 规划问题的 可微, 3 ) 若 F ( X ) 可微 , 则 X* 为凸规划问题的 最优解的充分必要条件 为: 对任意
0
机械优化设计方法-
其极小点在目标函数等值面的中心。
约束优化: 在可行域内对设计变量求目标函数 的极小点。 其极小点在可行域内或在可行域边界上。
第四节优化设计问题的基本解法
求解优化问题的方法:
解析法
数学模型复杂时不便求解
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
图1-11 寻求极值点的搜索过程
A TDh
钢管的临界应力 e
Fe A
2E T 2 D2
8 B2 h2
强度约束条件 x y 可以写成 1 F B2 h2 2 TDh y
稳定约束条件 x e 可以写成
1
F B2 h2 2 2E T 2 D2
TDh
,
,...
x1
x2
xn
沿d方向的方向向量
cos1
d
cos
2
...
cos
n
即
f d
x0
f
x 0 T
d
f x 0 T
cosf ,d
图2-5 梯度方向与等值面的关系
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数, 则极值点 的必要条件一阶偏导数等于零, 即
第二章 优化设计的数学基础
机械设计问题一般是非线性规划问题。
实质上是多元非线性函数的极小化问题, 因此, 机械优化设计是建立在多元函数的极值理论 基础上的。
机械优化设计问题分为:
无约束优化 无条件极值问题
约束优化
条件极值问题
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
f x* 0
满足此条件仅表明该点为驻点, 不能肯定为极值 点, 即使为极值点, 也不能判断为极大点还是极 小点, 还得给出极值点的充分条件
约束优化: 在可行域内对设计变量求目标函数 的极小点。 其极小点在可行域内或在可行域边界上。
第四节优化设计问题的基本解法
求解优化问题的方法:
解析法
数学模型复杂时不便求解
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
图1-11 寻求极值点的搜索过程
A TDh
钢管的临界应力 e
Fe A
2E T 2 D2
8 B2 h2
强度约束条件 x y 可以写成 1 F B2 h2 2 TDh y
稳定约束条件 x e 可以写成
1
F B2 h2 2 2E T 2 D2
TDh
,
,...
x1
x2
xn
沿d方向的方向向量
cos1
d
cos
2
...
cos
n
即
f d
x0
f
x 0 T
d
f x 0 T
cosf ,d
图2-5 梯度方向与等值面的关系
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数, 则极值点 的必要条件一阶偏导数等于零, 即
第二章 优化设计的数学基础
机械设计问题一般是非线性规划问题。
实质上是多元非线性函数的极小化问题, 因此, 机械优化设计是建立在多元函数的极值理论 基础上的。
机械优化设计问题分为:
无约束优化 无条件极值问题
约束优化
条件极值问题
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
f x* 0
满足此条件仅表明该点为驻点, 不能肯定为极值 点, 即使为极值点, 也不能判断为极大点还是极 小点, 还得给出极值点的充分条件
第二章_一维优化方法
（1）将设计问题的物理模型转化为数学模型，
建立数学模型时要选取设计变量、列出目标函 数，给出约束条件，目标函数是设计问题所要 求的最优化指标与设计变量之间的函数关系式。 （2）采用最适当的最优化方法，求解数学模 型。可归结为在给定的条件（例如约束条件） 下求目标函数的极值或最优化值问题。
1、设计变量：在设计过程中进行选择并 最终必须确定的各项独立参数（变量） 如结构的总体尺寸、零件的几何尺寸、 物理特性等 A:表示 N维设计变量可表示为X
X x1 , x2 ,..., xn
T
X R
n
B维数：设计变量的数目称为最优化设计维数 C：Rn表示设计变量存在的空间 既以n个独立变量为坐标轴组成的n维向量 空间是一个n 维实空间 D设计空间：每一个分量都是互相独立的，所 有各个分量构成了一个空间，即各设计变量的 坐标轴所描述的空间称之为设计空间 E超越空间： n》3时是用图很难表达的空间为
最优方案 最优值
X [ x1 , x2 ,..., x x ] F (X *)
* * * * T
例:某车间生产甲、乙两种产品。生产甲种产
品每件需要用材料9kg、3个工时、4kw电， 可获利60元。生产乙种产品每件需要用材料 4kg、10个工时、5kw电，可获利120元。若 每天能供应材料360kg、有300个工时、能供 200kw电，问每天生产甲、乙两种产品各多 少件，才能够获得最大的利润。
数学基础： 梯度 Hessian 海赛矩阵 函数的凸集与凸函数 在优化设计中应注意局部区域的极小点并不一 定就是整个可行域的最优点（最大值或最小 值）。在整个可行域中对任一x都有 f x f x 时，x就是全域最优点或整体最优点，如果x是 局部可行域中有极小值时，称局部或相对最优 点，函数的凸性表现为单峰性。
机械优化设计第二章
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
二次n维函数用向量和矩阵的表示方法：
若f ( x)是n维函数，则可按下式化为向量及矩阵形式： f ( x) f ( x1 , x2 , , xn ) aij xi x j bk xk c
i 1 j 1 k 1 n n n
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。 二元函数的偏导数： 一个二元函数f ( x1 , x2 )在点x0 ( x10 , x20 )处的偏导数是
f x1 f x2 f x10 x1 , x20 f x10 , x20 lim x1 0 x1 f x10 , x20 x2 f x10 , x20 lim x2 0 x2
向量d1的方向为：1 2 向量d 2的方向为：1
4
，
3
， 2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f T x f f 梯度： 二元函数f ( x1 , x2 )在点x0处的梯度是f ( x 0 ) 1 , f x1 x2 x0 x 2 x
d 0
偏导数与方向导数之间的数量关系：
f d lim
x0
f x10 x1 , x20 x2 f x10 , x20 d
d 0
lim lim f x1
d 0
f x10 x1 , x20 x2 f ( x10 x1 , x20 ) x2 x2 cos 1
机械优化设计第二五讲讲课文档
按二阶偏导数判断凸性：设 f(x) 是定义在凸集D上具有连续二阶导数的函数，则 f(x)在D上为凸函数的充要条件是：f(x)的Hesse矩阵处处半正定。若Hesse矩阵处 处正定，则f(x)为严格凸函数。
现在十九页，总共五十二页。
目标函数是非凸函数（图 a），或可行域是非凸集（图 b）：
g( p)
现在十七页，总共五十二页。
第二章 优化设计的数学基础
现在十八页，总共五十二页。
第二章 优化设计的数学基础
凸函数的基本性质：
若f(x)是定义在凸集D上的严格凸函数，则f(x)在D上的一个极小点， 也就
是全局最小点。 凸函数的线性组合仍然为凸函数。
设x(1), x(2)为凸函数 f(x)上的两个最小点，则其连线上的任意点也都是最小点。
偶数阶主子式都大于0； H是半正定矩阵的充要条件是它的所有主子式都大于等于0； H是半负定矩阵的充要条件是它的所有奇数阶主子式都小于等于0，并且它的
所有偶数阶主子式都大于等于0；
Hesse 矩阵的正定性： H(x*)正定， 是 x* 为全局极小值点的充分条件； H(x*)半正定, 是 x* 为局部极小值点的充分条件； H(x*)负定， 是 x* 为全局极大值点的充分条件； H(x*)半负定, 是 x* 为局部极大值点的充分条件。
凸性函数的判定（判别函数为凸函数的条件）
按梯度判断凸性：设f(x)是定义在凸集 D上具有连续一阶导数的函数，则f(x) 在D上为凸函数的充要条件是：对于任意的 x(1),x(2)∈D 都有
成立f ( 。x ( 2 ) ) f ( x ( 1 ) ) [ f ( x ( 1 ) ) T [ x ] ( 2 ) x ( 1 ) ]
2 0
0 2
x22
现在十九页，总共五十二页。
目标函数是非凸函数（图 a），或可行域是非凸集（图 b）：
g( p)
现在十七页，总共五十二页。
第二章 优化设计的数学基础
现在十八页，总共五十二页。
第二章 优化设计的数学基础
凸函数的基本性质：
若f(x)是定义在凸集D上的严格凸函数，则f(x)在D上的一个极小点， 也就
是全局最小点。 凸函数的线性组合仍然为凸函数。
设x(1), x(2)为凸函数 f(x)上的两个最小点，则其连线上的任意点也都是最小点。
偶数阶主子式都大于0； H是半正定矩阵的充要条件是它的所有主子式都大于等于0； H是半负定矩阵的充要条件是它的所有奇数阶主子式都小于等于0，并且它的
所有偶数阶主子式都大于等于0；
Hesse 矩阵的正定性： H(x*)正定， 是 x* 为全局极小值点的充分条件； H(x*)半正定, 是 x* 为局部极小值点的充分条件； H(x*)负定， 是 x* 为全局极大值点的充分条件； H(x*)半负定, 是 x* 为局部极大值点的充分条件。
凸性函数的判定（判别函数为凸函数的条件）
按梯度判断凸性：设f(x)是定义在凸集 D上具有连续一阶导数的函数，则f(x) 在D上为凸函数的充要条件是：对于任意的 x(1),x(2)∈D 都有
成立f ( 。x ( 2 ) ) f ( x ( 1 ) ) [ f ( x ( 1 ) ) T [ x ] ( 2 ) x ( 1 ) ]
2 0
0 2
x22
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 例：证明函数f ( x) x14 2 x12 x2 x12 x2 4 x1 5在
点（2,4）处具有极小值。
第二章 优化设计的数学基础
第四节 凸集、凸函数和凸规划
全局极值点（最优点）：
当极值点x*能使f（x*）在整个可行域中为最小值（最大 值）时，即在整个可行域中对任一 x都有f（x）≥f（x*） （或者f（x）≤f（x*） ）时，则x* 就是全局极小点（全局极 大点）。
第二章 优化设计的数学基础
第四节 凸集、凸函数和凸规划
局部极值点（相对极值点）：
若f（x*）为局部可行域中的极小值（极大值）而不 是整个可行域中的最小值（或最大值）时，则称x*为局 部极小点（局部极大点）。
第二章 优化设计的数学基础
第四节 凸集、凸函数和凸规划
函数的凸性（单峰性）：
一个下凸的函数，它的极值点只有一个，并且该点既 是局部极值点也是全局极值点，我们就称这个函数具有 凸性。
G x0
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
正定矩阵：
T 如果对于任意 x 0，有二次型 x Ax 0成立，则矩阵A为正定矩阵； T 若二次型 x Ax 0，则矩阵A为半正定矩阵； T 相反，如果对于任意 x 0，有 x Ax 0，则矩阵A负定。
必 要 条 件 充 分 条 件
* 海赛矩阵G x 正定（负定）， * 即G x 的各阶主子式均大于零（或负、正相间）
第二章 优化设计的数学基础
第三节 无约束优化问题的极值条件
多元函数f ( x) f ( x1 , x2 , , xn )在 * 点x ( x1 , x2 , , xn )T 处取得 极小值的充要条件是： 函数在该点的梯度为0， * 且海赛矩阵G x 正定， * 即G x 的各阶主子式均大于零。
* * * f (x ) f (x ) f (x ) 0, 0, , 0， x1 x2 xn * T * f ( x* ) f ( x* ) f (x ) 即梯度f ( x ) , , , 0 x1 x2 xn
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
矩阵正定与负定的判定：
正定：矩阵A正定的条件是A的各阶主子式大于零； 负定：矩阵A负定的条件是各阶主子式负、正相间。
第二章 优化设计的数学基础
第三节 无约束优化问题的极值条件
* 多元函数f ( x) f ( x1 , x2 ,, xn )在点x ( x1 , x2 , , xn ) T 处取得极值
2 1
二元函数：
x0
x0
x0
x0
2 f x1x2 x2 2
x0
x …
2 2
其中，x1 x1 x10，x2 x2 x20
二元函数泰勒展开式的矩阵形式：
f f x f x0 x1
f x2 x
0
解：
梯度方向，用单位向量 p 表
是梯度的模 。
函数变化率最大的方向就是
f x 2 x 4 4 1 1 f ( x 0 ) f 2 x2 2 0 2 x x 2 x0 f f f ( x 0 ) 2 5 x1 x2 f ( x 0 ) p f ( x 0 ) 2 5 1 5
2 2
示，函数变化率最大的数值就
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
一 元 函 数
f ( x)在x x0点处的泰勒展开式： 1 f ( x) f ( x0 ) f '( x0 )x f ''( x0 )x 2 … 2 其中，x x x0，x 2 ( x x0 )2
x0
f x2
cos 2
x0
x2
d
x20
θ2
X0
x1
θ1
x2
o
x10
x1
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
多元函数的方向导数：
n元函数f ( x1 , x2 , …, xn )在点x 0处沿方向d的方向导数可以表示成：
n f f f cos 1 cos 2 … cos n x2 x xn x i 1 xi x0 x0 0 0 其中， i是方向d与坐标轴xi 方向之间夹角的余弦。 cos
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f T x f f 梯度： 二元函数f ( x1 , x2 )在点x0处的梯度是f ( x 0 ) 1 , f x1 x2 x0 x 2 x
工程优化设计
Mechanical optimization design
主讲：李熹平
教材：工程优化设计与MATLAB实现 清华大学出版社 联系方式：632097
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。 二元函数的偏导数： 一个二元函数f ( x1 , x2 )在点x0 ( x10 , x20 )处的偏导数是
4
，
3
， 2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f T x f f 梯度： 二元函数f ( x1 , x2 )在点x0处的梯度是f ( x 0 ) 1 , f x1 x2 x0 x 2 x
T
1 T x x G x0 x … 2
对称矩阵
G x0 是函数f ( x1 , x2 )在点x 0 ( x10 , x20 )处的海赛矩阵
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
多元函数泰勒展开式的矩阵形式：
f ( x) f x 0 f x 0
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
f ( x1 , x2 )在点x 0 ( x10 , x20 )处的泰勒展开式： f f ( x1 , x2 ) f ( x10 , x20 ) x1 f x1 x2 1 2 f x2 2 2 x1 2 f x 2 x1x2
f d
f x1
cos i
x0
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
例：设目标函数f ( x)
4 d1和d 2两个方向的方向导数。 f ( x1 , x2 )
x12 x2 , 求点x0 [1 1]T 处沿
向量d1的方向为：1 2 向量d 2的方向为：1
0
梯度的性质：
1）梯度是一个向量；
2）梯度方向是方向导数最大的方向，即函 数值变化最快（函数值变化率最大）的方向 ；
3）梯度方向是等值面（线）的法线方向 。
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
多元函数的梯度：
函数f ( x1 , x2 ,…, xn )在点x 0 ( x10 , x20 , …, xn0 )处的梯度是 f x 1 f x f 2 x1 f xn x0
f x1 f x2 f x10 x1 , x20 f x10 , x20 lim x1 0 x1 f x10 , x20 x2 f x10 , x20 lim x2 0 x2
x0
x0
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
方向导数：
称函数f ( x1 , x2 )在点x0 ( x10 , x20 )处沿某一方向d 的变化率为该函数沿此方向的方向导数， 公式可以表示为 f x10 x1 , x20 x2 f x10 , x20 f lim d x0 d 0 d
x1 1 x 2 x1 2
2 f x 2 1 x2 2 f x2 x1
2 f x1x2 2 f 2 x2 x 0
x1 x … 2
f x 0 f x 0
f x2
T
1 T x x G x0 x … 2
f f x 0 x1
f 是函数在该点的梯度 xn x0
T
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
多元函数的海赛矩阵：
2 f x 2 1 2 f x2 x1 2 f x x n 1 2 f x1x2 2 f 2 x2 2 f xn x2 2 f x1xn 2 f x2 xn 2 f 2 xn
多元函数f ( x) f ( x1 , x2 , , xn )在 * 点x ( x1 , x2 , , xn )T 处取得 极大值的充要条件是： 函数在该点的剃度为0， * 且海赛矩阵G x 负定，
即各阶主子式负、正相间。
第二章 优化设计的数学基础
第三节 无约束优化问题的极值条件
lim
f d
x0
f x1
cos 1
x0
f x2
cos 2
x0
d 0
f x10 x1 , x20 x2 f ( x10 x1 , x20 ) x2 lim d 0 x2 d f x1 cos 1
点（2,4）处具有极小值。
第二章 优化设计的数学基础
第四节 凸集、凸函数和凸规划
全局极值点（最优点）：
当极值点x*能使f（x*）在整个可行域中为最小值（最大 值）时，即在整个可行域中对任一 x都有f（x）≥f（x*） （或者f（x）≤f（x*） ）时，则x* 就是全局极小点（全局极 大点）。
第二章 优化设计的数学基础
第四节 凸集、凸函数和凸规划
局部极值点（相对极值点）：
若f（x*）为局部可行域中的极小值（极大值）而不 是整个可行域中的最小值（或最大值）时，则称x*为局 部极小点（局部极大点）。
第二章 优化设计的数学基础
第四节 凸集、凸函数和凸规划
函数的凸性（单峰性）：
一个下凸的函数，它的极值点只有一个，并且该点既 是局部极值点也是全局极值点，我们就称这个函数具有 凸性。
G x0
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
正定矩阵：
T 如果对于任意 x 0，有二次型 x Ax 0成立，则矩阵A为正定矩阵； T 若二次型 x Ax 0，则矩阵A为半正定矩阵； T 相反，如果对于任意 x 0，有 x Ax 0，则矩阵A负定。
必 要 条 件 充 分 条 件
* 海赛矩阵G x 正定（负定）， * 即G x 的各阶主子式均大于零（或负、正相间）
第二章 优化设计的数学基础
第三节 无约束优化问题的极值条件
多元函数f ( x) f ( x1 , x2 , , xn )在 * 点x ( x1 , x2 , , xn )T 处取得 极小值的充要条件是： 函数在该点的梯度为0， * 且海赛矩阵G x 正定， * 即G x 的各阶主子式均大于零。
* * * f (x ) f (x ) f (x ) 0, 0, , 0， x1 x2 xn * T * f ( x* ) f ( x* ) f (x ) 即梯度f ( x ) , , , 0 x1 x2 xn
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
矩阵正定与负定的判定：
正定：矩阵A正定的条件是A的各阶主子式大于零； 负定：矩阵A负定的条件是各阶主子式负、正相间。
第二章 优化设计的数学基础
第三节 无约束优化问题的极值条件
* 多元函数f ( x) f ( x1 , x2 ,, xn )在点x ( x1 , x2 , , xn ) T 处取得极值
2 1
二元函数：
x0
x0
x0
x0
2 f x1x2 x2 2
x0
x …
2 2
其中，x1 x1 x10，x2 x2 x20
二元函数泰勒展开式的矩阵形式：
f f x f x0 x1
f x2 x
0
解：
梯度方向，用单位向量 p 表
是梯度的模 。
函数变化率最大的方向就是
f x 2 x 4 4 1 1 f ( x 0 ) f 2 x2 2 0 2 x x 2 x0 f f f ( x 0 ) 2 5 x1 x2 f ( x 0 ) p f ( x 0 ) 2 5 1 5
2 2
示，函数变化率最大的数值就
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
一 元 函 数
f ( x)在x x0点处的泰勒展开式： 1 f ( x) f ( x0 ) f '( x0 )x f ''( x0 )x 2 … 2 其中，x x x0，x 2 ( x x0 )2
x0
f x2
cos 2
x0
x2
d
x20
θ2
X0
x1
θ1
x2
o
x10
x1
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
多元函数的方向导数：
n元函数f ( x1 , x2 , …, xn )在点x 0处沿方向d的方向导数可以表示成：
n f f f cos 1 cos 2 … cos n x2 x xn x i 1 xi x0 x0 0 0 其中， i是方向d与坐标轴xi 方向之间夹角的余弦。 cos
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f T x f f 梯度： 二元函数f ( x1 , x2 )在点x0处的梯度是f ( x 0 ) 1 , f x1 x2 x0 x 2 x
工程优化设计
Mechanical optimization design
主讲：李熹平
教材：工程优化设计与MATLAB实现 清华大学出版社 联系方式：632097
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
一个多元函数可用偏导数的概念来研究函数沿各坐标方向 的变化率。 二元函数的偏导数： 一个二元函数f ( x1 , x2 )在点x0 ( x10 , x20 )处的偏导数是
4
，
3
， 2
6
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
f T x f f 梯度： 二元函数f ( x1 , x2 )在点x0处的梯度是f ( x 0 ) 1 , f x1 x2 x0 x 2 x
T
1 T x x G x0 x … 2
对称矩阵
G x0 是函数f ( x1 , x2 )在点x 0 ( x10 , x20 )处的海赛矩阵
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
多元函数泰勒展开式的矩阵形式：
f ( x) f x 0 f x 0
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
f ( x1 , x2 )在点x 0 ( x10 , x20 )处的泰勒展开式： f f ( x1 , x2 ) f ( x10 , x20 ) x1 f x1 x2 1 2 f x2 2 2 x1 2 f x 2 x1x2
f d
f x1
cos i
x0
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
例：设目标函数f ( x)
4 d1和d 2两个方向的方向导数。 f ( x1 , x2 )
x12 x2 , 求点x0 [1 1]T 处沿
向量d1的方向为：1 2 向量d 2的方向为：1
0
梯度的性质：
1）梯度是一个向量；
2）梯度方向是方向导数最大的方向，即函 数值变化最快（函数值变化率最大）的方向 ；
3）梯度方向是等值面（线）的法线方向 。
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
多元函数的梯度：
函数f ( x1 , x2 ,…, xn )在点x 0 ( x10 , x20 , …, xn0 )处的梯度是 f x 1 f x f 2 x1 f xn x0
f x1 f x2 f x10 x1 , x20 f x10 , x20 lim x1 0 x1 f x10 , x20 x2 f x10 , x20 lim x2 0 x2
x0
x0
第二章 优化设计的数学基础
第一节 多元函数的方向导数和梯度
方向导数：
称函数f ( x1 , x2 )在点x0 ( x10 , x20 )处沿某一方向d 的变化率为该函数沿此方向的方向导数， 公式可以表示为 f x10 x1 , x20 x2 f x10 , x20 f lim d x0 d 0 d
x1 1 x 2 x1 2
2 f x 2 1 x2 2 f x2 x1
2 f x1x2 2 f 2 x2 x 0
x1 x … 2
f x 0 f x 0
f x2
T
1 T x x G x0 x … 2
f f x 0 x1
f 是函数在该点的梯度 xn x0
T
第二章 优化设计的数学基础
第二节 多元函数的泰勒展开
多元函数的海赛矩阵：
2 f x 2 1 2 f x2 x1 2 f x x n 1 2 f x1x2 2 f 2 x2 2 f xn x2 2 f x1xn 2 f x2 xn 2 f 2 xn
多元函数f ( x) f ( x1 , x2 , , xn )在 * 点x ( x1 , x2 , , xn )T 处取得 极大值的充要条件是： 函数在该点的剃度为0， * 且海赛矩阵G x 负定，
即各阶主子式负、正相间。
第二章 优化设计的数学基础
第三节 无约束优化问题的极值条件
lim
f d
x0
f x1
cos 1
x0
f x2
cos 2
x0
d 0
f x10 x1 , x20 x2 f ( x10 x1 , x20 ) x2 lim d 0 x2 d f x1 cos 1