优化设计的数学基础

ddfx1ddgx12ddgx2 0 多元
1g1x 0 2g2x0
1 0 2 0
库恩-塔克条件
d d fx 1d d g x 1 2d d g x 2d d fx 120
分析极值点 x * 在区间的位置，有三种情况
当 a x* b 时，此时 1 2 0 ，则极值条件为
df x* 0 dx
当
G
x0
x12 2 f
x2x1
2 f
x1x2
2 f
x22
x0
x0
x10
x
2
0
各阶主子式大于零
例：求函数的 fx 1 ,x 2 x 1 2 x 2 2 4 x 1 2 x 2 5极值
第三节 无约束优化问题的极值条件
无约束优化问题是使目标函数取得极小值，所 谓极值条件就是指目标函数取得极小值时极值 点所应满足的条件。
微函数f(x)在某一点 x ( k ) 的一阶偏导数为：
f ( x k ) ， f ( x k ) ，… ， f ( x k )
x1
x2
xn
它表示函数f(x)值在x ( k ) 点沿各坐标轴方向的变
化率。
有一个二维函数，如图2-1所示。
图2-1 函数的方向导数
其函数在 x 0 点沿d方向的方向导数为
则该问题的拉格朗日函数
F x , a 1 , b 1 ,1 ,2 f x 1 h 1 x , a 1 2 h 2 x , b 1
fx 1 a x a 1 2 2x b b 1 2
1 0 2 0
根据拉格朗日乘子法，此问题的极值条件：
F x f x1d d g x 12d d g x 2 d d f x1 2 0
库恩-塔克条件的几何意义：在约束极小点处，函 数的负梯度一定能表示成所有起作用约束在该点 梯度的非负线性组合。
ቤተ መጻሕፍቲ ባይዱ
2 x1
2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
f(x(1))2x21x24x(1) 2 4
例2-2*：试求目标函数fx 1 ,x 2 3 x 1 2 4 x 1 x 2 x 2 2 在点X0 0,1T 处
的最速下降方向，并求沿这个方向移动一个单位长度后新点的
目标函数值。 解： 由于
其Hesse矩阵G(X*)为正定的。
多元函数f(x)在x * 处取得极值，则极值的条件为
（1） ▽F(X*)=0； 必要条件 （2）Hesse矩阵G(X*)为正定。 充分条件
为无约束优化问题的极值条件
同学考虑二元函数在 x * 处取得极值的充分必
要条件。
f
f
x
x1
0
f
x
2
2 f
性质二 梯度方向是函数具有最大变化率的方向。
x2
f(x0)
最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
图2-2 梯度方向与等值面的关系
例题 2-1
求函数 f(x ) x 1 2 x 2 2 4 x 1 4 在点[3,2]T 的 梯度。
解：
f
f
(
x)
x1 f
在工程中大多数优化问题，可表示为不等式约束 条件的优化问题。
有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。
库恩-塔克（Kuhn-Tucker）条件
一、一元函数在给定区间上的极值条件
一元函数f(x)在给定区间[a,b]上的极值问题，可以 写成下列具有不等式约束条件的优化问题：
min f x
s .t . g1xax0
g2xxb0
拉格朗日乘子法，除了可以应用于等式的极值问题，还可 以用于不等式的极值问题。
需引入松弛变量，将不等式约束变成等式约束。
设a1和b1为两个松弛变量，则上述的不等式约束可写为：
h 1 x ,a 1 g 1 x a 1 2 a x a 1 2 0 h 2 x ,b 1 g 2 x b 1 2 x b b 1 2 0
第四节 凸集、凸函数与凸规划
前面我们根据函数极值条件确定了极小点 x * 则函数f(x)在x * 附近的一切x均满足不等式
f xf x*
所以函数f(x)在 x * 处取得局部极小值，称x * 为
局部极小点。 而优化问题一般是要求目标函数在某一区域内 的全局极小点。 函数的局部极小点是不是一定是全局极小点呢？
x10,x20
x2
x2
f x0
f x0
x1
cos1 x2
cos2
二、二元函数的梯度
对于二维函数 f x1, x2 在 x 0 点处的梯度
f x0
f
x0
T
f x0
,
x1
x2
x0
设
d
cos1
c
o
s
2
为d方向的单位向量，则有
f d
x0
f
x0 T
d
即
f d x0
设目标函数在 x * 点至少有二阶连续的偏导数，则
在这一点的泰勒二次近似展开式为：
fx fx * i n 1 f x x i*x i x * 1 2 i,n j 1 2 x f i x x j *x i x i *x j x * j
2 f xk
2
x12 f xk
f x0T d
fx0T cosf,d
三、多元函数的梯度
f x0 f x0
f
x0
T
f x0
,
,...
x1
x2
xn
cos 1
沿d方向的方向向量
d
c
o
s
2
...
c
o
s
n
即
f d x0
f x0T d
fx0T cosf,d
图2-5 梯度方向与等值面的关系
梯度 F(x0) 模：
fx 0
fx 1 (0 ) x 1 ,x 2 0 x 2 fx 1 0 ,x 2 0
lim d 0
lim x1 0 x2 0
f x 1 (0 ) x 1 ,x 2 0 x 2f x 1 0 ,x 2 0 x 2 x 1
x 1
f
x10,x20 x2 f
凸规划的性质：
1.若给定一点 x 0 ，则集合 R x fxfx0 为凸集。
2.可行域 Rxgjx0j1,2,...,m 为凸集
3.凸规划的任何局部最优解就是全局最优解
第五节 等式约束优化问题的极值条件
等式约束 约束优化
不等式约束
min f x
s .t . hk x 0 k1,2,...,l
一元函数在给定区间的极值条件，可以改写为：
d f
dx
j J
j
dg j dx
0
gjx 0 j J
j 0 j J
极值条件中只考虑起作用的约束和相应的乘子。
二、库恩-塔克条件
仿照一元函数给定区间上极值条件的推导过程， 可以得到具有不等式约束多元函数极值条件：
df x*
dxi
m
j
j1
dgj x* dxi
求解这一问题的方法
消元法 拉格朗日乘子法
1.消元法（降维法）
2、拉格朗日乘子法（升维法）
2、拉格朗日乘子法（升维法）
2、拉格朗日乘子法（升维法） 对于具有L个等式约束的n维优化问题
x * 处有 df x* f x*Tdx0
dhk x* i l1 h xk idxi hk x*Tdx0
x*
a
时，此时
1
0,2
0
则极值条件为
d d
f x
1
0
即
df x* 0
dx
当 x * b 时 ，此时 10,2 0，则极值条件为
df
dx
2
0
即 df x* dx
0
从以上分析可以看出，对应于不起作用的约束的 拉格朗日乘子取零值，因此可以引入起作用约束 的下标集合。
Jxjgjx0,j1,2
.
4. Q 对 称 矩 阵 。 fXXTQ X 则 ， fX2Q X
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即
f x* 0
满足此条件仅表明该点为驻点，不能肯定为极值 点，即使为极值点，也不能判断为极大点还是极 小点，还得给出极值点的充分条件
fX
fX
x 1 6 x 1 4 x 2 , x 2 4 x 1 2 x 2
则函数在 X0 0,1T处的最速下降方向是
f X
Pf
X0
fxX 1
x2 x10
46xx1124xx22x10 x21
4 2
这个方向上的单位向量是：
x21
f X0
e
f X0
4 2
5 2
5
4222 1 5 5
2.根据二阶导数（ Hesse矩阵)来判断函数的凸性
设f(x)为定义在凸集R上且具有连续二阶导数的 函数，则f(x)在R上为凸函数的充要条件
Hesse矩阵在R上处处半正定。
四、凸规划
对于约束优化问题
min f x
s .t . gj x 0
j 1,2,...,m
若 f x g j x 都为凸函数，则此问题为凸规划。
称 f x 是定义在凸集上的一个凸函数。
三、凸性条件 1.根据一阶导数（函数的梯度）来判断函数的凸性 设f(x)为定义在凸集R上，且具有连续的一阶导数 的函数，则f(x)在R上为凸函数的充要条件是对凸
集R内任意不同两点x 1 x 2 ，不等式
fx 2fx 1 x 2 x 1 T fx 1
恒成立。
F a1
21a1
0
F b1
21b1
0
F
1 h1 x,a1
g1xa120
F 2h2 x,b1 g2xb120
由 1a1 0
1 0,a1 0 1 0,a1 0
g1xax0
（不起作用约束）
g1xax0
（起作用约束）
同样 2b1 0 ，来分析 g 2 x 起作用何不起作用约束。
因此，一元函数在给定区间的极值条件，可以表示为：
将原来的目标函数作如下改造：
l
Fx,fxkhkx
k1
拉格朗日函数
待定系数
新目标函数的极值的必要条件
F 0 xi
F 0 k
例2-4 用拉格朗日乘子法计算在约束条件
h x 1 ,x 2 2 x 1 3 x 2 6 0的情况下，目标函数
fx1,x24x1 25x2 2 的极值点坐标。
第六节 不等式约束优化问题的极值条件
图2-7 下凸的一元函数
一、凸集
一个点集（或区域），如果连接其中任意两点 x 1 x 2
的线段都全部包含在该集合内，就称该点集为凸集， 否则为非凸集。
凸集的性质
二、凸函数
函数f(x）为凸集定义域内的函数，若对任何的 01
及凸集域内的任意两点 x 1 x 2 存在如下不等式：
f x 1 1 x 2 fx 1 1 x 2
1
F(x0)
n i1
(F xi )2x0
2
函数的梯度方向与函数等值面相垂直，也就是 和等值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处的
最大变化率是不同的。因此，梯度是函数的一种局 部性质。
梯度两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点 的等值面垂直；
第二章 优化设计的数学基础
机械设计问题一般是非线性规划问题。
实质上是多元非线性函数的极小化问题，因 此，机械优化设计是建立在多元函数的极值 理论基础上的。
机械优化设计问题分为：
无约束优化 无条件极值问题
约束优化
条件极值问题
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
2 f xk
x1x2
2 f xk
...
2 f xk
x1xn
2 f xk
G
xk
x 2 x1
x
2 2
...
x2xn
...
...
...
...
2 f xk
2 f xk
2 f xk
...
xnx1
xnx2
xn2
为N维函数f(x)在点 x ( k ) 处的Hesse矩阵
0i 1,2,...,n
jgj x 0 j 1,2,...,m
j 0 j 1,2,...,m
用起作用约束的下标集合表示
df x*
dxi
jJ
j
dgj x* dxi
0i 1,2,...,n
gj x* 0 jJ
j 0 jJ
用梯度形式表示，可得 f x* jgj x*0 jJ 或 f x* jgj x* jJ
泰勒展开写成向量矩阵形式
fx fx * fx * T x x * 1 2 x x * T G x * x x *
∵ f x* 0
fx fx * 1 2 x x * TG x *x x *
∵ fxfx*0
则极小点必须满足
xx* TGx* xx*0
x * 为无约束极小点的充分条件
•新点是
X1 X0 e1 0 1 5 5 2
55 2
5
5 11 5 5
f X 1 3 x 1 2 4 x 1 x 2 x 2 2|X 0 2 5 6 25
几个常用的梯度公式：
1. fXC常 数 则 ， fX0 即 ， C0
2. fXbTX 则 ， fXb
.
3. fXXTX 则 ， fX2X