优化设计的数学基础

第二章 优化设计的数学基础
机械设计问题一般是非线性规划问题。
实质上是多元非线性函数的极小化问题，因 此，机械优化设计是建立在多元函数的极值 理论基础上的。
机械优化设计问题分为：
无约束优化 无条件极值问题
约束优化
条件极值问题
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
设目标函数在 x*点至少有二阶连续的偏导数，则
在这一点的泰勒二次近似展开式为：
n f x* f x f x*
i1 xi
xi x*
1 n 2 f x* 2 i, j1 xix j
xi xi*
x j x*j
2 f xk 2 f xk
2 f xk
0
e
0 1
2 5 1 5
5
2 5
5
5
1
1 5
5
f
X1
3x12
4x1x2
x22
|X 0Hale Waihona Puke 26 525
几个常用的梯度公式：
1. f X C 常数 则，f X 0
即，C 0
2. f X bT X 则，f X b
.
3. f X X T X 则，f X 2X
则该问题的拉格朗日函数
F x, a1,b1, 1, 2 f x 1h1 x, a1 2h2 x,b1
f x 1 a x a12 2 x b b12
1 0 2 0
根据拉格朗日乘子法，此问题的极值条件：
F x
f x
1
dg1 dx
2
dg2 dx
df dx
1 2
对于二维函数 f x1, x2 在 x0 点处的梯度
f x0 f x0 T
f x0
,
x1
x2
x0
设
d
cos 1 cos2
为d方向的单位向量，则有
f d
x0
f
x 0 T
d
即
f d
x0
f
x 0 T
d
f x 0 T
cosf ,d
三、多元函数的梯度
f x0 f x0
多元函数f(x)在 x* 处取得极值，则极值的条件为
（1） ▽F(X*)=0； 必要条件 （2）Hesse矩阵G(X*)为正定。 充分条件
为无约束优化问题的极值条件
同学考虑二元函数在 x*处取得极值的充分必
要条件。
f
f
x
x1
0
f
x2
2 f
G
x0
x12 2 f
x2x1
2 f
因此，一元函数在给定区间的极值条件，可以表示为：
df dx
1
dg1 dx
2
dg2 dx
0
多元
1g1 x 0 2g2 x 0
1 0 2 0
库恩-塔克条件
df dx
1
dg1 dx
2
dg2 dx
df dx
1 2
0
分析极值点 x*在区间的位置，有三种情况
当 a x* b 时，此时 1 2 0
x1x2
2 f
x22
x0
x0
x10
x20
各阶主子式大于零
例：求函数的 f x1, x2 x12 x22 4x1 2x2 5 极值
第三节 无约束优化问题的极值条件
无约束优化问题是使目标函数取得极小值，所 谓极值条件就是指目标函数取得极小值时极值 点所应满足的条件。
第四节 凸集、凸函数与凸规划
恒成立。
2.根据二阶导数（ Hesse矩阵)来判断函数的凸性
设f(x)为定义在凸集R上且具有连续二阶导数的 函数，则f(x)在R上为凸函数的充要条件
Hesse矩阵在R上处处半正定。
四、凸规划
对于约束优化问题
min f x
s.t. gj x 0
j 1, 2,..., m
若 f x g j x都为凸函数，则此问题为凸规划。
第六节 不等式约束优化问题的极值条件
在工程中大多数优化问题，可表示为不等式约束 条件的优化问题。
有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。
库恩-塔克（Kuhn-Tucker）条件
一、一元函数在给定区间上的极值条件
一元函数f(x)在给定区间[a,b]上的极值问题，可以 写成下列具有不等式约束条件的优化问题：
将原来的目标函数作如下改造：
l
F x, f x khk x
k 1
拉格朗日函数
待定系数
新目标函数的极值的必要条件
F 0 xi
F 0
k
例2-4 用拉格朗日乘子法计算在约束条件
h x1, x2 2x1 3x2 6 0 的情况下，目标函数
f x1, x2 4x12 5x22 的极值点坐标。
df x* 0 dx
，则极值条件为
当
x* a 时，此时
1 0, 2 0
则极值条件为
df dx
1
0
即
df x* 0
dx
当 x* b 时 ，此时 1 0, 2 0，则极值条件为
df
dx
2
0
即 df x* dx
0
从以上分析可以看出，对应于不起作用的约束的 拉格朗日乘子取零值，因此可以引入起作用约束 的下标集合。
消元法
求解这一问题的方法
拉格朗日乘子法
1.消元法（降维法）
2、拉格朗日乘子法（升维法）
2、拉格朗日乘子法（升维法）
2、拉格朗日乘子法（升维法）
对于具有L个等式约束的n维优化问题
x* 处有 df x* f x* T dx 0
dhk
x*
l i 1
hk xi
dxi
hk
x* T dx 0
称 f x 是定义在凸集上的一个凸函数。
三、凸性条件 1.根据一阶导数（函数的梯度）来判断函数的凸性 设f(x)为定义在凸集R上，且具有连续的一阶导数 的函数，则f(x)在R上为凸函数的充要条件是对凸
集R内任意不同两点x1 x2 ，不等式
f x2 f x1 x2 x1 T f x1
函数的梯度方向与函数等值面相垂直，也就是 和等值面上过x0的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点处的
最大变化率是不同的。因此，梯度是函数的一种局 部性质。
梯度两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点 的等值面垂直；
性质二 梯度方向是函数具有最大变化率的方向。
x2
f(x0)
f
x
f
x* f
x* T
x x*
1 2
x
x* T
G x* x
x*
∵ f x* 0
f
x
f
x*
1 2
x
x*
T
G
x*
x
x*
∵ f x f x* 0
则极小点必须满足
x x* T G x* x x* 0
x*为无约束极小点的充分条件
其Hesse矩阵G(X*)为正定的。
min f x
s.t. g1 x a x 0
g2 x x b 0
拉格朗日乘子法，除了可以应用于等式的极值问题，还可 以用于不等式的极值问题。
需引入松弛变量，将不等式约束变成等式约束。
设a1和b1为两个松弛变量，则上述的不等式约束可写为：
h1 x, a1 g1 x a12 a x a12 0 h2 x,b1 g2 x b12 x b b12 0
微函数f(x)在某一点 x(k )的一阶偏导数为：
f (xk ) ，f (xk ) ，… ，f (xk )
x1
x2
xn
它表示函数f(x)值在x(k )点沿各坐标轴方向的变
化率。
有一个二维函数，如图2-1所示。
图2-1 函数的方向导数
其函数在 x0点沿d方向的方向导数为
f x0
f
x (0) 1
最速上升方向
x0
－f(x0) 最速下降方向
下降方向
上升方向 变化率为零的方向
O
x1
图2-2 梯度方向与等值面的关系
例题 2-1
求函数
f
(x)
x2 1
x2 2
4x1
4
在点[3,2]T 的 梯度。
解：
f
f
(
x)
x1 f
2
x1 2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
.
4. Q对称矩阵。 f X X TQX 则，f X 2QX
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即
f x* 0
满足此条件仅表明该点为驻点，不能肯定为极值 点，即使为极值点，也不能判断为极大点还是极 小点，还得给出极值点的充分条件
凸规划的性质：
x0
1.若给定一点
，则集合
R
x f x f x0
为凸集。
R x 2.可行域
g j x0 j1,2,...,m
为凸集
3.凸规划的任何局部最优解就是全局最优解
第五节 等式约束优化问题的极值条件
等式约束 约束优化
不等式约束
min f x
s.t. hk x 0 k 1, 2,...,l
前面我们根据函数极值条件确定了极小点 x* 则函数f(x)在x* 附近的一切x均满足不等式
f x f x*
所以函数f(x)在 x* 处取得局部极小值，称x*为
局部极小点。 而优化问题一般是要求目标函数在某一区域内 的全局极小点。 函数的局部极小点是不是一定是全局极小点呢？