第二优化设计的数学基础

0i 1,2,...,n
jgj x 0 j 1,2,...,m
j 0 j 1,2,...,m
用起作用约束的下标集合表示
df x*
dBiblioteka Baidui
jJ
j
dgj x* dxi
0i 1,2,...,n
gj x* 0 jJ
j 0 jJ
用梯度形式表示，可得 f x* jgj x*0 jJ
或 f x* jgj x* jJ
一元函数在给定区间的极值条件，可以改写为：
d f
dx
j J
j
dg j dx
0
gjx 0 j J
j 0 j J
极值条件中只考虑起作用的约束和相应的乘子。
二、库恩-塔克条件
仿照一元函数给定区间上极值条件的推导过程， 可以得到具有不等式约束多元函数极值条件：
df x*
dxi
m
j
j1
dgj x* dxi
∵ fxfx*0
则极小点必须满足
xx* TGx* xx*0
x * 为无约束极小点的充分条件
其Hesse矩阵G(X*)为正定的。
多元函数f(x)在x * 处取得极值，则极值的条件为
（1） ▽F(X*)=0； 必要条件 （2）Hesse矩阵G(X*)为正定。 充分条件
为无约束优化问题的极值条件
同学考虑二元函数在 x * 处取得极值的充分必
要条件。
f
f
x
x1
0
f
x
2
2 f
G
x0
x12 2 f
x2x1
2 f
x1x2
2 f
x22
x0
x0
x10
x
2
0
各阶主子式大于零
例：求函数的 fx 1 ,x 2 x 1 2 x 2 2 4 x 1 2 x 2 5极值
第二优化设计的数学基础
第一节 多元函数的方向导数与梯度
一、方向导数
从多元函数的微分学得知，对于一个连续可
微函数f(x)在某一点 x ( k ) 的一阶偏导数为：
f ( x k ) ， f ( x k ) ，… ， f ( x k )
x1
x2
xn
它表示函数f(x)值在x ( k ) 点沿各坐标轴方向的变
F a1
21a1
0
F b1
21b1
0
F
1 h1 x,a1
g1xa120
F 2h2 x,b1 g2xb120
由 1a1 0
1 0,a1 0 1 0,a1 0
g1xax0
（不起作用约束）
g1xax0
（起作用约束）
同样 2b1 0 ，来分析 g 2 x 起作用何不起作用约束。
因此，一元函数在给定区间的极值条件，可以表示为：
2 f xk
2
x12 f xk
2 f xk
x1x2
2 f xk
...
2 f xk
x1xn
2 f xk
G
xk
x 2 x1
x
2 2
...
x2xn
...
...
...
...
2 f xk
2 f xk
2 f xk
...
xnx1
Fx,fxkhkx
k1
拉格朗日函数
待定系数
新目标函数的极值的必要条件
F 0 xi
F 0 k
例2-4 用拉格朗日乘子法计算在约束条件
h x 1 ,x 2 2 x 1 3 x 2 6 0的情况下，目标函数
fx1,x24x1 25x2 2 的极值点坐标。
第六节 不等式约束优化问题的极值条件
在工程中大多数优化问题，可表示为不等式约束 条件的优化问题。
凸规划的性质：
1.若给定一点 x 0 ，则集合 R x fxfx0 为凸集。
2.可行域 Rxgjx0j1,2,...,m 为凸集
3.凸规划的任何局部最优解就是全局最优解
第五节 等式约束优化问题的极值条件
等式约束 约束优化
不等式约束
min f x
s .t . hk x 0 k1,2,...,l
拉格朗日乘子法，除了可以应用于等式的极值问题，还可 以用于不等式的极值问题。
需引入松弛变量，将不等式约束变成等式约束。
设a1和b1为两个松弛变量，则上述的不等式约束可写为：
h 1 x ,a 1 g 1 x a 1 2 a x a 1 2 0 h 2 x ,b 1 g 2 x b 1 2 x b b 1 2 0
第四节 凸集、凸函数与凸规划
前面我们根据函数极值条件确定了极小点 x * 则函数f(x)在x * 附近的一切x均满足不等式
f xf x*
所以函数f(x)在 x * 处取得局部极小值，称x * 为
局部极小点。 而优化问题一般是要求目标函数在某一区域内 的全局极小点。 函数的局部极小点是不是一定是全局极小点呢？
库恩-塔克条件的几何意义：在约束极小点处，函 数的负梯度一定能表示成所有起作用约束在该点 梯度的非负线性组合。
下面以二维问题为例，说明K-T条件的几何意义
从图中可以看出，f x* 处在 g1 x* 和 g2 x*
角锥之内，即线性组合的系数为正，是在 x *
取得极值的必要条件。
三、库恩-塔克条件应用举例
有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。
库恩-塔克（Kuhn-Tucker）条件
一、一元函数在给定区间上的极值条件
一元函数f(x)在给定区间[a,b]上的极值问题，可以 写成下列具有不等式约束条件的优化问题：
min f x
s .t . g1xax0
g2xxb0
xnx2
xn2
为N维函数f(x)在点 x ( k ) 处的Hesse矩阵
泰勒展开写成向量矩阵形式
fx fx * fx * T x x * 1 2 x x * T G x * x x *
∵ f x* 0
fx fx * 1 2 x x * TG x *x x *
f x* 0
满足此条件仅表明该点为驻点，不能肯定为极值 点，即使为极值点，也不能判断为极大点还是极 小点，还得给出极值点的充分条件
设目标函数在 x * 点至少有二阶连续的偏导数，则
在这一点的泰勒二次近似展开式为：
fx fx * i n 1 f x x i*x i x * 1 2 i,n j 1 2 x f i x x j *x i x i *x j x * j
三、多元函数的梯度
f x0 f x0
f
x0
T
f x0
,
,...
x1
x2
xn
cos 1
沿d方向的方向向量
d
c
o
s
2
...
c
o
s
n
即
f d x0
f x0T d
fx0T cosf,d
图2-5 梯度方向与等值面的关系
第二节 多元函数的泰勒展开
若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即
称 f x 是定义在凸集上的一个凸函数。
三、凸性条件 1.根据一阶导数（函数的梯度）来判断函数的凸性 设f(x)为定义在凸集R上，且具有连续的一阶导数 的函数，则f(x)在R上为凸函数的充要条件是对凸
集R内任意不同两点x 1 x 2 ，不等式
fx 2fx 1 x 2 x 1 T fx 1
恒成立。
图2-7 下凸的一元函数
一、凸集
一个点集（或区域），如果连接其中任意两点 x 1 x 2
的线段都全部包含在该集合内，就称该点集为凸集， 否则为非凸集。
凸集的性质
二、凸函数
函数f(x）为凸集定义域内的函数，若对任何的 01
及凸集域内的任意两点 x 1 x 2 存在如下不等式：
f x 1 1 x 2 fx 1 1 x 2
若给定优化问题的数学模型为
fxx122x2 2 m in
s .t . g1xx1 2x210
g2 x x2 0 g3 x x1 0
K-T条件
df x*
dxi
jJ
j
dgj x* dxi
0i 1,2,...,n
gj x* 0 jJ
j 0 jJ
x*
a
时，此时
1
0,2
0
则极值条件为
d d
f x
1
0
即
df x* 0
dx
当 x * b 时 ，此时 10,2 0，则极值条件为
df
dx
2
0
即 df x* dx
0
从以上分析可以看出，对应于不起作用的约束的 拉格朗日乘子取零值，因此可以引入起作用约束 的下标集合。
Jxjgjx0,j1,2
2.根据二阶导数（ Hesse矩阵)来判断函数的凸性
设f(x)为定义在凸集R上且具有连续二阶导数的 函数，则f(x)在R上为凸函数的充要条件
Hesse矩阵在R上处处半正定。
四、凸规划
对于约束优化问题
min f x
s .t . gj x 0
j 1,2,...,m
若 f x g j x 都为凸函数，则此问题为凸规划。
化率。
有一个二维函数，如图2-1所示。
二、二元函数的梯度
对于二维函数 f x1, x2 在 x 0 点处的梯度
f x0
f
x0
T
f x0
,
x1
x2
x0
设
d
cos1
c
o
s
2
为d方向的单位向量，则有
f d
x0
f
x0 T
d
即
f d x0
f x0T d
fx0T cosf,d
则该问题的拉格朗日函数
F x , a 1 , b 1 ,1 ,2 f x 1 h 1 x , a 1 2 h 2 x , b 1
fx 1 a x a 1 2 2x b b 1 2
1 0 2 0
根据拉格朗日乘子法，此问题的极值条件：
F x f x1d d g x 12d d g x 2 d d f x1 2 0
求解这一问题的方法
消元法 拉格朗日乘子法
1.消元法（降维法）
以二元函数为例讨论。 二、拉格朗日乘子法（升维法）
对于具有L个等式约束的n维优化问题
x * 处有 df x* f x*Tdx0
dhk x* i l1 h xk idxi hk x*Tdx0
将原来的目标函数作如下改造：
l
ddfx1ddgx12ddgx2 0 多元
1g1x 0 2g2x0
1 0 2 0
库恩-塔克条件
d d fx 1d d g x 1 2d d g x 2d d fx 120
分析极值点 x * 在区间的位置，有三种情况
当 a x* b 时，此时 1 2 0 ，则极值条件为
df x* 0 dx
当