非线性规划基本概念讲解

•
0
• 解：先画出目标函数等值线，再画出约束曲线，本处 约束曲线是一条直线，这条直线就是容许集。而最优 点就是容许集上使等值线具有最小值的点。
• 由图易见约束直线与等值线的切点是最优点，利用解
析几何的方法得该切点为 z = 3,2T， 对应的最优值为
• f Z =2
• 由以上例子可见，对二维最优化问题。我们总可以 用图解法求解，而对三维或高维问题，已不便在平面上 作图，此法失效。
• 在三维和三维以上的空间中，使目标函数取同一常 数值的是 {Z| f(Z)=r,r是常数}称为目标函数的等值面。
• 等值面具有以下性质：
• （1）不同值的等值面之间不相交，因为目标函数是单 值函数。
• （2）除了极值点所在的等值面外，不会在区域内部中 断，因为目标函数是连续的。
• (3）等值面稠的地方，目标函数值变化得较快，而稀疏 的地方变化得比较慢。
二维最优化问题具有鲜明的几何解释，并且可以象征性地把 这种解释推广到n维空间中去。因此我们简要介绍一下图解法对于 以后理解和掌握最优化的理论和方法是很有益处的。
例1.求解 min x1 22 x2 12
这是定义在 ox1x2 平面 R2上的无约束极小化问题，其目标函数
f Z x1 22 x2 12
f X
x2
2x1x2
4x1x3
f X
x3 6x3 4x2 x3.
f
X
f X
x1
,
f X
x2
,
f X
x3
T
2x1 x 2 x1x2
2 2
4
x2
x3
4x1x3
6x3 4x1x
② f X 4x1x23 e2x1x2
解：
f X
x1
4 x23
2 x2e2 x1x2
圆 ，对应 f=0的等值线缩为一点G，对应 f <0 的等值线 为空集。 • 易见，随着 f 值变小，等值线圆半径变小，最后缩为一
点，即为问题的最小值点G，z = 2,1T
例2 用图解法求解
x2
•
•
f =2
•
•
min
x1 22
x2 12
f =1
G0
s.t. x1 x2 5 0
x1
•
反之，任给一个值
f 0
,使目标函数
f
z取值为
f 0 的点z的
个数就不相同了。可能没有，可能只有一个，f 可能有多个。 0
•
这一事实的几何意义是：过
f
轴上坐标为
f
的点作
0
o x1x2 坐标平
面的平行平面L，可能与曲面S无交点（ 〈f 0 0 时），可能与S有一
个交点（ f 0 =0 时），可能与S交成一条曲线（ f 0 〉0 ）。
第七章§1.基本概念
1 非线性规划模型
n维欧氏空间 Rn
x1
向量
Xwk.baidu.com
Rn.X
x1, x2 , xn
x2
xn
向量变量实值函数： f : Rn R1.
无约束最优问题： min f X
min f X
约束的最优化问题为：
s.t. gi X 0. i 1 ~ m
hj X 0. j 1 ~ l. l n
注意等式约束通常可用不等式约束表示出来。
如果约束条件中有“小于等于“的，即 G X 0. 则转化
为 G X 0 ， 另外，等式约束 HX 0
可以由下面两个不等式来代替：
HX 0 HX 0
因而最优化问题的一般形式又可写成：
min f X s.t. G X 0
2 二维问题的图解法
在 ox1x2 f 三维空间中代表一个曲面 S 。
f
•
f =4
f
• f =1
s
s
• G.
x2
L
•0
x1
x1
P0
x1
x2
•
在
o
x1
x2平面上任给一点
Po
x0 1
,
x0 2
，就对应有一个目标函数值
f0 x10 2 2 x20 1 2
• 这个值就是过 P0点作o x1 x2 平面的垂线与S曲面交点的纵坐标。
设f(X) 在定义域内有连续偏导数，即有连续梯度f X ，则梯度
有以下两个重要性质：
性质一 函数在某点的梯度不为零，则必与过该点的等值面垂直
性质二 梯度方向是函数具有最大变化率的方向。
性质一的证明：
过点X 0的等值面方程为：
f X = f X0 或f x1, x2,xn = r0 ，r0= f X0
其中 f , gi , hj 均为向量Z的实值连续函数，有二阶连续偏导数，
采用向量表示法即为：
min f X 目标函数
s.t.
GX 0. 不等式约束
H X 0. 等式约束
其中 GX g1X , g2 X ,gm X , H X h1X , h2 X ,hl X
这就是最优化问题的一般形式，又称非线性规划。
• （4）一般地，在极值点附近，等值面（线）近似地呈 现为同心椭球面族（椭圆族）。
3 多元函数的极值问题 （1）梯度及Hesse 矩阵
梯度
T
f
(
X
)
f (X x1
)
,
f (X x2
)
,
......,
f (X xn
)
(1)
几个常用的梯度公式：
1. f X C常数 则，f X 0
即，C 0
（2）
设 x1 x1 , x2 x2 ,xn xn 是过点X 0同时又完全在等值面
上的任一条光滑曲线L的方程，θ为参数。点 x对0 应的参数是 0
• 我们感兴趣的是至少有一个交点（ f 0≥0）的情形。
• 此时用平面L截曲面S得到一个圆，将它投影到o x1 x2平面上，
仍为同样大小的圆。在这个圆上每一点的目标 函数值均
为 f , 若一条曲线上任何一点的目标函数值等于同一常数，
则称0此曲线为目标函数的等值线。 • 易见，变动 f 的值，得到不同等值线，这是一组同心
.
f X x2
12x1x22 2x1e2x1x2
f X f X f X f X , x1
4x23
2 x2e2 x1x2
.
f X x2
12x1x22 2x1e2x1x2
x x 1
2
T
124xx123x22
2
x e2 x1x2 2
2x1e2 x1
x2
梯度的性质
2. f X bT X 则，f X b
.
3. f X X T X 则，f X 2X
.
4. Q对称矩阵。 f X X TQX 则，f X 2QX
例：求下列函数的梯度：
• ① f X x12 x1x22 3x32 4x1x2x3
解：
f X
x1
2x1
x22
4x2 x3.