最优化方法 第三章(约束最优性条件)

一、最优性条件 定理 (等式约束二阶必要条件)
y ( f ( x ) v j h j ( x ))y 0
T 2 2 j 1
l
y V ( x ) x h j ( x)x 0, j 1, , l
或者
L ( x, v ) f ( x ) v j h j ( x )
f ( x ) v j h j ( x ) 0
j 1
l
拉格朗日函数
L( x, v) f ( x) v j h j ( x)
j 1
l
一、最优性条件 等式约束一阶必要条件的含义 目标函数的梯度 属于约束函数在 x 处的梯度 张成的子空间，共面，在正交补空间投影为0； 单个约束
处的积极约束指标集，记为 I ( x )，
I ( x ) {i | gi ( x ) 0, i 1, 2,
, m}
一、最优性条件
2 1 0, 例：设 g1 ( x) 2 x12 x2 0, g2 ( x) x12 x2
求在
g3 ( x) x1 0. 令 x ( 2 , 2 )T , 2 2
x

aT x b
x x
x
f ( x ) a cos t f ( x x) f ( x ) f ( x )T x o( x )
aT x o( x ) b o( x )
cos t f ( x x) f ( x ) 可推广至非 b b 线性约束 拉格朗日乘子为最优目标费用随约束的增长而递减的变化率。
可行域：D { x | g ( x) 0, h( x) 0}, 其中的元素可行点； 设可行解 x D, 若 gi ( x ) 0，则称不等式约束gi ( x ) 0 是在 x 处的积极约束（active constraint）或称紧约束、 起用作约束。 积极约束指标的全体组成的集合，称为 x
或者
j 1
L ( x, v ) f ( x ) v j h j ( x )
j 1
l
的关于y的矩阵在 x 处关于正定，则 x 是满足约束的局 部最小点。 2
xx L( x, v)
一、最优性条件 拉格朗日乘子的意义----灵敏度 仅考虑一个线性约束的等式优化问题
min f ( x) s.t. aT x b
x 的起作用约束集。
解：因为
2 2 2 g1 ( x) 2 ( ) 0, 2 2 2 2 2 2 g 2 ( x ) ( ) ( ) 1 0, 2 2 2 g3 ( x) 0, 2
x
O
I ( x ) {1, 2}.
一、最优性条件 如果 x 是不等式约束问题的局部最小点，那么仍是 该问题不考虑在 x 处的非积极约束后新问题的局部 极小值点；
j 1
l
的海塞矩阵关于 y 在 x 处半正定。定理当然还需要目 标函数和约束函数二阶连续可微。
一、最优性条件 定理 (等式约束二阶充分条件) 若目标函数和约束函数二阶连续可微，且满足
l
yT (2 f ( x ) v j 2 h j ( x ))y 0
y V ( x ) x h j ( x)x 0, j 1, , l
求解方法 代入法（消元法）
g ( x, y) 0 y ( x)
拉格朗日乘子法
z f ( x, ( x))
F f ( x, y) g ( x, y)
一、最优性条件 推广到多元函数，多等式约束问题
min f ( x) s.t. h j ( x) 0, j 1, 2,..., l
多个线性约束情形： cos t i bi o( x )
i 1 l
一、最优性条件 不等式约束优化问题的最优性条件
Biblioteka Baidu
min f x
xR n
s.t.
gi x 0, i I 1,
, me , , m .
hi x 0, i E me 1,
一、最优性条件 目标函数的梯度 正交于一阶可行变分子空间，即
V ( x ) x h j ( x)x 0, j 1, , l
f ( x ) v j h j ( x ) 0
j 1
l
一阶可行变分子空间是指由变分 构成的子空间，这些 变分使得约束函数展开到一阶时，在向量 x x x 处仍 然成立； 此时 ，目标函数的一阶变分 的“零梯度条件”类似。 ，与无约束优化
不等式约束问题
一、最优性条件 约束优化问题的求解困难
极小点可能位于约束域中间， 也可能位于边界； 迭代点处可行方向有限制， 不再是任意方向； 无约束问题的最优性条件不 再适用；
一、最优性条件 等式约束优化问题的最优性条件
min f x, y s.t. g x, y 0
定理 (等式约束一阶必要条件) 考虑等式约束优化问题, x 为 可行点，f (x) 在 x 处可微, hj (j=1,…,l)在 x 处连续可微，向量 集 h j ( x ) j 1, , l 线性无关。若 x 是等式约束问题的局部最 优解，则存在数 v j ( j 1, , l ) ，使得
非积极约束不重要，可以在最优性条件中忽略这些 非积极约束；
在局部最小点处，积极约束可以转化为等式约束进 行处理；
min
xR
n
f x gi x 0, i I , hi x 0, i E.
一
最优性条件
二 三 四
约 束 优 化
五
可行方向法 罚函数法
乘子法
二次逼近法
一、最优性条件 约束优化问题的分类
min f x
xR n
s.t.
gi x 0, i I 1,
, me , , m .
hi x 0, i E me 1,
等式约束问题