2 等式约束最优化问题的最优性条件

m in
s.t.
n
f ( x)
cj ( x) = 0,
n
(3.2.1)
j = 1,2,⋯l ,
f 其中 : R → R, c j : R → R ( j = 1,2,..., l ).
等式约束最优化问题的最优性条件
Lagrange函数 Lagrange函数(Lagrange Function) 函数(Lagrange
从而得 ( X, λ)平稳点 8, 8,2)T 和(− 8,− 8,2)T .对应有 L ( X1 = ( 8, 8)T , λ1 = 2和X2 = (− 8,− 8)T , λ2 = 2.
等式约束最优化问题的最优性条件
8 2 − 2 由于 L( X1 , λ1 ) = ∇ L( X2 , λ2 ) = ∇ , ∇h( X1 ) = , − 2 2 8 − 8 T , ∇h( X2 ) = ,因此 M( X1 ) = (z1 , z2 ) (z1 , z2 )∇h( X1 ) = 0 − 8
二阶充分条件 定理3.2.2 定理3.2.2 对等式约束问题(3.2.1)，若： (2) ∃x* ∈ Rn 与 λ* ∈ Rl 使： L(x*, λ* ) = 0; ∇ (1) f ( x) 与 ci ( x)(1≤ i ≤ l ) 是二阶连续可微函数；
(3) ∀s∈ Rn且 s ≠ 0,且 sT ∇ci (x* ) = 0, i =1,2,⋯l T 2 * * 均有 s ∇xx L(x , λ )s > 0 则 x* 是问题(3.2.2)的严格局部极小点．
j =1 l
∇λ L(x,λ) = −c(x).
等式约束最优化问题的最优性条件
一阶必要条件
, (2) f ( x) 与 ci ( x)(i =1 2,⋯l ) 在 x* 的某邻域内一阶连续可微； , Lagrange (3) ∇ci ( x)(i =1 2,⋯l ) 线性无关； * 定理 则存在一组不全为零的实数 λ1 , λ* ,⋯λ* 2 l
约束最优化问题的最优性条件
一般约束最优化问题
m in
s.t.
n
cj ( x) = 0,
f ( x)
cj ( x) ≥ 0,
n
j = 1,2,⋯l, j = l, l + 1,⋯m,
f 其中 : R → R, c j : R → R ( j = 1,2,..., m).
约束最优化问题的最优性条件
min f (x1, x2 ) = (x1 −1.5)2 + 2x22
等式约束最优化问题的最优性条件
二阶充分条件 例 试用最优性条件求解 解:Lagrange函数为 Lagrange函数为
2 2 m f ( X ) = x1 + x2 in
s.t. h( X ) = x1 x2 − 8 = 0.
2x1 − λx2 2 2 L( X, λ) = x1 + x2 − λ( x1 x2 − 8), 则∇L( X, λ) = 2x2 − λx1 , − ( x1 x2 − 8)
定理 3.2.1
若(1) x*是问题(3.2.1)的局部最优解；
使得： f ( x* ) − ∑λ*∇ci ( x* ) = 0. ∇ i
l i =1
等式约束最优化问题的最优性条件
一阶必要条件 定理3.2.1说明： 定理3.2.1说明： 3.2.1说明
l x ∇f ( x) − ∑λj∇c j ( x) = 0 若 为方程组 j =1 λ c ( x) = 0, j = 1,2,..., l j
等式约束最优化问题的最优性条件
二阶充分条件 定理3.2.2的几何意义 定理3.2.2的几何意义 3.2.2 x Lagrange函数的驻点 在Lagrange函数的驻点 处,如果 λ Lagrange函数关于 函数关于x Hesse矩阵在约束曲面的 Lagrange函数关于x的Hesse矩阵在约束曲面的 切平面上正定(并不需要在R 上正定) 切平面上正定(并不需要在Rn上正定)，则 x 就是问题(3.2.1)的严格局部极小点. 就是问题(3.2.1)的严格局部极小点. (3.2.1)的严格局部极小点
, x ( . 的解 则对应的 可能就是问题3.2.1)的最优解
无约束最优化问题 inL( x, λ)最优性条件 L( x, λ) = 0 ∇ m 注：
l ∇f ( x) − ∑λj∇c j ( x) = 0 恰是方程组 j =1 c ( x) = 0, j = 1,2,..., l. j
x12 − x2 ≤ 0 st 2 2 . x1 + x2 = 2
(1)可行域 (1)可行域S为 可行域S 图中的弧AB. 图中的弧AB. (2)最优解在B点 (2)最优解在 最优解在B 达到, 达到,即 x*=(1,1)T, 但 ∇f (x*) ≠ 0
等式约束最优化问题的最优性条件
等式约束最优化问题
L( x, λ) = f ( x) − λ c( x),
T
λ 乘子向量， 其中 = (λ1 , λ2 ,..., λl )T 为Lagrange 乘子向量，
c(x) = (c1(x),c2(x),...,cl (x))T , 则 ∇x L(x, λ) ∇L( x, λ) = , ∇v L(x, λ) 这里 x L(x, λ) = ∇f(x) − ∑λj∇c j(x), ∇
将等式约束最优化问题转化为无约束最优化问题求解. 将等式约束最优化问题转化为无约束最优化问题求解.
等式约束最优化问题的最优性条件
一阶必要条件
• Example
Solution:
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性条件
等式约束最优化问题的最优性Байду номын сангаас件
2 xx 2 xx
二阶充分条件
{
}
= (z1 , z2 )T z1 + z2 = 0 .
2 2 2 则对任意 ∈ M( X1 ), z ≠ 0, 有zT xx L( X1 , λ1 )z = 2z1 − 4z1z2 + 2z2 = 8z1 > 0. z 2
{
}
3 , 故由定理 .2.2知: X1是问题的严格局部极小 .同理 X2也是问题的 点 . 严格局部极小点