第2章 最优化的基本理论和基本方法 最优性条件 2.2 有约束优化(第5次课 等式约束优化,作业问题讲解)

11



2x1 2x2
1

0
c1(x) = 2 - x12 - x2 2 = 0 解得x1=-1，x2 =-1，λ1=-1/2；
x1=1，x2 =1，λ1=1/2 。它们是可能的局部解。
图解：
c1(x)
O
c1(x*)
f(x*) x*
f(x)
f(x) = x1 + x2 = -2
先满足 一阶 必要 条件
i 1
如果对所有 z Z(x*),z 0 有 zT x2L(x*,*)z 0
则 x=x*为问题的局部解。
例 min f(x) = x1 + x2
st c1(x) = 2 - x12 - x2 2 = 0
已经求出了 可能的局部解
2 f (x) 0
2c1(x)

i，i= 1, 2, ..., l为拉格朗日乘子（或乘数）。
拉格朗日乘子法
l
xL(x, ) f (x) i ci (x) 0
i 1
ci(x) = 0, i=1, 2, ..., l 。 空格
解上述方程组，得x*即是可能的局部解。
（式一是L(x, λ)对各个xi 的偏导数为0， λ视为常数）
zTx2L(x*,*) z 0
【这里
l

2 x
L(
x*,
*)


2
f
(
x*)

i* 2ci (x*)
i 1
】
Z(x*) {z | z Rn,ci (x*)T z 0,i 1,2, ,l}
局部解的充分条件 (选学)
定理 对于等式约束最优化问题
min f(x), x∈Rn, st ci(x1, x2, ..., xn) = 0, iE
对等式约束最优化问题(2-2)，设满足拉格朗日定理
的条件，如果x=x*为问题的局部解，则存在常数向量
* =(1*, 2*, …, l*)T，有
l
f (x*) i* ci (x*) 0
和
i 1
ci(x*) = 0, i=1, 2, ..., l。
这是拉格朗日乘子法的基础，拉格朗日定理的重复。
局部解的必要条件。
例：按照该方法或该必要条件求可能局部解
min f(x) = x1 + x2 st c1(x) = 2 - x12 - x2 2 = 0
解： L(x, ) f (x) 1 c1(x) x1 x2 1(2 x12 x22 )
xL(x, ) f (x) 1c1(x)
c2(x)=c2(x1, x2, x3)=0
交线D为可行域 设x*为局部解。x*处D的切线为T。
等值面
c1(x*),c2(x*),f(x*)共面 （都和切线T垂直）
拉格朗日定理
定理 对于等式约束最优化问题(2-2)，设f(x)、
ci(x)在x*处有连续偏导数，又设下面的l个n维向量
ci(x*), iE 线性无关。那么，如果x=x*为问题的局部解，则存在


1 0
01 负定。z=(1,-1)Tz(x*),z≠0.
根据二阶必要条件，
不是局部解。
zTx2L(x*,*) z 0
例子(选学)
薛毅p259【例8.3.1】
需要去求定理中的集合Z，因为矩阵2L不是正定的。 如果矩阵2L是正定的，则不必去求集合Z。简单。
觉得困难的同学掌握到这种程度即可。
设存在可行解x*和向量* =(1*, 2*, …, l*)T，使得
l
定义集合
xL(x, *)
f (x*) i* ci (x*) 0
i 1
Z(x*) {z | z Rn,ci (x*)T z 0,i 1,2, ,l}
l
令
x2L(x*,*) 2 f (x*) i* 2ci (x*)
局部解的二阶必要条件和充分条件 (选学)
预备：拉格朗日函数的海赛矩阵
l
L(x, ) f (x) i ci (x) i 1
l
x L(x, ) f (x) i ci (x) 0 i 1
海赛矩阵
l

2 x
L(x,

)

2
f
(
x)

i 2ci (x)
l
L(x, ) f (x) i ci (x) f (x) T c(x)
i 1
x1
1
c1(x)
其中x=
x2

xn
，


2

l
，c(
x)


c2 ( x)
cl (x)


2 0
0 2

对于可能的局部解x1=-1，x2 =-1，λ1=-1/2
l

2 x
L(x*,
*)

2
f
(Hale Waihona Puke x*)为正定，所以这是一个局部解。i 1
i*
2ci
(
x*)


1 0
10
对于另一个可能的局部解x1=1，x2 =1，λ1=1/2
x2L(x*,*)
E I = （空集） 考虑问题的局部解。考虑最优性条件。
§2.1 等式约束情况
问题：
min f(x), x∈Rn
(2-2)
st ci(x1, x2, ..., xn) = 0, iE
其中E ={ 1, 2, ..., l }为等式约束的指标集。
考虑问题的局部解。
拉格朗日函数和拉格朗日乘子法(学过？)
求最优解 min x12 + x22 st x1 + x2=2
练习： min x12 - x2 2 , st x12 + x2 2 = 1
(完整求解要用二阶条件) (答案：=1,(0, ±1)T是局部解，=-1,(±1,0)T不是局部解)
设f(x)、ci(x)在x*处有连续偏导数，而且l个n维向量
ci(x*), iE 是线性无关的。 设x=x*为问题的局部解，*=(1*, 2*, …, l*)T满足
则对当x L(x*,*)
l
f (x*) i* ci (x*)
时，有 i1

,
0
即拉格朗日乘子.
。
z Z(x*)
凸优化情况（等式约束时） (重点)
定理 设问题(2-2)为一个凸优化问题（即 可行域D是凸集，目标函数f是D上的凸函数）， 又设目标函数f(x)和约束函数ci(x)都存在一阶 连续偏导数。如果存在可行解x*和常数向量 * =(1*, 2*, …, l*)T，使得
l
f (x*) i* ci (x*) 0
在局部解x*(也是最优解)处，f(x*)和 c1(x*)平行，所以有某个数λ*，使得
f (x*) * c1(x*) 0
此例说明：拉格朗日定理是正确的。 对于此例， λ* = -1/2。
（可看到: 等式约束时Lamda不必≥0。后面有用。）
高维例子
P240，薛毅
min f(x)=f(x1, x2, x3) st c1(x)=c1(x1, x2, x3)=0
向量 1 *
*


2 *


l *
l
使得：
f (x*) i* ci (x*) 0
i 1
方法/定理正确性的举例说明-证明难懂。
min f(x) = x1 + x2 st c1(x) = 2 - x12 - x2 2 = 0
局部解的必要条件
第2章最优化的基本理论和基本方法 §2 有约束最优化
问题：min f(x), x∈Rn
(2-1)
st ci(x1, x2, ..., xn) = 0, iE ci(x1, x2, ..., xn) 0, iI
其中E和I分别表示等式和不等式约束的指标集,
E={ 1, 2, ..., l }
I={ l +1, l +2, ..., l +m }
i 1
定义集合 Z (x) {z | z Rn ,ci (x)T z 0,i 1,2, ,l}
这是与每个约束函数梯度或法向量都正交的向量的集合。
局部解二阶必要条件(选学)
定理 对于等式约束最优化问题
min f(x), x∈Rn , st ci(x1, x2, ..., xn) = 0, iE
i 1
则x*是问题的最优解。-似也有称之为驻点的。
例
min (x1– 2) 2 + (x2 – 1) 2 st x1 + x2+5=0
求解 f (x) c(x) 0 和约束组成的方程组，得
x1=-2，x2 =-3，λ1=8 由于是凸优化问题，所以它是最优解。
作业
8.17题, p267, 薛毅 min x1x2, st x12 + x2 2 = 1 求满足一阶必要条件的点(可能的局部解)。 上面得到的点是否为局部解？（用到二阶必要条件和充分 条件，可选做）。