约束问题最优化方法
约束问题的最优化方法
可用于处理等式约束。
§5.3 外点惩罚函数法
三. 几个参数的选择：
r(0) 的选择:
r(0) 过大，会使惩罚函数的等值线变形或偏心，求极值困难。r (0) 过小，迭代次数太多。
建议 ：r0 max ru0 u 1,2,...m
其中：ru0
m gu
0.02 x0 f
x0
x(0) 的选择：
2
若均满足，停止迭代，有约束优化问题的最优点为 x* = xk*； 若有一个准则不满足，则令 x(0) xk * (r(k) ),r(k1) c r(k) , k k 1 并转入第 3 步，继续计算。
§5.2 内点惩罚函数法
算法框图
§5.2 内点惩罚函数法
四. 几个参数的选择： 1. 惩罚因子初始值 r(0) 的选择：
§5.1 引言
有解的条件： ① f(x) 和 g(x) 都连续可微； ② 存在一个有界的可行域； ③ 可行域为非空集； ④ 迭代要有目标函数的下降性和设计变量的可行性。
三. 间接解法的基本思想： 目的：将有约束优化问题转化为无约束优化问题来解决。
方法：以原目标函数和加权的约束函数共同构成一个新的目标函数
（略） 2. 数学模型：
设计变量 ： X x1,x2 T t f ,h T
目标函数 ： min. f x 120x1 x2
单位长度的质量
§5.2 内点惩罚函数法
约束函数 ： g1x x1 0 g 2 x x2 0 g3 x 1 0.25x2 0
g4
x
1
7 45
x1x2
0
g5
x
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想：
外点法将新目标函数 Φ( x , r ) 构筑在可行域 D 外， 随着惩罚因子 r(k) 的不断递增， 生成一系列新目标函数 Φ(xk ,r(k))，在可行域外逐步迭 代，产生的极值点 xk*(r(k)) 序 列从可行域外部趋向原目标函 数的约束最优点 x* 。
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
最优化问题的约束条件处理方法
最优化问题的约束条件处理方法在最优化问题中，约束条件是限制优化目标的条件。
对于一个最优化问题而言，约束条件的处理是至关重要的，因为它直接影响到问题的可行解集合以及最终的优化结果。
本文将介绍几种常见的约束条件处理方法，以帮助读者更好地理解和应用最优化算法。
一、等式约束条件处理方法等式约束条件是指形如f(x) = 0的约束条件，其中f(x)是一个函数。
处理等式约束条件的常用方法是拉格朗日乘子法。
该方法通过引入拉格朗日乘子，将等式约束条件转化为目标函数的一部分，从而将原问题转化为无约束问题。
具体而言，我们可以构造拉格朗日函数：L(x,λ) = f(x) + λ·g(x)其中，g(x)表示等式约束条件f(x) = 0。
通过对拉格朗日函数求导，我们可以得到原问题的最优解。
需要注意的是，拉格朗日乘子法只能处理等式约束条件，对于不等式约束条件需要使用其他方法。
二、不等式约束条件处理方法不等式约束条件是指形如g(x) ≥ 0或g(x) ≤ 0的约束条件，其中g(x)是一个函数。
处理不等式约束条件的常用方法是罚函数法和投影法。
1. 罚函数法罚函数法通过将约束条件转化为目标函数的一部分，从而将原问题转化为无约束问题。
具体而言，我们可以构造罚函数：P(x) = f(x) + ρ·h(x)其中，h(x)表示不等式约束条件g(x) ≥ 0或g(x) ≤ 0。
通过调整罚函数中的惩罚系数ρ，可以使得罚函数逼近原问题的最优解。
罚函数法的优点是简单易实现，但需要注意选择合适的惩罚系数，以避免陷入局部最优解。
2. 投影法投影法是一种迭代算法，通过不断投影到可行域上来求解约束最优化问题。
具体而言，我们首先将原问题的可行域进行投影，得到一个近似可行解，然后利用该近似可行解来更新目标函数的取值，再次进行投影，直到收敛为止。
投影法的优点是能够处理各种类型的不等式约束条件，并且收敛性良好。
三、混合约束条件处理方法混合约束条件是指同时包含等式约束条件和不等式约束条件的问题。
最优化方法4-1第四章 约束最优化方法-KKT条件
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
约束条件下的最优化问题
在约束条件下的最优化问题是指在一定的限制条件下，寻找使目标函数达到最大或最小值的最优解。
这类问题可以通过数学建模和优化算法来解决。
常见的约束条件包括等式约束和不等式约束。
等式约束要求某些变量之间的关系满足特定的等式关系，而不等式约束则要求某些变量之间的关系满足特定的不等式关系。
数学上，约束条件可以表示为：
1. 等式约束：g(x) = 0，其中g(x)是一个关于变量x的函数。
2. 不等式约束：h(x) ≤0，其中h(x)是一个关于变量x的函数。
最优化问题的目标函数可以是线性的、非线性的，甚至是在某些特殊情况下可能是非凸的。
根据问题的具体形式，可以选择适合的优化算法进行求解，如线性规划、非线性规划、整数规划等。
常见的优化算法包括：
1. 梯度下降法：用于求解无约束或有约束的凸优化问题，在连续可导的情况下通过迭代调整参数来逐步接近最优解。
2. KKT条件法：用于求解有约束的凸优化问题，通过构建拉格朗日函数和KKT条件来确定最优解。
3. 内点法：用于求解线性规划和凸优化问题，通过在可行域内寻找目标函数的最优解。
4. 遗传算法：用于求解复杂的非线性优化问题，通过模拟自然进化过程中的选择、交叉和变异操作来搜索最优解。
5. 模拟退火算法：用于求解非线性优化问题，通过模拟固体退火的过程来逐步降低温度并接近最优解。
在实际应用中，约束条件下的最优化问题广泛应用于工程、经济、运筹学、物流等领域。
通过合理地建立数学模型，并选择合适的优化算法，可以有效地解决这类问题，并得到最优解或接近最优解的结果。
约束问题的最优化方法
m
⑤ .Φ ( x, r ) = f ( x) − r ∑ ln[− g u ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0 ) > r (1) > ....r ( k )
0< c <1
r ( k −1) ⋅ c = r ( k )
xk * → x *
当lim r ( k ) → 0
x ∈ D ⊂ Rn s.t. g u ( x ) ≥ 0, u = 1,2,..., p hv ( x ) = 0, v = 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
其中：g u ( x) ≥ 0, u = 1,2,...m
③ .Φ ( x, r ) = f ( x) − ∑ ru ( k )
(k ) u =1
m
1 g u ( x)
④ .Φ ( x, r ) = f ( x) + r
(k )
(k )
(k )
1 ∑ 2 u =1 [ g u ( x )]
m u =1
k →∞
则Φ ( x, r ( k ) ) → f ( x) ,
) x12 + x22 例： 用内点法求 min f ( x=
s.t. g ( x ) = 1 − x1 ≤ 0
的约束最优解。
2 解: 首先构造内点惩罚函数:φ ( x , r ) = x12 + x2 − r k ln( x1 − 1)
(k ) u =1 m
lim r2 H [hv ( x ( k ) )] = 0
约束最优化方法
约束最优化方法
约束最优化方法是指通过给定约束条件，寻找目标函数的最优解。
以下是一些常用的约束最优化方法：
1. 拉格朗日乘子法：将约束最优化问题转化为无约束最优化问题，通过求解无约束最优化问题得到原问题的最优解。
2. 罚函数法：将约束条件转化为罚函数项，通过不断增加罚函数的权重，使目标函数逐渐逼近最优解。
3. 梯度下降法：通过迭代计算目标函数的梯度，沿着梯度的负方向搜索目标函数的最优解。
4. 牛顿法：通过迭代计算目标函数的Hessian矩阵，使用Hessian矩阵的逆矩阵乘以梯度向量来逼近最优解。
5. 遗传算法：模拟自然界的遗传机制，通过种群迭代的方式搜索最优解。
6. 模拟退火算法：模拟物理退火过程，通过随机搜索的方式搜索最优解。
7. 蚁群算法：模拟蚂蚁觅食行为，通过模拟蚂蚁的信息素传递过程来搜索最优解。
8. 粒子群算法：模拟鸟群、鱼群等群集行为，通过模拟粒子间的相互作用来搜索最优解。
这些方法各有优缺点，应根据具体问题选择合适的方法进行求解。
不等式约束的最优化问题
不等式约束的最优化问题1. 引言不等式约束的最优化问题是数学领域中一类常见且重要的问题。
在实际生活和工程应用中，很多问题都可以转化为最优化问题，其中包含了一些约束条件，这些约束条件可以用不等式的形式表示。
本文将从理论和应用两个方面综合讨论不等式约束的最优化问题。
2. 理论基础2.1 最优化问题的定义最优化问题是指在满足一定的约束条件下，寻找使得目标函数取得最大（或最小）值的变量取值。
最优化问题可以分为有约束和无约束两种情况，本文主要讨论带有不等式约束的最优化问题。
2.2 拉格朗日乘子法拉格朗日乘子法是解决带有等式约束的最优化问题的重要方法，然而对于带有不等式约束的问题，拉格朗日乘子法并不适用。
取而代之的是KKT条件，即Karush–Kuhn–Tucker条件。
2.3 KKT条件KKT条件是带有不等式约束的最优化问题的解的必要条件。
KKT条件包括了原问题的约束条件和原问题的一阶和二阶必要条件。
利用KKT条件，可以将不等式约束的最优化问题转化为无约束最优化问题，从而求解出问题的最优解。
3. 解决方法3.1 梯度下降法梯度下降法是一种常用的优化算法，可以用于求解无约束和有约束的最优化问题。
对于带有不等式约束的问题，可以通过将约束条件变形为罚函数的形式，从而将其转化为无约束的问题。
梯度下降法的基本思想是根据目标函数的梯度信息不断迭代更新变量的取值，使得目标函数逐渐趋近于最优解。
3.2 内点法内点法是求解带有不等式约束的最优化问题的一种高效算法。
内点法的基本思想是通过不断向可行域的内部靠近，逐渐找到问题的最优解。
内点法具有较好的收敛性和稳定性，在实际应用中使用较为广泛。
3.3 割平面法割平面法是一种用于求解带有不等式约束的整数优化问题的有效方法。
割平面法的主要思想是通过逐步添加割平面，将原问题分解为一系列子问题，利用线性规划算法求解。
割平面法可以有效地提高整数规划问题的求解效率。
4. 应用领域4.1 金融领域在金融领域中，不等式约束的最优化问题被广泛应用于投资组合优化、风险管理等方面。
最优化方法(约束优化问题的最优性条件)
最优化方法补充内容10
约束优化问题的最优性条件
先看等式约束问题
回顾以前学的知识
什么定理？
推广到一般的情况
几何解释
二阶充分条件
不等式约束问题
不等式约束问题和等式约束问题之 间是否存在什么关系？ 间是否存在什么关系？
Fritz-John一阶必要条件 一阶必要条件
举例验证
KT条件 条件
• KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先 后独立发表出來的。这组最优化条件在Kuhn和Tucker 发表之 后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker 最 优化条件 (Kuhn-Tucker conditions)」。
有效约束和非有效约束
再换句话说， 再换句话说，不等式约束问题的在最优解处的某 个小邻域内， 个小邻域内，看以看成等式约束问题
回想最优解的定义， 回想最优解的定义，可行的概念对 于不等式约束是怎么样的概念？ 于不等式约束是怎么样的概念？
min f ( x) s.t. c( x) ≥ 0
可行域为 Q = { x | c( x) ≥ 0 }。
x1 + λ1 = 3 ⇒ x1 + λ 3 = 0 ⇒ λ 3 = − x1 < 0 ∴ λ1 − λ 3 = 3 x1 + λ1 − λ 2 = 3 矛盾。 这与 λ3 ≥ 0 矛盾。 x +λ −λ = 3 1 3 2 (4) 若 x1 ≠ 0 , x2 ≠ 0 : λ1 (4 − x1 − x 2 ) = 0 λ2 x1 = 0 ∴ λ2 = λ3 = 0 λ3 x2 = 0 x1 + λ1 = 3 x1 + x2 ≤ 4 ⇒ x1 = x2 ∴ λ , λ , λ , x , x ≥ 0 x 2 + λ1 = 3 1 2 3 1 2 若 x1 + x 2 < 4 ⇒ λ1 = 0 ⇒ x1 = x2 = 3
运筹学-约束最优化方法
若AT的各个行向量线性无 关.根据Kuhn-Tucker条件, 在该线性规划的最优点y* 处存在乘子向量x*≥0,使得
即Ax*=b 对偶规划约束条件 及(ATy*-c)T x*=0 线性规划互补松弛条件
29
5.1.3 一般约束问题的最优性条件
定理1.3.1 在上述问题中,若 (i)x*为局部最优解, 有效集I*={i|ci(x*)=0,i∈I}; (ii)f(x),ci(x)(1≤i≤m)在x*点可微; (iii)对于i∈E∪I*, 线性无关, 则存在向量l*=(l1*,· · · ,lm*)使得
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
19
例题(Fritz-John条件)
min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0 c2(x)=x1≥0 c3(x)=x2≥0 即
35
惩罚函数法
惩罚是手段，不是目的
KT条件中li*ci(x*)=0 称为互补松弛条件. 它表明li*与ci(x*)不能 同时不为0.
28
线性规划情形
对于线性规划问题 min f(y)=-bTy s.t. -ATy≥-c 其中 y∈Rm,A∈Rm×n, b∈Rm,c∈Rn 问题有n个约束条件. 各个约束条件关于y 的梯度为-AT的行向 量(-pi).
借助于Farkas引理,可推出存在li*≥0(i∈I*), 使得
类似与Fritz-John条件的证明,可以证明KuhnTucker条件. 有效约束函数的梯度线性无关称为KuhnTucker约束规范. 如果该约束规范不满足,最优点不一定是KT点.
运筹学第15讲 约束最优化方法 (1)
⎛1 ⎞ (2) = ⎜ ⎜ 2 ⎟ ⎟ ⎝ ⎠
第六章
6.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
m ⎧ ⎪ ∇ f ( x ) − ∑ u i∇ g i ( x ) = 0 i ⎪ u i ≥ 0 , i = 1,2 ,L , m → ⎨ ⎪ u ig i( x ) = 0 ⎪ ⎩
< 寻找下降可行方向： 定理 1：设 其中 x 是可行解，在
1 2
6.2 可行方向法
一、解线性约束问题的可行方向法 （续）
d x 处有 A 1 x = b 1,A
2
x > b2,
⎛ A A = ⎜ ⎜A ⎝
⎞ ⎛ b1 ⎟ ⎜ ， b = ⎟ ⎜b ⎠ ⎝ 2
⎞ ⎟ ⎟ 。则非零向量 ⎠
d 为 x 处的下降可行
g3=0 x2 2 1 1
▽g2(x*)
第六章
例
-▽f(x*) (3,2)T
x* 2 3 g1=0
▽g1(x*)
4
g4=0 x1 g2=0
6.1 Kuhn-Tucker 条件 二、不等式约束问题的Khun-Tucker条件： （续）
在 x *点 ⎧ g 1 ( x1 , x 2 ) = 0 ⎨ ⎩ g 2 ( x1 , x 2 ) = 0
∗ ∗ ∗பைடு நூலகம்
第六章
6.1 Kuhn-Tucker 条件
三、一般约束问题的Kuhn-Tucker 条件 (续)
如果 x ∗ − l .opt .那么 ∃ u i∗ ≥ 0 , i ∈ I , v ∗j ∈ R , j = 1, 2 , L , l ∇f (x ) −
∗
∑u
最优化方法 第三章(可行方向法)
又 f ( x k )T d * * 0,
d * 是可行下降方向。
改进方法具有全局收敛性。
一、Zoutendijk法
Frank Wolfe 方法 min f ( x )
给定线性规划问题
Ax b s .t . x0
f ( x k )T d k 0 gi ( x k )T d k 0 , i I ( x k )
1 di 1, i 1, 2,
,n
������ = 0 , 则 ������ ������ 处不存在可行下降方向 , ������ ������ 已是 ������−������ 点. 有例子表明上述方法不一定收敛到 ������−������ 点，即总有������ < 0 .
如果可行点为内点， 可取������ = −������������(������ )计算。
一、Zoutendijk法 非线性约束模型的可行方向确定方法
min s.t.
z f ( x )T d z 0 gi ( x) d z 0, i I
T
一、Zoutendijk法 线性约束模型的可行方向
min f ( x ) Ax b s .t . Cx e
紧约束
A1 b1 定理 设 x D ，在点 x 处有 A1 x b1 , A2 x b2 , 其中A , b ， A2 b2 则非零向量 d 是 x 处的可行方向的充分必要条件是
定理 设 f ( x )可微， x k D, 如果y k 是上述线性规划的最优解,则有
(1) 当f ( x k )T ( y k x k ) 0时 , 则x k 是(1)的K -T点；
运筹学 第八章 约束最优化方法
第八章 约束最优化方法无约束优化方法是优化方法中最基本最核心的部分。
但是，在工程实际中，优化问题大都是属于有约束的优化问题，即其设计变量的取值要受到一定的限制，用于求解约束优化问题最优解的方法称为约束最优化方法。
由于约束最优化问题的复杂性，无论是在理论方面的研究，还是实际中的应用都有很大的难度。
目前关于一般的约束最优化问题还没有一种普遍有效的算法。
本书重点介绍几种常用的算法，力求使读者对这类问题的求解思路有一个了解。
8.1 约束优化方法概述一、约束优化问题的类型根据约束条件类型的不同可以分为三种，其数学模型分别如下： 1）等式约束优化问题 考虑问题l1,2,...,j x h t s x f j ==0)(..)(min其中，l 1,2,...,j x h x f j =),(),(为R R n→上的函数。
记为)(fh 问题。
2）不等式约束优化问题 考虑问题m1,2,...,i x g t s x f i =≤0)(..)(min其中，m 1,2,...,i x g x f i =),(),(为R R n→上的函数。
记为)(fg 问题。
3）一般约束优化问题()()()⎩⎨⎧===≤l ,1,2,j x h m ,1,2,i x g t s x f j i L L 00..min其中，l 1,2,...,j m i x h x g x f j i ==;,2,1),(),(),(L 为R R n→上的函数。
记为)(fgh 问题。
二、约束优化方法的分类约束优化方法按求解原理的不同可以分为直接法和间接法两类。
1）直接法只能求解不等式约束优化问题的最优解。
其根本做法是在约束条件所限制的可行域内直接求解目标函数的最优解。
如：约束坐标轮换法、复合形法等。
其基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。
可行性：迭代点必须在约束条件所限制的可行域内，即满足m i x g i ,...,2,1,0)(=≤适用性：当前迭代点的目标函数值较前一点的目标函数值是下降的，即满足)()()()1(k k x F x F <+2）间接法该方法可以求解不等式约束优化问题、等式约束优化问题和一般约束优化问题。
最优化方法及应用_郭科_约束问题的最优性条件
§2.7 约束问题的最优性条件所谓最优性条件就是最优化问题的目标函数与约束函数在最优点处满足的充要条件．这种条件对于最优化算法的终止判定和最优化理论推证都是至关重要的．最优性必要条件是指在最优点处满足哪些条件；充分条件是指满足哪些条件的点是最优点．本节仅讲述最基本的结论．一、约束最优解对约束优化问题的求解，其目的是在由约束条件所规定的可行域D 内，寻求一个目标函数值最小的点*X 及其函数值)(*X f ．这样的解))(,(**X f X 称为约束最优解．约束最优点除了可能落在可行域D 内的情况外，更常常是在约束边界上或等式约束曲面上，因此它的定义及它的一阶必要条件与无约束优化问题不同．（一）约束优化问题的类型约束优化问题根据约束条件类型的不同分为三种，其数学模型如下：（1）不等式约束优化问题（IP 型）min (),..()012i f X s t g X i l ≥=，，，，． （2.16）（2）等式约束优化问题（EP 型）min ()..()012j f X s t h X j m ==，，，，，．（3）一般约束优化问题（GP 型） min ()()012..()012i j f X g X i l s t h X j m ≥=⎧⎪⎨==⎪⎩，，，，，，，，，，．（二）约束优化问题的局部解与全局解按一般约束优化问题，其可行域为 }210)(210)(|{m j X h l i X g X D j i ，，，，；，，，， ===≥=．若对某可行点*X 存在0>ε，当*X 与它邻域的点X 之距离ε<-||||*X X 时，总有)()(*X f X f <则称*X 为该约束优化问题的一个局部最优解．下面以一个简单例子说明．设有⎩⎨⎧=---=≥+=+-=．，，09)2()(02)(..)1()(min 222122221x x X h x X g t s x x X f该问题的几何图形如图2.8所示．从图上的目标函数等值线和不等式约束与等式约束的函数曲线可写出它的两个局部最优解T T X X ]05[]01[*2*1，，，=-=．这是因为在*1X 点邻域的任一满足约束的点X ，都有)()(*1X f X f >；同理，*2X 亦然．１图2.8 对某些约束优化问题，局部解可能有多个．在所有的局部最优解中，目标函数值最小的那个解称为全局最优解．在上例中，由于16)(4)(*2*1==X f X f ，，所以全局最优解为))((*1*1X f X ，． 由此可知，约束优化问题全局解一定是局部解，而局部解不一定是全局解．这与无约束优化问题是相同的．二、约束优化问题局部解的一阶必要条件对于约束，现在进一步阐明起作用约束与不起作用约束的概念．一般的约束优化问题，其约束包含不等式约束l i X g i ，，，， 210)(=≥和等式约束m j X h j ，，，， 210)(==．在可行点k X 处，如果有0)(=k i X g ，则该约束)(X g i 称可行点k X 的起作用约束；而如果有0)(>k i X g ，则该约束)(X g i 称可行点k X 的不起作用约束．对于等式约束0)(=X h j ，显然在任意可行点处的等式约束都是起作用约束． 在某个可行点k X 处，起作用约束在k X 的邻域内起到限制可行域范围的作用，而不起作用约束在k X 处的邻域内就不产生影响．因此，应把注意力集中在起作用约束上．（一）IP 型约束问题的一阶必要条件图2.9所示为具有三个不等式约束的二维最优化问题．图2.9图2.9（a ）是最优点*X 在可行域内部的一种情况．在此种情形下，*X 点的全部约束函数值)(*X g i 均大于零)321(，，=i ，所以这组约束条件对其最优点*X 都不起作用．换句话说，如果除掉全部约束，其最优点也仍是同一个*X 点．因此这种约束优化问题与无约束优化问题是等价的．图2.9（b ）所示的约束最优点*X 在)(1X g 的边界曲线与目标函数等值线的切点处．此时，0)(0)(0)(*3*2*1>>=X g X g X g ，，，所以)(1X g 是起作用约束，而其余的两个是不起作用约束．既然约束最优点*X 是目标函数等值线与)(1X g 边界的切点，则在*X 点处目标函数的梯度)(*X f ∇与约束函数梯度矢量)(*1X g ∇必共线，而且方向一致．若取非负乘子0*1≥λ，则在*X 处存在如下关系0)()(*1*1*=∇-∇X g X f λ．另一种情况如图2.9（c ）所示．当前迭代点k X 在两约束交点上，该点目标函数的梯度矢量)(k X f ∇夹于两约束函数的梯度矢量)()(21k k X g X g ∇∇，之间．显然，在k X 点邻近的可行域内部不存在目标函数值比)(k X f 更小的可行点．因此，点k X 就是约束最优点，记作*X ．由图可知，此时k X 点目标函数的梯度)(k X f ∇可表达为约束函数梯度)(1k X g ∇和)(2k X g ∇的线性组合．若用*X 代替k X 即有)()()(*2*2*1*1*X g X g X f ∇+∇=∇λλ成立，且式中的乘子*1λ和*2λ必为非负．总结以上各种情况，最优解的一阶必要条件为⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，210)(00)()(**21**1*i X g X g X f i i i i λλ 对于（2.16）IP 型约束问题的一阶必要条件讨论如下： 设最优点*X 位于j 个约束边界的汇交处，则这j 个约束条件组成一个起作用的约束集．按上面的分析，对于*X 点必有下式成立⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，，，j i X g X g X f i i j i i i 210)(00)()(**1***λλ （2.17）但是在实际求解过程中，并不能预先知道最优点*X 位于哪一个或哪几个约束边界的汇交处．为此，把l 个约束全部考虑进去，并取不起作用约束的相应乘子为零，则最优解的一阶必要条件应把式（2.17）修改为⎪⎪⎪⎩⎪⎪⎪⎨⎧==≥≥=∇-∇∑=．，，，，，，，l i X g X g X g X f i i iil i i i 210)(0)(00)()(****1***λλλ （2.18）式（2.18）为IP 型问题约束最优解的一阶必要条件，它与式（2.17）等价．因为在*X 下，对于起作用约束，必有l i X g i ，，，， 210)(*==使式（2.18）中的第四式成立；对于不起作用约束，虽然0)(*>X g i 而必有0*=i λ，可见式（2.18）与式（2.17）等价．（二）EP 型约束问题的一阶必要条件图2.10所示为具有一个等式约束条件的二维化问题，其数学模型为．，0)(..)(min =X h t s X f在该问题中，等式约束曲线0)(=X h 是它的可行域，而且目标函数等值线C X f =)(与约束曲线0)(=X h 的切点*X 是该约束问题的最优解．图2.10在*X 点处，目标函数的梯度)(*X f ∇与约束函数的梯度)(*X h ∇共线．因此，在最优点*X 处一定存在一个乘子*u ，使得 0)()(***=∇-∇X h u X f成立．对于一般的n 维等式约束优化问题，其数学模型为min ()..()012j f X s t h X j m ==，，，，，．则*X 为其解的一阶必要条件为***1*()()0()012m j j j j f X u h X h X j m =⎧∇-∇=⎪⎨⎪==⎩∑，，，，，．（三）GP 型约束问题解的一阶必要条件由上述不等式约束优化与等式约束优化问题的一阶必要条件，可以推出一般约束优化问题的条件．设n 维一般约束优化问题的数学模型为⎩⎨⎧===≥，，，，，，，，，，，m j X h l i X g t s X f j i 210)(210)(..)(min （2.19）则*X 为其解的一阶必要条件应为⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧====≥≥=∇-∇-∇∑∑==．，，，，，，，，，，，，m j X h l i X g X g X h u X g X f j i i i i l i m j j j i i 210)(210)(0)(00)()()(*****11*****λλλ （2.20） 函数∑∑==--=l i m j j j i i X h u X g X f u X L 11)()()()(λλ，，称为关于问题（2.19）的广义拉格朗日函数，式中T l ][21λλλλ，，， =，T m u u u u ][21，，， =为拉格朗日乘子．由于引入拉格朗日函数，条件（2.20）中的第一式可写为0)(***=∇u X L X ，，λ．（四）Kuhn —T ｕcker 条件（简称K —T 条件）在优化实用计算中，常常需要判断某可行迭代点k X 是否可作为约束最优点*X 输出而结束迭代，或者对此输出的可行结果进行检查，观察它是否已满足约束最优解的必要条件，这种判断或检验通常借助于T K -条件进行的．对于IP 型问题，T K -条件可叙述如下：如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇组成线性无关的矢量系，那么必存在一组非负乘子*i λ，使得⎪⎩⎪⎨⎧===∇-∇∑=l i X g X g X f ii l i i i ，，，，，210)(0)()(**1***λλ 成立．必须指出，在一般情形下，T K -条件是判别约束极小点的一阶必要条件，但并非充分条件．只是对于凸规划问题，即对于目标函数)(X f 为凸函数，可行域为凸集的最优化问题，T K -条件才是约束最优化问题的充分条件．而且，在这种情况下的局部最优解也必为全局最优解．应用T K -条件检验某迭代点k X 是否为约束最优点的具体作法可按下述步骤进行：（1）检验k X 是否为可行点．为此需要计算k X 处的诸约束函数值)(k i X g ，若是可行点，则l i X g k i ，，，， 210)(=≥． （2）选出可行点k X 处的起作用约束．前面已求得l 个)(k i X g 值，其中等于零或相当接近零的约束就是起作用约束．把这些起作用约束重新编排成序列I i X g i ，，，， 21)(=．（3）计算k X 点目标函数的梯度)(k X f ∇和I 个起作用约束函数的梯度)(k i X g ∇．（4）按T K -条件，k X 点应满足∑==≥=∇-∇Ii i k i i k I i X g X f 1)21(00)()(，，，， λλ. (2.21）将式（2.21）中的各梯度矢量用其分量表示，则可得到i λ为变量的线性方程组⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂．，，0)()()()(0)()()()(0)()()()(22112222211211221111n k I I n k n k n k k I I k k k k I I k k k x X g x X g x X g x X f x X g x X g x X g x X f x X g x X g x X g x X f λλλλλλλλλ 由于矢量系I i X g k i ，，，， 21)(=∇是线性无关的，所以该方程组存在唯一解．通过解此线性方程组，求得一组乘子I λλλ，，，21，若所有乘子均为非负，即I i i ，，，， 210=≥λ，则k X 即为约束最优解．否则，k X 点就不是约束最优点．例2.9 设约束优化问题⎪⎩⎪⎨⎧≥=≥=≥--=+-=．，，，0)(0)(01)(..)2()(min 132222112221x X g x X g x x X g t s x x X f 它的当前迭代点为T k X ]01[，=，试用T K -条件判别它是否为约束最优点． 解：（1）计算k X 点的诸约束函数值，，，1)(0)(011)(2221===-=k k k X g X g X gk X 是可行点．（2）k X 点起作用约束是222211)(1)(x X g x x X g =--=，．（3）求k X 点梯度．，，⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∇⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--=∇⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇1010)(1212)(022)2(2)()0,1(2)0,1(11)0,1(21k k k X g x X g x x X f（4）求拉格朗日乘子 按T K -条件应有 ．，01012020)()()(212211=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡---⎥⎦⎤⎢⎣⎡-=∇-∇-∇λλλλk k k X g X g X f写成线性方程组 ⎩⎨⎧=-=+-．，0022211λλλ 解得010121>=>=λλ，．乘子均为非负，故T k X ]0,1[=满足约束最优解的一阶必要条件．如图2.11所示，k X 点确为该约束优化问题的局部最优解，由于可行域是凸集，所以点k X 也是该问题的全局最优解．图2.11GP 型的约束最优化问题的T K -条件类似于IP 型约束最优化问题的T K -条件： 如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇和)(*X h j ∇组成线性无关的矢量系，那么必存在两组乘子*i λ和*j u ，使得。
第五章约束问题的最优化方法
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q， I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微，
有约束优化方法
间接解法中具有代表性的是惩罚函数法。
直接解法的基本思想：
在由m个不等式约束条件gu(x)≤0所确定的可行域φ内，选 择一个初始点x(0)，然后确定一个可行搜索方向S，且以适当 的步长沿S方向进行搜索，取得一个目标函数有所改善的可 行的新点x(1)，即完成了一次迭代。以新点为起始点重复上 述搜索过程，每次均按如下的基本迭代格式进行计算：
② 将非可行点调入可行域内
ⅰ) 检查已获得的各顶点的可行性,若无一可行, 则重新产生随机点;若有q个可行,则转下步.
ⅱ) 计算q个可行点点集的几何中心
X (s) 1 q X ( j) q j1
ⅲ) 将非可行点逐一调入可行域内.
X (q1) X (s) 0.5( X (q1) X (s) )
xk1 xk kd k (k 0,1, 2, )
k 步长
d k 可行搜索方向
可行搜索方向:当设计点沿该方向作微量移动时， 目标函数值将下降，且不会越出可行域。
直接解法的原理简单，方法实用，其特点是：
1）由于整个过程在可行域内进行，因此，迭代计算不论 何时终止，都可以获得比初始点好的设计点。 2）若目标函数为凸函数，可行域为凸集，则可获得全域 最优解，否则，可能存在多个局部最优解，当选择的初始 点不同，而搜索到不同的局部最优解。
根据求解方式的不同，约束优化设计问题可分为:直接 解法、间接解法。
（1）直接法
直接法包括：网格法、复合形法、随机试验法、 随机方向法、可变容差法和可行方向法。
（2）间接法
间接法包括：罚函数法、内点罚函数法、外点罚 函数法、混合罚函数法、广义乘子法、广义简约梯度 法和约束变尺度法等。
约束问题的最优化方法
3. 优化方法： 选用内点惩罚法，惩罚函数形式为： 6 1 T k k x,r f x r 取 x 0 1,30 , r 0 3 , c 0.7 u 1 g x u 调用 Powell 法求序列无约束优化极值，以逐渐逼近原问 题的极值点。
k 2 x r ( 1 x ) x 1时； x, r k x 1时。 x
4
min.
s.t
f (x) = x
x ∈ R1
g (x) = 1-x ≤ 0
§5.3 外点惩罚函数法
二. 惩罚函数的形式：
①
x, r ( k ) f x r k maxg u x ,0 I u g u x 0 u 1,2,...,m,
(k ) (k ) m
1 u 1 g ( x ) u
m
其中：gu ( x) 0, u 1,2,...m
1 u 1 g ( x ) u m 1 (k ) (k ) ③ . ( x, r ) f ( x) ru u 1 g u ( x) m 1 (k ) (k ) ④ .( x, r ) f ( x) r 2 u 1 [ g ( x )] u
§5.2 内点惩罚函数法
4. 求解过程分析：
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想： 外点法将新目标函数
Φ( x , r )
构筑在可行域 D
外，随着惩罚因子 r(k) 的不断 递增，生成一系列新目标函数
Φ(xk ,r(k))，在可行域外逐步
迭代，产生的极值点 xk*(r(k)) 序列从可行域外部趋向原目标 函数的约束最优点 x* 。 例：求下述约束优化问题的最优点。 新目标函数：
第三章 (1) 约束优化问题的最优性理论
m
iai , i
0, i
1,...,
m
i 1
如果 n 维向量 g C ，则存在一个
法向量为d的超平面分离 g 和 C，
使得 gTd 0
aiT d 0,i 1,..., m
三、一阶最优性条件
Farkas 引理
给定任意 n 维向量 a1, a2,..., am 与 g，则集合
一、一般约束最优化问题
可行域 X x Rn ci x 0,i I , ci x 0,i E .
min f x xRn
s.t. ci x 0,i E 1, , me, ci x 0,i I me 1, , m.
不同时成立！
g* i*ai*
iE
二、约束规范条件
对不等式约束最优化问题
aiT ( x*)d 0,i I ( x*) (线性化可行方向)
g*Td 0
(下降方向)
不同时成立！
g* i*ai*, i* 0,i I * iI *
起作用约束问题
i* 0？
最优解为x (0,0)
F2 : d (d1, 0)T , d1 1
D : d (d1, d2 )T , d2 0 F1 D F2 D
正则性假设成立，KT约 束规范条件不成立。
二、约束规范条件
一阶必要条件(几何特征) 根据可行方向和下降方向定义, 若 x* 为约束问题的局部最优解，则
等式约束问题
不等式约束问题
记 Ax a1(x), , am (x), ai (x) ci x;
一、一般约束最优化问题 约束优化问题的求解困难：目标函数、约束函数共同作用
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
(1)
H ，定义集合
I ( x (1) ) {i g i ( x (1) ) 0,1 i l}
(1) x 为 点所有起作用约束的下标的集合．
可行下降方向的判定条件
g j ( x ) d 0 ( j I ( x ))
(1) T (1)
f ( x
(1)
) d 0
T
*
* j
必为零，在运用 K-T 条件求 K-T 点时，利用这一点可 以大大 地简化计算，另 外还要把约束条 件都加上．
2．求满足Kuhn-Tucker条件的点
例 9-1 求下列非线性规划问题的 Kuhn-Tucker 点．
min f ( x) 2x 2x1x2 x 10x1 10x2
线性无关．
若
* x* 是 (9-1) 的局部最优解，则比存在 * (1* , 2 ,, l* )T 和向量
* * T * (1* , 2 ,, m ) ，使下述条件成 立：
l m * * * * * f ( x ) j g j ( x ) i hi ( x ) 0 j 1 i 1 * * j g j ( x ) 0, j 1, 2, , l * j 0, i 1, 2, , l
2 1 2 2
s.t. 5 x x 0
2 1 2 2
6 3x1 x2 0
例 9-2 求下列非线性规划问题的 Kuhn-Tucker 点．
min s.t. f ( x) xip
i 1 n n
h( x) xi a 0
其中 p 1, a 0 ．
i 1
其二 是 g j ( x) 0 ，这时 x (1) 处 于 由这 一约 束条 件 形成 的可 行域 的 边界 上， 它 对 x (1) 点的扰 动起 到 了某 种限 制作 用 ，即 当点 沿某 些方 向稍 微 离开 x (1) 时， 仍能 满 足约 束条 件， 而 当点 沿另 一些 方向 离开 x (1) 时 ，不 论步 长多 么 小， 都将 违背 该 约束 条件 ．这 样的 约束 称 为 x (1) 点的起 作用 约 束． 显然 ，等 式 约束 对所 有可 行点来说都是起作用约束．特别地，对于只含不等式约束的 非线性规划问题，严格内点（即不在可行域边界上的点）不 存在 起作 用的 约 束．
可行下降方向有十分明确的几何意义 : 点 x (1) 处的可行下降方向 d 与该点处目标函数的负梯度方 向的夹角为锐角， 与该点处起作用约束函数的梯度方向的 夹角也为锐角．
9.1.2 Kuhn-Tucker条件（一阶必要条件）
•
Kuhn-Tucker条件是非线性规划领域中最重要的理
论成果之一，是确定某点是最优点的一阶必要条件．只要
近似规划法的基本思想是：将问 题（ 9-11 ）中的目标函数 和各约束函数都近似为线性函数， 并对各变量的取值范围 加以限制，从而得到一近似的线性规划，再用单纯形法求 解之，把符合原始约束条件的最优解作为问题（ 9-11 ）的 解的近似．每得到一个近似解后，都从这一点出发，重复 以上步骤．这样，通过求解一系列线性规划，产生一个由 线性规划最优解组成的序列，经验表明，这样的序列往往 收敛于非线性规划问题的解．应用近似规划法时，必须给 定一个初始的可行点．
(9-6) 式 (9-6) 就是既含 有等式约束又含 有不等式约束的 非线性规 划问题的 Kuhn-Tucker 条件，简称 K-T 条件，满足 Kuhn-Tucker 条件的点称为 Kuhn-Tucker 条件点或者 K-T 点．如果一个非 线性规划问题只 含有等式 约束或 者只含有不 等式约束，其相 应的 Kuhn-Tucker 条件也相应地具 有更简化 的形式．
通常称函数 [ f ( x) j g j ( x) i hi ( x)] 为问题 (9-1) 的广义拉 格
j 1 i 1
l
m
* * , * , , 朗日函数，称乘子 1 , 2 ,, l 和 1 2 m 为广义拉格朗 日 乘
*
*
*
子，称向量 * 和 * 为乘子向量．由（ 9-.6 ）的第二个向量方 程 可知，当不等式约 束 g j ( x) 0 在 x 处为不起作 用约束时，
9.2.1 线性近似规划的构成
设 x
(k )
H ， 将 目 标 函 数
f ( x) 与 约 束 条 件 函 数
(k )
hi ( x)(i 1, 2,, m) 和 g j ( x)( j 1, 2,, l ) 在 点 x 处 作 一 阶
Taylor 展开，并取 其线性近似式，可 得到下列线性规 划问题 ： min f ( x ( k ) ) f ( x ( k ) )T ( x x ( k ) );
(9 7) (9 8) (9 9)
(9-10)
其中
I ( x* ) 是 x* 处 起 作 用 的 不 等 式 约 束 函 数 的 下 标 j 的 集 合 ．
显然，上述二阶充分条件中的 (9-10) 式的
2 * [2 f ( x* ) i*2 hi ( x* ) * g ( x )] j j i 1 j 1 m l
H {x x E n , hi ( x) 0, g j ( x) 0, i 1, 2, , m, j 1, 2, , l }
x(1) H , 考 虑 某 一 个 不 等 式 约 束 g j ( x) 0 ， x (1) 满 足 它 有 两 种 可 能 ：其 一
是 g j ( x) 0 ， 这 时 ， x (1) 不 是 处 于 由 这 一 约 束 条 件 形 成 的 可 行 域 的 边 界 上 ，因 此 当 点 不 论 沿 什 么 方 向 稍 微 离 开 x (1) 时 ，都 不 会 违 背 这 一 约 束 条 件 ， 这 样 的 约 束 就 称 为 x (1) 点 的 不 起 作 用 约 束 ， 它 对 x (1) 的 微 小 扰 动 不 起限制作用；注意，不起作用约束并不是无效约束！
（ 2 ）第二种情况 若不能先求出一个可能极件的点 是一个严格局部极小点．
x
*
，再证明上述 ③和④，则
x
*
9．2 近似规划法
近似规划法是一种线性化的方法：将非线性规划线性化，然 后通过求解一系 列线性规划来求 原问题的近似最 优解． 考虑非线性规划 问题
f ( x) 与 gi ( x)(i I ( x* )) 在点 x* 处可微，gi ( x)(i I ( x* )) 在点 x* 处连续，
h j ( x)
( j 1,2,, m) 在点 x* 处连续可微，且向量集
{gi ( x* ), h j ( x* ) i I ( x* ), j 1, 2, , l}
9.1.3 关于凸规划的全局最优解定理
对于非线性规划 问题 (9-1) 而言，若 f ( x) 是凸函数， g j ( x)( j 1, 2,, l ) 是凹函数， hi ( x)(i 1, 2,, m) 是线性函数，可行
* * x x H 域为 H ， ，且在 处有 Kuhn-Tucker 条件 (9-6) 成立，
是最优点（且为正则点）就必须满足这个条件，但一般来 说它并不是充分条件，因而满足这个条件的点不一定是最 优点．但对于凸规划，Kuhn-Tucker条件既是最优点存在 的必要条件，同时也是充分条件．
1 ． Kuhn-Tucker 条件 Kuhn-Tucker 条件就是下面的定理． 定理 9-1 考虑问题 (9-1) ，设 x* H , I ( x* ) {i gi ( x* ) 0,1 i l} ，
则 x 是全局最优解 ． 显然，上述定理 中的可行域 H 是 凸集， 又目标函数 f ( x) 是凸函数，故问题属于 凸规划．由上述定 理可 知，对凸规划问题 而言，Kuhn-Tucker 条件是局部极小点的一 阶必要条件，同时也是充分条件，而且局部极小点就是全局 极小点．例 9-1 和例 9-2 （当 x 0 时）中的问题都是凸 规划， 因此所求得的 K - T 点是全局极小点 ．
即广义拉格朗日函数在点
x* 处 的 海 赛 矩 阵 ． 若 令 满 足
(9-7) 、 (9-8) 、 (9-9) 三条件的非零向量 z 构成的子空间 为 M ，则 (9-10) 式表明，广义拉格朗日函数在点 x* 处的海 赛矩阵在子空间 M 上是正定的．
2 ．利用 Kuhn-Tucker 条件和二阶充 分条件求约束极 小 （ 1 ）第一种情况 如果能用其它方 法（如几何作图或 通过解约束方程 组求出 约 束 条 件 的 交 点 等 ） 先 求 出 一 个 点 x* ， 这 个 点 是 约 束 极 小 的 可能性很大，不 妨先假设其为约 束极小，再逐一 证之． ①证明 x* 是可行点 ． ②证明 x* 是正则点 ． ③把 x* 代入 Kuhn-Tucker 条件 (9.1.6) 式中，应能求出 符合条 件的向量 * 和 * ． ④证明广义拉格 朗日函数在点 x* 处的海赛矩阵在子 空间 M 上 是正定的． 若能证明上述四 点，则 x* 是一个严 格局部极小点．
*
9.1.4 二阶充分条件
1. 二 阶 充 分 条 件 对 非 线 性 规 划 问 题 （ 9-1 ） 而 言 ， 若 f ( x) 、 gi ( x)( j 1, 2,, l ) 、