第四章约束问题的最优化方法解析
[最优化]不等式约束的优化问题求解
![[最优化]不等式约束的优化问题求解](https://img.taocdn.com/s3/m/9cd05016974bcf84b9d528ea81c758f5f61f29fd.png)
[最优化]不等式约束的优化问题求解不等式约束的优化问题求解与前⽂讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以⽤拉格朗⽇乘⼦法进⾏求解对于⼀般形式的优化问题：其中，引⼊下⾯两个定义：定义1：对于⼀个不等式约束，如果在处，那么称该不等式约束是处的起作⽤约束；如果在处，那么称该约束是处的不起作⽤约束。
按照惯例，总是把等式约束当作起作⽤的约束定义2：设满⾜，设为起作⽤不等式约束的下标集：如果向量 是线性⽆关的，那么称是⼀个正则点下⾯介绍某个点是局部极⼩点所满⾜的⼀阶必要条件，即KKT 条件。
KKT 条件：设，设是问题的⼀个正则点和局部极⼩点，那么必然存在和，使得以下条件成⽴：那么在求解不等式约束的最优化问题的时候，可以搜索满⾜KKT 条件的点，并将这些点作为极⼩点的候选对象。
⼆阶充分必要条件除了⼀阶的KKT 条件之外，求解这类问题还有⼆阶的充分必要条件。
⼆阶必要条件：在上述的问题中若是极⼩点且。
假设是正则点，那么存在和使得1. 2. 对于所有，都有成⽴⼆阶充分条件：假定，是⼀个可⾏点，存在向量和使得1. 2. 对于所有，都有成⽴那么是优化问题的严格局部极⼩点f(x)subject toh(x)=0g(x)≤0minimize f(x)subject to h(x)=0g(x)≤0f:Rn →R,h:Rn →Rm,m≤n,g:Rn →Rp f :→R,h :→,m ≤n,g :→R n R n R m R n R pgj(x)≤0(x)≤0g j x ∗x ∗gj(x ∗)=0()=0g j x ∗x ∗x ∗x ∗x ∗gj(x ∗)<0()<0g j x ∗x ∗x ∗hi(x)(x)h i x ∗x ∗h(x ∗)=0,g(x ∗)≤0h()=0,g()≤0x ∗x ∗J(x ∗)J()x ∗J(x ∗)≜{j:gj(x ∗)=0}J()≜{j :()=0}x ∗g j x ∗∇hi(x ∗),∇gj(x ∗),1≤i≤m,j ∈J(x ∗)∇(),∇(),1≤i ≤m,j ∈J()h i x ∗g j x ∗x ∗x ∗x ∗f,h,g ∈C1f,h,g ∈C 1x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0Tµ∗Tg(x ∗)=0h(x ∗)=0g(x ∗)≤0≥0µ∗Df()+Dh()+Dg()=x ∗λ∗T x ∗µ∗T x ∗0Tg()=0µ∗T x ∗h()=0x ∗g()≤0x ∗x ∗x ∗f,h,g ∈C2f,h,g ∈C 2x ∗x ∗λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T(x ∗)y ∈T ()x ∗yTL(x ∗,λ∗,µ∗)y≥0L(,,)y ≥0y T x ∗λ∗µ∗f,h,g ∈C2f,h,g ∈C 2x ∗∈Rn ∈x ∗R n λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T~(x ∗,µ∗),y≠0y ∈(,),y ≠0T˜x ∗µ∗yTL(x ∗,λ∗,µ∗)y>0L(,,)y >0y T x ∗λ∗µ∗x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0。
约束最优化问题的最优性条件
ci ( x ) ≥ 0
i ∈ I = {l + 1, , m}
一阶必要条件
定理6: (Kuhn-Tucker一阶必要条件)
*
I * = i ci x * = 0, i ∈ I ; 设 x 为问题(3)的局部最优解, f ( x ), ci ( x ) (1 ≤ i ≤ m ) 在 x * 点可微, 对于i ∈ E ∪ I *
*
λ f (x ) ∑ λ ci (x ) = 0
m * 0 *
λ c (x ) = 0 i = 1,2, , m
* i i *
i =1
* i
*
λ ≥ 0 i = 0,1,2, , m
* i
例2: 验证是否满足Fritz-John条件:
min f ( x1 , x2 ) = x1 s.t
*
3 c1 ( x1 , x2 ) = x1 x2 ≥ 0
* 则存在一组不全为零的实数 λ1 , λ* , λ* 使得: 2 l
f x * ∑ λ*ci x * = 0 i
i =1
( )
l
( )
二阶充分条件
定理2: 对等式约束问题,若: (1) f ( x ) 与 ci ( x )(1 ≤ i ≤ l ) 是二阶连续可微函数; (3) s ∈ R n且 s ≠ 0 , 且 s T ci (x * ) = 0 , i = 1,2, l 均有 s T 2 L (x * , λ* )s > 0 xx 则 x* 是等式约束问题的严格局部极小点. (2) x * ∈ R n 与 λ* ∈ R l 使: L(x* , λ* ) = 0 ;
{ ( ) }
的ci (x * ) 线性无关, 则存在非零向量 * λ* = (λ1 , , λ* ) 使得: m
4一般约束最优化问题的最优性条件.
T
, c 2 x
1,1, 0
*
T
.
令 6
即： f x * 2c1 x * 2c2 x * . * 0, i 1,2,3,4,5. c x 令i 0，i 3， 4， 5，则 i i
* x 所以， 是K-T点．
Fritz John 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
Fritz John 最优性条件—一阶必要条件
缺点
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶必要条件
一般约束最优化问题的最优性条件
c 3 x x1 0
c4 x x 2 0 c5 x x 3 0
试验证最优点 x * 1, 1, 1T为K-T点．
一般约束最优化问题的最优性条件
解： I * 1, 2, f x * 6,2,4T ,
c1 x
2,2, 2
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
Kuhn-Tucker 最优性条件—一阶充分条件
一般约束最优化问题的最优性条件
几何最优性条件—一阶必要条件 定义 I ( x ) {i | gi ( x ) 0, i 1,2,..., m}. 定理3.4.1
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
机械优化设计-第04章 多维有约束优化方法
第四章：多维有约束优化方法4.1概述一、多维有约束问题的数学模型机械优化设计问题绝大多数是属于多维有约束非线性规划，其数学模型可表示为式中a i、b i分别为x i的下界和上界。
在求解约束优化问题时，虽然可以利用第三章的无约束优化方法，再加上约束的逻辑判断，使搜索点保持在可行域内逐步逼近约束最优解，但这样处理太复杂，缺乏严格的科学性。
因此，出现了一些直接求解约束优化问题的方法，其基本思路也是数值迭代法。
目前，约束优化方法虽然不如无约束优化方法那样多而完善，但对求解工程优化问题已有很多较好的方法。
二、多维有约束优化方法的分类（1)直接法直接法包括：网格法、分层降维枚举法、复合形法、随机试验法、随机方向法、可变容差法和可行方向法。
(2)间接法间接法包括：罚函数法、内点罚函数法、外点罚函数法、混合罚函数法、精确罚函数法、广义乘子法、广义简约梯度法和约束变尺度法。
直接法不需要利用目标函数和约束函数的梯度，就可直接利用迭代点和目标函数值的信息来构造搜索方向。
间接法要利用目标、约束函数的梯度，其中也包括利用差分来近似梯度的应用。
很多约束优化方法是先转变成无约束优化方法来求解。
可见，无约束优化方法也是也是约束优化方法的基础。
4.2复合形法一、方法概述基本思路：在可行域中选取K个设计点（n+1≤K≤2n）作为初始复合形的顶点。
比较各顶点目标函数值的大小，去掉目标函数值最大的顶点(称最坏点)，以坏点以外其余各点的中心为映射中心，用坏点的映射点替换该点，构成新的复合形顶点。
反复迭代计算，使复合形不断向最优点移动和收缩，直至收缩到复合形的顶点与形心非常接近，且满足迭代精度要求为止。
初始复合形产生的全部K个顶点必须都在可行域内。
二、初始复合形的产生复合形法是一种在可行域内收索最优点大直接解法。
(1)确定可行点作为初始复合形的第一个顶点：式中：通过调整随机数，使第一个初始点控制在可行域范围内。
(2)产生其余（K－1）个随机点。
约束问题最优化方法
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
(1)
H ，定义集合
I ( x (1) ) {i g i ( x (1) ) 0,1 i l}
(1) x 为 点所有起作用约束的下标的集合．
可行下降方向的判定条件
g j ( x ) d 0 ( j I ( x ))
(1) T (1)
f ( x
(1)
) d 0
T
*
* j
必为零，在运用 K-T 条件求 K-T 点时，利用这一点可 以大大 地简化计算，另 外还要把约束条 件都加上．
2．求满足Kuhn-Tucker条件的点
例 9-1 求下列非线性规划问题的 Kuhn-Tucker 点．
min f ( x) 2x 2x1x2 x 10x1 10x2
线性无关．
若
* x* 是 (9-1) 的局部最优解，则比存在 * (1* , 2 ,, l* )T 和向量
* * T * (1* , 2 ,, m ) ，使下述条件成 立：
l m * * * * * f ( x ) j g j ( x ) i hi ( x ) 0 j 1 i 1 * * j g j ( x ) 0, j 1, 2, , l * j 0, i 1, 2, , l
2 1 2 2
最优化方法4-1第四章 约束最优化方法-KKT条件
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
最优化方法第四章(1)概要
（4.7）
D {x si ( x) 0, i 1,2, , 对于约束问题（4.7），设 x D 。若 x 使得 某个不等式约束有 si ( x ) 0 ，则该不等式约束 si ( x ) 0 称为是关于容许点 x 的起作用约束；否则，若 si ( x ) 0 ， 则该不等式约束称为是关于容许点 x 的不起作用约束。
*
*
G( x* ) S ( x* ) * * p C ( x ) ， 证 根据引理4.3，若 p G( x ) ，则 * * C ( x ) S ( x ) , 从而 G( x* ) C( x* ) 。又根据定理4.5，有 故必有 G( x* ) S ( x* ) 。
j 1
l
Lagrange 函数（4.4)的梯度是
x L L L
其中
x L f ( x ) j h j ( x )
l
L h1 ( x ), h2 ( x ),
最优性必要条件
j 1
hl ( x )
T
L( x* , 1* , 2* ,
C 是凸集，则称为凸锥。
显然，由 的集合
n 维向量 v1, v2 ,
m i 1
, vm 的全部非负组合构成
C {x x i vi , i 0}
是一个以原点为顶点的凸锥。由于这样的凸锥的边界是 （超）平面或直线，所以也称为由 v1 , v2 , , vm 张成的 凸多面锥。 n 是 D 定义4.3 设 R 中的非空集，且 x D。对于非零 n 向量 p R ，若存在 0 ，当 t (0, ) 时，必有 x tp D ，则 p 称为点 x 的容许方向向量，其方向 称为点 x 的容许方向。由点 x 的全部容许方向向量构成的 集合称为点 x 的容许方向锥，记作 C ( x* )
第4章最优化方法运筹学
x31 + x32+ x33 = 1.1x21+ 1.25x12 x41 + x42 = 1.1x31+ 1.25x22 x51 = 1.1x41+ 1.25x32 xi2 ≤ 30 ( i =1、2、3、4 ) x33 ≤ 80 x24 ≤ 100 xij ≥ 0 ( i = 1、2、3、4、5；j = 1、2、3、4）
设备 原料 A 原料 B 单位产品获利
Ⅰ
1 2 0 50 元
Ⅱ
1 1 1 100 元
资源限制
300 台时 400 千克 250 千克
问题：工厂应分别生产多少单位Ⅰ、Ⅱ产品才能 使工厂获利最多？
第一节 线性规划
一、在管理中一些典型的线性规划应用 二、线性规划的一般模型
三、线性规划问题的计算机求解 （Excel，lingo）
x1,x2,x3,x4 ≥ 0
例题分析5：投资问题
例5 某部门现有资金200万元，今后五年内考虑给以下的项目 投资。已知：
项目A：从第一年到第五年每年年初都可投资，当年末能收回 本利110%；
项目B：从第一年到第四年每年年初都可投资，次年末能收回 本利125%，但规定每年最大投资额不能超过30万元；
B(j=2)、C(j=3)、D(j=4)项目的金额。这样我们建立如下的
决策变量：
1
2345
A x11 x21 x31 x41 x51
B x12 x22 x32 x42
C
x33
Байду номын сангаасD
x24
例题分析5：投资问题
Max z = 1.1x51+ 1.25x42+ 1.4x33 + 1.55x24 s.t. x11+ x12 = 200 x21 + x22+ x24 = 1.1x11(第二年的投资与第一年投资
第四章 非线性规划 山大刁在筠 运筹学讲义
第四章 非线性规划教学重点：凸规划及其性质，无约束最优化问题的最优性条件及最速下降法，约束最优化问题的最优性条件及简约梯度法。
教学难点：约束最优化问题的最优性条件。
教学课时：24学时主要教学环节的组织：在详细讲解各种算法的基础上，结合例题，给学生以具体的认识，再通过大量习题加以巩固，也可以应用软件包解决一些问题。
第一节 基本概念教学重点：非线性规划问题的引入，非线性方法概述。
教学难点：无。
教学课时：2学时主要教学环节的组织：通过具体问题引入非线性规划模型，在具体讲述非线性规划方法的求解难题。
1、非线性规划问题举例例1 曲线最优拟合问题已知某物体的温度ϕ 与时间t 之间有如下形式的经验函数关系：312c t c c t e φ=++ （*）其中1c ，2c ，3c 是待定参数。
现通过测试获得n 组ϕ与t 之间的实验数据),(i i t ϕ，i=1，2，…,n 。
试确定参数1c ，2c ，3c ，使理论曲线(*)尽可能地与n 个测试点),(i i t ϕ拟合。
∑=++-n 1i 221)]([ min 3i t c i i e t c c ϕ例 2 构件容积问题通过分析我们可以得到如下的规划模型：⎪⎪⎩⎪⎪⎨⎧≥≥=++++=0,0 2 ..)3/1( max 212121222211221x x S x x x x a x x t s x x a V ππππ基本概念设n T n R x x x ∈=),...,(1，R R q j x h p i x g x f n j i :,...,1),(;,...,1),();(==,如下的数学模型称为数学规划(Mathematical Programming, MP)：⎪⎩⎪⎨⎧===≤q j x h p i x g t s x f j i ,...,1,0)( ,...,1,0)( ..)( min约束集或可行域X x ∈∀ MP 的可行解或可行点MP 中目标函数和约束函数中至少有一个不是x 的线性函数，称(MP)为非线性规划令 T p x g x g x g ))(),...,(()(1=T p x h x h x h ))(),...,(()(1=，其中，q n p n R R h R R g :,:，那么(MP )可简记为⎪⎩⎪⎨⎧≤≤ 0)( 0 ..)( min x h g(x)t s x f 或者 )(min x f X x ∈ 当p=0,q=0时，称为无约束非线性规划或者无约束最优化问题。
最优化方法(约束优化问题的最优性条件)
s.t. c1 ( x ) = x 1 + x 2 + x 3 − 3 = 0 , c 2 ( x ) = − x 1 + x 2 ≥ 0
c 3 ( x ) = x1 ≥ 0 , c 4 ( x ) = x 2 ≥ 0 , c 5 ( x ) = x 3 ≥ 0
带入约束条件可知满足约束条件 将 x = (1,1,1) 带入约束条件可知满足约束条件
验证KT点的步骤 小结
• • • • • • 1 化为标准形式 2 验证约束成立 并且求得有效约束 3 约束规范 ∇f ( x * ) − λ1 ∇c1 ( x * ) − λ 2 ∇c 2 ( x * ) = 0 4 一阶条件方程 例如 5 验证不等式约束互补条件、乘子的非负性 验证不等式约束互补条件、 6结论 结论
* T
并且有效约束集合为 并且有效约束集合为 I = {1,2}
*
∇f ( x ) = ( −3,−1,−2) T ， ∇c1 ( x ) = ( 2,2,2) T ， ∇c 2 ( x ) = ( −1,1,0) T T T 线性无关。 且 ∇c 1 ( x ) = ( 2,2,2) 与 ∇c 2 ( x ) = ( −1,1,0) 线性无关。
向量 d ，如果对任意的 i ∈ I ( x) 有 ∇ci ( x)T d > 0 , 则 d 是点 x 的 可行方向。
令 证明： x ' = x + t d , t > 0。 则对任意的 i ∈ I ( x ) , 有
ci ( x' ) = ci ( x) + t ∇ci ( x)T d + o( || td ||2 )
= t ∇ci ( x)T d + o( || td ||2 )
最优化方法(刘)第四章
阻尼牛顿法收敛定理
定理2: 设 f ( x) 二阶连续可微， 又设对任意的x0 ∈Rn , 存在常数m > 0, 使得 f ( x) 在 L ={x f (x) ≤ f (x0 )} 2 T 2 上满足： ∇ f ( x)µ ≥ m µ ,∀ ∈Rn , x∈L( x0 ) µ µ 则在精确线搜索条件下， 阻尼牛顿法产生的点列 {xk } 满足： (1) 当{xk } 是有限点列时， 其最后一个点为 f ( x) 的唯一极小点． (2)当{xk } 是无限点列时， 收敛到 f (x) 的唯一极小点．
) x0 = (9,1
T
g0 = ∇ ( x0 ) = (9,9) f
T
T 7.2 7.2 g0 g0 x = x0 − T g0 = 1 −0.8 g1 = −7.2 g0 G 0 g T 9×0.82 g1 g1 x2 = x − T g1 = 1 2 (−1 ×0.82 g1 G 1 g )
9 1 0 x = x0 −G g0 = − 1 1 0 9
1 − 0 −1
9 0 = = x* 9 0
牛顿法收敛定理
定理1: 设 f ( x) 二次连续可微， *是 f ( x) 的局 x 部极小点， f (x* ) 正定． 假定 f ( x) 的海色阵 ∇
gk →0 .
证明： 对于最速下降法， k = 0, 由以上定理立得． θ
收敛性分析
定理2: 设 f ( x) 二次连续可微， ∇2 f ( x) ≤ M, 且 其中 M是个正常数， 对任何给定的初始点 x0, 最速下降算法或有限终止， 或者lim f ( xk ) = −∞ ,
k→ ∞
第四章约束问题的最优化方法
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
函数的约束最优点 x* 。
外点法可以用来求解含不等式和等式约束的优化问题。
二. 惩罚函数的形式：
m
l
( x, r) f ( x) r max[0, gi ( x)]2 r [hj ( x)]2
i1
j1
• 惩罚因子rk 是递增的，rk1 a rk ，a为递增系数，a 1
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：min . (x, r1, r2 )
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
这种方法是1968年由美国学者A．V．Fiacco和 G．P．Mcormick提出的，把不等式约束引入数学模型中，为求多 维有约束非线性规划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚
六. 举例：盖板问题
设计一个箱形截面的盖板。 已知：长度 l0= 600cm，宽度 b = 60cm， h 侧板厚度 ts = 0.5cm，翼板厚度为 tf(cm)，高 度为 h(cm)，承受最大的单位载荷 q = 0.01Mpa。
tf ts
b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
f (x) r1G[gu (x)] r2 H[hv (x)]
第四章约束优化方法
iI
如果在x* , g i ( x)可微，i。那么，
m f ( x ) uig i ( x ) 0 i 1 ui* 0 i 1, 2, , m ui g i ( x ) 0 i 1, 2, , m(互补松弛条件) 满足K T 条件的点x*称K T 点。
2( x1 3) 2u1 x1 u 2 0 2( x 2 2) 2u1 x 2 2u 2 0 故x (2,1) T 是K T点。 得u1 1 2 , u2 0 3 3
第四章
4.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续） ● 2 2 x1 x 2 5 0 g1与g 3交点： 得x (0, 5 ) T x1 0
(0, 5 ) T S , 故不是K T点； (0, 5 ) T S , 不满足g 2 0, 故不是K T点。
●
g 3 , g 4 交点 : x (0,0) T S
I {3,4}故u 解 得u 3 6 0, u 4 4 0 2(0 2) u 4 0 故非K T点.
第四章
4.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使 fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况： min f(x) 分量形式： s.t. hj(x)=0 j=1,2, …,l 若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
最优化方法及应用_郭科_约束问题的最优性条件
§2.7 约束问题的最优性条件所谓最优性条件就是最优化问题的目标函数与约束函数在最优点处满足的充要条件．这种条件对于最优化算法的终止判定和最优化理论推证都是至关重要的．最优性必要条件是指在最优点处满足哪些条件；充分条件是指满足哪些条件的点是最优点．本节仅讲述最基本的结论．一、约束最优解对约束优化问题的求解，其目的是在由约束条件所规定的可行域D 内，寻求一个目标函数值最小的点*X 及其函数值)(*X f ．这样的解))(,(**X f X 称为约束最优解．约束最优点除了可能落在可行域D 内的情况外，更常常是在约束边界上或等式约束曲面上，因此它的定义及它的一阶必要条件与无约束优化问题不同．（一）约束优化问题的类型约束优化问题根据约束条件类型的不同分为三种，其数学模型如下：（1）不等式约束优化问题（IP 型）min (),..()012i f X s t g X i l ≥=，，，，． （2.16）（2）等式约束优化问题（EP 型）min ()..()012j f X s t h X j m ==，，，，，．（3）一般约束优化问题（GP 型） min ()()012..()012i j f X g X i l s t h X j m ≥=⎧⎪⎨==⎪⎩，，，，，，，，，，．（二）约束优化问题的局部解与全局解按一般约束优化问题，其可行域为 }210)(210)(|{m j X h l i X g X D j i ，，，，；，，，， ===≥=．若对某可行点*X 存在0>ε，当*X 与它邻域的点X 之距离ε<-||||*X X 时，总有)()(*X f X f <则称*X 为该约束优化问题的一个局部最优解．下面以一个简单例子说明．设有⎩⎨⎧=---=≥+=+-=．，，09)2()(02)(..)1()(min 222122221x x X h x X g t s x x X f该问题的几何图形如图2.8所示．从图上的目标函数等值线和不等式约束与等式约束的函数曲线可写出它的两个局部最优解T T X X ]05[]01[*2*1，，，=-=．这是因为在*1X 点邻域的任一满足约束的点X ，都有)()(*1X f X f >；同理，*2X 亦然．１图2.8 对某些约束优化问题，局部解可能有多个．在所有的局部最优解中，目标函数值最小的那个解称为全局最优解．在上例中，由于16)(4)(*2*1==X f X f ，，所以全局最优解为))((*1*1X f X ，． 由此可知，约束优化问题全局解一定是局部解，而局部解不一定是全局解．这与无约束优化问题是相同的．二、约束优化问题局部解的一阶必要条件对于约束，现在进一步阐明起作用约束与不起作用约束的概念．一般的约束优化问题，其约束包含不等式约束l i X g i ，，，， 210)(=≥和等式约束m j X h j ，，，， 210)(==．在可行点k X 处，如果有0)(=k i X g ，则该约束)(X g i 称可行点k X 的起作用约束；而如果有0)(>k i X g ，则该约束)(X g i 称可行点k X 的不起作用约束．对于等式约束0)(=X h j ，显然在任意可行点处的等式约束都是起作用约束． 在某个可行点k X 处，起作用约束在k X 的邻域内起到限制可行域范围的作用，而不起作用约束在k X 处的邻域内就不产生影响．因此，应把注意力集中在起作用约束上．（一）IP 型约束问题的一阶必要条件图2.9所示为具有三个不等式约束的二维最优化问题．图2.9图2.9（a ）是最优点*X 在可行域内部的一种情况．在此种情形下，*X 点的全部约束函数值)(*X g i 均大于零)321(，，=i ，所以这组约束条件对其最优点*X 都不起作用．换句话说，如果除掉全部约束，其最优点也仍是同一个*X 点．因此这种约束优化问题与无约束优化问题是等价的．图2.9（b ）所示的约束最优点*X 在)(1X g 的边界曲线与目标函数等值线的切点处．此时，0)(0)(0)(*3*2*1>>=X g X g X g ，，，所以)(1X g 是起作用约束，而其余的两个是不起作用约束．既然约束最优点*X 是目标函数等值线与)(1X g 边界的切点，则在*X 点处目标函数的梯度)(*X f ∇与约束函数梯度矢量)(*1X g ∇必共线，而且方向一致．若取非负乘子0*1≥λ，则在*X 处存在如下关系0)()(*1*1*=∇-∇X g X f λ．另一种情况如图2.9（c ）所示．当前迭代点k X 在两约束交点上，该点目标函数的梯度矢量)(k X f ∇夹于两约束函数的梯度矢量)()(21k k X g X g ∇∇，之间．显然，在k X 点邻近的可行域内部不存在目标函数值比)(k X f 更小的可行点．因此，点k X 就是约束最优点，记作*X ．由图可知，此时k X 点目标函数的梯度)(k X f ∇可表达为约束函数梯度)(1k X g ∇和)(2k X g ∇的线性组合．若用*X 代替k X 即有)()()(*2*2*1*1*X g X g X f ∇+∇=∇λλ成立，且式中的乘子*1λ和*2λ必为非负．总结以上各种情况，最优解的一阶必要条件为⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，210)(00)()(**21**1*i X g X g X f i i i i λλ 对于（2.16）IP 型约束问题的一阶必要条件讨论如下： 设最优点*X 位于j 个约束边界的汇交处，则这j 个约束条件组成一个起作用的约束集．按上面的分析，对于*X 点必有下式成立⎪⎪⎪⎩⎪⎪⎪⎨⎧=≥≥=∇-∇∑=．，，，，，，j i X g X g X f i i j i i i 210)(00)()(**1***λλ （2.17）但是在实际求解过程中，并不能预先知道最优点*X 位于哪一个或哪几个约束边界的汇交处．为此，把l 个约束全部考虑进去，并取不起作用约束的相应乘子为零，则最优解的一阶必要条件应把式（2.17）修改为⎪⎪⎪⎩⎪⎪⎪⎨⎧==≥≥=∇-∇∑=．，，，，，，，l i X g X g X g X f i i iil i i i 210)(0)(00)()(****1***λλλ （2.18）式（2.18）为IP 型问题约束最优解的一阶必要条件，它与式（2.17）等价．因为在*X 下，对于起作用约束，必有l i X g i ，，，， 210)(*==使式（2.18）中的第四式成立；对于不起作用约束，虽然0)(*>X g i 而必有0*=i λ，可见式（2.18）与式（2.17）等价．（二）EP 型约束问题的一阶必要条件图2.10所示为具有一个等式约束条件的二维化问题，其数学模型为．，0)(..)(min =X h t s X f在该问题中，等式约束曲线0)(=X h 是它的可行域，而且目标函数等值线C X f =)(与约束曲线0)(=X h 的切点*X 是该约束问题的最优解．图2.10在*X 点处，目标函数的梯度)(*X f ∇与约束函数的梯度)(*X h ∇共线．因此，在最优点*X 处一定存在一个乘子*u ，使得 0)()(***=∇-∇X h u X f成立．对于一般的n 维等式约束优化问题，其数学模型为min ()..()012j f X s t h X j m ==，，，，，．则*X 为其解的一阶必要条件为***1*()()0()012m j j j j f X u h X h X j m =⎧∇-∇=⎪⎨⎪==⎩∑，，，，，．（三）GP 型约束问题解的一阶必要条件由上述不等式约束优化与等式约束优化问题的一阶必要条件，可以推出一般约束优化问题的条件．设n 维一般约束优化问题的数学模型为⎩⎨⎧===≥，，，，，，，，，，，m j X h l i X g t s X f j i 210)(210)(..)(min （2.19）则*X 为其解的一阶必要条件应为⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧====≥≥=∇-∇-∇∑∑==．，，，，，，，，，，，，m j X h l i X g X g X h u X g X f j i i i i l i m j j j i i 210)(210)(0)(00)()()(*****11*****λλλ （2.20） 函数∑∑==--=l i m j j j i i X h u X g X f u X L 11)()()()(λλ，，称为关于问题（2.19）的广义拉格朗日函数，式中T l ][21λλλλ，，， =，T m u u u u ][21，，， =为拉格朗日乘子．由于引入拉格朗日函数，条件（2.20）中的第一式可写为0)(***=∇u X L X ，，λ．（四）Kuhn —T ｕcker 条件（简称K —T 条件）在优化实用计算中，常常需要判断某可行迭代点k X 是否可作为约束最优点*X 输出而结束迭代，或者对此输出的可行结果进行检查，观察它是否已满足约束最优解的必要条件，这种判断或检验通常借助于T K -条件进行的．对于IP 型问题，T K -条件可叙述如下：如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇组成线性无关的矢量系，那么必存在一组非负乘子*i λ，使得⎪⎩⎪⎨⎧===∇-∇∑=l i X g X g X f ii l i i i ，，，，，210)(0)()(**1***λλ 成立．必须指出，在一般情形下，T K -条件是判别约束极小点的一阶必要条件，但并非充分条件．只是对于凸规划问题，即对于目标函数)(X f 为凸函数，可行域为凸集的最优化问题，T K -条件才是约束最优化问题的充分条件．而且，在这种情况下的局部最优解也必为全局最优解．应用T K -条件检验某迭代点k X 是否为约束最优点的具体作法可按下述步骤进行：（1）检验k X 是否为可行点．为此需要计算k X 处的诸约束函数值)(k i X g ，若是可行点，则l i X g k i ，，，， 210)(=≥． （2）选出可行点k X 处的起作用约束．前面已求得l 个)(k i X g 值，其中等于零或相当接近零的约束就是起作用约束．把这些起作用约束重新编排成序列I i X g i ，，，， 21)(=．（3）计算k X 点目标函数的梯度)(k X f ∇和I 个起作用约束函数的梯度)(k i X g ∇．（4）按T K -条件，k X 点应满足∑==≥=∇-∇Ii i k i i k I i X g X f 1)21(00)()(，，，， λλ. (2.21）将式（2.21）中的各梯度矢量用其分量表示，则可得到i λ为变量的线性方程组⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂=∂∂-∂∂-∂∂-∂∂．，，0)()()()(0)()()()(0)()()()(22112222211211221111n k I I n k n k n k k I I k k k k I I k k k x X g x X g x X g x X f x X g x X g x X g x X f x X g x X g x X g x X f λλλλλλλλλ 由于矢量系I i X g k i ，，，， 21)(=∇是线性无关的，所以该方程组存在唯一解．通过解此线性方程组，求得一组乘子I λλλ，，，21，若所有乘子均为非负，即I i i ，，，， 210=≥λ，则k X 即为约束最优解．否则，k X 点就不是约束最优点．例2.9 设约束优化问题⎪⎩⎪⎨⎧≥=≥=≥--=+-=．，，，0)(0)(01)(..)2()(min 132222112221x X g x X g x x X g t s x x X f 它的当前迭代点为T k X ]01[，=，试用T K -条件判别它是否为约束最优点． 解：（1）计算k X 点的诸约束函数值，，，1)(0)(011)(2221===-=k k k X g X g X gk X 是可行点．（2）k X 点起作用约束是222211)(1)(x X g x x X g =--=，．（3）求k X 点梯度．，，⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=∇⎥⎦⎤⎢⎣⎡--=⎥⎦⎤⎢⎣⎡--=∇⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡-=∇1010)(1212)(022)2(2)()0,1(2)0,1(11)0,1(21k k k X g x X g x x X f（4）求拉格朗日乘子 按T K -条件应有 ．，01012020)()()(212211=⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡---⎥⎦⎤⎢⎣⎡-=∇-∇-∇λλλλk k k X g X g X f写成线性方程组 ⎩⎨⎧=-=+-．，0022211λλλ 解得010121>=>=λλ，．乘子均为非负，故T k X ]0,1[=满足约束最优解的一阶必要条件．如图2.11所示，k X 点确为该约束优化问题的局部最优解，由于可行域是凸集，所以点k X 也是该问题的全局最优解．图2.11GP 型的约束最优化问题的T K -条件类似于IP 型约束最优化问题的T K -条件： 如果*X 是一个局部极小点 ，且各梯度矢量)(*X g i ∇和)(*X h j ∇组成线性无关的矢量系，那么必存在两组乘子*i λ和*j u ，使得。
最优化方法第四章(1)
以下几个概念是讨论的基础。
v
v
某 称个为不是定等关义式 于4.1约容对束许于有点约sxv%i束(的xv%问)起题作0（，用4则约.7该）束不，；v等设否式则x%约，束D若。ssi若i((xv%xv%x)%)使0得0，
则该不等式约束称为是关于容许点 x%的不起作用约束。
例如，
不等式约束关于容许集的任意内点都是不起作用约束。
) 时，对于所有的 。根据定义4.3，即
i
，
记
G(
v G(x%)
{ pv
v
v
x%) C(x%)
si
。
(
v x%)T
pv 0,
i I} ，则依引理4.3可知，
v
是方s两i (不 向部xv)起向分由作量，这0用。，梯个约 换变度引束 句成理， 话起看si则 说作(到xv%)，用一pv总约约个是束束事s指曲，实i (向面x且v%，)包若s就i含(sxv是ix%()容仅xv%点)许使0集x把v%0v某的整个，的那个约而一一空束其个侧间，它容。分例约许成如束
由点 xv 的所有下降方向向量构成的集合称为点 xv 的
下降方向锥。 定理4.4 设
f
: Rn
R1 在点
xv 处可微，则点
xv 的
下降方向向量 pv 必满足
f (xv)T pv 0
记 既是点
xvS(
xv) {pv f (xv)T pv 0}
的下降方向锥。显然
，则定理4.4表明， S ( xv)
在第2章和第1章中，已经分别讨论过线性规划问题和 无约束问题的最优性条件。定理2.9是线性规划问题的最 优性充分条件。定理1.15、定理1.17和定理1.18以及推论 1.16分别是无约束问题的最优性必要条件、充分条件以及 充分且必要条件。本节主要讨论一般约束问题的最优性条 件。我们将先从仅含等式约束或不等式约束的问题入手， 然后自然过渡到一般约束问题。
约束问题的最优化方法
3. 优化方法： 选用内点惩罚法，惩罚函数形式为： 6 1 T k k x,r f x r 取 x 0 1,30 , r 0 3 , c 0.7 u 1 g x u 调用 Powell 法求序列无约束优化极值，以逐渐逼近原问 题的极值点。
k 2 x r ( 1 x ) x 1时； x, r k x 1时。 x
4
min.
s.t
f (x) = x
x ∈ R1
g (x) = 1-x ≤ 0
§5.3 外点惩罚函数法
二. 惩罚函数的形式：
①
x, r ( k ) f x r k maxg u x ,0 I u g u x 0 u 1,2,...,m,
(k ) (k ) m
1 u 1 g ( x ) u
m
其中：gu ( x) 0, u 1,2,...m
1 u 1 g ( x ) u m 1 (k ) (k ) ③ . ( x, r ) f ( x) ru u 1 g u ( x) m 1 (k ) (k ) ④ .( x, r ) f ( x) r 2 u 1 [ g ( x )] u
§5.2 内点惩罚函数法
4. 求解过程分析：
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想： 外点法将新目标函数
Φ( x , r )
构筑在可行域 D
外，随着惩罚因子 r(k) 的不断 递增，生成一系列新目标函数
Φ(xk ,r(k))，在可行域外逐步
迭代，产生的极值点 xk*(r(k)) 序列从可行域外部趋向原目标 函数的约束最优点 x* 。 例：求下述约束优化问题的最优点。 新目标函数：
化工过程分析与合成第四章--化工过程系统的优化
过程系统合成问题，在第7/8章介绍
二 求解方法优化问题
一 过程系统优化问题 A 参数优化 （设计参数、操作参数） ✓确定设计参数、操作参数，使系统某个技术指标最佳。
例如： ✓在设计化工设备或成套装置时，总会碰到设备投资费用和操作 费用之间的矛盾，即如何在设备投资费用与操作费用之间求得 平衡，使总的投资效益最好；
[学习重点与难点]
☺线性规划问题； ☺非线性规划问题
4.1 概述
4.1.1 优化问题的产生
✓通过对化工过程系统的分析，可以建立过程系统的稳态和 动态的数学模型。这些数学模型是对实际过程系统进行模拟 的基础。所谓系统仿真（或系统模拟）实际上就是建立过程 的数学模型。
✓对于化工过程系统而言，建立数学模型不仅仅是为了对过 程进行模拟，其最终目的是要对过程进行优化。
4.2.3 化工过程系统最优化方法的分类
✓最优化问题的机理模型通常为一套描述过程特性的方程组， 需要特殊的最优化方法进行求解。
✓求解最优化问题的方法很多，大致有如下几种分类原则：
1、无约束最优化与有约束最优化 3、单维最优化与多维最优化
2、线性规划与非线性规划 4、解析法与数值法
5、可行路径法与不可行路径法
三、约束条件和可行域 ✓当过程变量向量y的各分量为一组确定的数值时，称为一个方案。
✓实际上，有的方案在技术上行不同或明显的不合理，因此， 变量y的取值范围一般都要给以一定的限制，称为约束条件。
状态方程限制了状态变量与决策变量间的关系,故是一种约束条件。 对于设计参数优化问题，设计规定要求也是一种约束条件。
二 求解方法优化问题
✓一旦最优化问题提出，就还涉及到问题的求解，即求解方法 的最优化问题。
✓需要解决的问题：
第四讲 约束优化方法
初始点的各分量为： xi0 ai ri bi ai ,i 1,2,...,n ri — 0,1 区间内服从均匀分布的伪随机数。
2)步长的确定
步长的选择方法有两个：定长步、 随机变更步长。
A.定长步
步长按规定长度等差递增。
2019/10/21
19
（2） 随机方向法的计算过程
件的点列：
X kk 1,2,...
约束最优化问题的求解过程可归纳如下
寻求一组设计变量： X * x1*, x2*,...,xn* T , X Rn
在满足约束条件
gu X 0,u 1,2,...,m hvX 0,v 1,2,...,p
下使目标函数值最小，即使：f X min f X f X *
2019/10/21
2
第四讲 约束优化方法
约束问题的最优化方法大致分为两大类： 1）直接法---将迭代点限制在可行域内,步步降低 目标函数值，直至到达最优点。主要用于求解仅 含不等式约束条件的最优化问题。
常用方法有:复合形法,约束随机方向法, 可 行方向法,线性逼近法等。
6
（1）复合形法的基本思想
1. 包括两种基本运算:
(1)反射 ---在坏点的对侧试探新点:先计算除最坏点外各 顶点的几何中心, 然后再作反射计算。
(2)收缩
---保证反射点的“可行”与“下降”。若发现反 射点不适用、不可行, 则将步长减半后重新反射。
2019/10/21
7
（1）复合形法的基本思想
[f X k ]T S k 0
则继续加大步长进行探索，否则将步长缩短至0.7 h0
进行探索，直至 f X k1 f X k , gu X k 0, (u 1,2,..., m)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这种方法是1968年由美国学者A．V．Fiacco和G．P．Mcormick 提出的，把不等式约束引入数学模型中，为求多维有约束非线性规 划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚 因子 r(k) 的不断递减，生成一系列新目标函数 Φ (xk ,r(k))，在可 行域内逐步迭代，产生的极值点 xk*(r(k)) 序列从可行域内部趋向
2、等式约束优化问题（EP型）
x D Rn s.t. hv ( x ) 0, v 1,2,..., q min F ( x )
3、一般约束优化问题（GP型）
x D Rn s.t. g u ( x ) 0, u 1,2,..., p hv ( x ) 0, v 1,2,..., q min F ( x )
一. 约束优化问题解法分类： 约束优化方法按求解原理的不同可以分为直接法和间接法两类。
直接解法：随机方向搜索法、复合形法、可行方向法
间接解法：内点惩罚函数法、外点惩罚函数法、混合惩罚函数法 二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足 gu(x)0, u=1,2,…,p 适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件； • 内点的收敛条件为： x x 和 f x f x f x
§4.1
引言
无约束优化方法是优化方法中最基本最核心的部分。但是，在工 程实际中，优化问题大都是属于有约束的优化问题，即其设计变量的 取值要受到一定的限制，用于求解约束优化问题最优解的方法称为约 束优化方法。 根据约束条件类型的不同可以分为三种，其数学模型分别如下： 1、不等式约束优化问题（IP型）
x D Rn s.t. g u ( x ) 0, u 1,2,..., p min F ( x )
(k ) 1 u 1 m
lim r2 H[hv ( x( k ) )] 0
k
lim [( x ( k ) , r1 , r2 ) f ( x ( k ) )] 0
(k ) (k ) k
分类： 根据约束形式和定义的泛函及罚因子的递推方法等不同，罚函 数法可分为内点法、外点法和混合罚函数法三种。
1 u 1 g ( x ) u
m
其中：gu ( x) 0, u 1,2,...m
③ .( x, r ) f ( x) ru ( k )
(k ) u 1
m
1 g u ( x)
④ .( x, r ) f ( x) r
(k )
(k )
(k )
1 2 u 1 [ g u ( x)]
(k ) M
(k ) p
m
p
障碍项：当迭代点在可行域内时，在迭代过程中阻止迭代点越出 边界。 惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。 加权因子（即惩罚因子）： r1 , r2 无约束优化问题的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2… 其收敛必须满足： lim r G[ gu ( x ( k ) )] 0 k
原目标函数的约束最优点 x* 。
内点法只能用来求解具有不等式约束的优化问题。
二.
惩罚函数的形式：
(k ) (k ) m
1 ① . ( x, r ) f ( x) r u 1 g ( x ) u
② . ( x, r ) f ( x) r
(k ) (k )
其中：gu ( x) 0, u 1,2,...m
m u 1
m
⑤ .( x, r ) f ( x) r ln[ gu ( x)]
(k )
其中：惩罚（加权）因子 降低系数 c：
r ( 0) r (1) ....r ( k )
0< c <1
r ( k 1) c r ( k )
xk * x *
当lim r ( k ) 0
k 1 k k 1
1
k
k
2
特点：① 在可行域内进行； ② 若可行域是凸集，目标函数是定义在凸集上的凸函数，
则收敛到全局最优点；否则，结果与初始点有关。
三.
间接解法：
目的：将有约束优化问题转化为无约束优化问题来解决。 前提：一不能破坏约束问题的约束条件，二使它归结到原约束问题的 同一最优解上去。 惩罚函数法： 通过构造罚函数把约束问题转化为一系列无约束最优化问题，进 而用无约束最优化方法去求解。惩罚函数法是一种使用很广泛、很有 效的间接解法。 基本思想：以原目标函数和加权的约束函数共同构成一个新的目标函 数 Φ( x, r1 ,r2 )，将约束优化问题转化为无约束优化问题。通 过不断调整加权因子，产生一系列Φ函数的极小点序列 x(k)* (r1(k),r2(k)) k= 0,1,2… ，逐渐收敛到原目标函数的约束最优解。
G[ gu ( x)] r2 H [hv ( x)] 新目标函数： ( x, r1 , r2 ) f ( x) r1 u 1 v 1
H hv ( x) 其中r Ggu ( x) 和 r 称为加权转化项，并根据它们在惩 v 1 u 1 罚函数中的作用，分别称为障碍项和惩罚项。