第五章 约束优化方法

5.2 约束优化问题极小点的条件
约束优化问题极小点的条件，是指在满足约束条件 下，目标函数局部极小点的存在条件。 约束问题最优解的存在条件有两种：一是极小点在 可行域内部，二是极小点在可行域的一个或几个边界交 汇处。 5.2.1 不等式约束问题解的必要条件 第一种情况：如图所示， g1(x*)=0， g2(x*)>0， 第一种情况 g3(x*)>0。所以g1(x)为起作用约束， g2(x)、 g3(x)为不起 作用约束。 由于约束最优点是目标函数与约束g1(x)边界的切点， 故目标函数与约束函数的梯度必共线，而且方向一致。
5.3.2 约束随机方向法
参看右图 预先选定可行初始点 ， 利用随机函数构成随机方 向S1，按给定的初始步长 ，沿S ，沿S1方向取得 试探点 检查x 检查x点的适用性和可行性
若满足
继续按下面的迭代式在S 继续按下面的迭代式在S1方向上获取新点。重复上 述步骤，迭代点可沿S 述步骤，迭代点可沿S1方向前进。直至到达某迭代点不 能同时满足适用性和可行性条件时结束。退回到前一点 作为该方向搜索中的最终成功点，记作 。 转而，将 作为新的起点 再产生另一随机 方向S 方向S2，以步长 重复以上过程，得到沿S 重复以上过程，得到沿S2方向的 最终成功点 。如此循环，点列必将逼近于约束最优点 x*。 x*。
若取非负乘子λ1*≥ 0，则在x*处存在如下关系 ，则在x*处存在如下关系 ∇ F(x*)- λ1*∇ g1(x*)=0 F(x*)-
g2(x) g3(x)
∇ F(x*) ∇ g1(x*)
g1(x) x*
第二种情况： 第二种情况：如图所示，若最优点位于两约束的交 点上，则目标函数的梯度矢量夹于两约束函数梯度矢量 之间。则目标函数的梯度可以表示为约束函数梯度的线 性组合，若取非负乘子λ1*≥ 0， λ2*≥ 0，则在x*处存在如 ，则在x*处存在如 下关系 ∇ F(x*)= λ1*∇ g1(x*)+ λ2*∇ g2(x*) F(x*)=
构成复合形的随机方法： 构成复合形的随机方法：
1、产生k个随机点 产生k 利用标准随机函数产生在（0 利用标准随机函数产生在（0，1）区间内均匀分布的 ，然后产生区间（a ）内的随机变量x 随机数ξi，然后产生区间（ai，bi）内的随机变量xi， xi=ai+ ξi （bi-ai），i=1，2，…，n。 ），i=1， 以这n个随机变量为坐标构成随机点x,第一个点记作x 以这n个随机变量为坐标构成随机点x,第一个点记作x(i) 同理，再次产生在（0 同理，再次产生在（0，1）区间内均匀分布的随机数ξi， 然后获得区间（a 然后获得区间（ai，bi）内的随机点x (2) ，依次类推，可以获 ）内的随机点x 得k个随机点 x(1) 、 x (2) 、 x (3) 、...、 x (k) 。 ...、 可以看出，产生k个随机点总共需要产生k 可以看出，产生k个随机点总共需要产生k×n个随机数。
二、初始复合形的构成
要构成初始复合形，实际上就是确定k 要构成初始复合形，实际上就是确定k个可行点作为 复合形的顶点，顶点数目一般在n+1 复合形的顶点，顶点数目一般在n+1 ≤ k ≤ 2n范围内。 2n范围内。 对于维数较低的优化问题，因顶点数目较少，可以由 设计者自行凑出可行点作为复合形顶点。但对于维数 较高的优化问题，这种方法常常很困难。 为此，提出构成复合形的随机方法。该方法是先产 生k个随机点，然后再把那些非可行随机点调入可行域 内，最终使k 内，最终使k个随机点都成为可行点而构成初始复合形。
第五章 约束优化方法
约束优化方法概述 约束优化问题的最优解及其必要条件 约束坐标轮换法 约束随机方向法 复合形法 惩罚函数法
教学要求： 1、掌握约束优化局部最优解的必要条件。 2、掌握复合形法得原理。 3、掌握内点法和外点法的惩罚函数的构造原理。
约束优化方法概述
在工程实际中，优化问题大都属于有约束的优化问 题，即其设计变量的取值要受到一定的限制，用于求 解约束优化问题最优解的方法称为约束优化方法。
当迭代点到达
，如出现下面的情况：
不论沿e 不论沿e1或e2正、反方向以步长 进行搜索，所得 邻近的四个点 当他们都不能同时满足 适用性和可行性条件时，此 即可作为约束最优点输出。 如果要获得精度更高些的解，还可以缩减初始步长 。后在继续迭代，直至 时，才输出最优 点，并停止计算。
约束坐标轮换法算法 明了、迭代简单、 明了、迭代简单、便 于掌握和运用。 于掌握和运用。但是 其收敛速度较慢， 其收敛速度较慢，而 且在某些情况下， 且在某些情况下，会 出现“死点” 出现“死点”。如上 图中的点 xk，该点已 经逼近约束边界， 经逼近约束边界，其 后的迭代点无论沿何 方向， 方向，都不可能同时 满足适用性及可行性 的要求。 的要求。故xk点作为 最优解输出， 最优解输出，但显然 它就是一个伪最优点。 它就是一个伪最优点。 为辨别输出最优 点的真伪，可以用K 点的真伪，可以用KT条件检验。 条件检验。
对于一般约束优化问题，其约束分为两类：等式约束 和不等式约束。 在可行设计点x(k)处，对于不等式约束，若gi (x(k))=o，则 称第i个约束gi (x)为可行点的起作用约束；否则，若gi (x(k))>o ，则称gi (x)为可行点的不起作用约束。即只有在可 行域的边界上的点才有起作用约束，所有约束对可行域内 部的点都是不起作用约束。 对于等式约束，凡是满足该约束的任一可行点，该等 式约束都是起作用约束。
该优化问题的最优点如下图所示，对于这两个局部最小 点 x1*=[-1 0 ]T, x2*=[5 0 ]T ，其函数值不同，F(x1*)=4, F(x2*)=16 。全局最优点为 x1*=[-1 0 ]T F*=4
h(x) x2 h(x)
x1* -2 g(x)
x2* 2 4 6
x1
5.1.2 起作用约束与不起作用约束
对于具有不等式约束的优化问题，若目标函数是凸集上的凸函 数，则局部最优点就是全局最优点。如左图所示，无论初始点选在 何处，搜索将最终达到唯一的最优点。否则，目标函数或可行域至 少有一个是非凸性的，则可能出现两个或更多个局部最优点，如右 图所示，此时全局最优点是全部局部最优点中函数值最小的一个。
对于具有等式约束的优化问题，若出现两个或两个 以上的局部最优点，此时全局最优点是全部局部最优点 中函数值最小的一个。 对于具有一般约束的优化问题，若出现两个或两个 以上的局部最优点，此时全局最优点是全部局部最优点 中函数值最小且同时满足等式约束与不等式约束的一个。 例如：设数学模型为
1、约束优化问题的最优解不仅与目标函数有关，而且与 约束集合的性质有关。 2、在可行设计点x(k)处， 起作用约束在该点的邻域内不但 在可行设计点x 起限制可行域范围的作用，而且还可以提供可行搜索方向 的信息。 3、由于约束最优点一般发生在起作用约束上，不起作用 约束在求解最优点的过程中，可以认为是无任何影响，所 以可以略去不起作用约束，把所有起作用约束当作等式约 束问题求解最优点。
g1(x)
∇ F(x*)
g2(x)
∇ g2(x*)
∇ g1(x*)
结论： 结论： 对于不等式约束优化问题， 对于不等式约束优化问题，其最优解的必要 条件为
5.2.2 等式约束问题解的必要条件
如图所示，目标函数梯度矢量与约束函数梯度矢量共线。 因此，一定存在一个乘子，使得下式成立： ∇ F(x*)-µ*∇ h(x*)=0 F(x*)h(x*)=0 对于一般等式约束优化问题，其最优解必要条件为
2、间接法
该方法可以求解等式约束优化问题和一般约束优化问题。 其基本思想是将约束优化问题通过一定的方法进行改变，将 约束优化问题转化为无约束优化问题，再采用无约束优化方 法进行求解。如：惩罚函数法
5.1约束优化问题的最优解及其必 5.1约束优化问题的最优解及其必 要条件
5.1.1局部最优解与全局最优解 5.1.1局部最优解与全局最优解
5.3.3 复合形法
复合形法是求解约束优化问题的一种重要的直接解法。
一、复合形法的基本思想
基本思路是在可行域内构造一个具有k 基本思路是在可行域内构造一个具有k个顶点的初始 复合形。对该复合形各顶点的目标函数值进行比较，去掉 目标函数值最大的顶点（称最坏点），然后按一定法则求 出目标函数值下降的可行的新点, 出目标函数值下降的可行的新点, 并用此点代替最坏点， 构成新的复合形，复合形就向最优点移动一步，直至逼近 最优点。
一、约束优化问题的类型
根据约束条件类型的不同可以分为三种，其数学模 型分别如下：
1、不等式约束优化束优化问题（EP型） 等式约束优化问题（EP型
3、一般约束优化问题（GP型） 一般约束优化问题（GP型
二、约束优化方法的分类
约束优化方法按求解原理的不同可以分为直接法和间接法 两类。
约束坐标轮换法
一 方法概要述
首先在可行域D 首先在可行域D内任取 一初始点 ，并取迭代 精度ε 精度ε。 以 为起点，取一个适 当的初步步长 按迭代式
取得沿x1坐标轴正向的第一个迭代点 取得沿x1坐标轴正向的第一个迭代点 适用性和可行性，即检查
，检查该点的
如果两者均满足，则步长加倍 再按迭代式 获得沿x 获得沿x1正向的第二个迭代点 。下面的各次迭代，只 要对新迭代点的适用性和可行性的检查都通过，再倍增步 长后按迭代式 不断产生新迭代点
一、约束坐标轮换法与无约束坐标轮换法的区别
约束坐标轮换法的基本思想与无约束坐标轮换 法基本相同，其主要区别如下： 1、沿坐标方向搜索的迭代步长采用加速步长， 而不是采用最优步长。因为按照最优步长所得到的迭 代点往往超出了可行域。 2、对于每一个迭代点，不仅要检查目标函数值 是否下降，而且必须检查是否在可行域内，即进行适 用性和可行性的检查。
但是，当迭代点到达 时，该点已违反了可行性条件， 于是返回到前一迭代点 作为沿e 作为沿e1方向搜索的终点 。 转而改沿x2坐标轴正向进行搜索。在图示情况下，正向 转而改沿x2坐标轴正向进行搜索。在图示情况下，正向 的第一个迭代点目标函数值增加，即不再满足适用性条 件，故改取该坐标轴的反方向，并取步长 进行 迭代， 以后的迭代方向与前述的相同，以加速步长继续迭代， 直到至少违反适用性与可行性条件之一时，可确定沿e 直到至少违反适用性与可行性条件之一时，可确定沿e2 方向的迭代终点 。 如此反复的进行各坐标轴方向的迭代，点列将逐步逼近 最优点x*。 最优点x*。