第四章 约束最优化方法
合集下载
约束问题最优化方法
* * T * * * T * (1* , 2 ,, m ) 和 * ( 1 , 2 ,, m ) 使 Kuhn-Tucker 条 件 (9-6) 成 立 ，
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
第9章
约束问题最优化方法
9.1 约束优化问题的最优牲条件
约束条件下求极小值的非线性规划问题的数学模 型如下：
min f ( x) s.t hi ( x) 0(i 1, 2,, m) g j ( x) 0( j 1, 2,, l )
（ 9-1 ）
9． 1． 1 基 本 概 念 1． 起 作 用 约 束 设 非 线 性 规 划 问 题 （ 9.1.1 ） 的 可 行 域 为 H
*
9.1.4 二阶充分条件
1. 二 阶 充 分 条 件 对 非 线 性 规 划 问 题 （ 9-1 ） 而 言 ， 若 f ( x) 、 gi ( x)( j 1, 2,, l ) 、
hi ( x)(i 1, 2,, m) 二 次 连 续 可 微 ， x* 是 可 行 点 ， 又 存 在 向 量
2 ．正则点
对 于 非 线 性 规 划 问 题 (9-1) ， 如 果 可 行 点 x (1) 处 ， 各 起 作 用 约 束 的 梯 度 线 性 无 关 ， 则 x (1) 是 约 束 条 件 的 一 个 正 则 点，特别地，严格内点也是约束条件的正则点．
3 ．可行下降方向的判定条件 在 7.4 节，我们给出了可行下降方向的定义，在这里 我们推导可行下降方向的判定条件． 设x
(1)
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
第9章
约束问题最优化方法
9.1 约束优化问题的最优牲条件
约束条件下求极小值的非线性规划问题的数学模 型如下：
min f ( x) s.t hi ( x) 0(i 1, 2,, m) g j ( x) 0( j 1, 2,, l )
（ 9-1 ）
9． 1． 1 基 本 概 念 1． 起 作 用 约 束 设 非 线 性 规 划 问 题 （ 9.1.1 ） 的 可 行 域 为 H
*
9.1.4 二阶充分条件
1. 二 阶 充 分 条 件 对 非 线 性 规 划 问 题 （ 9-1 ） 而 言 ， 若 f ( x) 、 gi ( x)( j 1, 2,, l ) 、
hi ( x)(i 1, 2,, m) 二 次 连 续 可 微 ， x* 是 可 行 点 ， 又 存 在 向 量
2 ．正则点
对 于 非 线 性 规 划 问 题 (9-1) ， 如 果 可 行 点 x (1) 处 ， 各 起 作 用 约 束 的 梯 度 线 性 无 关 ， 则 x (1) 是 约 束 条 件 的 一 个 正 则 点，特别地，严格内点也是约束条件的正则点．
3 ．可行下降方向的判定条件 在 7.4 节，我们给出了可行下降方向的定义，在这里 我们推导可行下降方向的判定条件． 设x
(1)
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
约束问题最优化方法
* * T * * * T * (1* , 2 ,, m ) 和 * ( 1 , 2 ,, m ) 使 Kuhn-Tucker 条 件 (9-6) 成 立 ，
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
(1)
H ，定义集合
I ( x (1) ) {i g i ( x (1) ) 0,1 i l}
(1) x 为 点所有起作用约束的下标的集合．
可行下降方向的判定条件
g j ( x ) d 0 ( j I ( x ))
(1) T (1)
f ( x
(1)
) d 0
T
*
* j
必为零，在运用 K-T 条件求 K-T 点时，利用这一点可 以大大 地简化计算，另 外还要把约束条 件都加上．
2．求满足Kuhn-Tucker条件的点
例 9-1 求下列非线性规划问题的 Kuhn-Tucker 点．
min f ( x) 2x 2x1x2 x 10x1 10x2
线性无关．
若
* x* 是 (9-1) 的局部最优解，则比存在 * (1* , 2 ,, l* )T 和向量
* * T * (1* , 2 ,, m ) ，使下述条件成 立：
l m * * * * * f ( x ) j g j ( x ) i hi ( x ) 0 j 1 i 1 * * j g j ( x ) 0, j 1, 2, , l * j 0, i 1, 2, , l
2 1 2 2
且 对 满 足 下 述 (9-7) 、(9-8) 、(9-9) 三 条 件 的 任 意 非 零 向 量 z 有 (9-10) 成 立 ， 则 x* 是 问 题 (9-1) 的 严 格 局 部 极 小 点 ．
(1)
H ，定义集合
I ( x (1) ) {i g i ( x (1) ) 0,1 i l}
(1) x 为 点所有起作用约束的下标的集合．
可行下降方向的判定条件
g j ( x ) d 0 ( j I ( x ))
(1) T (1)
f ( x
(1)
) d 0
T
*
* j
必为零，在运用 K-T 条件求 K-T 点时，利用这一点可 以大大 地简化计算，另 外还要把约束条 件都加上．
2．求满足Kuhn-Tucker条件的点
例 9-1 求下列非线性规划问题的 Kuhn-Tucker 点．
min f ( x) 2x 2x1x2 x 10x1 10x2
线性无关．
若
* x* 是 (9-1) 的局部最优解，则比存在 * (1* , 2 ,, l* )T 和向量
* * T * (1* , 2 ,, m ) ，使下述条件成 立：
l m * * * * * f ( x ) j g j ( x ) i hi ( x ) 0 j 1 i 1 * * j g j ( x ) 0, j 1, 2, , l * j 0, i 1, 2, , l
2 1 2 2
最优化方法4-1第四章 约束最优化方法-KKT条件
（I） x*为问题的局部最优解且 I*={i| c i (x*)=0, 1≤i≤m };
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
最优化理论第四章约束问题最优性条件
定理4.2
设x* s, f ( x), g i ( x), (i I )在x*可微，g i ( x), (i I )在x *连续，
如果x*是问题 2 的局部最优解，则F0 G0 =。 （证明从略）
2.2 定理4.3 （Fritz，John条件）
* 设x* s，I i g i ( x* ) 0 ，f , g i (i I )在x*处可微，g （ i i I）在x 处连续，
第
四
章
约束问题的最优性 条件（P206）
min f(x) 约束优化： s.t. gi (x) 0, h ( x) 0, j
x Rn i 1,..., m j 1,..., l
s x gi ( x) 0, i 1,..., m; h j ( x), j 1,..., l
iI
①K-T条件
* 进一步条件，若g（ i I ）在 x 处可微，K-T条件为： i m （ f x*） - wi gi ( x* ) 0 ② i 1 ② * m n方程组 wi gi ( x ) 0, i 1,..., m ③ ③ ④ wi 0, i 1,..., m * 给定x ，验证是否符合K-T条件用① 应用 * x 未定，求解K-T点，求解② +③
2.4
定理4.5 （约束问题最优解的一阶充分条件）
问题（2）中，f 是凸函数，g （ ）是凹函数，s为可行域，x* s, i i 1,..., m I i gi ( x* ) 0 , f 和gi (i I )在点x*可微，gi (i I )在点x*连续，且在x*处 K - T 条件成立，则x*为全局最优解。 x 1， 0 为全局最优解（例子）
最优化方法4 - 约束最优化 (1)
因子． 又称为GP问题的增广目标函数． • 显然，增广目标函数 F ( X , M k ) 是定义在 R n 上的一个 无约束函数．由增广目标函数 F ( X , M k ) 的构造知：
外点罚函数法
X D
F(X , M k )
F ( X，M k ) f ( X )
X D
F(X , M k )
( X ) 又称为惩罚函数 在式（1）中，
0, 当X D时， (X ) 0, 当X D时． 0， 当gi ( X ) 0时， u ( gi ( X )) i 1，， 2 ， l 1， 当gi ( X ) 0时， M k 0， 是一个逐渐增大的参数，F ( X , M k ) 称为惩罚
T
内点罚函数法
• 给定一个罚因子rk ，即可求得一极小点
X * (rk )
X * (rk )
．
•右图给出不同罚因子时 的轨迹.可看出X * (rk ) 在可行 X * (rk ) 域内,且随着 rk 逐渐逼近于0，
逐渐逼近理论最优点 X * [
2, 2]T .
•例3可帮助读者进一步理解
用内点罚函数法求极小点序列
且 (3)
式（3）中{ X (rk )}为 F ( X , rk )的极小点序列， X *为问题（2）的最优解.
内点罚函数法
二、内点罚函数法迭代步骤
已知对问题（2），构造增广目标函数
F ( X ，rk ) f ( X ) rk
i 1 l
1 gi ( X )
给定终止限 106. 1. 选定初始点 X 0 D, 初始障碍因子 r1 10, 障碍因子 的缩小系数 c 1（可取 c 0.1 ）,置 k 1; 2. 假设已获迭代点 X k 1 , 以 X k 1 为初始点，求解 min F ( X，rk ), 设其最优解为 X (rk ).
优化设计4约束优化方法
22
由此，这种方法的关键是如何确定初始点、搜索方向和搜索步长，而这 些都涉及到随机数问题．因此下面如何产生随机数的方法
23
随机数的产生 产生在区间(0，1)内分布的随机数列rj的常用方法有两种
N=10; DIM R(N) FOR I=1 TO N R(I)=RND(1)
PRINT R(I) NEXT I
条件，就可再加倍增大步长，继续迭代，不断产生新的迭代点。
如果该点已违反了可行性条件，
此时取它的前一迭代点X
(1) 3
作为沿
e1方向搜索的终点转而沿x2坐标
轴正向进行搜索
X 4(已1) 经违犯
了可行性条件
正向的第一个迭代点的目标函数 值增加，即不满足适用性条件，
改取负步长 0 进行迭代
下面的迭代方式与前面相同，直到违反适用性或
21
随机方向法在某个迭代点可以按照足够多的m个方向进行搜索，一般事先
约定搜索方向数m＝50~500，m过小会影响最优方向的选择，过大会使收
敛速度降低。因此，随机方向法处理约束优化问题要比约束坐标轮换法灵
活和有效。
以二维约束优化问题为例说明随 机方向法的基本原理。在可行域 内任意选择的一个初始点X（0）出发 给定的步长α＝α0按照以某种方法 产生的随机方向S（1）进行搜索，得到 迭代点X＝X(0)+αS（1）,如果同时满足 可行性和适用性，则表示点X探索成 功。再将点X作为起始点
足约束条件 gu(X) 0（u＝1，2，…，m)，则应重新随机选择出可行
i=ai(ba)
26
均匀分布的随机数列 i
初始点的选择
27
选择初始点注意：
根据设计变量上限和下限随机产生的初始点， X(0)[x1 (0),x2 (0),xn (0)]T
约束最优化方法
约束最优化方法
约束最优化方法是指通过给定约束条件，寻找目标函数的最优解。
以下是一些常用的约束最优化方法：
1. 拉格朗日乘子法：将约束最优化问题转化为无约束最优化问题，通过求解无约束最优化问题得到原问题的最优解。
2. 罚函数法：将约束条件转化为罚函数项，通过不断增加罚函数的权重，使目标函数逐渐逼近最优解。
3. 梯度下降法：通过迭代计算目标函数的梯度，沿着梯度的负方向搜索目标函数的最优解。
4. 牛顿法：通过迭代计算目标函数的Hessian矩阵，使用Hessian矩阵的逆矩阵乘以梯度向量来逼近最优解。
5. 遗传算法：模拟自然界的遗传机制，通过种群迭代的方式搜索最优解。
6. 模拟退火算法：模拟物理退火过程，通过随机搜索的方式搜索最优解。
7. 蚁群算法：模拟蚂蚁觅食行为，通过模拟蚂蚁的信息素传递过程来搜索最优解。
8. 粒子群算法：模拟鸟群、鱼群等群集行为，通过模拟粒子间的相互作用来搜索最优解。
这些方法各有优缺点，应根据具体问题选择合适的方法进行求解。
约束最优化理论与方法
FD(x*, X ) SFD(x*, X )
d FD(x*, X ) d SFD(x*, X )
dk
d,k
2k
第13页/共34页
SFD(x*, X ) LFD(x*, X )
d SFD(x*, X ) d LFD(x*, X )
序列可行方向 x * k dk X ,k dk d,k 0和k 0
第5页/共34页
min f (x)
xRn
定理（凸最优性定理） 设f : D Rn R1是凸函数，且 f C1.则
x是 总体极小点 g(x) 0.
定理（一阶必要条件） 设f : D Rn R1在开集D上连续可微，若
x D是min f (x)的局部极小点，则 g(x) 0. xRn
第6页/共34页
线性化可行方向 d T ci (x*) 0, i E;
d T ci (x*) 0, i I (x*);
d 0 √
d 0 x *kdk X
ci (x * k dk ) ci (x*) k dkT ci (x*)
第14页/共34页
引理 设x* X是下列问题的局部极小点 min f (x)
，
就称不等式约束
ci (x) 0在点是x有效约束。
并称可行点 x 位于约束 ci (x) 0的边界。
无效约束：对于可行点 x 若ci (x ) 0
就称不等式约束 ci ( x) 0 在点x 是无效约束
称x是约束ci (x) 0 的内点.
第4页/共34页
E:等式约束指标集 I:不等式约束指标集
I (x*);
(d1
,
d2
)
ai1 ai 2
则称d是X 在x*处的线性化可行方向.
LFD(x*, X ) :
d FD(x*, X ) d SFD(x*, X )
dk
d,k
2k
第13页/共34页
SFD(x*, X ) LFD(x*, X )
d SFD(x*, X ) d LFD(x*, X )
序列可行方向 x * k dk X ,k dk d,k 0和k 0
第5页/共34页
min f (x)
xRn
定理（凸最优性定理） 设f : D Rn R1是凸函数，且 f C1.则
x是 总体极小点 g(x) 0.
定理（一阶必要条件） 设f : D Rn R1在开集D上连续可微，若
x D是min f (x)的局部极小点，则 g(x) 0. xRn
第6页/共34页
线性化可行方向 d T ci (x*) 0, i E;
d T ci (x*) 0, i I (x*);
d 0 √
d 0 x *kdk X
ci (x * k dk ) ci (x*) k dkT ci (x*)
第14页/共34页
引理 设x* X是下列问题的局部极小点 min f (x)
，
就称不等式约束
ci (x) 0在点是x有效约束。
并称可行点 x 位于约束 ci (x) 0的边界。
无效约束：对于可行点 x 若ci (x ) 0
就称不等式约束 ci ( x) 0 在点x 是无效约束
称x是约束ci (x) 0 的内点.
第4页/共34页
E:等式约束指标集 I:不等式约束指标集
I (x*);
(d1
,
d2
)
ai1 ai 2
则称d是X 在x*处的线性化可行方向.
LFD(x*, X ) :
最优化方法(约束优化问题的最优性条件)
s.t. c1 ( x ) = x 1 + x 2 + x 3 − 3 = 0 , c 2 ( x ) = − x 1 + x 2 ≥ 0
c 3 ( x ) = x1 ≥ 0 , c 4 ( x ) = x 2 ≥ 0 , c 5 ( x ) = x 3 ≥ 0
带入约束条件可知满足约束条件 将 x = (1,1,1) 带入约束条件可知满足约束条件
验证KT点的步骤 小结
• • • • • • 1 化为标准形式 2 验证约束成立 并且求得有效约束 3 约束规范 ∇f ( x * ) − λ1 ∇c1 ( x * ) − λ 2 ∇c 2 ( x * ) = 0 4 一阶条件方程 例如 5 验证不等式约束互补条件、乘子的非负性 验证不等式约束互补条件、 6结论 结论
* T
并且有效约束集合为 并且有效约束集合为 I = {1,2}
*
∇f ( x ) = ( −3,−1,−2) T ， ∇c1 ( x ) = ( 2,2,2) T ， ∇c 2 ( x ) = ( −1,1,0) T T T 线性无关。 且 ∇c 1 ( x ) = ( 2,2,2) 与 ∇c 2 ( x ) = ( −1,1,0) 线性无关。
向量 d ，如果对任意的 i ∈ I ( x) 有 ∇ci ( x)T d > 0 , 则 d 是点 x 的 可行方向。
令 证明： x ' = x + t d , t > 0。 则对任意的 i ∈ I ( x ) , 有
ci ( x' ) = ci ( x) + t ∇ci ( x)T d + o( || td ||2 )
= t ∇ci ( x)T d + o( || td ||2 )
第四章 约束最优化方法---最优化方法课件
定理4.1.6 设x*为上述问题的局部最优解且 f(x),ci(x)(1≤i≤m)在x*点可微,则存在非零向量
l*=(l0*,l1*,···,lm*)使得
满足上面的条件的点称为Fritz-John点. 上面的条件仅仅是必要条件.
Fritz-John一阶必要条件
证明概要 设x*处的有效集为
I对显定*=理于然I(结无有x*效论l)=i*可约{=i|0c束以.i(x描,由*)述=于0为c,ii=(存x1),在>20,·l,·若0·及,m定l}.理i(i∈的I结*)论,使成得立,
对于i∈I \ I*,只要令li*=0,即可得到Fritz-John
条件.
例题 (Fritz-John条件)
例4.1.1 min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0
c2(x)=x1≥0 c3(x)=x2≥0
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
条件下就是原来约束问题的最优解.
点(x*,l*)称为Lagrange函数L(x,l)的驻点.
等式约束问题的二阶充分条件
定理4.1.2 在上面的等式约束问题中,若 (i)f(x)与ci(x)(1≤i≤l)是二阶连续可微函数
(ii)存在x*∈Rn与l*∈Rl使得Lagrange函数的
梯度为零,即 (iii)对于任意非零向量s∈Rn,且
Gordan引理
引理4.1.4 设a1,···,ar是n维向量,则不存在向量 d∈Rn使得
aiTd<0(i=1,···,r) 成立的充要条件是,存在不全为零的非负实数
组l1,···,lr,使
Fritz-John一阶必要条件
l*=(l0*,l1*,···,lm*)使得
满足上面的条件的点称为Fritz-John点. 上面的条件仅仅是必要条件.
Fritz-John一阶必要条件
证明概要 设x*处的有效集为
I对显定*=理于然I(结无有x*效论l)=i*可约{=i|0c束以.i(x描,由*)述=于0为c,ii=(存x1),在>20,·l,·若0·及,m定l}.理i(i∈的I结*)论,使成得立,
对于i∈I \ I*,只要令li*=0,即可得到Fritz-John
条件.
例题 (Fritz-John条件)
例4.1.1 min f(x)=(x1-1)2+(x2-1)2 s.t. c1(x1,x2)=(1-x1-x2)3≥0
c2(x)=x1≥0 c3(x)=x2≥0
解:本问题是求点(1,1)T到如图三角形区域的最短 距离.显然唯一最优解为x*=(1/2,1/2)T.
条件下就是原来约束问题的最优解.
点(x*,l*)称为Lagrange函数L(x,l)的驻点.
等式约束问题的二阶充分条件
定理4.1.2 在上面的等式约束问题中,若 (i)f(x)与ci(x)(1≤i≤l)是二阶连续可微函数
(ii)存在x*∈Rn与l*∈Rl使得Lagrange函数的
梯度为零,即 (iii)对于任意非零向量s∈Rn,且
Gordan引理
引理4.1.4 设a1,···,ar是n维向量,则不存在向量 d∈Rn使得
aiTd<0(i=1,···,r) 成立的充要条件是,存在不全为零的非负实数
组l1,···,lr,使
Fritz-John一阶必要条件
天津大学《最优化方法》复习题含答案
天津大学《最优化方法》复习题(含答案)天津大学《最优化方法》复习题（含答案）第一章 概述(包括凸规划)一、 判断与填空题1 )].([arg )(arg m in m axx f x f nnRx Rx -=∈∈ √2 {}{}.:)(min :)(max nnR D x x f R D x x f ⊆∈-=⊆∈ ⨯3 设.:R R D f n →⊆ 若nR x∈*，对于一切nR x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题)(minx f Dx ∈的全局最优解. ⨯4 设.:R RD f n→⊆ 若Dx∈*，存在*x 的某邻域)(*x N ε，使得对一切)(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(minx f Dx ∈的严格局部最优解. ⨯5 给定一个最优化问题，那么它的最优值是一个定值. √6 非空集合nR D ⊆为凸集当且仅当D 中任意两点连线段上任一点属于D . √7 非空集合nR D ⊆为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √8 任意两个凸集的并集为凸集. ⨯ 9 函数RR D f n→⊆:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √10 设RRD f n→⊆:为凸集D 上的可微凸函数，Dx ∈*.则对D x ∈∀，有).()()()(***-∇≤-x x x f x f x f T⨯ 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n是凸集。
√12 设{}kx 为由求解)(minx f Dx ∈的算法A 产生的迭代序列，假设算法A 为下降算法，则对{},2,1,0∈∀k ，恒有)()(1kk x f x f ≤+ .13 算法迭代时的终止准则（写出三种）：_____________________________________。
14 凸规划的全体极小点组成的集合是凸集。
√15 函数RR D f n→⊆:在点kx 沿着迭代方向}0{\n kR d∈进行精确一维线搜索的步长kα，则其搜索公式为 .16 函数RRD f n →⊆:在点kx 沿着迭代方向}0{\n kR d∈进行精确一维线搜索的步长kα，则=+∇k T k k k d d x f )(α 0 .17 设}0{\n kR d∈为点nkR D x⊆∈处关于区域D 的一个下降方向，则对于0>∀α，),0(αα∈∃使得.D d x k k∈+α⨯二、 简述题1 写出Wolfe-Powell 非精确一维线性搜索的公式。
第四章约束问题的最优化方法
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
函数的约束最优点 x* 。
外点法可以用来求解含不等式和等式约束的优化问题。
二. 惩罚函数的形式：
m
l
( x, r) f ( x) r max[0, gi ( x)]2 r [hj ( x)]2
i1
j1
• 惩罚因子rk 是递增的，rk1 a rk ，a为递增系数，a 1
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：min . (x, r1, r2 )
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
这种方法是1968年由美国学者A．V．Fiacco和 G．P．Mcormick提出的，把不等式约束引入数学模型中，为求多 维有约束非线性规划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚
六. 举例：盖板问题
设计一个箱形截面的盖板。 已知：长度 l0= 600cm，宽度 b = 60cm， h 侧板厚度 ts = 0.5cm，翼板厚度为 tf(cm)，高 度为 h(cm)，承受最大的单位载荷 q = 0.01Mpa。
tf ts
b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
f (x) r1G[gu (x)] r2 H[hv (x)]
第四章约束优化方法
f ( x ) uig i ( x ) 0
iI
如果在x* , g i ( x)可微，i。那么，
m f ( x ) uig i ( x ) 0 i 1 ui* 0 i 1, 2, , m ui g i ( x ) 0 i 1, 2, , m(互补松弛条件) 满足K T 条件的点x*称K T 点。
2( x1 3) 2u1 x1 u 2 0 2( x 2 2) 2u1 x 2 2u 2 0 故x (2,1) T 是K T点。 得u1 1 2 , u2 0 3 3
第四章
4.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续） ● 2 2 x1 x 2 5 0 g1与g 3交点： 得x (0, 5 ) T x1 0
(0, 5 ) T S , 故不是K T点； (0, 5 ) T S , 不满足g 2 0, 故不是K T点。
●
g 3 , g 4 交点 : x (0,0) T S
I {3,4}故u 解 得u 3 6 0, u 4 4 0 2(0 2) u 4 0 故非K T点.
第四章
4.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使 fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况： min f(x) 分量形式： s.t. hj(x)=0 j=1,2, …,l 若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
iI
如果在x* , g i ( x)可微，i。那么，
m f ( x ) uig i ( x ) 0 i 1 ui* 0 i 1, 2, , m ui g i ( x ) 0 i 1, 2, , m(互补松弛条件) 满足K T 条件的点x*称K T 点。
2( x1 3) 2u1 x1 u 2 0 2( x 2 2) 2u1 x 2 2u 2 0 故x (2,1) T 是K T点。 得u1 1 2 , u2 0 3 3
第四章
4.1 Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续） ● 2 2 x1 x 2 5 0 g1与g 3交点： 得x (0, 5 ) T x1 0
(0, 5 ) T S , 故不是K T点； (0, 5 ) T S , 不满足g 2 0, 故不是K T点。
●
g 3 , g 4 交点 : x (0,0) T S
I {3,4}故u 解 得u 3 6 0, u 4 4 0 2(0 2) u 4 0 故非K T点.
第四章
4.1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使 fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况： min f(x) 分量形式： s.t. hj(x)=0 j=1,2, …,l 若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
05工程优化第4章-1无约束最优化方法解析精品PPT课件
利用精确一维搜索，可得
' (k ) f (xk k d k )T d k 0
由此得出
f (xk ) d k
0=f (xk k d k )T d k =f (xk +1)T d k = (d k +1)T d k
最速下降法在两个相邻点之间的搜索方向是正交的。
最速下降法向极小点逼近是曲折前进的，这种现象称为锯齿 现象。
然后再从 x1 开始新的迭代，经过10次迭代，得最优解 x* (0, 0)T
计算中可以发现，开始几次迭代，步长比较大，函数值下 降将较快，但当接近最优点时，步长很小，目标函数值下降很 慢。
如果不取初点为 x0 (2, 2)T 而取 x0 (100, 0)T
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 x22
10 2x2
0
得到驻点： 1 1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1 0
0
2x2
2
利用二阶条件 判断驻点是否 是极小点
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
பைடு நூலகம்
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
第四讲 约束优化方法
初始点的各分量为： xi0 ai ri bi ai ,i 1,2,...,n ri — 0,1 区间内服从均匀分布的伪随机数。
2)步长的确定
步长的选择方法有两个：定长步、 随机变更步长。
A.定长步
步长按规定长度等差递增。
2019/10/21
19
（2） 随机方向法的计算过程
件的点列：
X kk 1,2,...
约束最优化问题的求解过程可归纳如下
寻求一组设计变量： X * x1*, x2*,...,xn* T , X Rn
在满足约束条件
gu X 0,u 1,2,...,m hvX 0,v 1,2,...,p
下使目标函数值最小，即使：f X min f X f X *
2019/10/21
2
第四讲 约束优化方法
约束问题的最优化方法大致分为两大类： 1）直接法---将迭代点限制在可行域内,步步降低 目标函数值，直至到达最优点。主要用于求解仅 含不等式约束条件的最优化问题。
常用方法有:复合形法,约束随机方向法, 可 行方向法,线性逼近法等。
6
（1）复合形法的基本思想
1. 包括两种基本运算:
(1)反射 ---在坏点的对侧试探新点:先计算除最坏点外各 顶点的几何中心, 然后再作反射计算。
(2)收缩
---保证反射点的“可行”与“下降”。若发现反 射点不适用、不可行, 则将步长减半后重新反射。
2019/10/21
7
（1）复合形法的基本思想
[f X k ]T S k 0
则继续加大步长进行探索，否则将步长缩短至0.7 h0
进行探索，直至 f X k1 f X k , gu X k 0, (u 1,2,..., m)
约束问题的最优化方法
3. 优化方法： 选用内点惩罚法，惩罚函数形式为： 6 1 T k k x,r f x r 取 x 0 1,30 , r 0 3 , c 0.7 u 1 g x u 调用 Powell 法求序列无约束优化极值，以逐渐逼近原问 题的极值点。
k 2 x r ( 1 x ) x 1时； x, r k x 1时。 x
4
min.
s.t
f (x) = x
x ∈ R1
g (x) = 1-x ≤ 0
§5.3 外点惩罚函数法
二. 惩罚函数的形式：
①
x, r ( k ) f x r k maxg u x ,0 I u g u x 0 u 1,2,...,m,
(k ) (k ) m
1 u 1 g ( x ) u
m
其中：gu ( x) 0, u 1,2,...m
1 u 1 g ( x ) u m 1 (k ) (k ) ③ . ( x, r ) f ( x) ru u 1 g u ( x) m 1 (k ) (k ) ④ .( x, r ) f ( x) r 2 u 1 [ g ( x )] u
§5.2 内点惩罚函数法
4. 求解过程分析：
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想： 外点法将新目标函数
Φ( x , r )
构筑在可行域 D
外，随着惩罚因子 r(k) 的不断 递增，生成一系列新目标函数
Φ(xk ,r(k))，在可行域外逐步
迭代，产生的极值点 xk*(r(k)) 序列从可行域外部趋向原目标 函数的约束最优点 x* 。 例：求下述约束优化问题的最优点。 新目标函数：
约束优化方法课件
s．4 当一次迭代的初始点与终点的函数值达到
和其步长达到
f( x ) f( x (0) )
f( x (0) )
ε 1
x x (0) ε 2ቤተ መጻሕፍቲ ባይዱ
时，即结束搜索过程。其最优解为： x*= x， f(x* ) ＝f(x )。否则转向第2步。
第22页/共24页
随机方向搜索法的特点 （1）随机方向搜索法的优点是对目标函数的性态无特殊要求，程序结构简单，使 用方便。另外，由于搜索方向是从许多方向中选择出目标函数值下降最好的方向， 再加上随机变更步长，所以收敛速度比较快。若能选取一个较好的初始点，则其迭 代次数可以减少。因此，它对于大型机械优化设计问题是一种较为有效的方法。
3.2.1 约束优化方法概述
一、约束优化问题的数学模型
minf(x) x D Rn
s.t. gi (x) 0 hj (x) 0
i 1, 2, m j 1, 2, p n
第2页/共24页
二、约束优化方法分类
（1). 直接法 直接法是在满足约束条件的可行域内直接求出问题的约束最优解，整个求解过 程在可行域内进行，因而所得的任一方案都是可行的。原理比较简单，方法比较适 用。
R=a+r(b-a)
第9页/共24页
二、初始点的选择 通常可以有两种确定方法： (1)决定性的方法 即在可行域内人为地确定一个可行的初始点。当约束条件比较简单时，这种
方法是可用的。但当约束条件比较复杂时，人为选择一个可行点就比较困难， 建议用下面的随机选择方法。
(2)随机选择方法 即利用计算机产生的伪随机数来选择一个可行的初始点x(0)。
第4页/共24页
3.2.2 约束随机方向法
基本原理
对于求解
天津大学《最优化方法》复习题(含答案)
天津大学《最优化方法》复习题(含答案)天津大学《最优化方法》复习题（含答案）第一章 概述(包括凸规划)一、 判断与填空题1 )].([arg)(arg min maxx f x f n nR x Rx -=∈∈ √2 {}{}.:)(m in :)(m ax nnR D x x f R D x x f ⊆∈-=⊆∈ ⨯ 3 设.:R R D f n →⊆ 若nR x∈*，对于一切nR x ∈恒有)()(x f x f ≤*，则称*x 为最优化问题)(minx f Dx ∈的全局最优解. ⨯4 设.:R RD f n→⊆ 若Dx∈*，存在*x 的某邻域)(*x Nε，使得对一切)(*∈x N x ε恒有)()(x f x f <*，则称*x 为最优化问题)(minx f Dx ∈的严格局部最优解. ⨯5 给定一个最优化问题，那么它的最优值是一个定值. √6 非空集合nR D ⊆为凸集当且仅当D 中任意两点连线段上任一点属于D . √7 非空集合nR D ⊆为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √8 任意两个凸集的并集为凸集. ⨯ 9 函数RR D f n→⊆:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √10 设RRD f n→⊆:为凸集D 上的可微凸函数，Dx ∈*.则对D x ∈∀，有).()()()(***-∇≤-x x x f x f x f T⨯ 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n是凸集。
√12 设{}kx 为由求解)(minx f Dx ∈的算法A 产生的迭代序列，假设算法A 为下降算法，则对{}Λ,2,1,0∈∀k ，恒有)()(1kk x f x f ≤+ .13 算法迭代时的终止准则（写出三种）：_____________________________________。
14 凸规划的全体极小点组成的集合是凸集。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四章 约束最优化方法
简介
上一章介绍了无约束问题的最优化方法， 但实际问题中，大多数都是有约束条件的问题. 求解带有约束条件的问题比起无约束问题要困 难得多，也复杂得多.在每次迭代时，不仅要使 目标函数值有所下降，而且要使迭代点都落在 可行域内. 求解带有约束的极值问题常用方法有：将 约束问题化为一个或一系列的无约束极值问题； 将非线性规划化为近似的线性规划；将复杂问 题变为较简单问题，等等.
近似规划是一种线性化的方法，将非线性规划线 性化，然后解线性规划来求原问题的近似最优解.
52
53
54
近似规划法的算法步骤：
55
56
例：用近似规划法求解下列问题
57
58
59
60
61
62
63
64
65
§4.4 制约函数法
基本思想：通过构造制约函数，将约束问题转化
为一系列无约束问题，进而用无约束最优化方法求解， 因此该方法也称为序列无约束最小化技术，简记为 SUMT（sequential unபைடு நூலகம்onstrained minimization technique）. 常用的制约函数基本上有两类：一为惩 罚函数（或称罚函数），一为障碍函数.对应于这两 种函数，SUMT有外点法与内点法之分.
7
1、只含有不等式约束
8
9
10
11
12
2、同时含有等式与不等式约束
13
14
例： 求下列非线性规划问题的K-T点.
15
16
17
18
19
20
§4.2 可行方向法
可以看到，利用K-T条件求极小点是很困难的， 因此带有约束的极值问题仍以迭代算法为主要的求解 方法.
21
22
可行下降方向的确定
79
80
81
内点法的计算步骤
82
83
例：用内点法求解非线性规划
84
85
86
初始内点的求法
87
88
89
内点法的优点：由于迭代点总是在可行域内进行，每 一个中间结果都是可行解，可以作为近似解. 内点法的缺点：选取初始可行点较困难，且只适用于 含有不等式约束的非线性规划问题.
90
1、约束为线性函数的情形
23
24
25
26
2、约束为非线性函数的情形
27
28
29
30
步长的确定
31
1、当约束为线性函数时
32
33
34
35
36
37
38
例 用可行方向法求解
39
40
41
42
43
44
45
46
47
2、当约束为非线性函数时
48
49
50
51
§4.3 近似规划法
66
1、外点法
基本原理：通过构造一个由目标函数与约束函数组
成的惩罚函数的办法，对惩罚函数实行极小化来实现 这一目的.
为了便于说明问题，先考虑只含有不等式约束的 问题：
67
68
69
70
71
72
外点法的计算步骤
73
例：用外点法求解非线性规划
74
75
76
77
2、内点法
基本原理：
78
与外点法不同的是，内点法要求整个迭代过程始 终在可行域内部进行. 初始点也必须选一个严格内点. 然后再在可行域边界上设置一道“障碍”，以阻止搜 索点到可行域边界上去，一旦接近可行域边界时，就 要受到很大的惩罚，迫使迭代点始终留在可行域内部 . 与外点法相似，用目标函数叠加一个惩罚项来 构成制约函数，在内点法中称为障碍函数.要求障碍 函数具备这样的功能：在可行域内部离边界面较远之 处，障碍函数与目标函数尽可能地接近，而在接近边 界面时，可以变成很大的值. 因此满足这种要求得障 碍函数其极小值显然不会在可行域的边界上达到. 也 就是说，用障碍函数来代替原有目标函数，且在可行 域内使其极小化. 因极小点不在可行域的边界上，因 而这种障碍函数具有无约束性质的极值，可用无约束 极值法求解.
2
§4.1 最优性条件
考虑只含不等式约束条件下求极小值问题 的数学模型：
3
4
定义 4.1.1
5
定义 4.1.2
定理 4.1.1
6
库恩-塔克（Kuhn-Tucker）条件
库恩-塔克条件是非线性规划领域中的重 要理论成果之一，是确定某点为局部最优解的 一阶必要条件.只要是最优点（同时是正则点） 就必满足这个条件.但一般来说它不是充分条件， 即满足这个条件的点不一定是最优点.但对于凸 规划，库恩-塔克条件既是必要条件，也是充 分条件.
简介
上一章介绍了无约束问题的最优化方法， 但实际问题中，大多数都是有约束条件的问题. 求解带有约束条件的问题比起无约束问题要困 难得多，也复杂得多.在每次迭代时，不仅要使 目标函数值有所下降，而且要使迭代点都落在 可行域内. 求解带有约束的极值问题常用方法有：将 约束问题化为一个或一系列的无约束极值问题； 将非线性规划化为近似的线性规划；将复杂问 题变为较简单问题，等等.
近似规划是一种线性化的方法，将非线性规划线 性化，然后解线性规划来求原问题的近似最优解.
52
53
54
近似规划法的算法步骤：
55
56
例：用近似规划法求解下列问题
57
58
59
60
61
62
63
64
65
§4.4 制约函数法
基本思想：通过构造制约函数，将约束问题转化
为一系列无约束问题，进而用无约束最优化方法求解， 因此该方法也称为序列无约束最小化技术，简记为 SUMT（sequential unபைடு நூலகம்onstrained minimization technique）. 常用的制约函数基本上有两类：一为惩 罚函数（或称罚函数），一为障碍函数.对应于这两 种函数，SUMT有外点法与内点法之分.
7
1、只含有不等式约束
8
9
10
11
12
2、同时含有等式与不等式约束
13
14
例： 求下列非线性规划问题的K-T点.
15
16
17
18
19
20
§4.2 可行方向法
可以看到，利用K-T条件求极小点是很困难的， 因此带有约束的极值问题仍以迭代算法为主要的求解 方法.
21
22
可行下降方向的确定
79
80
81
内点法的计算步骤
82
83
例：用内点法求解非线性规划
84
85
86
初始内点的求法
87
88
89
内点法的优点：由于迭代点总是在可行域内进行，每 一个中间结果都是可行解，可以作为近似解. 内点法的缺点：选取初始可行点较困难，且只适用于 含有不等式约束的非线性规划问题.
90
1、约束为线性函数的情形
23
24
25
26
2、约束为非线性函数的情形
27
28
29
30
步长的确定
31
1、当约束为线性函数时
32
33
34
35
36
37
38
例 用可行方向法求解
39
40
41
42
43
44
45
46
47
2、当约束为非线性函数时
48
49
50
51
§4.3 近似规划法
66
1、外点法
基本原理：通过构造一个由目标函数与约束函数组
成的惩罚函数的办法，对惩罚函数实行极小化来实现 这一目的.
为了便于说明问题，先考虑只含有不等式约束的 问题：
67
68
69
70
71
72
外点法的计算步骤
73
例：用外点法求解非线性规划
74
75
76
77
2、内点法
基本原理：
78
与外点法不同的是，内点法要求整个迭代过程始 终在可行域内部进行. 初始点也必须选一个严格内点. 然后再在可行域边界上设置一道“障碍”，以阻止搜 索点到可行域边界上去，一旦接近可行域边界时，就 要受到很大的惩罚，迫使迭代点始终留在可行域内部 . 与外点法相似，用目标函数叠加一个惩罚项来 构成制约函数，在内点法中称为障碍函数.要求障碍 函数具备这样的功能：在可行域内部离边界面较远之 处，障碍函数与目标函数尽可能地接近，而在接近边 界面时，可以变成很大的值. 因此满足这种要求得障 碍函数其极小值显然不会在可行域的边界上达到. 也 就是说，用障碍函数来代替原有目标函数，且在可行 域内使其极小化. 因极小点不在可行域的边界上，因 而这种障碍函数具有无约束性质的极值，可用无约束 极值法求解.
2
§4.1 最优性条件
考虑只含不等式约束条件下求极小值问题 的数学模型：
3
4
定义 4.1.1
5
定义 4.1.2
定理 4.1.1
6
库恩-塔克（Kuhn-Tucker）条件
库恩-塔克条件是非线性规划领域中的重 要理论成果之一，是确定某点为局部最优解的 一阶必要条件.只要是最优点（同时是正则点） 就必满足这个条件.但一般来说它不是充分条件， 即满足这个条件的点不一定是最优点.但对于凸 规划，库恩-塔克条件既是必要条件，也是充 分条件.