《约束最优化方法》PPT课件
合集下载
约束问题的最优化方法
可用于处理等式约束。
§5.3 外点惩罚函数法
三. 几个参数的选择：
r(0) 的选择:
r(0) 过大，会使惩罚函数的等值线变形或偏心，求极值困难。r (0) 过小，迭代次数太多。
建议 ：r0 max ru0 u 1,2,...m
其中：ru0
m gu
0.02 x0 f
x0
x(0) 的选择：
2
若均满足，停止迭代，有约束优化问题的最优点为 x* = xk*； 若有一个准则不满足，则令 x(0) xk * (r(k) ),r(k1) c r(k) , k k 1 并转入第 3 步，继续计算。
§5.2 内点惩罚函数法
算法框图
§5.2 内点惩罚函数法
四. 几个参数的选择： 1. 惩罚因子初始值 r(0) 的选择：
§5.1 引言
有解的条件： ① f(x) 和 g(x) 都连续可微； ② 存在一个有界的可行域； ③ 可行域为非空集； ④ 迭代要有目标函数的下降性和设计变量的可行性。
三. 间接解法的基本思想： 目的：将有约束优化问题转化为无约束优化问题来解决。
方法：以原目标函数和加权的约束函数共同构成一个新的目标函数
（略） 2. 数学模型：
设计变量 ： X x1,x2 T t f ,h T
目标函数 ： min. f x 120x1 x2
单位长度的质量
§5.2 内点惩罚函数法
约束函数 ： g1x x1 0 g 2 x x2 0 g3 x 1 0.25x2 0
g4
x
1
7 45
x1x2
0
g5
x
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想：
外点法将新目标函数 Φ( x , r ) 构筑在可行域 D 外， 随着惩罚因子 r(k) 的不断递增， 生成一系列新目标函数 Φ(xk ,r(k))，在可行域外逐步迭 代，产生的极值点 xk*(r(k)) 序 列从可行域外部趋向原目标函 数的约束最优点 x* 。
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
最优化方法4-1第四章 约束最优化方法-KKT条件
（I） x*为问题的局部最优解且 I*={i| c i (x*)=0, 1≤i≤m };
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
(II) f(x)和 c i (x)（i∈I*）在 x*点可微；
（III）c i (x)（i∈I\ I*）在 x*点连续
则 S={p∈Rn | ▽f(x*)Tp<0}
与 G={ p∈Rn |▽c i(x* )Tp>0, i∈I*} 的交是空集，
（iii）▽ci(x*)(i=1,2,…,l)线性无关；
则存在一组不全为零的实数 1*… l*使得
l
▽f(x*)- i *▽c i(x*)=0 1
定义 n+l 元函数：
l
L(x, )=f(x)- Tc(x)=f(x)- ici(x) i1 为 lagrange 函数，
1
1 2
x1 x2 1 0
的 KT 点为 x* (0, 3)T,相应乘子为* (1 ,0)T。
6
例 2：验证(2,1)T 为下面约束优化问题的 K-T 点.
min
f ( x1 , x2 ) ( x1 3)2 ( x2 2)2
恰好给出等式约束问题的一阶必要条件
及 c i(x*)=0，i=1, …,l
点（X*, *）称为 lagrange 函数 L（x, ）的驻点。
几何意义是明显的：考虑一个约束的情况：
-▽f(x*)
-▽f(x ) x
▽c(x )
c(x)
▽c(x*)
这里 x* 是局部最优解，
▽f(x*)与▽c(x*) 共线，
称 为 lagrange 乘子向量。
lagrange 函数的梯度为
▽L(x, )=(▽xL,▽ L)T
最优化理论第四章约束问题最优性条件
定理4.2
设x* s, f ( x), g i ( x), (i I )在x*可微，g i ( x), (i I )在x *连续，
如果x*是问题 2 的局部最优解，则F0 G0 =。 （证明从略）
2.2 定理4.3 （Fritz，John条件）
* 设x* s，I i g i ( x* ) 0 ，f , g i (i I )在x*处可微，g （ i i I）在x 处连续，
第
四
章
约束问题的最优性 条件（P206）
min f(x) 约束优化： s.t. gi (x) 0, h ( x) 0, j
x Rn i 1,..., m j 1,..., l
s x gi ( x) 0, i 1,..., m; h j ( x), j 1,..., l
iI
①K-T条件
* 进一步条件，若g（ i I ）在 x 处可微，K-T条件为： i m （ f x*） - wi gi ( x* ) 0 ② i 1 ② * m n方程组 wi gi ( x ) 0, i 1,..., m ③ ③ ④ wi 0, i 1,..., m * 给定x ，验证是否符合K-T条件用① 应用 * x 未定，求解K-T点，求解② +③
2.4
定理4.5 （约束问题最优解的一阶充分条件）
问题（2）中，f 是凸函数，g （ ）是凹函数，s为可行域，x* s, i i 1,..., m I i gi ( x* ) 0 , f 和gi (i I )在点x*可微，gi (i I )在点x*连续，且在x*处 K - T 条件成立，则x*为全局最优解。 x 1， 0 为全局最优解（例子）
最优化方法第一次PPT课件
12
本课程对学生的具体要求为： ①理解最优化的基本概念、算法原理和 算法结构； ②熟悉几种常用的经典优化算法，知晓 其优缺点及适用范围； ③了解模拟退火算法和遗传算法的基本 原理； ④能较为熟练地运用Lingo软件求解各种 优化问题。
13
3. 编程要求 基于下列理由，本门课要求学生对2~3个
基本优化算法（如一维搜索、梯度法、变尺 度法、模拟退火、基本遗传算法）编制出通 用 程 序 ， 编 程 工 具 建 议 采 用 C++ 、 Matlab 或 Maple。
前面提到的算法是最优化的基本方法， 它们简单易行，对于性态优良的一般函数， 优化效果较好。但这些经典的方法是以传统 微积分为基础的，不可避免地带有某种局限
5
局限性，主要表现为：①大多数传统优化方 法仅能计算目标函数的局部最优点，不能保 证找到全局最优解。对于多峰值函数，这些 方法往往由于过分追求“下降”而陷于局部 最优解；②许多传统优化方法对目标函数的 光滑性、凹凸性等有较高的要求，对于离散 型函数、随机型函数基本上无能为力。
15
③Lingo、Matlab优化工具箱等优化软件 功能的确强大，但它们也不是万能的。首先, 对于某些优化问题，这些工具软件有都求不 出最优解。其次不能保证对任何优化问题都 有现成的工具软件，实际上，许多现代优化 方法都不可能编制成通用软件；
④熟练使用相关科技软件、具有一定的 编程水平是工科研究生所必须具有的素养， 从某种程度上讲，后者更能反映出个人的能
7
二、《最优化方法》课程主要内容 本门课程的主要内容为常用经典优化方
法、现代优化方法中的模拟退火算法和遗传 算法以及运筹优化软件Lingo简介。
经典优化方法包括： 1.常用的一维搜索方法——黄金分割法、 Fibonacci法和解析法； 2. 最速下降法、共轭梯度法； 3. 牛顿法；
本课程对学生的具体要求为： ①理解最优化的基本概念、算法原理和 算法结构； ②熟悉几种常用的经典优化算法，知晓 其优缺点及适用范围； ③了解模拟退火算法和遗传算法的基本 原理； ④能较为熟练地运用Lingo软件求解各种 优化问题。
13
3. 编程要求 基于下列理由，本门课要求学生对2~3个
基本优化算法（如一维搜索、梯度法、变尺 度法、模拟退火、基本遗传算法）编制出通 用 程 序 ， 编 程 工 具 建 议 采 用 C++ 、 Matlab 或 Maple。
前面提到的算法是最优化的基本方法， 它们简单易行，对于性态优良的一般函数， 优化效果较好。但这些经典的方法是以传统 微积分为基础的，不可避免地带有某种局限
5
局限性，主要表现为：①大多数传统优化方 法仅能计算目标函数的局部最优点，不能保 证找到全局最优解。对于多峰值函数，这些 方法往往由于过分追求“下降”而陷于局部 最优解；②许多传统优化方法对目标函数的 光滑性、凹凸性等有较高的要求，对于离散 型函数、随机型函数基本上无能为力。
15
③Lingo、Matlab优化工具箱等优化软件 功能的确强大，但它们也不是万能的。首先, 对于某些优化问题，这些工具软件有都求不 出最优解。其次不能保证对任何优化问题都 有现成的工具软件，实际上，许多现代优化 方法都不可能编制成通用软件；
④熟练使用相关科技软件、具有一定的 编程水平是工科研究生所必须具有的素养， 从某种程度上讲，后者更能反映出个人的能
7
二、《最优化方法》课程主要内容 本门课程的主要内容为常用经典优化方
法、现代优化方法中的模拟退火算法和遗传 算法以及运筹优化软件Lingo简介。
经典优化方法包括： 1.常用的一维搜索方法——黄金分割法、 Fibonacci法和解析法； 2. 最速下降法、共轭梯度法； 3. 牛顿法；
约束最优化条件KTT(课堂PPT)
f(x*)T(x-x*)0, x D
.
3
考虑一般约束问题：
minf(x) s.t. gi(x)0,iI{1,2,,m 1}
hj(x)0,jE{m 11 ,,m}
(9.1)
可D 行 { x :g i( x 域 ) 0 ,i I ; ： h j( x ) 0 ,j E }
这里我们假设 f , g函 i ,hj数 连续可微
i I
j E
x L ( x ,,) f( x ) . i g i( x ) j h j( x )5
i I
j E
一阶必要条件
定 理 9.2.1 设 x * D 是 问 题 (9 .1)的 一 个 局 部 最 优 解 ,如 果
SFD (x*,D ) LFD (x*,D )
思考
若函数,可 无导 约束问题的定 极是 值驻 ,点点 一 请问约束问题优 的解 局一 部 K 定 最 K点 是 T 吗？？
不一定啦
.
7
例 9.2. 已知约束问题
x2
min f ( x) x2
g1(x) x(0, 2)
s.t. g( x) x ( x )
●
g2(x)
g ( x) x
令 x k x k d k ,由9 .1 定 .2 知 ,{ x k } 义 D .
为理解序列,可 我行 们方 来向 看看它 释的 ：.11 Nhomakorabeaxk
D
●
dk
●
d
x
(a)点x在D内部
D
xk ●
dk
d
x ●
(b)点x在D的边界上
序列可行方向实际 序列可行方向包含可行
上就是可行方向
方向和边界的切线方向
.
3
考虑一般约束问题：
minf(x) s.t. gi(x)0,iI{1,2,,m 1}
hj(x)0,jE{m 11 ,,m}
(9.1)
可D 行 { x :g i( x 域 ) 0 ,i I ; ： h j( x ) 0 ,j E }
这里我们假设 f , g函 i ,hj数 连续可微
i I
j E
x L ( x ,,) f( x ) . i g i( x ) j h j( x )5
i I
j E
一阶必要条件
定 理 9.2.1 设 x * D 是 问 题 (9 .1)的 一 个 局 部 最 优 解 ,如 果
SFD (x*,D ) LFD (x*,D )
思考
若函数,可 无导 约束问题的定 极是 值驻 ,点点 一 请问约束问题优 的解 局一 部 K 定 最 K点 是 T 吗？？
不一定啦
.
7
例 9.2. 已知约束问题
x2
min f ( x) x2
g1(x) x(0, 2)
s.t. g( x) x ( x )
●
g2(x)
g ( x) x
令 x k x k d k ,由9 .1 定 .2 知 ,{ x k } 义 D .
为理解序列,可 我行 们方 来向 看看它 释的 ：.11 Nhomakorabeaxk
D
●
dk
●
d
x
(a)点x在D内部
D
xk ●
dk
d
x ●
(b)点x在D的边界上
序列可行方向实际 序列可行方向包含可行
上就是可行方向
方向和边界的切线方向
约束问题最优化方法
1．Kuhn-Tucker 条件
定 理 9-1 考 虑 问 题 (9-1)，设 x* H, I(x*) {i gi (x*) 0,1 i l}， f (x) 与 gi (x)(i I (x*)) 在 点 x* 处 可 微 ，gi (x)(i I (x*)) 在 点 x* 处 连 续 ， hj (x) ( j 1,2,, m) 在 点 x* 处 连 续 可 微 ， 且 向 量 集
(k1) j
:
(k j
)
(
j
1,2,, n), 置
k
k
1， 返 回 第
2
步．
9．3 可行方向法
可行方向：设x∈H，d∈Rn,d≠0,若存在 0 ， 使x d H , (0, ) ，称d 为 x 点的可行
方向。
可行方向法
x(k 1) x(k )
f
( x(k 1) )
k d (k )
显然，上述二阶充分条件中的(9-10)式的
m
l
[2 f (x*) i*2hi (x*) *j2 g j (x*)]
i 1
j 1
即 广 义 拉 格 朗 日 函 数 在 点 x* 处 的 海 赛 矩 阵 ． 若 令 满 足
(9-7)、(9-8)、(9-9)三条件的非零向量 z 构成的子空间
为 M，则(9-10)式表明，广义拉格朗日函数在点 x* 处的海
则，置
(k1) j
:
ห้องสมุดไป่ตู้
(k j
)
(
j
1,2,, n), 返 回 第
2
步．
4． 若 f (x(k1) ) f (x(k) ) 1 ， 且 满 足
x(k1) x(k) 2 ,
或
第四章约束问题的最优化方法
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
函数的约束最优点 x* 。
外点法可以用来求解含不等式和等式约束的优化问题。
二. 惩罚函数的形式：
m
l
( x, r) f ( x) r max[0, gi ( x)]2 r [hj ( x)]2
i1
j1
• 惩罚因子rk 是递增的，rk1 a rk ，a为递增系数，a 1
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：min . (x, r1, r2 )
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
这种方法是1968年由美国学者A．V．Fiacco和 G．P．Mcormick提出的，把不等式约束引入数学模型中，为求多 维有约束非线性规划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚
六. 举例：盖板问题
设计一个箱形截面的盖板。 已知：长度 l0= 600cm，宽度 b = 60cm， h 侧板厚度 ts = 0.5cm，翼板厚度为 tf(cm)，高 度为 h(cm)，承受最大的单位载荷 q = 0.01Mpa。
tf ts
b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
f (x) r1G[gu (x)] r2 H[hv (x)]
约束最优化的理论与方法
f ( x ) f ( x), x N ( x , ) X
* *
成立， 则称 x*是问题的局部极小点，其中
N ( x , ) { x | || x x || 2 }.
* *
进一步，如果
f ( x ) f ( x), x N ( x , ) X , x x
X 在x 处的所有线性化可行方向组成的集合
*
ci ( x * d ) ai1 ( x1 d1 ) ai 2 ( x2 d 2 ) ai 3
ci ( x*) d ci ( x)
T
如果所有的约束函数都在 x * X 处可微，则有
FD( x*, X ) SFD( x*, X ) LFD( x*, X )
x2
最优点不一定是KKT点
ci ( x ) 0, i I
*
i 0, i I
*
i ci ( x ) 0, i I
* *
m in f ( x ) 3 x1 x 2 2 x 3
d a i 0, i 1, , l ,
T
d bi 0, i 1, , l ',
T
d a0 0
T
无解当且仅当存在实数 使得
l
i ( i 1, , l ) 和 非 负 实 数 i ( i 1, , l ')
l'
a0
a b .
i i i i i 1 i 1
序列可行方向 x * d X , k k k 线性化可行方向 d T c ( x * ) 0, i E ; i
d k d , k 0和 k 0
* *
成立， 则称 x*是问题的局部极小点，其中
N ( x , ) { x | || x x || 2 }.
* *
进一步，如果
f ( x ) f ( x), x N ( x , ) X , x x
X 在x 处的所有线性化可行方向组成的集合
*
ci ( x * d ) ai1 ( x1 d1 ) ai 2 ( x2 d 2 ) ai 3
ci ( x*) d ci ( x)
T
如果所有的约束函数都在 x * X 处可微，则有
FD( x*, X ) SFD( x*, X ) LFD( x*, X )
x2
最优点不一定是KKT点
ci ( x ) 0, i I
*
i 0, i I
*
i ci ( x ) 0, i I
* *
m in f ( x ) 3 x1 x 2 2 x 3
d a i 0, i 1, , l ,
T
d bi 0, i 1, , l ',
T
d a0 0
T
无解当且仅当存在实数 使得
l
i ( i 1, , l ) 和 非 负 实 数 i ( i 1, , l ')
l'
a0
a b .
i i i i i 1 i 1
序列可行方向 x * d X , k k k 线性化可行方向 d T c ( x * ) 0, i E ; i
d k d , k 0和 k 0
第五章约束问题的最优化方法
g1 ( x ) x1 x2 4,
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q， I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微，
g1 ( x) [ 1 , 1 ]T
g2 ( x) x1 ,
g2 ( x) [ 1 , 0 ]T 。
g3 ( x) x2 ,
g3 ( x) [ 0 , 1 ]T 。
18
由K T条件得
x1 3 1 1 0 x 3 1 1 2 0 3 1 0 2
第七讲 约束非线性规划
约束极值及最优性条件
等式约束 不等式约束 一般约束问题
约束极值问题的算法
外点法 内点法 乘子法
1
一 、约束极值问题的最优性条件
1、约束极值问题的表示 min f ( x ) hi ( x ) 0 i 1 , 2 ,, m s .t . g j ( x ) 0 j 1 , 2 , , l
8
2 g3 ( x ) 0。 2
I ( x ) { 1 , 2 }。
x2 g2 ( x ) 0
g3 ( x ) 0
O
g1 ( x ) 0
x
x1
②如何判断一个方向是可行方向?
9
定理1:
给 定 点x Q , 记 点 x 的 积 极 约 束 指 标 集 为 I ( x )。 给 定 向 量 d ， 如果对任意的 i I ( x ) 有 gi ( x )T d 0 , 则 d 是 点 x 的 可 行 方 向 。
则 向 量d 是 点 x 处 的 可 行 下 降 方 向 。
证略
③极值点的必要条件: 定理3:
设 x* Q， I ( x*)是其积极约束指标集。
f ( x) 和 gi ( x) (i I ( x*)) 在点x * 处可微，
约束问题的最优化方法
3. 优化方法： 选用内点惩罚法，惩罚函数形式为： 6 1 T k k x,r f x r 取 x 0 1,30 , r 0 3 , c 0.7 u 1 g x u 调用 Powell 法求序列无约束优化极值，以逐渐逼近原问 题的极值点。
k 2 x r ( 1 x ) x 1时； x, r k x 1时。 x
4
min.
s.t
f (x) = x
x ∈ R1
g (x) = 1-x ≤ 0
§5.3 外点惩罚函数法
二. 惩罚函数的形式：
①
x, r ( k ) f x r k maxg u x ,0 I u g u x 0 u 1,2,...,m,
(k ) (k ) m
1 u 1 g ( x ) u
m
其中：gu ( x) 0, u 1,2,...m
1 u 1 g ( x ) u m 1 (k ) (k ) ③ . ( x, r ) f ( x) ru u 1 g u ( x) m 1 (k ) (k ) ④ .( x, r ) f ( x) r 2 u 1 [ g ( x )] u
§5.2 内点惩罚函数法
4. 求解过程分析：
§5.3 外点惩罚函数法 (衰减函数法）
一. 基本思想： 外点法将新目标函数
Φ( x , r )
构筑在可行域 D
外，随着惩罚因子 r(k) 的不断 递增，生成一系列新目标函数
Φ(xk ,r(k))，在可行域外逐步
迭代，产生的极值点 xk*(r(k)) 序列从可行域外部趋向原目标 函数的约束最优点 x* 。 例：求下述约束优化问题的最优点。 新目标函数：
约束最优化方法-43页PPT精选文档
s.t.
g1(x1, x2 ) x12 x22 5 0
g2 (x1, x2 ) x1 2x2 4 0
g3(x1, x2 ) x1 0
g4 (x1, x2 ) x2 0
g3=0
x2
▽g2(x*) -▽f(x*)
(3,2)T
2 1
x*
▽g1(x*)
二、不等式约束问题的Khun-Tucker条件： （续）
f ( x)
m
uig i ( x) 0
i
u i 0, i 1,2, , m
ui g i (x) 0
2(x1 3) u1 2x1 u2 u3 0(1)
2(x2 2) u1 2x2 2u2 u4 0(2)
f T ( x ) B f T ( x ) B 1 N 为既约梯度
一、解线性约束问题的既约梯度法 （续）
寻找下降可行方向：
d
(1) d 为可行方向
Ad 0
d
j
0,当 x j
0时 .
proof . :" " d 为可行方向，即
0 , 当 （ 0， ）时，
i
g
i
(x
)
i1
l
v
j
h
j
(
x
)
0
j1
u
i
0
i 1,2 , , m
u
i
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
gi(x) ,i ∈I在x*点可微， gi(x) ,i I在x*点连续。
向量组{▽gi(x*), i ∈I}线性无关。 如果x*----l.opt. 那么，u*i≥0, i ∈I使
f (x )
u
i
g
i
(x )
0
iI
如果在x* , gi ( x)可微，i。那么，
m
f ( x ) uig i ( x ) 0
问题 求z=f(x,y)极值
即 min f(x,y)
在ф(x,y)=0的条件下。
S.t. ф(x,y)=0
引入Lagrange乘子：λ
Lagrange函数 L(x,y;λ)= f(x,y)+ λ ф(x,y)
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使
fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况：
f ( x)
m
ui g i ( x) 0
i
ui 0, i 1,2,, m
ui gi (x) 0
2( x1 3) u1 2x1 u2 u3 0(1)
2( x2 2) u1 2x2 2u2 u4 0(2)
u1 , u2 , u3 , u4 0
u1 ( x12
x
②目标函数与一条曲线相交的情况： g1，g2, g3, g4
对每一个情况求得满足(1)~(6)的点(x1,x2)T及乘子u1,u2,u3,u4,验 证当满足可得，且ui≥ 0时，即为一个K-T点。
下面举几个情况：
● g1与g2交点：x=(2,1)T∈S ,I={1,2} 则u3=u4=0 解
22( (xx2 123))22uu11xx21
约束最优化方法
约束最优化方法
问题 min f(x)
(fgh) s.t. g(x) ≤0 h(x)=0
分量形式略
约束集 S={x|g(x) ≤0 , h(x)=0}
1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件：
考虑 (fh) min f(x) s.t. h(x)=0
回顾高等数学中所学的条件极值：
考虑问题
min f(x)
(fg) s.t. gi(x) ≤0 i=1,2, …,m
设 x*∈S={x|gi(x) ≤0 i=1,2, …,m}
令
I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。
如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约
min f(x) 分量形式： s.t. hj(x)=0 j=1,2, …,l
若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
l
f ( x* )
*j h j ( x* ) 0
j 1
矩阵形式：
f ( x * ) h( x * ) * 0
x
一、等式约束性问题的最优性条件： (续) 几何意义是明显的：考虑一个约束的情况：
u2 2u
0 2 0
得u1
1 3 ,u2
2 3
0
故x (2,1)T 是K T点。
-▽f(x*)
h(x)
-▽f(ㄡ ) ㄡ
▽h(ㄡ )
▽h(x*)
这里 x* ---l.opt. ▽f(x*)与 ▽h(x*) 共线，而ㄡ非l.opt. ▽f(ㄡ )与▽h(ㄡ )不共线。
最优性条件即：Biblioteka hf (x*) *j h j (x*) j 1
二、不等式约束问题的Khun-Tucker条件：
g 2 ( x1 , x2 ) x1 2x2 4 0
g 3 ( x1 , x2 ) x1 0
g 4 ( x1 , x2 ) x2 0
g3=0 x2
▽g2(x*)
-▽f(x*)
(3,2)T
2 1
x*
▽g1(x*)
1 2g1=30 4
g4=0 x1
g2=0
二、不等式约束问题的Khun-Tucker条件： （续）
束时，才产生影响，如：
g2(x)=0 x*
g1(x)=0
g1(x*)=0, g1为起作用约束
Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
特别 有如下特征：如图
-▽f(ㄡ ) X* -▽f(x*)
▽g(x*)
▽g(ㄡ )
在x* ： ▽f(x*)+u* ▽g(x*)=0 u*>0
i 1
u
* i
0
i 1,2,, m
u
i
g
i
(x )
0
i 1,2,, m(互补松弛条件)
满足K T条件的点x*称K T点。
二、不等式约束问题的Khun-Tucker条件： （续）
min
f ( x1 , x2 ) ( x1 3) 2 ( x2 2) 2
例
s.t.
g1 ( x1 , x2 ) x12 x22 5 0
2 2
5)
0(3)
u
2
( x1
2x2 4) 0(4) u3 x1 0(5)
6个方程6个未知量
u4 x2 0(6)
二、不等式约束问题的Khun-Tucker条件： （续）
可能的K-T点出现在下列情况：
①两约束曲线的交点：g1与g2,g1与g3,g1与g4,g2与g3,g2与g4,g3与 g4。
u1*
1 3
u
* 2
2使
3
f
(x* )
1 3
g1
(
x
)
2 3
g 2 ( x )
0
用K-T条件求解：
f
( x)
2( x1 2( x2
3) 2) , g1 ( x)
2 x1 2x2
, g 2 (2)
1 2
1
0
g 3 ( x)
0
, g 4
1
二、不等式约束问题的Khun-Tucker条件： （续）
在x *点
g1 g2
( x1 , ( x1 ,
x2 x2
) )
0 0
交点（2， 1）T
起作用集I {1,2}
g1 ( x ) (2x1 ,2x2 )T (4,2)T
g 2 ( x ) (1,2)T
f ( x* ) (2( x1* 3),2( x2* 2))T (2,2)T
计算可得
要使函数值下降，必须使g(x)值变大，则
在ㄡ 点使f(x)下降的方向（- ▽f(ㄡ ) 方向）指向约束集合内部 ，因此ㄡ不是l.opt. 。
二、不等式约束问题的Khun-Tucker条件： （续）
定理（最优性必要条件）： （K-T条件）
问题(fg), 设S={x|gi(x) ≤0},x*∈S,I为x*点处的起作用集，设f,
向量组{▽gi(x*), i ∈I}线性无关。 如果x*----l.opt. 那么，u*i≥0, i ∈I使
f (x )
u
i
g
i
(x )
0
iI
如果在x* , gi ( x)可微，i。那么，
m
f ( x ) uig i ( x ) 0
问题 求z=f(x,y)极值
即 min f(x,y)
在ф(x,y)=0的条件下。
S.t. ф(x,y)=0
引入Lagrange乘子：λ
Lagrange函数 L(x,y;λ)= f(x,y)+ λ ф(x,y)
一、等式约束性问题的最优性条件： (续) 若(x*,y*)是条件极值，则存在λ* ，使
fx(x*,y*)+ λ* фx (x*,y*) =0 fy(x*,y*)+ λ* фy(x*,y*) =0 Ф (x*,y*)=0 推广到多元情况，可得到对于(fh)的情况：
f ( x)
m
ui g i ( x) 0
i
ui 0, i 1,2,, m
ui gi (x) 0
2( x1 3) u1 2x1 u2 u3 0(1)
2( x2 2) u1 2x2 2u2 u4 0(2)
u1 , u2 , u3 , u4 0
u1 ( x12
x
②目标函数与一条曲线相交的情况： g1，g2, g3, g4
对每一个情况求得满足(1)~(6)的点(x1,x2)T及乘子u1,u2,u3,u4,验 证当满足可得，且ui≥ 0时，即为一个K-T点。
下面举几个情况：
● g1与g2交点：x=(2,1)T∈S ,I={1,2} 则u3=u4=0 解
22( (xx2 123))22uu11xx21
约束最优化方法
约束最优化方法
问题 min f(x)
(fgh) s.t. g(x) ≤0 h(x)=0
分量形式略
约束集 S={x|g(x) ≤0 , h(x)=0}
1 Kuhn-Tucker 条件
一、等式约束性问题的最优性条件：
考虑 (fh) min f(x) s.t. h(x)=0
回顾高等数学中所学的条件极值：
考虑问题
min f(x)
(fg) s.t. gi(x) ≤0 i=1,2, …,m
设 x*∈S={x|gi(x) ≤0 i=1,2, …,m}
令
I={i| gi(x*) =0 i=1,2, …,m} 称I为 x*点处的起作用集（紧约束集）。
如果x*是l.opt. ,对每一个约束函数来说，只有当它是起作用约
min f(x) 分量形式： s.t. hj(x)=0 j=1,2, …,l
若x*是(fh)的l.opt. ,则存在υ*∈ Rl使
l
f ( x* )
*j h j ( x* ) 0
j 1
矩阵形式：
f ( x * ) h( x * ) * 0
x
一、等式约束性问题的最优性条件： (续) 几何意义是明显的：考虑一个约束的情况：
u2 2u
0 2 0
得u1
1 3 ,u2
2 3
0
故x (2,1)T 是K T点。
-▽f(x*)
h(x)
-▽f(ㄡ ) ㄡ
▽h(ㄡ )
▽h(x*)
这里 x* ---l.opt. ▽f(x*)与 ▽h(x*) 共线，而ㄡ非l.opt. ▽f(ㄡ )与▽h(ㄡ )不共线。
最优性条件即：Biblioteka hf (x*) *j h j (x*) j 1
二、不等式约束问题的Khun-Tucker条件：
g 2 ( x1 , x2 ) x1 2x2 4 0
g 3 ( x1 , x2 ) x1 0
g 4 ( x1 , x2 ) x2 0
g3=0 x2
▽g2(x*)
-▽f(x*)
(3,2)T
2 1
x*
▽g1(x*)
1 2g1=30 4
g4=0 x1
g2=0
二、不等式约束问题的Khun-Tucker条件： （续）
束时，才产生影响，如：
g2(x)=0 x*
g1(x)=0
g1(x*)=0, g1为起作用约束
Kuhn-Tucker 条件
二、不等式约束问题的Khun-Tucker条件： （续）
特别 有如下特征：如图
-▽f(ㄡ ) X* -▽f(x*)
▽g(x*)
▽g(ㄡ )
在x* ： ▽f(x*)+u* ▽g(x*)=0 u*>0
i 1
u
* i
0
i 1,2,, m
u
i
g
i
(x )
0
i 1,2,, m(互补松弛条件)
满足K T条件的点x*称K T点。
二、不等式约束问题的Khun-Tucker条件： （续）
min
f ( x1 , x2 ) ( x1 3) 2 ( x2 2) 2
例
s.t.
g1 ( x1 , x2 ) x12 x22 5 0
2 2
5)
0(3)
u
2
( x1
2x2 4) 0(4) u3 x1 0(5)
6个方程6个未知量
u4 x2 0(6)
二、不等式约束问题的Khun-Tucker条件： （续）
可能的K-T点出现在下列情况：
①两约束曲线的交点：g1与g2,g1与g3,g1与g4,g2与g3,g2与g4,g3与 g4。
u1*
1 3
u
* 2
2使
3
f
(x* )
1 3
g1
(
x
)
2 3
g 2 ( x )
0
用K-T条件求解：
f
( x)
2( x1 2( x2
3) 2) , g1 ( x)
2 x1 2x2
, g 2 (2)
1 2
1
0
g 3 ( x)
0
, g 4
1
二、不等式约束问题的Khun-Tucker条件： （续）
在x *点
g1 g2
( x1 , ( x1 ,
x2 x2
) )
0 0
交点（2， 1）T
起作用集I {1,2}
g1 ( x ) (2x1 ,2x2 )T (4,2)T
g 2 ( x ) (1,2)T
f ( x* ) (2( x1* 3),2( x2* 2))T (2,2)T
计算可得
要使函数值下降，必须使g(x)值变大，则
在ㄡ 点使f(x)下降的方向（- ▽f(ㄡ ) 方向）指向约束集合内部 ，因此ㄡ不是l.opt. 。
二、不等式约束问题的Khun-Tucker条件： （续）
定理（最优性必要条件）： （K-T条件）
问题(fg), 设S={x|gi(x) ≤0},x*∈S,I为x*点处的起作用集，设f,