北邮最优化课件12 可行方向法
合集下载
可行方向法11
max 1
进行一维搜索, 解
min f ( x 2 d 2 ) 2 2 2 2
0 1
得步长 2
1 2 3 2 2 2 所以 x x d 3 2
1 2
继续迭代,因为
0 d 0
定理 设 x D，在点 x 处有 A x b , A x b , 其中 1 1 2 2 A b 1 ,b 1 A A2 b2 则 x 是 K T点的充要条件是（）的最优目标函数值为0 。 2
（3）搜索步长的确定
已知迭代点 x k 和该点的可行下降方向d k , 则 可令x k 1 x k t k d k 。
2 x1 x2 1 0 x x 2 0 2 s .t . 1 0 x1 x2 0
(1) (2) (3) (4)
0 初始点 x 1 0
解
第一次迭代
2 x1 2 2 f ( x ) , f ( x 1 ) 4 2 x2 4
性质：若* 0 , 则 x k 处不存在可行下降方向 x k , 已是 K T 点（若g i ( x k ) ( i I ( x k )) 线性无关） ;
若 * 0 , 则得到 x k 处的一个可行下降方向 * 。 d
有例子表明上述方法不 一定收敛到K T 点，即总有
* 0。
则约束条件A ( x k td k ) b 可以改写为
A1 ( x k td k ) b1 k k A2 ( x td ) b2
因为 A1 x k b1 , A1d k 0 , t 0，所以不等式约束 A1 ( x k td k ) b1自然成立。
最优化方法课件
证明：设凸规划为 minf(x) s.t h(x)=0; g(x)0 （1）由于h(x),g(x)是凸函数，故它们的凸组合仍是 凸函数，所以可行域是凸集。 （2）由于f(x)是凸函数，任意的对任意的x,yE为 最优解, 任意的a ∈(0,1)都有
23
f (a x+(1-a)y) af(x)+(1-a) f (y) af(x)+(1-a) f (x) =f(x),又x是最优解，所以， f(x) af(x)+(1-a) f (y) ,从而 f(x) = f [ a x+(1-a) y]， 所以a x+(1-a) yE，即最优解为凸集。 （3）设x0是任一个局部最优解，则存在x0的邻域 N(x0,),当xN(x0,),f(x0)f(x). 设x是任意一个可行解，则存在0<a<1,使 a x0+(1-a) x N(x0,),于是 f(x0) f[a x0+(1-a) x ]af(x0)+(1-a) f (x) af(x)+(1a) f (x)=f(x)， 即x0是整体最优解。
最优化方法
南京邮电大学理学院
第2章
线性规划
§2.1 凸集与凸函数
3
凸
集
定义2.1.1 设集合D Rn,若对于任意点x,y∈ D, 及实数aa1,都有 ax+(1-a)y ∈ D, 则称集合D为凸集.
常见的凸集:空集(补充定义),整个欧氏空间Rn, 超平面 H={x∈ Rn|a1x1+a2x2+…anxn=b} 半空间 H+={x∈Rn|a1x1+a2x2+…anxn≥b}
20
二阶条件
设在开凸集D Rn上f(x)可微,则 (i) f(x)是D内的凸函数的充要条件为,在D内任 一点x处, f(x)的Hesse矩阵G(x)半正定,其中
23
f (a x+(1-a)y) af(x)+(1-a) f (y) af(x)+(1-a) f (x) =f(x),又x是最优解，所以， f(x) af(x)+(1-a) f (y) ,从而 f(x) = f [ a x+(1-a) y]， 所以a x+(1-a) yE，即最优解为凸集。 （3）设x0是任一个局部最优解，则存在x0的邻域 N(x0,),当xN(x0,),f(x0)f(x). 设x是任意一个可行解，则存在0<a<1,使 a x0+(1-a) x N(x0,),于是 f(x0) f[a x0+(1-a) x ]af(x0)+(1-a) f (x) af(x)+(1a) f (x)=f(x)， 即x0是整体最优解。
最优化方法
南京邮电大学理学院
第2章
线性规划
§2.1 凸集与凸函数
3
凸
集
定义2.1.1 设集合D Rn,若对于任意点x,y∈ D, 及实数aa1,都有 ax+(1-a)y ∈ D, 则称集合D为凸集.
常见的凸集:空集(补充定义),整个欧氏空间Rn, 超平面 H={x∈ Rn|a1x1+a2x2+…anxn=b} 半空间 H+={x∈Rn|a1x1+a2x2+…anxn≥b}
20
二阶条件
设在开凸集D Rn上f(x)可微,则 (i) f(x)是D内的凸函数的充要条件为,在D内任 一点x处, f(x)的Hesse矩阵G(x)半正定,其中
可行方向法_303606592
步长的确定
设x ( k )是问题(1)的可行解，d ( k )是下降可行方向， 从x ( k )出发，沿d ( k )作一维搜索，得到下一 个点x ( k 1)， 即 min f ( x ( k ) d ( k ) ) f ( x ( k ) k d ( k ) ) x ( k 1) x ( k ) k d ( k )
w p f ( x) q min f ( x) T d s.t. A1 d 0 Ed 0 | d j | 1, j 1,2,, n
A1 由Farkas 引理，（*）有解 E d 0, f ( x)T d 0 E 无解，即f ( x)T d 0, A1d 0, Ed 0无解， 等价于问题(2)目标函数最优值 0。
min f ( x ( k ) )T d s.t. A1d 0 Ed 0 1 d i 1 i 1,2, , n 得到最优解d ( k )。
(k )
4.如果f ( x ) d
(k ) T
(k )
0，则停止计算， x 为
(k )
KKT点；否则，转 5。
(k ) (k ) ˆ ˆ 5.计算b b2 A2 x ，d A2d 。
(k ) (k ) ˆ 6.若d 0, 则从x 出发，沿d 进行一维搜索
min f ( x 令x
( k 1)
(k )
d
(k )
) f (x
(k )
k d
(k )
)
x
(k )
k d ，转8；否则，转7。
(k )
ˆ b i ˆ 7.计算max min | d i 0, 求解 ˆ d i (k ) (k ) min f ( x d ) s.t. 0 max 得最优解k，令x
可行方向法基本算法
可行方向法基本算法考虑线性规划问题： Min (),{|()0,1,2,...}{n j f X X R E R X g X j l ∈⊂=≥= 设()k X 是它的一个可行解，但不是要求的极小点，为了求它的极小点或近似极小点，应在()k X 点的可行下降方向中选取某一方向()k D ，并确定步长k λ，使得 (1)()k k k k X X D R λ+=+∈(1)()()()k k f X f X +<若满足精度要求，迭代停止，(1)k X +就是所求的点。
否则，从(1)k X +出发继续进行迭代。
直到满足要求为止。
上述这种方法称为可行方向法。
设()k x 点的起作用约束集非空，为求()k x 点的可行下降方向，可由下述不等式组确定响亮D ：()()()0()0,k T k T i f X D g X D j J ⎧⎪⎨⎪⎩∇<∇>∈ 这等价于由下面的不等式组求向量D 和实数η：()()k T f X D η∇≤()(),i k T g X D j J η-∇≤∈0η<现使()()k T f X D ∇和()()i k T g X D -∇（对所有j J ∈）的最大值极小化（必须同时限制向量D 的模），即可将上述选取搜索方向的工作，转换为求解下述线性规划问题：Min η()()k T f X D η∇≤()()(),()k i k T g X D j J X η-∇≤∈11,1,2,3,..i d i n -≤≤=式中(1,2,3,...,)i d i n =为向量D 的分量。
在上式中加入最后一个限制条件，位的是使该线性规划有有限最优解；由于我们的目的在于寻找搜索方向D ，只需知道D 的各分量的相对大小即可。
将上述线性规划的最优解记为()(,)k k D η，如果求出的0k η=，说明在()k X 点不存在可行下降方向，在()()k j g X ∇（此处()()k j J X ∈）线性无关的条件下，()k X 为一K-T 点，若解出0k η<，则得到可行下降方向()k D ，这就是我们所要的所搜方向。
最优化课件
a11 x1 a12 x2 a1n xn (, )b1 •满足约束条件 s.t. a21x1a2 2 x 2 a2n xn (,)b2
am1 x1 am2 x2 amn xn (, )bm x1 , x2 ,, xn 0
•通常称 x1, x2 ,为,决xn策变量， c1为,c2价,值,系cn数， x11, x12 ,, xm为n 消耗系数, b1 , b2 ,为, b资m 源限制系数。
定义 x1，x2分别为每公斤产品中甲，乙两种原料的数量，
目标：使总成本最小化 min z=3x1+2x2
约束：配料平衡条件，
x1+x2=1
产品中A、B、C三种化学成分的最低含量
非负性条件
12x1+3x2≥4 2x1+3x2≥2 3x1+15x2≥5 x1≥0, x2≥0
原料 化学成分
A B C 单位成本（元）
其它参考书： (5)卢名高、刘庆吉编著，《最优化应用技术》，石油工业出版社,2002 (6)唐焕文，秦学志,《实用最优化方法》，大连理工大学出版社，2004 (7)钱颂迪，《运筹学》，清华大学出版社，1990 (8)袁亚湘、孙文瑜著，《最优化理论与方法》，科学出版社，2005
9
第一讲 线性规划的基本概念
➢满足一组约束条件 数取得最小值。
的同时，寻求变量x1和x2的值使目标函
例３:某铁器加工厂要制作100套钢架，每套要用长为2.9米，2.1米 和1.5米的圆钢各一根。已知原料长为7.4米，问应如何下料，可使材 料最省？ ➢ 分析：在长度确定的原料上截取三种不同规格的圆钢，可以归纳 出8种不同的下料方案：
-x1+2x2≤8 x1 ≥0, x2≥0
x2
6
am1 x1 am2 x2 amn xn (, )bm x1 , x2 ,, xn 0
•通常称 x1, x2 ,为,决xn策变量， c1为,c2价,值,系cn数， x11, x12 ,, xm为n 消耗系数, b1 , b2 ,为, b资m 源限制系数。
定义 x1，x2分别为每公斤产品中甲，乙两种原料的数量，
目标：使总成本最小化 min z=3x1+2x2
约束：配料平衡条件，
x1+x2=1
产品中A、B、C三种化学成分的最低含量
非负性条件
12x1+3x2≥4 2x1+3x2≥2 3x1+15x2≥5 x1≥0, x2≥0
原料 化学成分
A B C 单位成本（元）
其它参考书： (5)卢名高、刘庆吉编著，《最优化应用技术》，石油工业出版社,2002 (6)唐焕文，秦学志,《实用最优化方法》，大连理工大学出版社，2004 (7)钱颂迪，《运筹学》，清华大学出版社，1990 (8)袁亚湘、孙文瑜著，《最优化理论与方法》，科学出版社，2005
9
第一讲 线性规划的基本概念
➢满足一组约束条件 数取得最小值。
的同时，寻求变量x1和x2的值使目标函
例３:某铁器加工厂要制作100套钢架，每套要用长为2.9米，2.1米 和1.5米的圆钢各一根。已知原料长为7.4米，问应如何下料，可使材 料最省？ ➢ 分析：在长度确定的原料上截取三种不同规格的圆钢，可以归纳 出8种不同的下料方案：
-x1+2x2≤8 x1 ≥0, x2≥0
x2
6
运筹学12 可行方向法
(12.1.24)
问题(12.1.15)于是化为： min f ( x ( k ) d k ) s.t. 0 max
(12.1.25)
于是，给定问题(12.1.1)和一个可行点，可以通过求解问题 (12.1.10)得到下降可行方向，通过求解问题(12.1.25)确定沿 此方向进行一维搜索的步长.
怎样确定一维搜索的步长？ (k ) 设x 是(12.1.1)的可行解，不妨看作第k次迭代的出发点.
d ( k )为x ( k )处一个下降可行方向。后继点x ( k 1)由下列迭代 公式给出： x ( k 1) x ( k ) k d ( k )
TP SHUAI
(12.1.14)
12
1. Zoutendijk可行方向法
由于d ( k )为可行方向，A1d ( k ) 0，A1x( k )＝b1 , 0 A1 x ( k ) A1d ( k ) b1 自然成立。
约束(12.1.19)化为
A2 x( k ) A2d ( k ) b2
(12.1.20)
TP SHUAI
15
1. Zoutendijk可行方向法
TP SHUAI 10
1. Zoutendijk可行方向法
令v=p-q, p,q. (12.1.11)写成
w T T T ( A1 , E , E ) p f ( x) q ( w, p, q)T 0 (12.1.12)
根据Farkars定理，上述方程有解的充要条件是
Ed 0 1 d j 1, j 1,..., n 得到最优解d ( k ) .
TP SHUAI 20
1. Zoutendijk可行方向法
0418 可行方向法
Page 7
ቤተ መጻሕፍቲ ባይዱ
经整理即为
2d1 d 2 3d3 4d 4 0 2d1 3d 2 d 3 2d 4 0 d1 3d 2 d 3 d 4 0
d1 0 T d ( d , d , d , d ) 满足上述不等式组的 均为可行方向. 1 2 3 4
现只求一个可行方向, 所以令不等式改为等号, 求解
2）若 x是D的边界点， 那么该点必位于某约
Page 4
束直线(曲面)上，记作 g k ( x) 0.
则与 g k ( x) 夹角小于90度方向都是该点的可行方向。
特殊地，当不等式约束函数为线性函数时，
则与g k ( x) 夹角小(等)于90度方向是该点的可行方向. 由 g k ( x) 0 知，此约束条件 g k ( x) 0 对x而言是有效
max
得到下一个迭代点 . 依次迭代下去, 直至求得最优解.
线性约束的Zoutendijk方法的计算步骤
Page 21
0 x Step1： 给定问题(LNP1)的初始可行点 , 令k 0. k T 在点 x 处把 A 和 b 分解成 A ( A , A ) , Step2： 1 2
b (b1 , b2 )T ，其中A1 x k b1 , A2 x k b2 . 计算f ( x k ).
条件可写为: u v 0, 即 v u ( ) 下面分两种情况讨论: (1) 若v 0, 则对任意 0, 式( )总成立.
(2)若v中至少有一个分量vi <0, 那么要使式( )成立, 应满足:
Min
ui vi 0 vi
Page 19
ui Min v i 0 vi
最优化：可行方向法概要
f ( x ) T d 0 T ai d 0, i I ( x ) 无非零解 a T d 0, j E j
x是问题(13.1) 的KKT点
由上面的分析, 我们有下列结论：
定理13.1.1 设x D, d是线性规划问题 (13.2)的解 , 则 (1) 若f ( x ) T d 0, 即d 0, 则x是问题 (13.1)的KKT点; (2) 若f ( x )T d 0, 即f ( x )T d 0, 则d是函数 f在可行 点x处的一个下降可行方向 .
情形2 ： i I \ I ( x ), 但a d 0
T i
显然, 对任意的t 0, 我们有 aiT ( x td ) aiT x taiT d bi , i I \ I ( x )
情形3 ： i I \ I ( x ), 但a d 0.
若要使 bi aiT x t , T ai d bi aiT x T t min T i I \ I ( x ), ai d ai d
由定理13.1.1知, 当(13.2)的解d 0时, x不是KKT点, 我们 需计算新的可行点 : x x td D 其中t由线性搜索产生的步长
2.线性搜索—计算步长
为确保 x x td D 关于t的计算, 我们考虑三种情形 :
情形1 ：i I ( x )及 j E ,
min s.t. f ( x ) T d aiT d 0, i I ( x ) aT j d 0, j E || d || 1
(13.2)
确保目标函数有界
约束 || d || 1也可写成如 || d || 1等其它有界形式
设(13.2)的最优解为d , 则f ( x ) d 0.
x是问题(13.1) 的KKT点
由上面的分析, 我们有下列结论：
定理13.1.1 设x D, d是线性规划问题 (13.2)的解 , 则 (1) 若f ( x ) T d 0, 即d 0, 则x是问题 (13.1)的KKT点; (2) 若f ( x )T d 0, 即f ( x )T d 0, 则d是函数 f在可行 点x处的一个下降可行方向 .
情形2 ： i I \ I ( x ), 但a d 0
T i
显然, 对任意的t 0, 我们有 aiT ( x td ) aiT x taiT d bi , i I \ I ( x )
情形3 ： i I \ I ( x ), 但a d 0.
若要使 bi aiT x t , T ai d bi aiT x T t min T i I \ I ( x ), ai d ai d
由定理13.1.1知, 当(13.2)的解d 0时, x不是KKT点, 我们 需计算新的可行点 : x x td D 其中t由线性搜索产生的步长
2.线性搜索—计算步长
为确保 x x td D 关于t的计算, 我们考虑三种情形 :
情形1 ：i I ( x )及 j E ,
min s.t. f ( x ) T d aiT d 0, i I ( x ) aT j d 0, j E || d || 1
(13.2)
确保目标函数有界
约束 || d || 1也可写成如 || d || 1等其它有界形式
设(13.2)的最优解为d , 则f ( x ) d 0.
最优化方法 第三章(可行方向法)
gi ( x k )T d * * 0 ,
又 f ( x k )T d * * 0,
d * 是可行下降方向。
改进方法具有全局收敛性。
一、Zoutendijk法
Frank Wolfe 方法 min f ( x )
给定线性规划问题
Ax b s .t . x0
f ( x k )T d k 0 gi ( x k )T d k 0 , i I ( x k )
1 di 1, i 1, 2,
,n
������ = 0 , 则 ������ ������ 处不存在可行下降方向 , ������ ������ 已是 ������−������ 点. 有例子表明上述方法不一定收敛到 ������−������ 点，即总有������ < 0 .
如果可行点为内点， 可取������ = −������������(������ )计算。
一、Zoutendijk法 非线性约束模型的可行方向确定方法
min s.t.
z f ( x )T d z 0 gi ( x) d z 0, i I
T
一、Zoutendijk法 线性约束模型的可行方向
min f ( x ) Ax b s .t . Cx e
紧约束
A1 b1 定理 设 x D ，在点 x 处有 A1 x b1 , A2 x b2 , 其中A , b ， A2 b2 则非零向量 d 是 x 处的可行方向的充分必要条件是
定理 设 f ( x )可微， x k D, 如果y k 是上述线性规划的最优解,则有
(1) 当f ( x k )T ( y k x k ) 0时 , 则x k 是(1)的K -T点；
又 f ( x k )T d * * 0,
d * 是可行下降方向。
改进方法具有全局收敛性。
一、Zoutendijk法
Frank Wolfe 方法 min f ( x )
给定线性规划问题
Ax b s .t . x0
f ( x k )T d k 0 gi ( x k )T d k 0 , i I ( x k )
1 di 1, i 1, 2,
,n
������ = 0 , 则 ������ ������ 处不存在可行下降方向 , ������ ������ 已是 ������−������ 点. 有例子表明上述方法不一定收敛到 ������−������ 点，即总有������ < 0 .
如果可行点为内点， 可取������ = −������������(������ )计算。
一、Zoutendijk法 非线性约束模型的可行方向确定方法
min s.t.
z f ( x )T d z 0 gi ( x) d z 0, i I
T
一、Zoutendijk法 线性约束模型的可行方向
min f ( x ) Ax b s .t . Cx e
紧约束
A1 b1 定理 设 x D ，在点 x 处有 A1 x b1 , A2 x b2 , 其中A , b ， A2 b2 则非零向量 d 是 x 处的可行方向的充分必要条件是
定理 设 f ( x )可微， x k D, 如果y k 是上述线性规划的最优解,则有
(1) 当f ( x k )T ( y k x k ) 0时 , 则x k 是(1)的K -T点；
最优化：可行方向法
若情形3 不存在, 自然令 t max 然后我们通过求解 min f ( x td )
0t tmax
来计算步长 t. 在上面分析的基础上, 我们得到如下的可行方向法 :
算法13.1 (Zoutendij k算法) 步0 ： 选取初始点x0 D, 精度 0.令k : 0; 步2：求解下列关于 d 的线性规划问题 min s.t. f ( xk ) T d aiT d 0, i I ( xk ) aT j d 0, j E || d || 1 得解d k 步3 ： 若 | f ( x k ) T d k | , 则得解xk , STOP. 否则转下一步. 步4：由(13.3) 计算t max , 其中x x k , d d k . 求解
考虑到(1)和(2), 我们先介绍线性约束问题的可行 方向法, 然后将其适当推广到非线性约束问题.
第一节 Zoutendijk 算法
一. 线性约束情形
考虑线性约束问题 min f ( x) s.t. g i ( x ) aiT x bi 0, i I h j ( x) a T j x b j 0, j E 记可行域 D {x | g i ( x ) 0, i I ; h j ( x ) 0, j E } x D, 在x处的有效集为 A( x ) I ( x ) E {i | g i ( x ) 0, i I } E (.)
1、下降可行方向
由于(13.1)的约束是线性的, x D, 在x处的可行方向集 S ( x ) {d R n | aiT d 0, i I ( x ); a T j d 0, j E} 而在x处的目标函数的下降方向满足： f ( x ) T d 0 因此, 在x处, 我们通过求解下列线性规划问题来计算下 降可行方向 :
12可行方向法
T T
a i d 0 , i I ( x )； f ( x ) d 0
T
则 d 是可行下降方向
.
可行方向法思路：
从当前迭代点 x 出发，沿着可行下降方 ˆ x , 使得 向 d 搜索，
得到一个新的可行点
ˆ f (x) f (x)
问题：可行下降方向d不唯一，怎么选择？ －－－－选择目标函数值下降最快的方向
(k )
D,d
(k )
是x
(k )
处的可行下降方向，令
x x
(k )
d
(k )
考虑约束条件
T T
d
(k )
是问题 ( 1 )或 ( 2 )或 ( 3 )的解
bi a i d
T (k )
a i x bi a i x a i x bi a i x
T T
(k )
0, 0,
定理 1
.
线性化可行方向
件是
设 x D , 则 d 为 x 处的可行方向的充要条 a i d 0, i E ;
T T
a i d 0 , i I ( x ).
定义 2
设 x D , 若 d 是 x 处的可行方向，又是 .
x 处的下降
方向，则称 d 是 x 处的可行下降方向
若 d 满足 a i d 0, i E ;
T
a 3 x b3 x1 0,
T
a 4 x b4 x 2 0,
T
取初始点 x
(1 )
( 0 ,0 ) .
T
二、投影梯度法 无约束问题最速下降法：任取一点，若其梯度不为0，则沿 负梯度方向前进，总可以找到一个新的使函数值下降的点。 对约束问题，若再沿负梯度方向前进，可能是不可行的； 解决方法：把负梯度方向投影到可行方向上去！ 1.投影矩阵
a i d 0 , i I ( x )； f ( x ) d 0
T
则 d 是可行下降方向
.
可行方向法思路：
从当前迭代点 x 出发，沿着可行下降方 ˆ x , 使得 向 d 搜索，
得到一个新的可行点
ˆ f (x) f (x)
问题：可行下降方向d不唯一，怎么选择？ －－－－选择目标函数值下降最快的方向
(k )
D,d
(k )
是x
(k )
处的可行下降方向，令
x x
(k )
d
(k )
考虑约束条件
T T
d
(k )
是问题 ( 1 )或 ( 2 )或 ( 3 )的解
bi a i d
T (k )
a i x bi a i x a i x bi a i x
T T
(k )
0, 0,
定理 1
.
线性化可行方向
件是
设 x D , 则 d 为 x 处的可行方向的充要条 a i d 0, i E ;
T T
a i d 0 , i I ( x ).
定义 2
设 x D , 若 d 是 x 处的可行方向，又是 .
x 处的下降
方向，则称 d 是 x 处的可行下降方向
若 d 满足 a i d 0, i E ;
T
a 3 x b3 x1 0,
T
a 4 x b4 x 2 0,
T
取初始点 x
(1 )
( 0 ,0 ) .
T
二、投影梯度法 无约束问题最速下降法：任取一点，若其梯度不为0，则沿 负梯度方向前进，总可以找到一个新的使函数值下降的点。 对约束问题，若再沿负梯度方向前进，可能是不可行的； 解决方法：把负梯度方向投影到可行方向上去！ 1.投影矩阵
最优化理论与算法完整版课件
几何规划 动态规划 不确定规划：随机规 划、模糊规划等
多目标规划 对策论等
随机过程方法
统计决策理论 马氏过程 排队论 更新理论 仿真方法 可靠性理论等
TP SHUAI
统计学方法
回归分析 群分析 模式识别 实验设计 因子分析等
6
优化树
TP SHUAI
7
•最优化的发展历程
2E d 2 B2 p L2 h2 0
8 L2 h2
dhB
6.结构设计问题
另外还要考虑到设计变量d和h有界。 从而得到两杆桁架最优设计问题的数学模型：
min 2dB L2 h2
s.t.
p L2 h2 0 dhB
2E d 2 B2
则称x0为极小化问题min f(x),x S的局部最优解
TP SHUAI
30
优化软件 / /neos/solvers/index.html
TP SHUAI
23
6.结构设计问题
p1
p2
h
2p
2L
B
d
受力分析图
圆杆截面图
2p
h
2L
桁杆示意图
TP SHUAI
24
6.结构设计问题
解：桁杆的截面积为 ： S dB
桁杆的总重量为：W 2dB L2 h2
负载2p在每个杆上的分力为：p1
p
cos
p
L2 h2 h
20
5负载平衡(1)
实例: 网络G(V,E) 及一组m 个数的集合{s,d>0}，表示 连接源点 s与汇点d 之间的流量
解: {s,d>0}的一组路由, 即G(V,E) 中m 条s 与 d间的路, 表示连接s与d 的负载流量的路径。
多目标规划 对策论等
随机过程方法
统计决策理论 马氏过程 排队论 更新理论 仿真方法 可靠性理论等
TP SHUAI
统计学方法
回归分析 群分析 模式识别 实验设计 因子分析等
6
优化树
TP SHUAI
7
•最优化的发展历程
2E d 2 B2 p L2 h2 0
8 L2 h2
dhB
6.结构设计问题
另外还要考虑到设计变量d和h有界。 从而得到两杆桁架最优设计问题的数学模型：
min 2dB L2 h2
s.t.
p L2 h2 0 dhB
2E d 2 B2
则称x0为极小化问题min f(x),x S的局部最优解
TP SHUAI
30
优化软件 / /neos/solvers/index.html
TP SHUAI
23
6.结构设计问题
p1
p2
h
2p
2L
B
d
受力分析图
圆杆截面图
2p
h
2L
桁杆示意图
TP SHUAI
24
6.结构设计问题
解：桁杆的截面积为 ： S dB
桁杆的总重量为：W 2dB L2 h2
负载2p在每个杆上的分力为：p1
p
cos
p
L2 h2 h
20
5负载平衡(1)
实例: 网络G(V,E) 及一组m 个数的集合{s,d>0}，表示 连接源点 s与汇点d 之间的流量
解: {s,d>0}的一组路由, 即G(V,E) 中m 条s 与 d间的路, 表示连接s与d 的负载流量的路径。
北航最优化教材
例1. 食谱问题
◎ 问题：确定食品数量，满足营养需求，花费最小？
n种食品，m种营养成份； －第 j 种食品的单价 －每单位第 j 种食品所含第 i 种营养的数量 －为了健康，每天必须食用第i 种营养的数量
◎ 变量： －食用第 j 种食品的数量 ◎ 模型：
4
例2. 目标函数中含绝对值的问题
假设： 事实： 转化为：
基本可行解
定义 称
的非负基本解是标准形的基
本可行解(basic feasible solution)；
◆ 退化基本可行解：某个或某些基变量取零的基本可行解！ 问题：基本可行解与基的对应关系？(见习题2.5)
例. 基本可行解及几何意义
基本可行解的个数不超过
线性规划的基本定理(*****)
考虑线性规划标准形，其中A是秩为m的m×n 矩阵，则以下结论成立：
将 Ax=b 的任一解 x 用非基变量表示为
确定进基变量
◎最优性定理
◎定理:BFS的提高 给定目标值为z0的非退化基本可行解，且假定存
在 j 使得 rj < 0，则 i) 如果用 aj 替换基中某列得到了新的BFS，则新解
处的目标值比 z0 严格小. ii) 如果任何替换都产生不了新的BFS，则问题无界.
基本解
基变量
一般地：
只要有m个单位列
非基变量 即可，次序可以打乱！
8
规范形的转换问题
◎ 替换问题
假设在上述规范形中，想用
⊙ 什么时候可以替换？ ⊙ 替换后新规范形是什么？
转轴(pivot)
◎ 当且仅当
，可以替换
◎ 替换后，新规范形的系数
转轴公式
－转轴元(pivot element)
可行方向法
可行方向法可行方向法摘要可行方向法是求解最优化问题的重要方法，在可行方向法求解过程中，一般需要构造一个求解可行下降方向的子问题，而可行方向法的不同取决于所采用的求解可行下降方向的子问题，它具有如下特点：迭代过程中所采用的搜索方向为可行方向，所产生的迭代点列是中在可行域内，目标函数值单调下降，由此可见，很多方法都可以归入可行方向法一类，本文主要介绍Frank-Wolf 方法。
一、问题形式min ().. 0f x Ax b s t x ≥??≥? （11.1）其中A 为m n ?矩阵，m b R ∈，n x R ∈。
记{},0,nD xAx bx x R =≥≥∈并设()f x 一阶连续可微。
二、算法基本思想D 是一个凸多面体，任取0x D ∈，将()f x 在0x 处线性展开000()()()()()T L f x f x f x x x f x ≈+?-= 用min ().. 0L f x Ax b s t x ≥??≥? 或 0min ().. 0T f x xAx bs t x ?≥??≥? （11.2）逼近原问题，这是一个线性规划问题，设0y D ∈是其最优解。
1）若000()()0T f x y x ?-=，则0x 也是线性规划问题（11.2）的最优解，此时可证0x 为原问题的K-T 点。
2）若000()()0T f x y x ?-≠，则由0y 是（11.2）的最优解，故必有0000()()T T f x y f x x ?<?从而 000()()0T f x y x ?-<即00y x -为()f x 在0x 处的下降方向，沿此方向作有约束的一维搜索00001min (())f x y x λλ≤≤+-设最佳步长因子为0λ，令100000000()(1)()x x y x y x D λλλ=+-=+-∈当λ充分小时100000001()min (())(())f x f x y x f x y x λλλ≤≤=+-≤+-00000()()()()()T f x f x y x o f x λλ=+?-+< 用1x 取代0x ，重复以上计算过程。
一、可行方向法的基本思想可行方向...
第7章约束问题的优化方法第一节可行方向法第一节可行方向法一、可行方向法的基本思想可行方向法可看作无约束下降迭代算法的自然推广：从可行点出发，沿着下降可行方向进行搜索，求出使目标函数值下降的新的可行点。
考虑最简单的情况，只含线性约束的非线性规划：（1）为非线性函数，。
若所有约束都是线性约束，则优化问题（1）的可行方向集、线性化可行方向集以及序列化可行方向集是等同的。
对于线性约束的非线性规划问题。
搜索方向选择方式不同形成不同的可行方向法：（1）Zoutendijk可行方向法（2）Rosen梯度投影法（3）Wolfe既约梯度法可行方向的判定：定理1：设是问题（1）的可行解，在点处有，，其中则非零向量为处的可行方向的充要条件是证明——必要性：设非零向量是处的可行方向。
根据可行方向的定义，，使得对每个，有为可行点，因此，，，即由于，因此，。
又由，以及，得到。
充分性：设，。
由于，则，使得对于所有的，成立。
根据假设及，得到。
上述两式组合起来就是。
又由及可知表明是可行点，因此是处的可行方向。
二、Zoutendijk可行方向法（一）Zoutendijk子问题根据定理1，如果非零向量同时满足，，，则是处的下降可行方向。
Zoutendijk子问题给出了一个搜索方向：（2）问题（2）的意义就是：保证可行移动的同时，寻找一个下降最快的方向。
显然是可行解，因此目标函数最优值必定小于或等于零。
若目标函数最优值小于零，则得到下降可行方向；否则，目标函数最优值为零，是KKT点。
定理2：考虑问题（1），设是可行解，在点处有，，其中。
则为KKT点的充要条件是问题（2）的目标函数最优值为零。
（二）一维搜索步长的确定设为处一个下降可行方向，则迭代公式：的取值原则（1）保持迭代点的可行性；（2）使目标函数值尽可能减小。
根据上述原则，可以通过求解一维搜索问题来确定步长：（3）由于是可行方向，因此（3）式中等式约束自然成立，可以不再考虑。
而点处的不等式约束可分为起作用约束和不起作用约束：，。
最优化理论与算法课件 (12)
3、LP问题存在无界解
例： min z 3x1 4x2
s.t x1 3
l1
x1 x2 1 l2
x1, x2 0
x2
l1
z
3 l2
2
C
1
B
O A1 2 3 4
x1
判断：若LP的可行域无界，则该LP可能 存在无界解。
• 能解决少量问题
• 揭示了线性规划问题的若干规律
规律1： 有可行解
1、系数矩阵A中任意m列所组成的m阶可逆子方阵B，
称为(LP)的一个基(矩阵)，变量xj，若它所对应的 列Pj包含在基B中，则称xj为基变量，否则称为非
基变量。基变量的全体称为一组基变量，记
xB1 , xB2 , , xBm .
基矩阵的个数最多为
Cnm
n! m!(n
m)!
2 设A B
三、决策变量x j无非负限制的转换 如：x j无非负约束
引入xj 0, xj 0, 令x j xj xj
如： 1 x3 5, x3 1, x 3 5 令 x3' x3 1, 则 x3 0, x3 4
例： max z 3x1 2x2 x3
2 5
0
0 T x(2) (4
0
-2
0)T
x(3) (6
0
0 -2)T
x(4) (0 -2 -12 0)T x(5) (0 2 0 8)T x(6) (0 0 -6 4)T
只有x(1)和x(5)为基本可行解。
非可行解
可行解
约束基方本程的 可解行空解间
基本解
max Z 6 x1 4 x2
x3 x6 5
1Zoutendijk可行方向法-PPT课件
Zoutendijk可行方向法
线性约束情形 举例 参见P243 例9.1.1 非线性约束情形
Zoutendijk可行方向法
非线性约束情形 基本原理 (1) 利用起作用约束构造可行下降方向
定理1.2.3 定理3.3.2
点 x 处的可行下 降方向d 满足：
线性规划问题
(9.1.22)
结论
Zoutendijk可行方向法
第四部分 约束最优化问题的解法
第九章 可行方向法 第十章 罚函数法和广义乘子法
第四部分 约束最优化问题的解法
可行方向法：在可行域内寻找使目标函数下降的 点列. 罚函数法: 利用原问题的目标函数和约束条件构造 新的目标函数--罚函数, 把约束最优化问题转化为 相应的罚函数的无约束最优化问题来求解.
非线性约束情形 基本原理 (1) 利用起作用约束构造可行下降方向
(2) 确定一维搜索步长
非线性约束情形 Step1 Step2 Step3
算法步骤 束
Step4
Step5
Zoutendijk可行方向法
非线性约束情形 算法特点
计算实践和理论分析表明，该算法可能失效或出现锯齿现象， 使算法收敛很慢甚至不收敛到最优点或K—T点．
Zoutendijk法的改进 问题的提出
对于线性和非线性不等式约束问题，前面我们仅使用起作用约 束来确定搜索方向．当某迭代点在一个约束的边界上时，如果可 行方向取得不恰当，那么沿该方向可能因接近另一个约束边界而 只能作一个微小的移动，否则，就会使迭代点跑出边界．为防止 这一现象发生，设想在约束条件的边界上设立一道“安全带”， 迭代点进入“安全带”时，只允许它往可行域内部移动，而不许 向边界靠近．为此引入 ε起作用约束的概念，即在构造可行方向时， 既把通过当前迭代点的约束边界看作起作用约束，也把充分家近 当前这代点的边界约束考虑在内．
最优化：可行方向法38页PPT
最优化：可行方向法
46、法律有权打破平静。—马·格林 47、在一千磅法律里，没有一盎司仁 爱。— —英国
48、法律一多，公正就少。——托·富 勒 49、犯罪总是以惩罚相补偿；只有处 罚才能 使犯罪 得到偿 还。— —达雷 尔
50、弱者比强者更能得到法律的保护 。—— 威·厄尔
46、我们若已接受最坏的，就再没有什么损失。——卡耐基 47、书到用时方恨少、事非经过不知难。——陆游 48、书籍把我们引入最美好的社会，使我们认识各个时代的伟大智者。——史美尔斯 49、熟读唐诗三百首，不会作诗也会吟。——孙洙 50、谁和我一样用功，谁就会和我一样成功。——莫扎特
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2013-8-6 最优化理论 10
1. Zoutendijk可行方向法
令v=p-q, p,q. (12.1.11)写成
w T T T ( A1 , E , E ) p f ( x ) q ( w, p, q)T 0 (12.1.12)
根据Farkars定理，上述方程有解的充要条件是
2013-8-6
最优化理论
3
1. Zoutendijk可行方向法
2.1 线性约束情形
考虑NLP问题
min f ( x) s.t Ax b Ex e
(12.1.1)
其中f ( x)可微，A为m n矩阵, E为l n矩阵， x R n , b和c分别为 m 和l维列向量.
2013-8-6
ˆ ˆ 由上可知,x d 是可行点因此d 是x处的可行方向. .
于是, 如果非零向量d同时满足 ˆ f ( x)T d 0, A1d 0, Ed 0 ˆ 则d 是在x处的下降可行方向。
2013-8-6 最优化理论 8
1. Zoutendijk可行方向法
Zoutendijk法把确定搜索方向归结为求解LP:
b1 A1d b1 A x A d b 2 2 2ˆ
2013-8-6 最优化理论
(12.1.4)
6
1. Zoutendijk可行方向法
注意到>0,故有 A1d 0
又由(12.1.3)得 Ed=0
下证充分性。设
A1d 0, Ed 0 ˆ A2 ( x d ) b2
2
(12.1.22) (12.1.23)
ˆ ˆ ˆ 由(12.1.17)知b 0.(12.1.21)的约束可写成 d b
0
2013-8-6
最优化理论
16
1. Zoutendijk可行方向法
由此得到的上限
max
ˆ bi ˆ ˆ 0 min ˆ di 0, 当d di ˆ , 当d 0
Th12.1.2考虑问题(12.1.1),设x是可行解，在点x处有 A1 x b1 , A2 x b2 , 其中 A1 b1 A ,b A2 b2 则x为KKT 点的充要条件是问题(12.1.10)的目标函数 最优值为0.
证明:根据定义, x为KKT点的充要条件是,w和v, 使得 f ( x) A1T w ET v 0 (12.1.11)
证明：必要性
2013-8-6 最优化理论 5
1. Zoutendijk可行方向法
ˆ 设非零向量d是 x 处的可行方向，于是存在0,使 ˆ 得对每个，有 x d 为可行点，即 ˆ A( x d ) b (12.1.2) ˆ E( x d ) e (12.1.3) 由于 b1 A1d A1 ˆ ˆ A( x d ) ( x d ) A2 A2 x A2d ˆ 因此
(12.1.24)
问题(12.1.15)于是化为： min
s.t.
f ( x( k ) d k ) 0 max
(12.1.25)
于是，给定问题(12.1.1)和一个可行点，可以通过求解问题 (12.1.10)得到下降可行方向，通过求解问题(12.1.25)确定沿 此方向进行一维搜索的步长.
x
(k )
k d
(k )
解约束问题的可行方向法与求解无约束问题的下降算法类 似：可行方向法从问题的可行点出发，在该点的可行方 向中，寻找使目标函数下降的方向，然后沿该方向进行 线性搜索，得到一个新的可行点。
2013-8-6
最优化理论
2
Ch12 可行方向法
1 Zoutendijk可行方向法 2 Rosen梯度投影法 3 Frank-Wolfe法 4 既约梯度法
d ( k )为x ( k )处一个下降可行方向。后继点x ( k 1)由下列迭代 公式给出：
2013-8-6
x ( k 1) x ( k ) k d ( k )
最优化理论
(12.1.14)
12
1. Zoutendijk可行方向法
怎样确定k ? k的取值原则有两点： 第一，保持迭代点x( k ) k d ( k )的可行性；
s.t
A1d 0 Ed 0
1 d j 1, j 1,..., n 得到最优解d ( k ) .
2013-8-6 最优化理论 20
1. Zoutendijk可行方向法
4, 如果f ( x ( k ) )T d ( k ) 0, 停止,x ( k )为KKT点。 否则，转步5 5，利用(1.22)-(1.24)计算max , 然后在[0, max ] 上作一维搜索： min f ( x ( k ) d k )
2013-8-6 最优化理论 17
1. Zoutendijk可行方向法
于是，给定问题(12.1.1)和一个可行点，可以通过 求解问题(12.1.10)得到下降可行方向，通过求解问 题(12.1.25)确定沿此方向进行一维搜索的步长. 可以通过解辅助LP得到一可行点：
min
i 1 i i 1
由于d ( k )为可行方向，A1d ( k ) 0，A1x( k )＝b1, 0 A1x( k ) A1d ( k ) b1 自然成立。
约束(12.1.19)化为
A2 x( k ) A2d ( k ) b2
(12.1.20)
2013-8-6
最优化理论
15
1. Zoutendijk可行方向法
min s.t. f ( x ) d A1d 0,
T
Ed 0, d j 1, j 1,..., n
(12.1.10)
显然d=0是可行解。由此可知,目标函数的最优 值必小于等于0。若最优值小于0，则可得下降 可行方向d,否则我们可证x是KKT点.
2013-8-6 最优化理论 9
1. Zoutendijk可行方向法
s.t.
2 x1 x2 1 0 x1 x2 2 0 x1 x2 0 0
初点x(1) (0,0)T
2013-8-6
最优化理论
22
1. Zoutendijk可行方向法
第一次迭代： (1) T (1) f ( x ) (2, 4) , 在x 处, 起作用约束和不起作用
约束的系数矩阵和右端向量分别为： 1 0 2 1 0 1 A1 , A2 1 1 , b1 0 , b2 2 0 1
先求在x(1)处的下降可行方向，解LP : min 2d1 4d 2 min f ( x ( k ) )T d
最优化理论与算法
帅天平
北京邮电大学数学系
§12, 可行方向法
2013-8-6
最优化理论
1
Ch12 可行方向法
求解无约束问题下降算法的过程是
在当前点x ( k )处，寻找目标函数f 的下降方向d ( k )，然后从x ( k ) 出发，沿d ( k ) 进行一维搜索,产生步长k ,进而得到
x
( k 1)
s.t
A1d 0 Ed 0
s.t
d1 0 d2 0 1 d j 1, j 1,2 23
2013-8-6
1 d j 1, j 1,..., n最优化理论
1. Zoutendijk可行方向法
用单纯形法求得最优解
m
t
i
2013-8-6
最优化理论
18
1. Zoutendijk可行方向法
可以通过解辅助LP得到一可行点：
min s.t.
i 1 i i 1
m
t
i
Ax b (12.1.26)
Ex e
0, 0
若(12.1.26)的最优解 ( x*, , ) ( x*,0,0) 则x*是(12.1.1)的一个可行解
( A1, E, E)T d 0, f ( x)T d 0
无解
2013-8-6 最优化理论
(12.1.13)
11
1. Zoutendijk可行方向法
即
f ( x)T d 0, A1d 0, Ed 0无解
所以x为KKT点的充要条件是问题(12.1.10)的目标 函数最优值为0。 根据上述定理，求解问题(12.1.10)的结果或者是 得到下降可行方向，或者得到KKT点。 怎样确定一维搜索的步长？ (k ) 设x 是(12.1.1)的可行解，不妨看作第k次迭代的出发点.
最优化理论
4
1. Zoutendijk可行方向法
怎样选择下降可行方向？
ˆ ˆ Th12.1.1设x是问题(12.1.1)的可行解，在点x处有 ˆ ˆ A1 x b1 , A2 x b2 , 其中 A1 b1 A ,b A2 b2 ˆ 则非零向量d 为x处的可行方向的充要条件是 A1d 0, Ed 0.
这样,问ቤተ መጻሕፍቲ ባይዱ(12.1.15)化简为
min f ( x ( k ) d ( k ) ) s.t. A2 x
(k )
A2d
(k )
b2
(12.. ） 1 21
根据(12.1.21)的约束条件，易求出的上限,令
0
ˆ b b2 A2 x ( k ) ˆ d A d (k )
(12.1.5)
ˆ 由于A2 x b2 , 则存在正数 ,使得对 [0, ), 成立
(12.1.6)
ˆ 根据假设(12.1.5)及A1x b1,得
1. Zoutendijk可行方向法
令v=p-q, p,q. (12.1.11)写成
w T T T ( A1 , E , E ) p f ( x ) q ( w, p, q)T 0 (12.1.12)
根据Farkars定理，上述方程有解的充要条件是
2013-8-6
最优化理论
3
1. Zoutendijk可行方向法
2.1 线性约束情形
考虑NLP问题
min f ( x) s.t Ax b Ex e
(12.1.1)
其中f ( x)可微，A为m n矩阵, E为l n矩阵， x R n , b和c分别为 m 和l维列向量.
2013-8-6
ˆ ˆ 由上可知,x d 是可行点因此d 是x处的可行方向. .
于是, 如果非零向量d同时满足 ˆ f ( x)T d 0, A1d 0, Ed 0 ˆ 则d 是在x处的下降可行方向。
2013-8-6 最优化理论 8
1. Zoutendijk可行方向法
Zoutendijk法把确定搜索方向归结为求解LP:
b1 A1d b1 A x A d b 2 2 2ˆ
2013-8-6 最优化理论
(12.1.4)
6
1. Zoutendijk可行方向法
注意到>0,故有 A1d 0
又由(12.1.3)得 Ed=0
下证充分性。设
A1d 0, Ed 0 ˆ A2 ( x d ) b2
2
(12.1.22) (12.1.23)
ˆ ˆ ˆ 由(12.1.17)知b 0.(12.1.21)的约束可写成 d b
0
2013-8-6
最优化理论
16
1. Zoutendijk可行方向法
由此得到的上限
max
ˆ bi ˆ ˆ 0 min ˆ di 0, 当d di ˆ , 当d 0
Th12.1.2考虑问题(12.1.1),设x是可行解，在点x处有 A1 x b1 , A2 x b2 , 其中 A1 b1 A ,b A2 b2 则x为KKT 点的充要条件是问题(12.1.10)的目标函数 最优值为0.
证明:根据定义, x为KKT点的充要条件是,w和v, 使得 f ( x) A1T w ET v 0 (12.1.11)
证明：必要性
2013-8-6 最优化理论 5
1. Zoutendijk可行方向法
ˆ 设非零向量d是 x 处的可行方向，于是存在0,使 ˆ 得对每个，有 x d 为可行点，即 ˆ A( x d ) b (12.1.2) ˆ E( x d ) e (12.1.3) 由于 b1 A1d A1 ˆ ˆ A( x d ) ( x d ) A2 A2 x A2d ˆ 因此
(12.1.24)
问题(12.1.15)于是化为： min
s.t.
f ( x( k ) d k ) 0 max
(12.1.25)
于是，给定问题(12.1.1)和一个可行点，可以通过求解问题 (12.1.10)得到下降可行方向，通过求解问题(12.1.25)确定沿 此方向进行一维搜索的步长.
x
(k )
k d
(k )
解约束问题的可行方向法与求解无约束问题的下降算法类 似：可行方向法从问题的可行点出发，在该点的可行方 向中，寻找使目标函数下降的方向，然后沿该方向进行 线性搜索，得到一个新的可行点。
2013-8-6
最优化理论
2
Ch12 可行方向法
1 Zoutendijk可行方向法 2 Rosen梯度投影法 3 Frank-Wolfe法 4 既约梯度法
d ( k )为x ( k )处一个下降可行方向。后继点x ( k 1)由下列迭代 公式给出：
2013-8-6
x ( k 1) x ( k ) k d ( k )
最优化理论
(12.1.14)
12
1. Zoutendijk可行方向法
怎样确定k ? k的取值原则有两点： 第一，保持迭代点x( k ) k d ( k )的可行性；
s.t
A1d 0 Ed 0
1 d j 1, j 1,..., n 得到最优解d ( k ) .
2013-8-6 最优化理论 20
1. Zoutendijk可行方向法
4, 如果f ( x ( k ) )T d ( k ) 0, 停止,x ( k )为KKT点。 否则，转步5 5，利用(1.22)-(1.24)计算max , 然后在[0, max ] 上作一维搜索： min f ( x ( k ) d k )
2013-8-6 最优化理论 17
1. Zoutendijk可行方向法
于是，给定问题(12.1.1)和一个可行点，可以通过 求解问题(12.1.10)得到下降可行方向，通过求解问 题(12.1.25)确定沿此方向进行一维搜索的步长. 可以通过解辅助LP得到一可行点：
min
i 1 i i 1
由于d ( k )为可行方向，A1d ( k ) 0，A1x( k )＝b1, 0 A1x( k ) A1d ( k ) b1 自然成立。
约束(12.1.19)化为
A2 x( k ) A2d ( k ) b2
(12.1.20)
2013-8-6
最优化理论
15
1. Zoutendijk可行方向法
min s.t. f ( x ) d A1d 0,
T
Ed 0, d j 1, j 1,..., n
(12.1.10)
显然d=0是可行解。由此可知,目标函数的最优 值必小于等于0。若最优值小于0，则可得下降 可行方向d,否则我们可证x是KKT点.
2013-8-6 最优化理论 9
1. Zoutendijk可行方向法
s.t.
2 x1 x2 1 0 x1 x2 2 0 x1 x2 0 0
初点x(1) (0,0)T
2013-8-6
最优化理论
22
1. Zoutendijk可行方向法
第一次迭代： (1) T (1) f ( x ) (2, 4) , 在x 处, 起作用约束和不起作用
约束的系数矩阵和右端向量分别为： 1 0 2 1 0 1 A1 , A2 1 1 , b1 0 , b2 2 0 1
先求在x(1)处的下降可行方向，解LP : min 2d1 4d 2 min f ( x ( k ) )T d
最优化理论与算法
帅天平
北京邮电大学数学系
§12, 可行方向法
2013-8-6
最优化理论
1
Ch12 可行方向法
求解无约束问题下降算法的过程是
在当前点x ( k )处，寻找目标函数f 的下降方向d ( k )，然后从x ( k ) 出发，沿d ( k ) 进行一维搜索,产生步长k ,进而得到
x
( k 1)
s.t
A1d 0 Ed 0
s.t
d1 0 d2 0 1 d j 1, j 1,2 23
2013-8-6
1 d j 1, j 1,..., n最优化理论
1. Zoutendijk可行方向法
用单纯形法求得最优解
m
t
i
2013-8-6
最优化理论
18
1. Zoutendijk可行方向法
可以通过解辅助LP得到一可行点：
min s.t.
i 1 i i 1
m
t
i
Ax b (12.1.26)
Ex e
0, 0
若(12.1.26)的最优解 ( x*, , ) ( x*,0,0) 则x*是(12.1.1)的一个可行解
( A1, E, E)T d 0, f ( x)T d 0
无解
2013-8-6 最优化理论
(12.1.13)
11
1. Zoutendijk可行方向法
即
f ( x)T d 0, A1d 0, Ed 0无解
所以x为KKT点的充要条件是问题(12.1.10)的目标 函数最优值为0。 根据上述定理，求解问题(12.1.10)的结果或者是 得到下降可行方向，或者得到KKT点。 怎样确定一维搜索的步长？ (k ) 设x 是(12.1.1)的可行解，不妨看作第k次迭代的出发点.
最优化理论
4
1. Zoutendijk可行方向法
怎样选择下降可行方向？
ˆ ˆ Th12.1.1设x是问题(12.1.1)的可行解，在点x处有 ˆ ˆ A1 x b1 , A2 x b2 , 其中 A1 b1 A ,b A2 b2 ˆ 则非零向量d 为x处的可行方向的充要条件是 A1d 0, Ed 0.
这样,问ቤተ መጻሕፍቲ ባይዱ(12.1.15)化简为
min f ( x ( k ) d ( k ) ) s.t. A2 x
(k )
A2d
(k )
b2
(12.. ） 1 21
根据(12.1.21)的约束条件，易求出的上限,令
0
ˆ b b2 A2 x ( k ) ˆ d A d (k )
(12.1.5)
ˆ 由于A2 x b2 , 则存在正数 ,使得对 [0, ), 成立
(12.1.6)
ˆ 根据假设(12.1.5)及A1x b1,得