数值最优化方法

回想最优解的定义，可行的概念对 于不等式约束是怎么样的概念？
min s .t . f (x) c(x) 0
可行域为
Q { x | c ( x ) 0 }。
0
可行方向： 设 x Q ， 为一个向量。如果存在 d 使得对任意的 一个可行方向。
0
实数 0 ，
0
[ 0 , ] 有 x d Q , 则称 d 为 x 处的
有缺点吗？
14
例题
15
例题
16
收敛性
17
18
优缺点
优点：
19
作业
• P129 习题：3.7 （1），（2）
20
最优化方法补充内容7
共轭梯度法
共轭方向
怎么解释？
实际意义是什么？
共轭方向法的框架
共轭梯度法的构造
翻译成文字语言
算法的下降性质
如果初始方向不是负梯度方向
x 2 1 3 x2 2 0 2 x2 0 1 2 3
这与 2 0 矛盾。 (3) 若 x1 0 , x 2 0 :
2 0
x1 1 3 x1 3 0 3 x1 0 1 3 3 x1 1 2 3 这与 3 0 矛盾。 x2 1 3 3 (4) 若 x1 0 , x 2 0 : 1 (4 x1 x 2 ) 0 2 x1 0 2 3 0 3 x2 0 x1 1 3 x1 x 2 4 x1 x 2 x 2 1 3 1 , 2 , 3 , x1 , x 2 0
*
故 x ( 1 ,1 ,1 ) 为 KT 点。
* T
验证KT点的步骤 小结
• • • • • • 1 化为标准形式 2 验证约束成立 并且求得有效约束 3 约束规范 4 一阶条件方程 例如 f ( x ) c ( x ) c ( x 5 验证不等式约束互补条件、乘子的非负性 6结论
凸锥中
最优解不一定是 KT点
二阶充分条件
凸规划问题的充分条件 KT条件就是最优条件
验证KT点
max f x 1 . 5 x 1 0 . 5 x 2 x 3
2 2 2 2 2 2
s.t. c 1 ( x ) x 1 x 2 x 3 3 0 , c 2 ( x ) x 1 x 2 0
T T
令 f ( x ) 1 c1 ( x ) 2 c 2 ( x ) 0
* * *
求得 1 1 ， 2 1 即
f ( x ) 1 c1 ( x ) 2 c 2 ( x )
* * *
对于不等式约束 c 2 ( x ) 对应的 Lagrange 乘子 2 0 且 2 c 2 ( x ) 0
* * 1 1 2 2
*
) 0
3 . K T 点的计算 例 求约束极值问题
min
f ( x ) 0 . 5 ( x1 x 2 6 x1 6 x 2 8 )
2 2
s .t .
x1 x 2 4 x1 0 x 0 2
T
的 K T 点。
解：
0
实数 0 ，
0
[ 0 , ] 有 x d Q , 则称 d 为 x 处的
c1 ( x ) 0
x x d
2 0
1
d
2
1
d
1
d
如何判断一个向量是否
是可行方向？
定理 1 给定点 x Q , 记点 x 的有效约束指标集为 向量 d ，如果对任意的 可行方向。
证明 ：令 x ' x t d , t 0 。则对任意的
• 是否还共轭？
作业
作业
• P130 • 习题：3.9 （2）；3.11
最优化方法补充内容8
拟牛顿法
38
拟牛顿法思想
39
如何对 H k 附加某些条件使得： （1）迭代公式具有下降性 质
H
k
0
（ 2） H k 的计算量要小

H
k 1 k
H
k
H
k 1
k k
( H
H
1
有效约束和非有效约束
再换句话说，不等式约束问题的在最优解处的某 个小邻域内，看以看成等式约束问题
回想最优解的定义，可行的概念对 于不等式约束是怎么样的概念？
min s .t . f (x) c(x) 0
可行域为
Q { x | c ( x ) 0 }。
0
可行方向： 设 x Q ， 为一个向量。如果存在 d 使得对任意的 一个可行方向。
s.t. c i ( x ) 0
ci ( x ) 0
i E i I
f ( x ) ， c i ( x ) 二阶连续可微
x* (ii) * 为 KT 点，且严格互补松弛条件成立；
n T * *
(ii) 对于子空间 M { d R | d c i ( x ) 0 , i I } 中的任意 d 0 有
H
)
（ 3）收敛速度要快

H
1
k
Gk
如何保证 如何确定
H
k
0和 H
k
Gk ?
ห้องสมุดไป่ตู้
H k？
40
41
怎么解？
42
DFP算法
为什么明显？
43
44
例题
45
46
47
DFP算法的性质
48
部分性质的证明
49
请仔细体会一下这部分的证明？
50
正定继承性
51
二次终止性
52
53
c1 ( x ) 0
x x d
2 0
1
d
2
1
d
1
d
如何判断一个向量是否
是可行方向？
定理 1 给定点 x Q , 记点 x 的有效约束指标集为 向量 d ，如果对任意的 可行方向。
证明 ：令 x ' x t d , t 0 。则对任意的
d ( x L x ,
T 2 *

*
) d
0
则 x 是严格局部最优解
*
作业
最优化方法补充内容10
约束优化问题的最优性条件
先看等式约束问题
不等式约束问题
不等式约束问题和等式约束问题之 间是否存在什么关系？
有效约束和非有效约束
再换句话说，不等式约束问题的在最优解处的某 个小邻域内，看以看成等式约束问题
f ( x ) [ x1 3 , x 2 3 ] 。
g1 ( x ) [ 1 , 1 ]
T T
g1 ( x ) 4 x1 x 2
g 2 ( x ) x1 , g 2 ( x ) [ 1 , 0 ] 。
g3 ( x ) x2 , g3 ( x ) [ 0 ,1 ] 。
c3 ( x) x1 0 , c4 ( x) x2 0 , c5 ( x) x3 0
试验证 x ( 1 ,1 ,1 ) 是否为 KT 点。
* T
解： 将原问题转化为标准形式：
min f x 1 . 5 x 1 0 . 5 x 2 x 3
2 2 2 2 2 2
f ( x ) 和 ci ( x )
c i ( x ) ( i I ( x *) ) 在点 x * 处连 1）的局部极小点，则在
点 x * 处没有可行下降方向。
举例验证
KT条件
• KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先 后独立发表出來的。这组最优化条件在Kuhn和Tucker 发表之 后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker 最 优化条件 (Kuhn-Tucker conditions)」。
ci ( x )T d 0 T f (x) d 0 i I (x)
I ( x ) 。给定
i I (x)
ci ( x )T d 0 T f (x) d 0
i I (x)
极值点的必要条件：
无解
有解
定理 3 设 x * Q ， ( x *) 是其有效约束指标集。 I ( i I ( x *) ) 在点 x * 处可微， 续。如果 x * 是约束极值问题（
* T
并且有效约束集合为 I {1, 2 }
*
f ( x ) ( 3 , 1 , 2 ) ， c 1 ( x ) ( 2 , 2 , 2 ) ， c 2 ( x ) ( 1 ,1 , 0 )
T T
T
且 c 1 ( x ) ( 2 , 2 , 2 ) 与 c 2 ( x ) ( 1 ,1 , 0 ) 线性无关。
54
55
56
作业
• P130 • 习题：3.12；3.13
57
最优化方法补充内容10
约束优化问题的最优性条件
先看等式约束问题
回顾以前学的知识
如果等于0呢？
等于常数
什么定理？
推广到一般的情况
几何解释
二阶充分条件
不等式约束问题
不等式约束问题和等式约束问题之 间是否存在什么关系？
s.t. c 1 ( x ) x 1 x 2 x 3 3 0 , c 2 ( x ) x 1 x 2 0
c3 ( x) x1 0 , c4 ( x) x2 0 , c5 ( x) x3 0
将 x ( 1 ,1 ,1 ) 带入约束条件可知满足约束条件
以下分情况讨论：
(1 ) 若 x 1 x 2 0 : 由 1 ( 4 x 1 x 2 ) 0 可得 1 0 。
1 2 3 2 3
这与 2 0 矛盾。 (2) 若 x1 0 , x 2 0 : 3 0
x1 1 2 3 x2 1 3 3 1 (4 x1 x 2 ) 0 2 x1 0 3 x2 0 x1 x 2 4 1 , 2 , 3 , x1 , x 2 0
T 2
0
x ' Q , 即 d 为可行方向。
可行下降方向：
设点 x Q ， 给定向量
d ，如果 d 既是点
x处
的可行方向，又是该点 行下降方向。
的下降方向，则称
d 为点 x 处的可
定理 2 给定点 x Q , 记点 x 的积极约束指标集为 向量 d ，如果 d 满足 ci ( x )T d 0 T f (x) d 0 则向量 d 是点 x 处的可行下降方向。
T
I ( x ) 。给定
i I ( x ) 有 c i ( x ) d 0 , 则 d 是点 x 的
T
i I( x),有
2
c i ( x ' ) c i ( x ) t c i ( x ) d o ( || td || )
t c i ( x ) d o ( || td || )
T
由 K T 条件得
x1 3 1 1 0 1 2 3 0 1 0 1 x2 3
由 K T 条件及约束条件得
x1 1 2 3 x2 1 3 3 1 (4 x1 x 2 ) 0 2 x1 0 3 x2 0 x1 x 2 4 1 , 2 , 3 , x1 , x 2 0
若 x1 x 2 4
1 0 x1 x 2 3
x 1 x 2 6 4 矛盾。 x1 x 2 4
T
x1 x 2 2 1 1
[ 2 , 2 ] 为 K T 点。
二阶充分条件
对于一般约束优化问题
min f ( x )
最优化方法
最速下降法
1
算法思想
哪个方向最快？
2
算法步骤
3
整体收敛性
4
整个证明的思路是怎么 样的？
只要不趋向于0，就有 下降 5
6
例题
课堂练习
7
8
能证明吗？
9
10
最优化方法补充内容6
牛顿法
11
最速下降法的本质
• 线性函数来逼近原来的函数
有没有什么想法？
12
二次函数的逼近
13
算法步骤