最优化理论算法及工程应用

其中
Rn
f
凸集、凸函数与凸优化问 题 ( n 1) n 1 0
( x x) x , 0 1 (n 1)!
Page 6
二元函数的Taylor展式：

1 1 x y f ( x , y ) x y 0 0 f ( x0 , y0 ) Rn 2! x y n ! x y
方向导数的正负决定了函数值
的升降，而升降的快慢就由它的 绝对值大小决定．绝对值越大， 升降的速度就越快
Page 14
结论： (1)梯度方向是函数值的最速上升方向； (2)函数在与其梯度正交的方向上变化率为零；
(3)函数在与其梯度成锐角的方向上是上升的，而在与其梯度 成钝角的方向上是下降的；
(4)梯度反方向是函数值的最速下降方向．
定理3.1
（3）Hesse矩阵 2 f ( x ) 0（ 2 f ( x ) 0）。则
x 为的严格局部极小值点（极大值）
Page 17
凸集、凸函数与凸优化问题
凸组合：已知 D R n ，任取k个点，如果存在常 k 数 ai 0 (i 1, 2 ,, k ) ， a 1 使得 ai x i
2 例2 函数f(x) 的图形(旋转抛物面)，以及用平 ＝x1 十x 2 2一4x1十4 面f(X)＝c切割该抛物面所得交线在设计空间中的投影。 如图所示。
4）当n大于3时，该点集是设计空间 中的一个超曲面。
Page 10
函数的方向导wk.baidu.com与极值问题
方向导数 讨论函数 z f ( x, y)在一点P沿某一方向的变化率问题。
f ( x0 x, y0 y) f ( x0 , y0 ) x x y y f ( x0 , y 0 ) 2 n
1 x y 其中 Rn (n 1)! x y
n 1
f ( x0 x, y 0 y ), 0 1
则称为可行下降方向。
Page 16
函数的方向导数与极值问题
无约束优化极值问题
(一阶必要条件) （1）函数f ( x )在 x 一次可微； (2) x 为 f ( x ) 的局部极值点，则 f ( x ) 0 定理3.2. (充分条件) （1）函数 f ( x )在 x 二次可微；
f ( x ) 0 （2）
Page 7
3.函数的方向导数与极值问题
目标函数的等值面（线） 对于简单的问题，可用等值线或等值面来描述函数的 变化趋势，还可以直观地给出极值点的位置。 1）目标函数的等值面，其数学表达式为f(x)=c。
在这种线或面上所有点的函数值均相等，因此，这种线或 面就称为函数的等值线或等值面。
当c取一系列不同的常数值时，可以得到一组形态相 似的等值线或等值面，称为函数的等值线簇或等值面簇。
1.1.3
（目标函数）
（等式约束）
ci x 0, i m 1,, p,
其中
（不等式约束）
x x1 , x2 , xn Rn
T
Page 5
2.n元函数的Taylor公式
一元函数的泰勒展开式： 设函数在定义域内连续可微，则有
f ( x0 ) 2 f ( x0 x) f ( x0 ) f ( x0 )x x 2! (n) f ( x0 ) n x Rn n!
f ( x) f ( x) f ( x) f ( x) , , , x x x 2 n 1
T
梯度也可以称为函数关于向量的一阶导数。
Page 12
Hesse矩阵
2 f ( x) x 2 1 2 f ( x) 2 f ( x ) H ( x ) x2 x1 2 f ( x) xn x1 2 f ( x) 2 f ( x) x1x2 x1xn 2 2 f ( x) f ( x) 2 x2 xn x2 2 2 f ( x) f ( x) xn x2 2 xn

20 20世纪三、四十年代线性规划(LP)理论的引入使得优 化理论的研究出现了重大进展。 1951年库恩和塔克给出了非线性规划(NLP)的最优性 条件。

随着计算机技术的发展，各种最优化算法应运而生。
Page 4
最优化问题的数学模型一般形式
min f(x), s.t.x D
s.t.
1.1.1 ci x 0, i 1,2,m, 1.1.2
k i 1 i
x

x
i
i 1
则称 x 为

(i 1, 2 ,, k ) 的凸组合。
n D R 凸集：设集合 ，如果 D 中任意两点
的凸组合仍然属于D ,则称 D 为凸集。
Page 18
凸集、凸函数与凸优化问题 凸函数
P1
凹函数
P2
p
a
x1
x2
b
1 2
a
x1
2 i 1
x2
b
设 f : D R n，任取 x , x D 如果有 a1 , a2 0 , ai 1，有
最优化方法包括:
线性规划、非线性规划、整数规划、动态规划、多目标规 划、组合优化等等。
Page 3
1.最优化问题的发展
最优化问题可以追溯至17世纪法国数学家拉格朗日关 于一个函数在一组等式约束条件下的极值问题 (求解多元 函数极值的 Lagrange 乘数法 )。 19 世纪柯西引入了最速下降法求解非线性规划问题。
设有规划 为凸规划。 设P为凸规划，则：
* R x f ( x ) min f ( x ) （2）规划P的最优解集为 xR
（1）规划P的可行解集为 R x gi ( x ) 0, i 1 ~ m




为凸集 为凸集
（3）规划P的任何局部极小点都是全局极小值点（全局最优解）
Page 21
f (a1 x1 a2 x 2 ) a1 f ( x1 ) a2 f ( x 2 )
则称 f 为 D上的（严格）凸函数。
Page 19
凸函数的判断条件 （1） 一阶导数向量法
1 2 f ( x)是凸集 D 上的凸函数的充要条件是，x , x D 有
f ( x ( 2) ) f ( x (1) ) f ( x (1) )T ( x (2) x (1) )
Page 22
Page 23
Page 24
Page 25
Page 26
Page 27
Page 28
谢谢观赏
最优化理论算法及工程应用
第一章 预备知识
最优化问题 泰勒级数问题 方向导数与极值问题
凸集、凸函数与凸优化问题
算法概述
Page 2
1.最优化问题
最优化定义:
最优化是从所有可能方案中选择最合理方案以达到最优目 标的一门学科。
最优化问题：
寻求某些变量的取值使其符合某些限制条件，并使某个目 标函数达到最大值或最小值的问题。
如果函数在点P( x, y) 是可微分的，那末函数在该点沿任意 方向L的方向导数都存在，且有
f f f cos sin l x y
其中 为x轴到方向L的转角
Page 11
函数的方向导数与极值问题
梯度 函数在一点的梯度是这样一个向量, 它的方向与取得最 大方向导数的方向一致, 而它的模为方向导数的最大值。 以 f ( x) 的n个偏导数为分量的向量称为在处的梯度， 记为
Page 8
函数的方向导数与极值问题
2）当n=2时，该点集是设计平面中的一条直线或曲线。 例1： 目标函数f(x)＝一60x1一120x2的等值线族。
这是一组相互平行的直线，函数值沿箭头所指方间逐渐下 降。如图所示。
凸集、凸函数与凸优化问 题
Page 9
函数的方向导数与极值问题
3）当n=3时，该点集是设计空间中的一个平面或曲面。
Page 15
函数的方向导数与极值问题
可行方向
定义 设 x 是规划（NP）一个可行点,若非零向量 d
0, 当 (0, ) 时， x d R 则称 d 为集 满足：
合 R 在点 x 处的一个可行方向（feasible direction）。 若下降方向关于区域 D 可行，
(2) 二阶导数矩阵法
设 f ( x)在凸集X上有二阶连续偏导数，则 f ( x) 是凸函数的 充要条件是， x D 有 2 f ( x) 半正定。
Page 20
凸规划
min f ( x ) s.t. gi ( x ) 0, i 1,2,, m 当 f ( x ) gi ( x )(i 1,2,, m) 为凸函数时，称规划 P
c0 2 T (b x ) 0
2
2 ( x T Ax ) 2 A （其中AT A）
Page 13
函数的方向导数与极值问题
梯度与方向导数之间的关系
T (1) 若 f ( x0 ) P 0 ，则P的方向是函数在点 x0 处的下降方向；
(2) 若 f ( x0 )T P 0，则P的方向是函数在点x0 处的上升方向。