张京-最优化第一章

p 是下降方向；当 f ( x )T p 0 f ( x0 )T p 0 时， 时， 0 p 是上升方向。对于多元函数来说，下降方向有
19
有许多，哪个方向使函数下降得最多呢？显然应 由方向导数的值来确定，当取值达最小时，下降 得最多。因为
f ( x0 )T e f ( x0 ) e cos(f ( x0 ˆ ), e)
例1 求解 min f x, y x 2 y 1
ຫໍສະໝຸດ Baidu2 2
10
图解法的步骤： 2 2 ①令 f x, y x 2 y 1 c ，显然 ③确定极值点位置，并用以往所学方法求之。
* T
c0；
②取 c 0,1, 4,9,并画出相应的曲线（称之为等值线）. 易知本题的极小值点 x 2, 1 . 例 2求
2
1
x
0 0 1 2 3 4 5 6
11
* ( x1 2)2 ( x2 1)2 f * 过 ( x1* , x2 ) 的切线方程为 * * ( x1 2)(x1 2) (x2 1)(x2 1) f *
，它与 x1 x2 5
* * x 2 x 相同。所以 * * 1 2 1 ( x * * 1 , x2 ) (3, 2) x1 x2 5
的实值函数，f为目标函数，其余为约束条件。以上 问题还可用向量形式写出： min f x （2 ） s.t. s x 0
h x 0
5
s( x) (s1 ( x),, sm ( x))T , h( x) (h1( x),, hl ( x))T .
f , si , hj 均是
例3 求
min( x1 2) ( x2 1) 2
2
6
x2
s.t. x1 x 5 x2 0
2 2
5
A
B
x1 x2 5 0 x1 , x2 0
4
3
C
解： x1 5x2 x x2 (5 x2 ),
2 2
2
1
D
x1
0 1 2 3 4 5 6
这是一个抛物线，它向 x1
f ( x, y) f ( x0 , y0 ) ,在xoy
1
dy dx
平面上它表示一条曲线，曲线上任一点切线斜率为 ，法线斜率为
，两边微分等值面方程
f x ( x0 , y0 )dx f y ( x0 , y0 )dy 0
法线斜率为
1
dy dx
fy 1 fx fx fy
时，有
f ( x0 te) f ( x0 ) 0 t
p p
即
f ( x0 te) f ( x0 ),
f ( x0 ) 0, p
代入
e
知 p 是下降方向；
同理，若
f ( x0 ) f ( x0 )T e, 在高数中，对于二元函数，已证明 p
p 是上升方向。
e是p 上单位向量。由此可得到结论：当
4
优化方法的的解题步骤：1、建模；2、求解；3、 回代。 §1.3 最优化问题的基本概念
min f x s.t. si x 0, i 1, , m h j ( x) 0, j 1, 2, , l (l n)
（1）
x ( x1,, xn )T , f , si , hj 都是向量 x ( x1 ,, xn )T
), e) 1 时，方 且 e 1, f ( x0 ) 是正数，当 cos(f (x0 ˆ
ˆ e) 1 向导数负得最大，即当 e f ( x0 ), 有cos(f ( x0 ),
所以负梯度方向是函数下降得最快的方向，同理正 梯度方向是函数上升最快的方向。结合（1）知， 梯度方向与等值面的法线方向一致，f ( x0 ) 指向 函数值增加的方向；f ( x0 ) 指向函数值减少的 方向。
min( x1 2)2 ( x2 1)2 s.t. x1 x2 5
6
x2
5
4
解 等值线与容许集如图。 我们的目标是让同心圆靠近 （2,1）点，且与 x1 x2 5 有交点，显然，某同心圆 与 x1 x2 5 相切时，切点 即为极小点。圆
3
* ( x* , x ) 1 2
- j h j x1 , x2 , , xn
j 1 l
的无约束极值即可（也求L的驻点）。通过求 驻点求极值问题的解的方法称为经典极值。 它们的求解都归结为非线性方程组的解。 优化模型分类： （1）按函数类型分，有线性和非线性模型； （2）按有无约束分，有无约束和有约束模型； （3）按变量类型分，变量取整数值和取连续值； （4）按目标个数分，有单目标和多目标模型； （5）按涉及的阶段分，有静态和动态模型； （6）按参数类型分，有确定性和非确定性优化。
最优化方法
（最优化课件研制组）
主讲：张 京
退出 开始
1
最优化方法
为了使系统达到最优的目标所提出的各种求解方法 称为最优化方法。最优化方法是在第二次世界大战前后， 在军事领域中对导弹、雷达控制的研究中逐渐发展起来 的。 最优化方法解决问题一般步骤： （1）提出需要进行最优化的问题，开始收集有关资 料和数据； （2）建立求解最优化问题的有关数学模型，确定变 量，列出目标函数和有关约束条件； （3）分析模型，选择合适的最优化方法； （4）求解方程。一般通过编制程序在电子计算机上 求得最优解； （5）最优解的验证和实施。 随着系统科学的发展和各个领域的需求，最优化方 法不断地应用于经济、自然、军事和社会研究的各个领 域。
16
与梯度斜率一样，说明法线方向与梯度方向平行， 而法线与等值面“垂直”，所以梯度与等值面垂 直。 （2）梯度方向具有最大变化率方向 (f ( x0 )是x0 处上升最快的方向， f ( x0 )是x0 处下降最快
的方向） 方向导数： f ( x)在x0 处具有一阶连续偏导
数，p 是非0向量， e是p 上的单位向量，则称
2
第1 章
预备知识
§1.2 最优化问题实例 上述 4 个例子都是最优化问题，其中例 3 与例 4 是 NP 问题，例 1 与例 2 是 LP 问题，例 3 是无约束问题， 例 4 是有约束问题，将在第三章、第四章中讨论它 们的基本理论与算法。
f 通过求解方程组（求驻点）x 0, i 1, , n i
轴方向开口，顶点在
0
12
x1 5 2 x2 0, x2 2.5, x1 5 2.5 2.52 6.25. 红线部分为容许
集。显然，在D点处，目标值最小。D点满足方程
x1 x2 5 (4,1),(0,5). （4,1）为最优解。 2 x1 x2 5 x2 0
20
2 2 f ( x ) x x 例 1 2 1, 求 x0 (0,3) 处最速单位上升，下降方
向，令其在该方向上移动一个单位，求出新函数值。
解： f (2x1, 2x2 )T , f ( x0 ) (0,6)T , 最速单位上升方向为 f ( x0 ) e (0,1)T , 则 x0 1 e (0,3)T (0,1)T (0,4)T , f ( x0 )
13
⑶等值面稠密的地方，目标函数值变化得比较快；等值 面稀疏的地方，目标函数值变化得比较慢； ⑷在极值点附近，等值面（等值线）一般近似地呈现为 同心椭球面族（椭圆线族）。
§1.5 梯度和Hesse矩阵
本段讨论都基于对函数 f x 为 n元函数可微的 假定。
14
一、多元函数的梯度 称 f ( x)在x0 处的n个一阶偏导数构成的n维向量为 f ( x)在x0 处的梯度：
问题（1）
min f ( x1,, xn )
问题（2） min f x1 , x2 ,, xn
s.t. hi x1 , x2 ,, xn 0, i 1, 2,, l ln
3
通过求 L( x1 , , xn , 1 ,, n ) f x1, , x2 ,, xn
f ( x0 , y0 ) f ( x0 , y0 ) Z ( , )0 x y
15
f f x 0, 则x轴到梯度的转角 的正 x fy tan , 而Z f ( x, y )在( x0 , y0 ) 切为（梯度斜率） fx
不妨设
处的等值面方程为
dy dx
求出所有的局部极小点，然后再从中找出全局极小点。
8
max f x s.t. h x 0 s x 0 x* x*
min f x s.t. h x 0 s x 0
f f x*


9
§1.4 二维问题图解法 二维极值问题有时可以用图解的方式进行求解，有 明显的几何解释。
n
在x0 处的下降方向；若 f ( x0 tp) f ( x0 ), 则称 p为f ( x) 在x0 处的上升方向。
由定义可以得出：若
f ( x0 ) 0, p
则 p 是下降
方向；若
f ( x0 ) 0, p
则 p 是上升方向。
18
因为
f ( x0 ) 0, p
由极限性质，存在 0, 当 t (0, )
( y 称为向量y的长度，通常取
*
* *
y
y
i 1
n
2 i
)
局部极小点：若有点 x D, 且有 0, 使对任意
x D N ( x , ), 有 f ( x ) f ( x), 则称 x 为f ( x)在D
*
上的局部极小点。 * x 全局极小点：如果有 D, 使对任意 x D,
x的线性函数时，称为线性规划，否则称为非线性
规划。当所考虑问题为 max f ( x) 时，可用 min( f (x )) 来代替。当约束条件出现 0 时，可用（-1）乘两 边，因而前面问题具有一般性。 容许点（解）：称满足所有约束条件的点
（或向量）
容许集
x
为容许点（解），所有容许解集合为
D {x s( x) 0, h( x) 0}
虽然三维及以上的问题不便于在平面上画图，图解 法失效，但仍有相应的等值面的概念，且等值面具有以 下性质：（在 R n 使目标函数 f ( x) 取同一常数值的点集 {x f ( x) c, c 为一常数}称为等值面）
①不同函数值的等值面互不相交（因目标函数是单值函 数的缘故）；
②等值面不会在区域的内部中断，除了极值点所在的等 值面以外。这是由于目标函数是连续函数的缘故；
最优解：问题（1）的求解是指在D中找到 一点 x* ，使对任意容许解 x , 有 f ( x* ) f ( x), * * x f ( x ) 称为最优值。 这样的 称为最优解，
6
x* 的各个分量及 f ( x* ) 均为有限值。
由于非线性，极值问题又分为局部极值与全局极值。 邻域：称 N ( x0 , ) {x x x0 , 0} 为点 x0 的 邻域
f ( x0 ) f ( x0 ) T f ( x0 ) ( ,, ) x1 xn
多元函数的梯度有两个重要的性质： （1）如果函数在某点的梯度 0,(f ( x0 ) 0),
则必与过该点的等值面“垂直”。以二元函数为例
来说明这个问题。
Z f ( x, y), 在( x0 , y0 ) 处的梯度
有f ( x* ) f ( x), 则称 x*为f ( x)在D 上的全局极小点。
当上述两个不等式变为严格不等式时，分别称
为严格局部极小点和严格全局极小点。
7
« Ö È ¾ ¼ « Ð ¡ µ ã Ò » ¶ ¨Ê Ç ¾ Ö ² ¿ ¼ « Ð ¡ µ ã ¡ £
到目前为止，大多数最优化算法求到的都是局部极小点 的近似解。为了求得全局极小点，一种解决办法是，先
f ( x0 ) f ( x0 te) f ( x0 ) lim p t t 0
为 f ( x)在x0 处沿方向 p 的方向导数。
17
下降方向与上升方向：f ( x), x0 , p R , p 0, 若存在 0, 使当 t (0, ） 时，有 f ( x0 tp) f ( x0 ), 则称 p为f ( x)