《最优化方法》非线性规划的基本概念

最优化方法
21
一维最优化问题
下降迭代算法中最优步长的确定
f
(xk

kd
k
)

min
f
(xk

d k
)
dk
.
xk .
k
一维最优化问题： min f ( x)
s.t. x R
解析的方法（极值点的必要条件） f '( x) 0
2019/7/30
最优化方法
22
单峰函数
• 如果函数f(x)在区间[a, b]上只有唯一的最大值点(或 最小值点)C，而在最大值点(或最小值点)C的左侧，函 数单调增加(减少)；在点C的右侧，函数单调减少(增 加)，则称这个函数为区间[a, b]上的单峰函数.
2019/7/30
最优化方法
24
黄金分割
把一条线段分割为两部分，使其中一部 分与全长之比等于另一部分与这部分之 比。其比值是一个无理数，取其前三位 数字的近似值是0.618。
由于按此比例设计的造型十分美丽，因 此称为黄金分割，也称为中外比。
2019/7/30
最优化方法
25
黄金分割法（0.618法）
例：试求目标函数 f x1, x2 3x12 4x1x2 x22 在点 x =[0,1]T
处的最速下降方向，并求沿这个方向移动一个单位长度后
新点的目标函数值。
解： 由于
f x1 6x1 4x2 ,
f x2 4x1 2x2
则函数在 x =[0,1]T 处的最速下降方向是
函数(t) 称为在[a,b]上是单谷的，如果存在一个 t * [a, b] ，使得(t) 在[a, t * ]上严格递减，且在[t * , b] 上严格递增。区间[a,b]称为(t) 的单 谷区间。
第 1 步 确定单谷区间[a,b]，给定最后区间精度 0 ; 第 2 步 计算最初两个探索点

3 x12
4 x1 x2

x22
|x1
26 5
2
5
2019/7/30
最优化方法
12
非线性规划方法概述
微分学方法的局限性
实际的问题中，函数可能是不连续或者不可微的。 需要解复杂的方程组，而方程组到目前仍没有有效 的算法。 实际的问题可能含有不等式约束，微分学方法不易 处理。
2019/7/30
0,
j

1,,
q

为NLP问题的约束集或可行域。
若x在X内，称x为NLP的可行解或者可行点。
2019/7/30
最优化方法
8
（5）最优解和极小点
定 对于非线性规划（MP），若 x* X ，并且有
义
f ( x* ) f ( x), x X
则称x*是（MP）的整体最优解或整体极小点，
称f ( x* )是（MP）的整体最优值或整体极小值。 如果有 f ( x* ) f ( x), x X , x x*
最优化方法
13
数值方法的基本思路：迭代
给定初始点x0
根据x0,依次迭代产生点列{xk}
{xk}有限
{xk}无限
{xk}的最后一点为最优解
{xk}收敛于最优解
2019/7/30
最优化方法
14
迭代格式
xk pk
xk+1
x k
xk1 xk xk
xk tk pk
xk1 xk xk
仓库到第 j 个市场的距离为
dij ( xi p j )2 ( yi q j )2 ,
2019/7/30
最优化方法
3
目标函数
min
mn
mn
zijdij
zij ( xi p j )2 ( yi q j )2 ,
i1 j1
i1 j1
约束条件
（1）每个仓库向各市场提供的货物量之和不能超过它的
x x
最优化方法
2
42
22


2
5 1
5


5
5
11
例：试求目标函数 f x1, x2 3x12 4x1x2 x22 在点x =[0,1]T
处的最速下降方向，并求沿这个方向移动一个单位长度后 新点的目标函数值。
解： 由于
2019/7/30
最优化方法
17
算法收敛、下降迭代算法
集合S上的迭代算法： （1）初始点 x0 ；
（2）按照某种搜索方向pk产生下一个迭代点 xk1 xk pk . k （i）如果点列 { xk }收敛于最优解 x* ，则称此算法收敛。 （ii）如果 f (x0 ) f (x1) f (xk ) ，则称此算法为
称pk为第k轮搜索方向，tk为第k轮沿pk方向的步长。 产生tk和pk的不同方法，形成了不同的算法。
2019/7/30
最优化方法
15
下降方向
设f :Rn R1, xRn , pRn , p 0,若存在 0，使 f ( x tp) f ( x), t(0, )
则称向量p是函数f ( x) 在点x处的下降方向。 若f ( x)在x可导，则-f ( x)就是 f ( x)在x处下降最快的方向。
x2
,
f xT
xn

性质：设f(x) 在定义域内有连续偏导数，即有连续梯度， 则梯度有以下两个重要性质：
性质1: 函数在某点的梯度不为零，则该梯度方向必与过
该点的等值面垂直;
性质2: 梯度方向是函数具有最大变化率的方向（负梯度
方向也叫最速下降方向）。
2019/7/30
最优化方法
10
• 例如，图中的两个函数f(x)，g(x)就是单峰函数
• 通过计算区间 [a, b] 内两个不同点的函数值，就可
以确定一个包含极值点的子区间。
2019/7/30
最优化方法
23
搜索法求解
min ( x ) 或
min ( x)
x0
0 x xmax
基本过程：
给出[a,b],使得x*在[a,b]中。[a,b]称为搜索区间。 迭代缩短[a,b]的长度。 当[a,b]的长度小于某个预设的值，或者导数的绝对 值小于某个预设的正数，则迭代终止。
非线性规划的基本概念
非线性规划问题 非线性规划数学模型 解非线性规划方法概述 一维最优化方法
2019/7/30
最优化方法
1
如果目标函数和（或）约束条件中包含有自变量的非线性函
数，则这样的规划问题就属于非线性规划。
非线性规划是运筹学的重要分支之一。最近30多年来发展很 快，不断提出各种算法，而其应用范围也越来越广泛。比如在各 种预报、管理科学、最优设计、质量控制、系统控制等领域得到 广泛且不短深入的应用。

s.t .
gi ( x) 0, i 1,, p

hi ( x) 0, j 1,, q
min f ( x)
s.t. g( x) 0

h( x) 0
2019/7/30
min f ( x)
xX
最优化方法 6
（3）数学规划问题的分类：
min f ( x) s.t. g( x) 0 h( x) 0
一般来说，求解非线性规划问题比线性规划问题困难得多。 而且，也不象线性规划那样有单纯形法这一通用的方法。非线性 规划的各种算法大都有自己特定的使用范围，都有一定的局限性。 到目前为止还没有适合各种问题的一般算法，这是需要深入研究 的一个领域。我们只是对一些模型及应用作简单介绍。
2019/7/30
最优化方法
2019/7/30
最优化方法
16
可行下降方向
设X Rn , x X , pRn , p 0,若存在t 0，使得
x tp X 则称向量p是点x处 关于X的可行方向。
解非线性规划问题，关键在于找到某个方向，使得在 此方向上，目标函数得到下降，同时还是可行方向。 这样的方向称为可行下降方向。
2
例题:
设有 n 个市场，第 j 个市场位置为( p j , q j ) ，它对某种货物的需要 量为 bj ( j 1,2,, n)。现计划建立m 个仓库，第i 个仓库的存储 容量为 ai (i 1,2,, m). 试确定仓库的位置，使各仓库对各市场的
运输量与路程乘积之和为最小。
设第 i 个仓库的位置为 ( xi , yi ), i 1,2,, m, 第 i 个仓库到第 j 个市场的货物供应量为 zij (i 1,2,, m, j 1,2,, n). 则第 i 个
P

f
x


f
x1 f

x2 x1 0

6 x1 4 x2

4 x1 2 x2
x1 0


4 2
x2 1
x2 1
这个方向上的单位向量是：
2019/7/30
e
4

f f

存储容量。
n
zij ai , i 1,2,, m
j1
（2）每个市场从各仓库得到的货物量之和应等于它的
需要量。
m
zij bj , j 1,2,, n
i 1
（3）运输量不能为负数
2019/7/30
zij 0, i 1,2,, m, j 1,2,, n
最优化方法 4
非线性规划问题的数学模型
（1）数学规划模型的一般形式：
min f ( x) s.t. gi ( x) 0, i 1,, p hi ( x) 0, j 1,,q
其中, x (x1, x2,, xn )T , f (x), gi (x),hj (x)为x的实值函数，
（5）判断 xk 是否满足停止条件。是则停止，否则转第2步。
搜索步长确定方法：
f
(xk
kd k )

min

f (xk
d k )
Biblioteka Baidu
称 k 为最优步长，且有对k的梯度
2019/7/30
f ( xk d 最优化k方法k )T d k 0
19
终止条件
① xk1 xk 1
若 f ( x), gi ( x), hj ( x) 为线性函数，即为线性规划(LP).
若 f ( x), gi ( x), hj ( x) 至少一个为非线性, 即为非线性规划(NLP)；
对于非线性规划，若没有 gi ( x), hj ( x) ,即X=Rn,称为 无约束非线性规划或无约束最优化问题；
② f (xk1 ) f (xk ) 2
xk1 xk
③
xk
3 ( xk )
④
f xk1 f xk
f xk
4 ( f xk )
2019/7/30
最优化方法
20
单变量(一维)最优化
一维最优化问题 黄金分割法
2019/7/30
否则称为约束非线性规划或约束最优化问题。
2019/7/30
最优化方法
7
min f ( x)

s.t .
gi ( x) 0, i 1,, p

hi ( x) 0, j 1,, q
（4）可行域和可行解：
称
X

x
Rn
gi ( x) hi ( x)
0, i 1,, p
下降迭代算法。
x
1
.
.
.
x2
2019/7/30 x 0
最优化方法
18
下降迭代算法步骤
（1）给出初始点 x0 ，令 k 0 ；
（2）按照某种规则确定下降搜索方向 d k ； （3）按照某种规则确定搜索步长 k ，使得
f ( xk kd k ) f ( xk )；
（4）令 xk1 xk ，kd k k : k 1；
2019/7/30
最优化方法
5
(2) 简记形式： 引入向量函数符号：
h( x)(h1( x),,hq ( x))T g( x)( g1( x),,g p( x))T
X

x
Rn
gi ( x) hi ( x)

0, 0,
i j

1,, 1,,
p q
min f ( x)
t1 a 0.382(b a) b 0.618(b a) t2 a 0.618(b a)
e
f x f x

4 2
42 22


2
5 1
5


5
5
新点是： x1

x

e

0 1


2
5 1
5
5


5

1521
5


5
5
函数值：
f
x1
称x*是（MP）的严格整体最优解或严格整体极小点，
称f ( x* )是（MP）的严格整体最优值或严格整体极小值。
2019/7/30
最优化方法
9
梯度
定义：f(x) 是定义在En上的可微函数。f(x) 的n个偏导数
为分量的向量称为f(x) 的梯度.
f
(
x)


f x
x1
,
f x