非线性规划无约束问题.pptx
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
器在单位时间内的经济效益是最好的？
4
非线性规划
目标函数或约束条件中有非线性函 数的规划问题
5
非线性规划的最优解可能在其可行域中的任 意一点达到
不一定是全局最优解
6
背景 理论计算 相对于计算要求，计算能力仍十分有限
7
8
背景 为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
39
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x* x1 b x x1,x2 在x*的两侧0
2
f
(1.941,
3.854)
31.794 9.764
9.764 4
H
(
x2
)
2
f
(1.053,1.028)
11.194 2.212
2.212 4
H
(
x3
)
2
f
(0.6117,1.4929)
0.519 4.447
4.447
4
31
求得各点的H特征值和稳定点类型如下：
32
33
一维搜索法 多项式近似
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
37
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
f(x)
o a0
x* x2 x1 b0 x
x1,x2 在x*的右侧
38
一维搜索法（消去法）
16
凸函数 凸规划
y
f [ x1 (1 )x2 ]
f (x1) (1 ) f (x2 )
• y=f(x)
•
o x1
x2 x
γx1+(1-γ)x2
17
凸函数 凸规划
非线性规划
min f (x)
gi (x) 0
如f(x)和gi(x)都为凸函数，则称该规划问题
为凸规划
可以证明：f(x)的局部极小值也是全局最小
11
基本概念
f (x) : R En
对于 存在ε>0，使
x x*
f (x) f (x*)
则称x*为R上的局部极小点，f(x*)称为局部
极小值
→严格局部极小点、严格局部极小值
12
基本概念
若对于任意x，有 f (x) f (x*)
则x*为R上的全局极小点， f(x*)为全局极小
40
斐波那契（Fibonacci）法
斐波那契数列
F0 F1 1 Fn Fn2 Fn1, n 2,3,,
数列{Fn}为斐波那契数列
Fn 1 Fn
斐波那契分数
41
n
0
1
2
3
4
5
Fn
1
1
2
3
5
8
n
6
7
8
9
10 11
Fn
13
21
34
55
89 144
42
计算步骤
选取初始数据，确定单峰区间[a0, b0] 根据缩短率计算Fn，再确定最小n值 计算初值t1和t2，计算f(t1)、f(t2)
(x(2,1) ) (x(2,2) )
58
确定下一轮搜索区间
a2 x(2,1) 0.055696, x(3,1) x(2,2) 0.528 b2 b1 1.472
(x(3,1) ) (x(2,2) ) 1.75078
59
60
多项式近似（插值法、抛物线法）
不断用低次（不超过三次）多项式来近似目 标函数，并逐步用插值多项式的极小点来逼 近最优解
即 已知搜索的相对精度，迭代次数满足
0.618k
54
例 用0.618法求
min(x) x2 x 2
设初始区间为a0=-1.0，b0=3.0，要求剩余
区间长度不大于0.1
解 本例可以通过解析法求得精确解
x* 0.5,(x*) 1.75
55
第一次搜索 选取两个初始试算点
x(1,1) a0 0.382(b0 a0 ) 0.528,(x(1,1) ) 1.75078 x(1,2) a0 0.618(b0 a0 ) 1.472,(x(1,2) ) 2.69478
第三节 非线性规划
当要求容器的容积一定，求表面积最小，以 使用料最省。
min S 3πx12 2πx1 x2
x1
x2
s.t
2 3
πx13
πx12 x2
V
x1≥0，x2≥0
1
一连续反应器如图所示，进行如下反应
2A B
2
已知单位体积的液相反应速率为
rA
dcA dt
2.0cA2
2.0cA20 (1
b)
t1
a
(1 2
)(b
a)
48
49
0.618法
可以证明对于斐波那契数列，其奇数项和偶 数项都各自收敛于同一极限，该极限值等于
5 1 0.618033988
2
50
以0.618作为固定的区间缩短率代替斐波那 契法不同的缩短率，就得到了0.618法
实施更为容易
51
计算步骤
选取初始区间[a0, b0]
值
理想情况
18
凸性和凹性的判定（一阶条件）
若f(x)有连续的一阶导数，则 f(x)为凸函数 对x1、x2 R，有f(x2)≥f(x1)+f(x1)T
(x2-x1) f(x)为严格凸函数 对x1、x2 R，有f(x2)＞f(x1)+ f(x1)T
(x2-x1)
19
凸性和凹性的判定（二阶条件）
解
f x1
4.5
2 x1
2 x2
4 x13
4 x1 x2
0
f
x2
4 4x2
2x1
2x12
0
29
解方程组得 x1 (1.941,3.854)T , x2 (1.053,1.028)T , x3 (0.6117,1.4929)T
30
试判断所得的稳定点是否为最优解
H
(
x1 )
主要方法
Fibonacci法
0.618法 二次插值法 三次插值法
求导数方法
一阶导数 二阶导数
34
最速下降法 共轭梯度法 牛顿法 拟牛顿法*
无约束问题
一维搜索法 xk1 xk tk pk
步长tk的选定是由使目标函数值沿搜索方向
下降最多为依据的，因此这一工作变成了求
解以tk为变量的一元函数，故得名一维搜索
则称f(x)为F上的凸函数
若
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
则称f(x)为严格凸函数
15
凸函数 凸规划
y
y=f(x)
f (x1) (1 ) f (x2 ) f [ x1 (1 )x2 ]
o
• •
x1
x2 x
γ x1+(1-γ)x2
凸函数
xA )2
原料A的单位成本
C1 4.0c1A.40
折旧、公用工程和其他费用
C2 0.4V 0.6
3
根据预测，市场只能提供物料A 600单位/h，
产品B的市场需求量FB不超过50 单位/h，产 品B的价格为C3=2000 元/单位。试确定物 料A的进料速度FA0、初始浓度CA0、反应器 体积V和转化率各取多大，才能使得该反应
63
最速下降法
具体步骤
选取初始点x0，给定终止误差 求止梯迭度 代向 ，量 输。出计xkp算k f (xk )， 若 f (xk ) ，停
构造负梯度方向
进行搜索。求tk，使得
f
( xk
tk
pk
)
min t0
f
( xk
tpk
)
令
xk 1 xk
tk pk
，重新求梯度向量 64
例求
min f (x) x12 x22 2x1 2x2 2, 0.1
21
解 (a) f”=6， 故f(x)为（严格）凸函数。 (b) f”=0，故f(x)既凸又凹 (c) f”=-10，故f(x)为（严格）凹函数 (d) f”=4-6x，故f(x)既不为凸也不为凹
22
对于多元函数，如何判断H是否正定？
特征值
23
f(x)
严格凸函数 凸函数 凹函数
严格凹函数
61
使用导数的方法
最速下降法 共轭梯度法
牛顿法 拟牛顿法 割线法
62
最速下降法
对于迭代格式
xk1 xk tk pk
使目标函数f下降最快的方向是点xk的负梯度
方向
pk
f (xk ) f (xk )
称为f在xk的最速下降方向
每一轮都从点xk出发沿最速下降方向进行搜
索的方法，称为最速下降法
t’2=a1+ 0.618(b1-a1)
t’1=t2
a0•
a1•
L
L
t•1 t•2
• b0
••
t’1 t’2
•b1
a1•
••
t’1 t’2
•b1
53
搜索n个点后的 区间长度缩短为 (b0 a0 ) n1 (b0 a0 )0.618n1
或者说，迭代k次以后的区间长度变为
(b0 a0 )0.618k
法。
35
适用于某些不能求得一阶导数解析解的问题
如求最小回流比
R min
n i1
i j xDi ij
1
其中ij：组分i对组分j的相对挥发度
xDi：塔顶产品中i组分的组成
：由Underwood公式确定
用经典的微分
n i j xFi 1 q
i1 ij
方法很难求解
36
一维搜索法（消去法）
值 →严格全局极小点、严格全局极小值
13
凸函数 凸规划
凸集：
对于在集合中的每一对点x1和x2，连接两点
所形成的直线段上任一点
x x1 (1 x2 ) 0 1
都在此集合内，则该集合为凸集
14
凸函数 凸规划
凸函数 如果函数f (x) F 满足
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
t1 a0 (1 )(b0 a0 )
a0 0.382(b0 a0 )
t2 a0 (b0 a0 )
a0 0.618(b0 a0 )
52
f(t1)<f(t2)，取[a1=a0, b1=t2]
t’2=t1
t’1=a1+0.382(b1-a1)
f(t1)＞f(t2)，取[a1=t1, b1=b0]
Hessian矩阵
H为对称矩阵
H (x) H 2 f (x)
x 0, xT Hx 0 H半正定
x 0, xT Hx 0 H正定
x 0, xT Hx 0 H半负定
x 0, xT Hx 0 H负定
部分x 0，xT Hx 0 H不定
20
例 判断下列函数的凹凸性（ x R） (a) f(x)=3x2 (b) f(x)=2x (c) f(x)=-5x2 (d) f(x)=2x2-x3
H
正定 半正定 半负定
负定
24
特征值 >0 ≥0 ≤0 <0
例 分析函数
f (x) 2x12 3x1x2 2x22
指出此函数属于哪种类型
25
4 3
H E
0
3 4
1,7 0
H正定，f(x)为严格凸函数
26
无约束问题
极值存在的必要条件和充分条件
对于一元函数f(x)
极值存在
9
求解思路： 迭代
从一个选定的初始点x0出发，按照某种特定 的迭代规则产生一个点列{xk}
xk有穷点列：最后一个点为最优解 xk无穷点列：其中一个点为最优解
10
基本迭代格式 xk1 xk tk pk
xk Rn ：第k轮迭代点 xk1 Rn ：第k+1轮迭代点 tk：搜索步长 pk：迭代方向
必要条件→f’(x)=0（稳定点） 充分条件→ f’(x)=0且 f”(x)>0
f”(x)<0
27
对n维函数
必要条件：
f(x)在x*处一阶可导
充分条件
f (x*) 0
H(x*)正定，则x*为极小值，反之为极大值
28
例 求函数 f (x) 4 4.5x1 4x2 x12 2x22 2x1x2 x14 2x12 x2 的所有稳定点
43
当
f (t1) f (t2 ) a1 a0;b1 t2;t2' t1
t1'
b1
F( n 2 ) F( n 1)
(b1
a1 )
区间变为[a0, t2]
44
反之 f (t1) f (t2 )
a1 t1;b1 b0;t1' t2
t2'
a1
F( n 2 ) F( n 1)
(b1
比较得， (x(1,1) ) (x(1,2) )
56
可以得到下一次搜索区间
a1 1,b1 x(1,2) 1.472, x(2,2) x(1,1) 0.528
(x(2,2) ) (x(1,1) ) 1.75078
57
第二次搜索 计算试算点
x(2,1) a1 0.382(b1 a1) 1 0.382(1.472 1) 0.055696
a1 )
区间变为[t1, b0]
45
确定n个搜索点以后，每次的区间缩短率为
Fn1 , Fn2 , Fn3 , , F1
Fn Fn1 Fn2
F2
46
n次计算能得到的区间长度比为
1
Fn
要使精度够大，即
Fn
1
δ：区间缩短的相对精度
47
如果至某一步
t1
t2
1 2
(a
b)
则可令
t2
1 2
(a
4
非线性规划
目标函数或约束条件中有非线性函 数的规划问题
5
非线性规划的最优解可能在其可行域中的任 意一点达到
不一定是全局最优解
6
背景 理论计算 相对于计算要求，计算能力仍十分有限
7
8
背景 为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
39
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x* x1 b x x1,x2 在x*的两侧0
2
f
(1.941,
3.854)
31.794 9.764
9.764 4
H
(
x2
)
2
f
(1.053,1.028)
11.194 2.212
2.212 4
H
(
x3
)
2
f
(0.6117,1.4929)
0.519 4.447
4.447
4
31
求得各点的H特征值和稳定点类型如下：
32
33
一维搜索法 多项式近似
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
37
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
f(x)
o a0
x* x2 x1 b0 x
x1,x2 在x*的右侧
38
一维搜索法（消去法）
16
凸函数 凸规划
y
f [ x1 (1 )x2 ]
f (x1) (1 ) f (x2 )
• y=f(x)
•
o x1
x2 x
γx1+(1-γ)x2
17
凸函数 凸规划
非线性规划
min f (x)
gi (x) 0
如f(x)和gi(x)都为凸函数，则称该规划问题
为凸规划
可以证明：f(x)的局部极小值也是全局最小
11
基本概念
f (x) : R En
对于 存在ε>0，使
x x*
f (x) f (x*)
则称x*为R上的局部极小点，f(x*)称为局部
极小值
→严格局部极小点、严格局部极小值
12
基本概念
若对于任意x，有 f (x) f (x*)
则x*为R上的全局极小点， f(x*)为全局极小
40
斐波那契（Fibonacci）法
斐波那契数列
F0 F1 1 Fn Fn2 Fn1, n 2,3,,
数列{Fn}为斐波那契数列
Fn 1 Fn
斐波那契分数
41
n
0
1
2
3
4
5
Fn
1
1
2
3
5
8
n
6
7
8
9
10 11
Fn
13
21
34
55
89 144
42
计算步骤
选取初始数据，确定单峰区间[a0, b0] 根据缩短率计算Fn，再确定最小n值 计算初值t1和t2，计算f(t1)、f(t2)
(x(2,1) ) (x(2,2) )
58
确定下一轮搜索区间
a2 x(2,1) 0.055696, x(3,1) x(2,2) 0.528 b2 b1 1.472
(x(3,1) ) (x(2,2) ) 1.75078
59
60
多项式近似（插值法、抛物线法）
不断用低次（不超过三次）多项式来近似目 标函数，并逐步用插值多项式的极小点来逼 近最优解
即 已知搜索的相对精度，迭代次数满足
0.618k
54
例 用0.618法求
min(x) x2 x 2
设初始区间为a0=-1.0，b0=3.0，要求剩余
区间长度不大于0.1
解 本例可以通过解析法求得精确解
x* 0.5,(x*) 1.75
55
第一次搜索 选取两个初始试算点
x(1,1) a0 0.382(b0 a0 ) 0.528,(x(1,1) ) 1.75078 x(1,2) a0 0.618(b0 a0 ) 1.472,(x(1,2) ) 2.69478
第三节 非线性规划
当要求容器的容积一定，求表面积最小，以 使用料最省。
min S 3πx12 2πx1 x2
x1
x2
s.t
2 3
πx13
πx12 x2
V
x1≥0，x2≥0
1
一连续反应器如图所示，进行如下反应
2A B
2
已知单位体积的液相反应速率为
rA
dcA dt
2.0cA2
2.0cA20 (1
b)
t1
a
(1 2
)(b
a)
48
49
0.618法
可以证明对于斐波那契数列，其奇数项和偶 数项都各自收敛于同一极限，该极限值等于
5 1 0.618033988
2
50
以0.618作为固定的区间缩短率代替斐波那 契法不同的缩短率，就得到了0.618法
实施更为容易
51
计算步骤
选取初始区间[a0, b0]
值
理想情况
18
凸性和凹性的判定（一阶条件）
若f(x)有连续的一阶导数，则 f(x)为凸函数 对x1、x2 R，有f(x2)≥f(x1)+f(x1)T
(x2-x1) f(x)为严格凸函数 对x1、x2 R，有f(x2)＞f(x1)+ f(x1)T
(x2-x1)
19
凸性和凹性的判定（二阶条件）
解
f x1
4.5
2 x1
2 x2
4 x13
4 x1 x2
0
f
x2
4 4x2
2x1
2x12
0
29
解方程组得 x1 (1.941,3.854)T , x2 (1.053,1.028)T , x3 (0.6117,1.4929)T
30
试判断所得的稳定点是否为最优解
H
(
x1 )
主要方法
Fibonacci法
0.618法 二次插值法 三次插值法
求导数方法
一阶导数 二阶导数
34
最速下降法 共轭梯度法 牛顿法 拟牛顿法*
无约束问题
一维搜索法 xk1 xk tk pk
步长tk的选定是由使目标函数值沿搜索方向
下降最多为依据的，因此这一工作变成了求
解以tk为变量的一元函数，故得名一维搜索
则称f(x)为F上的凸函数
若
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
则称f(x)为严格凸函数
15
凸函数 凸规划
y
y=f(x)
f (x1) (1 ) f (x2 ) f [ x1 (1 )x2 ]
o
• •
x1
x2 x
γ x1+(1-γ)x2
凸函数
xA )2
原料A的单位成本
C1 4.0c1A.40
折旧、公用工程和其他费用
C2 0.4V 0.6
3
根据预测，市场只能提供物料A 600单位/h，
产品B的市场需求量FB不超过50 单位/h，产 品B的价格为C3=2000 元/单位。试确定物 料A的进料速度FA0、初始浓度CA0、反应器 体积V和转化率各取多大，才能使得该反应
63
最速下降法
具体步骤
选取初始点x0，给定终止误差 求止梯迭度 代向 ，量 输。出计xkp算k f (xk )， 若 f (xk ) ，停
构造负梯度方向
进行搜索。求tk，使得
f
( xk
tk
pk
)
min t0
f
( xk
tpk
)
令
xk 1 xk
tk pk
，重新求梯度向量 64
例求
min f (x) x12 x22 2x1 2x2 2, 0.1
21
解 (a) f”=6， 故f(x)为（严格）凸函数。 (b) f”=0，故f(x)既凸又凹 (c) f”=-10，故f(x)为（严格）凹函数 (d) f”=4-6x，故f(x)既不为凸也不为凹
22
对于多元函数，如何判断H是否正定？
特征值
23
f(x)
严格凸函数 凸函数 凹函数
严格凹函数
61
使用导数的方法
最速下降法 共轭梯度法
牛顿法 拟牛顿法 割线法
62
最速下降法
对于迭代格式
xk1 xk tk pk
使目标函数f下降最快的方向是点xk的负梯度
方向
pk
f (xk ) f (xk )
称为f在xk的最速下降方向
每一轮都从点xk出发沿最速下降方向进行搜
索的方法，称为最速下降法
t’2=a1+ 0.618(b1-a1)
t’1=t2
a0•
a1•
L
L
t•1 t•2
• b0
••
t’1 t’2
•b1
a1•
••
t’1 t’2
•b1
53
搜索n个点后的 区间长度缩短为 (b0 a0 ) n1 (b0 a0 )0.618n1
或者说，迭代k次以后的区间长度变为
(b0 a0 )0.618k
法。
35
适用于某些不能求得一阶导数解析解的问题
如求最小回流比
R min
n i1
i j xDi ij
1
其中ij：组分i对组分j的相对挥发度
xDi：塔顶产品中i组分的组成
：由Underwood公式确定
用经典的微分
n i j xFi 1 q
i1 ij
方法很难求解
36
一维搜索法（消去法）
值 →严格全局极小点、严格全局极小值
13
凸函数 凸规划
凸集：
对于在集合中的每一对点x1和x2，连接两点
所形成的直线段上任一点
x x1 (1 x2 ) 0 1
都在此集合内，则该集合为凸集
14
凸函数 凸规划
凸函数 如果函数f (x) F 满足
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
t1 a0 (1 )(b0 a0 )
a0 0.382(b0 a0 )
t2 a0 (b0 a0 )
a0 0.618(b0 a0 )
52
f(t1)<f(t2)，取[a1=a0, b1=t2]
t’2=t1
t’1=a1+0.382(b1-a1)
f(t1)＞f(t2)，取[a1=t1, b1=b0]
Hessian矩阵
H为对称矩阵
H (x) H 2 f (x)
x 0, xT Hx 0 H半正定
x 0, xT Hx 0 H正定
x 0, xT Hx 0 H半负定
x 0, xT Hx 0 H负定
部分x 0，xT Hx 0 H不定
20
例 判断下列函数的凹凸性（ x R） (a) f(x)=3x2 (b) f(x)=2x (c) f(x)=-5x2 (d) f(x)=2x2-x3
H
正定 半正定 半负定
负定
24
特征值 >0 ≥0 ≤0 <0
例 分析函数
f (x) 2x12 3x1x2 2x22
指出此函数属于哪种类型
25
4 3
H E
0
3 4
1,7 0
H正定，f(x)为严格凸函数
26
无约束问题
极值存在的必要条件和充分条件
对于一元函数f(x)
极值存在
9
求解思路： 迭代
从一个选定的初始点x0出发，按照某种特定 的迭代规则产生一个点列{xk}
xk有穷点列：最后一个点为最优解 xk无穷点列：其中一个点为最优解
10
基本迭代格式 xk1 xk tk pk
xk Rn ：第k轮迭代点 xk1 Rn ：第k+1轮迭代点 tk：搜索步长 pk：迭代方向
必要条件→f’(x)=0（稳定点） 充分条件→ f’(x)=0且 f”(x)>0
f”(x)<0
27
对n维函数
必要条件：
f(x)在x*处一阶可导
充分条件
f (x*) 0
H(x*)正定，则x*为极小值，反之为极大值
28
例 求函数 f (x) 4 4.5x1 4x2 x12 2x22 2x1x2 x14 2x12 x2 的所有稳定点
43
当
f (t1) f (t2 ) a1 a0;b1 t2;t2' t1
t1'
b1
F( n 2 ) F( n 1)
(b1
a1 )
区间变为[a0, t2]
44
反之 f (t1) f (t2 )
a1 t1;b1 b0;t1' t2
t2'
a1
F( n 2 ) F( n 1)
(b1
比较得， (x(1,1) ) (x(1,2) )
56
可以得到下一次搜索区间
a1 1,b1 x(1,2) 1.472, x(2,2) x(1,1) 0.528
(x(2,2) ) (x(1,1) ) 1.75078
57
第二次搜索 计算试算点
x(2,1) a1 0.382(b1 a1) 1 0.382(1.472 1) 0.055696
a1 )
区间变为[t1, b0]
45
确定n个搜索点以后，每次的区间缩短率为
Fn1 , Fn2 , Fn3 , , F1
Fn Fn1 Fn2
F2
46
n次计算能得到的区间长度比为
1
Fn
要使精度够大，即
Fn
1
δ：区间缩短的相对精度
47
如果至某一步
t1
t2
1 2
(a
b)
则可令
t2
1 2
(a