05-非线性规划-无约束问题04965
合集下载
05-非线性规划-无约束问题 共95页PPT文档
则称f(x)为F上的凸函数
若
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
则称f(x)为严格凸函数
凸函数 凸规划
y
y=f(x)
f (x1) (1 ) f (x2 ) f [ x1 (1 )x2 ]
o
x1
(x2-x1)
凸性和凹性的判定（二阶条件）
Hessian矩阵
H为对称矩阵
H (x) H 2 f (x)
x 0, xT Hx 0 H半正定
x 0, xT Hx 0 H正定
x 0, xT Hx 0 H半负定
x 0, xT Hx 0 H负定
部分x 0，xT Hx 0 H不定
器在单位时间内的经济效益是最好的？
max z C3FB (C1FA0 C2 )
C3FB (4c1A.40FA0 0.4V 0.6 )
rA
dcA dt
2.0cA2 0 (1 xA )2
FA0cA0 rAV FA0cA0 (1 xA )
0.5FA0cA0 xA 50
4x2
2 f
2 f
2 f
x12
4, x1x2
x2x1
3
2 f x22
4
4 3
H
3
4
4 3
H E
0
3 4
1,7 0
H正定，f(x)为严格凸函数
无约束问题
极值存在的必要条件和充分条件
对于一元函数f(x)
值 →严格全局极小点、严格全局极小值
凸函数 凸规划
若
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
则称f(x)为严格凸函数
凸函数 凸规划
y
y=f(x)
f (x1) (1 ) f (x2 ) f [ x1 (1 )x2 ]
o
x1
(x2-x1)
凸性和凹性的判定（二阶条件）
Hessian矩阵
H为对称矩阵
H (x) H 2 f (x)
x 0, xT Hx 0 H半正定
x 0, xT Hx 0 H正定
x 0, xT Hx 0 H半负定
x 0, xT Hx 0 H负定
部分x 0，xT Hx 0 H不定
器在单位时间内的经济效益是最好的？
max z C3FB (C1FA0 C2 )
C3FB (4c1A.40FA0 0.4V 0.6 )
rA
dcA dt
2.0cA2 0 (1 xA )2
FA0cA0 rAV FA0cA0 (1 xA )
0.5FA0cA0 xA 50
4x2
2 f
2 f
2 f
x12
4, x1x2
x2x1
3
2 f x22
4
4 3
H
3
4
4 3
H E
0
3 4
1,7 0
H正定，f(x)为严格凸函数
无约束问题
极值存在的必要条件和充分条件
对于一元函数f(x)
值 →严格全局极小点、严格全局极小值
凸函数 凸规划
第五小组_非线性规划-无约束极值问题
6 12 6 /17 ( , ) 17 17 12 /17 f ( X (1) )T f ( X (1) ) 1 0 = = = -12 f ( X (0) )T f ( X (0) ) 289 (-12, 6) 6 P (1) = -f ( X (1) ) + 0 P (0) f ( X (1) )T P (1) 17 l1 = = (1) T (1) ( P ) AP 10 X (2) = X (1) + l1 P (1) 1 = 1 6 /17 1 12 90 210 = - + = , 12 /17 289 -6 289 289
但P(i) ≠0 ,A为正定，即
a1 p(i )T AP(i ) = 0
p(i )T AP(i ) = 0 故必有ai= 0,i =1,2,L从而P（1）， P（2），… P（n）线性独立
非线性规划：无约束极值问题
梯度法 共轭梯度法 变尺度法 正定二次函数极小问题
二、基本定理
1 T • 无约束极值的一个特殊情形是： min f ( x) = X AX + BT X + c 2
梯度法 共轭梯度法 变尺度法
计算步骤：
（ 计算H ( k )，P k） = - H ( k )f ( X ( k ) ) （ 在P 0） 方向进行一维搜索，确定最佳步长l0
min f ( X ( k ) + lk P ( k ) ) = f ( X ( k ) + lk P ( k ) )
l
则X ( k +1) = X ( k ) + lk P ( k ) 满足精度要求，则停止迭代； 否则则重复上述步骤
非线性规划问题的求解方法
syms x1 x2 e;
m(1)=1;c=0.2;a(1)=2;b(1)=-3;
f=x1^2+x2^2-e*(1/(2*x1+x2-2)+1/(1-x1)); f0(1)=15;
fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx2x1
a
23
a
14
（二）拉格朗日乘子法 （三）可行方向法与广义简约梯度法 （四）SQP方法
a
15
三.Matlab求解有约束问题
•
a
16
运行输出：
x= 24.0000 12.0000 12.0000
fval =
-3.4560e+03
a
17
（二）非负条件下线性最小二乘lsqnonneg •
a
18
• （三）有约束线性最小二乘lsqlin
=diff(fx2,'x1');fx2x2=diff(fx2,'x2');
for k=1:100
x1=a(k);x2=b(k);e=m(k);
for n=1:100
f1=subs(fx1);
f2=subs(fx2);
f11=subs(fx1x1);
f12=subs(fx1x2);
a
11
f21=subs(fx2x1);
a
19
•（四）非线性最小二乘lsqnonlin
a
20
求解x,使得下式最小
10
e e ( 2 2 k k x 1 k x 2) 2
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
非线性-无约束规划
f(x) 为凸集 S 上的严格凸函数。 性质: 当- f(x) 为凸函数（严格凸函数）时，则称
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
f(x) 为凹函数（严格凹函数）。
严格凸函数
凸函数
严格凹函数
x1
x 2
2.2 凸集、凸函数和凸规划(续)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。
△可行方_ 向：
设 x∈S，d∈Rn, d≠0, 若存在 0
_
使 x d S, (0, ) ，
称d 为该点的可行方向。
同时满足上述两个性质的方向称 下降可行方向。
迭代算法的停止标准
1）
|| X k1 X k || 1
或
||
X k 1 || X k
X ||
k
考虑（fs）
s.t. x∈S
常用一种线性搜索的方式构造{xk}序列来求解 迭代中从一点出发沿下降可行方向找一个
新的、更优的点。
△下降方向 ：
设 x _∈S，d ∈Rn,d≠0,若存在 ，0
使 在
_
_
x _f点(x的 下d )降 方f (x向),。 (0, )
，称d 为
4 常用的搜索算法结构
以及
4) 全局收敛： 对任意初始点x(1), 算法均收敛。
5) 局部收敛： 当x(1) 充分接近解x*时，算法才收敛。
2. 实用收敛性：
定义解集
S* = { x | x 具有某种性质 }
例：S*={x|x---g.opt} S*={x|x---l.opt}
S*={x| f(x)=0} S*={x|f′(x)≤β } (β为给定实数,称为阈值
xn2
非线性规划-无约束问题的最优化方法
k+ 1 k
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
无约束非线性规划
常用的确定搜索方向的方法。 最速下降法 共轭梯度法 牛顿法 拟牛顿法（变尺度法）
一、最速下降法
问题：在x (k)处，沿什么方向d (k)，函数f(x)下降最快？
结论：负梯度方向是函数的最速下降方向。
最速下降法就是以x (k)处的负梯度方向作为搜索方向， 即令
d (k) f (x(k) )
求解问题
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题：
min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维搜索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
一、最速下降法
问题：在x (k)处，沿什么方向d (k)，函数f(x)下降最快？
结论：负梯度方向是函数的最速下降方向。
最速下降法就是以x (k)处的负梯度方向作为搜索方向， 即令
d (k) f (x(k) )
求解问题
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题：
min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维搜索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
《高级运筹学》无约束非线性规划.ppt
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这
两点函数值的大小，确定第三点位置，比较这三点的函 数值大小，确定是否为 “高—低—高” 形态
计算步骤 Step1.选定初始点a1，初始步长h，计算
f 1＝f (a1), f 2＝f (a1 + h) Step2. 比较f 1和f 2。
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
五无约束非线性规划PPT课件
(*)
其中 c1 ， c2 ， c 3 是待定参数。现通过测试获
得 n 组 与 t 之间的实验数据 (ti , i ) ，i=1，
2，…,n。试确定参数 c1 ， c2 ， c 3 ，使理论
曲线(*)尽可能地与 n 个测试点 (ti , i ) 拟
t
合。
n
min[ i (c1c2ti ec3ti)2]
4
例3
非线性规划问题
某公司经营两种设备，第一种设备每 件售件 30 元，第二种设备每件售件 450 元，根据统计，售出一件第一种 设备所需要的营业时间平均是 0.5 小 时，第二种设备是（2+0.25x2）小 时，其中 x2 是第二种设备的售出数 量。已知该公司在这段时间内的总营 业时间为 800 小时，试决定使其营业 额最大的营业计划。
什么值，总有（３）式成立，故f(x1)=-x12为凹函 数，同理可证f(x2)=-x22也是凹函数．
.
27
凸函数的判定
证: (２)用定理5.2.4来证明，由于
i1
.
3
例2 构件容积问题
设计一个右图所示的由圆锥和圆柱面 围成的构件，要求构件的表面积为 S， 圆锥部分的高 h 和圆柱部分的高 x2 之 比为 a。确定构件尺寸，使其容积最 大。
maxV
s.t. x1
(1a/3)x12x2 x12 a2x22 2x1x2
x12
S
x1 0,x2 0
.
x3 x2 x1
其中
f
(
x1
)
f ( x1 ( x1
)
,....,
f ( x1 x n
))T
是函数
f
在点
x1
非线性规划-无约束问题
一般地，解非线性规划问题要比解线性规划问题困难的多，因为它不像解线性规划问题有单纯形法这一通用的方法，非线性规划目前还没有适合于各种问题的一般算法，各个方法都有自己特定的应用范围。
1.1 非线性规划问题及其数学模型
例：某金属制品厂要加工一批容积为1米3的长方形容器，按规格要求，上下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、宽、高的尺寸，使这个容器的成本最低。
线性规划：
可能在其可行域中的任意一点达到。
非线性规划：
02
01
非线性规划的解的特点
目标函数是线性函数，可行域为凸集，求出的最优解就是整个可行域上的全局最优解。
线性规划：
01
有时求出的解是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。
非线性划：
02
1.2 极值问题
局部极值定义
定理1：极值存在的必要条件
称该点列{X(k)}收敛于X*. 由于算法产生的点列使目标函数值逐步减小，称这一算法为下降算法。
或
超线性收敛：当 1<<2, q>0，或＝1, q＝0时，称为超线性收敛速度
二阶收敛：当 =2 ，k充分大时有
收敛速度
一般地认为，具有超线性收敛或二阶收敛速度的算法是比较快速的算法。
对于不同的问题，要根据具体情况来选择算法，因为我们事先并不知道最优解，迭代到什么时候停止呢？常用的准则是：
01
02
01
迭代中我们从一点出发沿下降可行方向找一个新的、性质有所改善的点。
02
下降方向：
可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点 的可行方向。
2
如果继续缩小区间[a,b1](或[a1,b])，就需要在区间[a,b1](或[a1,b])内取一点b2，并计算出f(b2)的值，并与f(a1)比较。
05工程优化第4章-1无约束最优化方法解析精品PPT课件
利用精确一维搜索，可得
' (k ) f (xk k d k )T d k 0
由此得出
f (xk ) d k
0=f (xk k d k )T d k =f (xk +1)T d k = (d k +1)T d k
最速下降法在两个相邻点之间的搜索方向是正交的。
最速下降法向极小点逼近是曲折前进的，这种现象称为锯齿 现象。
然后再从 x1 开始新的迭代，经过10次迭代，得最优解 x* (0, 0)T
计算中可以发现，开始几次迭代，步长比较大，函数值下 降将较快，但当接近最优点时，步长很小，目标函数值下降很 慢。
如果不取初点为 x0 (2, 2)T 而取 x0 (100, 0)T
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 x22
10 2x2
0
得到驻点： 1 1 1 1
x1
0
,
x2
2
,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1 0
0
2x2
2
利用二阶条件 判断驻点是否 是极小点
假设 f 连续可微，
d k f (xk )
f
(xk
k d k )
min 0
f
(xk
பைடு நூலகம்
dk )
步长 k由精确一维搜索得到。
从而得到第 k+1次迭代点，即
xk1 xk +k d k xk kf (xk )
最速下降法 负梯度方向d k f (xk )是函数值减少最快的方向 ？
05-非线性规划-无约束问题
2.0cA2
2.0cA20 (1
xA )2
原料A的单位成本
C1 4.0c1A.40
折旧、公用工程和其他费用
C2 0.4V 0.6
根据预测，市场只能提供物料A 600单位/h，
产品B的市场需求量FB不超过50 单位/h，产 品B的价格为C3=2000 元/单位。试确定物 料A的进料速度FA0、初始浓度CA0、反应器 体积V和转化率各取多大，才能使得该反应
f(x)
o a0 x2 x* x1 b x x1,x2 在x*的两侧0
斐波那契（Fibonacci）法
斐波那契数列
F0 F1 1 Fn Fn2 Fn1, n 2,3, ,
数列{Fn}为斐波那契数列
Fn 1 Fn
斐波那契分数
n
0
1
2
3
4
5
Fn
1
1
2
3
5
8
n
6
7
8
9
10 11
Fn
13
21
无约束问题
一维搜索法 xk1 xk tk pk
步长tk的选定是由使目标函数值沿搜索方向
下降最多为依据的，因此这一工作变成了求
解以tk为变量的一元函数，故得名一维搜索
法。
适用于某些不能求得一阶导数解析解的问题
如求最小回流比
R min
n i1
i j xDi ij
1
其中ij：组分i对组分j的相对挥发度
o x1
x2 x
γx1+(1-γ)x2
凸函数 凸规划
非线性规划
min f (x)
gi (x) 0
如f(x)和gi(x)都为凸函数，则称该规划问题
第4讲无约束优化与非线性规划
1）.用fminsearch函数求解 输入命令:
f='100*(x(2)-x(1)^2)^2+(1-x(1))^2'; [x,fval,exitflag,output]=fminsearch(f, [-1.2 2])
运行结果: x =1.0000 1.0000 fval =1.9151e-010
11
XD，且 X X* ，都有 fX*fX，则称X*是f(X)在D上的
局部极小值点（局部最优解）．特别地当X X* 时， fX*f，X
则称X*是f(X)在D上的严格局部极小值点（严格局部最优解）．
定义3 对于问题(1),设 X* D ,对任意的XD,都有 fX*fX
则称X*是f(X)在D上的全局极小值点（全局最优解）．特别地当
•使用fminunc和 fminsearch可能会得到局部最优解.
9
例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)
1）、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)
7. [x,fval,exitflag]=quaprog(...);
8. [x,fval,exitflag,output]=quaprog(...);
16
例5 min f(x1,x2)=-2x1-6x2+x12-2x1x2+2x22 s.t. x1+x2≤2 -x1+2x2≤2 x1≥0, x2≥0
3、运算结果为：
x =0.8000 1.2000 z = -7.2000
f='100*(x(2)-x(1)^2)^2+(1-x(1))^2'; [x,fval,exitflag,output]=fminsearch(f, [-1.2 2])
运行结果: x =1.0000 1.0000 fval =1.9151e-010
11
XD，且 X X* ，都有 fX*fX，则称X*是f(X)在D上的
局部极小值点（局部最优解）．特别地当X X* 时， fX*f，X
则称X*是f(X)在D上的严格局部极小值点（严格局部最优解）．
定义3 对于问题(1),设 X* D ,对任意的XD,都有 fX*fX
则称X*是f(X)在D上的全局极小值点（全局最优解）．特别地当
•使用fminunc和 fminsearch可能会得到局部最优解.
9
例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)
1）、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)
7. [x,fval,exitflag]=quaprog(...);
8. [x,fval,exitflag,output]=quaprog(...);
16
例5 min f(x1,x2)=-2x1-6x2+x12-2x1x2+2x22 s.t. x1+x2≤2 -x1+2x2≤2 x1≥0, x2≥0
3、运算结果为：
x =0.8000 1.2000 z = -7.2000
非线性规划—无约束问题
则称X * 为f(X )在上的全局极小点。 f(X *)为全局极小值。 若对于所有 X X * ，且X ，都有
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
e第六章 非线性规划-无约束极值
C＝{x：x，f(X)C}是凸集。
iii) 凸函数的判定（略）
§3 解和算法的基本性质 （9）
④凸规划定义：已知非线性规划：
min f(X) gj(X)≥0
若 f(X) 为凸函数， gj(X) 为凹函数，则称该规划为凸规划。 凸规划的局部极值点即为全局极值点。
线性规划为凸规划。 2．下降算法的收敛性问题（定性分析）（略） 迭代法，一维搜索概念的引出
表4-1
n Fn
0 1
1 1
2 2
3 3
4 5
5 8
… …
Fn又称为斐波那契常数，其含义是经过n次计算后，区间 缩短率为1/Fn，采用斐波那契常数进行一维寻优称为斐波 那契法。用该法寻优收敛快。计算次数少，然而每步取 点繁琐，且各步缩短率不同。为此，引出黄金分割法。
§1 一维最优化方法 （8）
黄金分割法与斐波那契法思路完全相同，仅仅是在区间内 的取点方式简单化，现不加推导的引出该法的区间内取点 规则。
1．极小点、凸集及其关系
①极小点定义 i) 对于X* Q，如果存在一个 >0，使所有与X*的距离
小于 的X Q（即X Q，且|X－X*|<）都满足不等式
f(X)≥f(X*)，则称X*为f在Q上的一个相对极小点或局部极 小点。若对于所有X Q，X≠X*且与X*距离小于 ，有 f(X)>f(X*)，则称X*为f在Q上的一个严格相对极小点。
区间[a0，b1]中只需取点b2，使 a0 b2 0.382a0 b，便又可 1
进行下一步计算。该法每迭代一次，使区间缩小到原来 的0.618倍，故又称0.618法。
§1 一维最优化方法 （10）
二、其它有关方法概述
1．牛顿切线法 2．抛物线拟合法
05 第三章 第五节多维无约束优化问题
③计算 X
X
(1)
( k 1)
X
( 0)
(1)
X
( 0)
P
④计算 f ( x )
(1)
1 3 4 1 1 2
(1) (1) 2 x1 4 2 x2 0 (1) f ( x ) (1) (1) 0 2 x 4 x 1 2
f(x1,x2 )
定义:
n
2 x12 x2 f ( x1 , x2 ) 2 2 a1 a2
点集{ x E | f(x)=c，c为常数} 为目标函数f(x)的等高（值）线。
x2 x1
性质：
1、具有不同值的等高（值）线不相交；
2、等高（值）线稠密处，函数变化快；
等高（值）线稀疏处，函数变化慢；
当变量个数较多时，H 1 ( x ( k ) )计算工作 量较大。
适用于二阶连续可微的函数。 具有二阶收敛速度。 初始点选择需接近极小点，否则可能不 收敛。
§3.5 多维无约束优化问题
一、梯度法（最速下降法）
二、牛顿法
三、拟牛顿法（变尺度法、DFP法）
三、拟牛顿法（变尺度法、DFP法） 1、拟牛顿法算式来源
f ( x ) ( 0.58 (0.48) )
( 2) 2
2
2 2
0.5668 0.25
④第3次搜索 X
( 3)
X (3) X ( 2) 2f ( x ( 2) ) 2.44 0.582 2.44 0.582 1.16 0.482 1.16 0.482
将X
( 3)
代入 f ( x) 中去
( 3) 4 2
min f ( x ) (0.44 0.582 ) (0.12 1.542 )
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
H正定，f(x)为严格凸函数
无约束问题
极值存在的必要条件和充分条件
对于一元函数f(x)
极值存在
必要条件→f’(x)=0（稳定点）
充分条件→ f’(x)=0且 f”(x)>0
f ’’(x)<0
对n维函数 必要条件： f(x)在x*处一阶可导
f (x*) 0
充分条件 H(x*)正定，则x*为极小值，反之为极大值
已知单位体积的液相反应速率为
rA
dcA dt
2.0cA2
2.0cA20 (1
xA )2
原料A的单位成本
C1 4.0c1A.40
折旧、公用工程和其他费用
C2 0.4V 0.6
根据预测，市场只能提供物料A 600单位/h，
产品B的市场需求量FB不超过50 单位/h，产品 B的价格为C3=2000 元/单位。试确定物料A的 进料速度FA0、初始浓度CA0、反应器体积V和 转化率各取多大，才能使得该反应器在单位时
目标函数或约束条件中有非线性函数的规 划问题
非线性规划的最优解可能在其可行域中的任意 一点达到
不一定是全局最优解
背景 理论计算 相对于计算要求，计算能力仍十分有限
背景
为加快计算速度，必须明确各种方法的特点， 以针对不同问题选择最合适的方法
求解思路： 迭代 从一个选定的初始点x0出发，按照某种特定的
迭代规则产生一个点列{xk}
xk有穷点列：最后一个点为最优解 xk无穷点列：其中一个点为最优解
基本迭代格式
xk1 xk tk pk
xk Rn ：第k轮迭代点 xk1 Rn ：第k+1轮迭代点 tk：搜索步长 pk：迭代方向
基本概念
对于 f (x) : R En 存在ε>0，使
x x*
f (x) f (x*)
则称x*为R上的局部极小点，f(x*)称为局部极 小值
→严格局部极小点、严格局部极小值
基本概念
若对于任意x，有
f (x) f (x*)
则x*为R上的全局极小点， f(x*)为全局极小值 →严格全局极小点、严格全局极小值
凸函数 凸规划
凸集： 对于在集合中的每一对点x1和x2，连接两点所
例 求函数
f (x) 4 4.5x1 4x2 x12 2x22 2x1x2 x14 2x12 x2
的所有稳定点
解
f x1
4.5
2 x1
2 x2
4 x13
4 x1 x2
0
f
x2
4 4x2
2x1
2x12
0
解方程组得
x1 (1.941,3.854)T , x2 (1.053,1.028)T , x3 (0.6117,1.4929)T
•
o x1
x2 x
γx1+(1-γ)x2
凸函数 凸规划
非线性规划
min f (x) gi (x) 0
如f(x)和gi(x)都为凸函数，则称该规划问题为 凸规划
可以证明：f(x)的局部极小值也是全局最小值 理想情况
凸性和凹性的判定（一阶条件）
若f(x)有连续的一阶导数，则 f(x)为凸函数 对x1、x2 R，有f(x2)≥f(x1)+f(x1)T (x2-x1) f(x)为严格凸函数 对x1、x2 R，有f(x2)＞f(x1)+ f(x1)T (x2-x1)
形成的直线段上任一点 x x1 (1 x2 ) 0 1
都在此集合内，则该集合为凸集
凸函数 凸规划
凸函数 如果函数 f (x) F满足
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
则称f(x)为F上的凸函数 若
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
凸性和凹性的判定（二阶条件）
Hessian矩阵
H为对称矩阵
H (x) H 2 f (x)
x 0, xT Hx 0 H半正定
x 0, xT Hx 0 H正定
x 0, xT Hx 0 H半负定
x 0, xT Hx 0 H负定
部分x 0，xT Hx 0 H不定
例 判断下列函数的凹凸性（ x R） (a) f(x)=3x2 (b) f(x)=2x (c) f(x)=5x2 (d) f(x)=2x2-x3
试判断所得的稳定点是否为最优解
H
(
x1 )
2
f
(1.941,
解 (a) f”=6， 故f(x)为（严格）凸函数。 (b) f”=0，故f(x)既凸又凹 (c) f”=-10，故f(x)为（严格）凹函数 (d) f”=6-3x，故f(x)既不为凸也不为凹
对于多元函数，如何判断H是否正定？ 特征值
f(x) 严格凸函数
凸函数 凹函数 严格凹函数
H 正定 半正定 半负定 负定
第三章 最优化方法 运筹学
施鹏
cpse@ system
第三节 非线性规划
当要求容器的容积一定，求表面积最小，以使 用料最省。
min S 3πx12 2πx1 x2
x1
x2
s.t
2 3
πx13
πx12 x2
V
x1≥0，x2≥0
一连续反应器如图所示，进行如下反应
2A B
特征值 >0 ≥0 ≤0 <0
例 分析函数
f (x) 2x12 3x1x2 2x22
指出此函数属于哪种类型
f x1
4x1 3x2
f x2
3x1 4x2
2 f x12
4, 2 f x1x2
2 f x2x1
3
2 f x22
4
4 3
H
3பைடு நூலகம்
4
4 3
H E
0
3 4
1,7 0
间内的经济效益是最好的？
max z C3FB (C1FA0 C2 )
C3FB (4c1A.40FA0 0.4V 0.6 )
rA
dcA dt
2.0cA2 0 (1 xA )2
FA0cA0 rAV FA0cA0 (1 xA )
0.5FA0cA0 xA 50
FA0 600
非线性规划
则称f(x)为严格凸函数
凸函数 凸规划
y
y=f(x)
f (x1) (1 ) f (x2 ) f [ x1 (1 )x2 ]
o
• •
x1
x2 x
γ x1+(1-γ)x2
凸函数
凸函数 凸规划
y
f [ x1 (1 )x2 ] f (x1) (1 ) f (x2 )
• y=f(x)