非线性规划-无约束问题
合集下载
无约束问题的极值条件
⽆约束问题的极值条件
有时候，我们希望根据⼀定的条件找到优化问题的极值点；另外⼀些时候，我们得到若⼲候选解，希望判断候选解中哪些是真正的极值点。这其中涉及⾮线性规划的极值条件问题。所谓⾮线性规划的极值条件，是指⾮线性规划模型最优解所要满⾜的必要或充分条件。本⽂介绍⽆约束⾮线性规划问题的极值条件。
1. 极值点的必要条件和充分条件
⼀阶必要条件 设实值函数 在点 处可微，若是⽆约束优化问题 的局部极⼩点，则有
其中，表⽰函数 在点 处的梯度。
⼆阶必要条件 设实值函数在点处⼆阶可微，若是⽆约束优化问题 的局部极⼩点，则有
且
其中，表⽰函数 在点 处的梯度，表⽰函数 在点 处的海赛矩阵，表⽰矩阵是半正定的。
⼆阶充分条件 设实值函数在点处⼆阶可微，若 且 ，则为⽆约束问题的严格局部极⼩值。（注：需要海赛矩阵正定）
以上结论对⼀般函数成⽴。针对凸函数（海赛矩阵恒正定），有以下充要条件
充要条件 设为定义域上的可微凸函数，则为⽆约束问题的全局极⼩点的充要条件是。
2. 驻点性质判定
所谓驻点，即⼀阶导数值为0的点。如果函数在此点⼆阶可微，可利⽤该点处的海赛矩阵来判定驻点的性质。
假定为函数的驻点，并且该驻点处的海赛矩阵为，则有以下结论：
1. 若是正定的，则驻点为极⼩点（局部或全局）；
2. 若是负定的，则驻点为极⼤点（局部或全局）；
3. 若是不定的，则驻点为鞍点（即⾮极值点）；
4. 若是半定的（半正定或半负定），则驻点可能是极值点，也可能不是极值点，须视⾼阶导数性质⽽定。
第五小组_非线性规划-无约束极值问题
梯度法 共轭梯度法 变尺度法
三、具体例子
1 Minf(X), X∈En 2 选取初始点X(0)和精度ε>0 3 计算f(X(0)) 4 判断| f(X(0))|
2
f（x）=（x1-1）2+（x2-1）2，ε=0.1 取X(0)=(0,0)T 和 ε=0.1
f (x) = [2(x1-1),2(x2 -1)] ,f (x ) = (-2,-2) T ≤ε？ ||f (X(0）)||2 =( (-2)2 +(-2)2 )2 =8>e
是，则X(0）为近似最小点，停止迭代 否，则继续迭代
继续！
非线性规划：无约束极值问题
梯度法 共轭梯度法 变尺度法
三、具体例子
5 计算P(0)，H(X)和l(0) l(0)
6 计算X1= X(0)-l0 f (X(0))
X1 =(1,1)
T
7 判断| f(X(0))|
2
Biblioteka Baidu
≤ε？
是，则X(0）为近似最小点，停止迭代 否，则继续迭代
二、迭代法的基本步骤
给定初始点X(0) 确定搜索方向P(k) 从X(k)出发，沿方向P(k)求步长λk 得X(k+1)= X(k) +λkP(k) 检查X(k+1)是否为极小点或近似极小点 •若是，则停止迭代， •否则，令k=k+1，继续迭代
三、具体例子
1 Minf(X), X∈En 2 选取初始点X(0)和精度ε>0 3 计算f(X(0)) 4 判断| f(X(0))|
2
f（x）=（x1-1）2+（x2-1）2，ε=0.1 取X(0)=(0,0)T 和 ε=0.1
f (x) = [2(x1-1),2(x2 -1)] ,f (x ) = (-2,-2) T ≤ε？ ||f (X(0）)||2 =( (-2)2 +(-2)2 )2 =8>e
是，则X(0）为近似最小点，停止迭代 否，则继续迭代
继续！
非线性规划：无约束极值问题
梯度法 共轭梯度法 变尺度法
三、具体例子
5 计算P(0)，H(X)和l(0) l(0)
6 计算X1= X(0)-l0 f (X(0))
X1 =(1,1)
T
7 判断| f(X(0))|
2
Biblioteka Baidu
≤ε？
是，则X(0）为近似最小点，停止迭代 否，则继续迭代
二、迭代法的基本步骤
给定初始点X(0) 确定搜索方向P(k) 从X(k)出发，沿方向P(k)求步长λk 得X(k+1)= X(k) +λkP(k) 检查X(k+1)是否为极小点或近似极小点 •若是，则停止迭代， •否则，令k=k+1，继续迭代
6-3无约束非线性规划问题的求解
2 f ( x ) A,
因为A 正定，所以 2 f ( x ) A 0 ,
x
因此 x 是 f ( x ) 的极小点。
设 x ( 0 ) 是在某个等值面上的一点，d (1) 是 R n中的一个方向， x ( 0 )沿着 d (1) 以最优步长搜索得到点 x (1) 。 则 d (1)是点 x (1)所在等值面的切向量。
2 2 1 min f ( X ) 2 x x 例6-8 用最速下降法求解： ,2 初始点 X 0 1 1
1 精度 10 。
解 因为函数f(x)为二次函数，故可用上述公式计 算最佳步长k
4 x f ( X ) 1 2 x2
4 0 H(X ) 0 2
该等值面在点x(1) 处的法向量为
f ( x (1) ) A( x (1) x ) . 则 d (1) 与 f ( x (1) ) 正交，
x2
x ( 0)
d (1)
x
即 d (1)T f ( x(1) ) 0, 令 d ( 2) x x(1) ,
所以
d
( 2)
x (1 ) x1
( ) f ( x( k ) p( k ) )T p( k ) .
f ( x ( k ) k p( k ) ) min f ( x ( k ) p( k ) )
非线性-无约束规划
6 最优化问题的数值解 VS 解析解 最优化问题的数值解
1. 解析解与数值解 结构: x(k+1)= x(k)+αk d(k). ) 解析解与数值解(结构 结构 注意获得解析解的困难性。 注意获得解析解的困难性。 2、收敛性概念： 、收敛性概念： 考虑(fs)设迭代算法产生点列 设迭代算法产生点列{x 考虑 设迭代算法产生点列 (k)} x(k)} ⊆S. 1) 算法的理想收敛：设x*∈S是(fs)的最优解，如果 算法的理想收敛 理想收敛： 的最优解， ∈ 是 的最优解 x*∈{x(k)}，或者虽然 x(k) ≠ x*， 但是∀k，满足 ∈ ， ， 但是∀
1
* α α ，则φ( 1α> φ( 2); ) 2º 若 α1 ≥λ* ，则φ( 1) α <φ( 2). α 则称φ( )在 上强单峰。 则称 α在[α, β] 上强单峰。 α 若只有当φ( α) ≠φ( * α φ( 2) ≠φ( )， 1 则称φ( 在 α 上单峰。 立，则称 )在[α, β] 上单峰。
1.方向导数与梯度
1）方向导数 ） 位数量场u=u(M)中的一点 从点 0出发引一 中的一点, 设M0位数量场 中的一点 从点M 条射线l, 上点M 条射线 在l上点 0的附近取一动点 记 MM 0 = ρ 上点 的附近取一动点M, 如果 M → M 0 时，下列表达式的极限存在
∆u u(M ) − u(M 0 ) = ρ MM 0
第三章无约束非线性规划
的值越大，函数f ( x )在xk 处下降量越大。由Cauchy Schwartz 不等式：
T |gk d k | ||d k ||||gk || T 可知，当且仅当d k gk时，gk d k 最小， gk d k 最大，从而 T
gk 是最速下降方向。以-gk 为下降方向的方法叫最速下降法。
??kkkkbaff????若则停止计算否则当时转步??kkff?当时转步一维搜索黄金分割法11106180618kkkkkkabbbb?????????????a???????1kk??令转1111kkkka??????11111110382kkkkkkkkkkaababa????????????????????????functionxminfminhjfabepsformatlong
#
迭代算法
在大多数的算法中，k的选取是使f ( x)下降得最多，即沿射线 x ( k ) d ( k )求f ( x )的极小值，这是单变量的函数求极小点的问题， 称为一维搜索，也称为线搜索。
迭代的终止条件在不同的最优化方法中也是不同的。 理论上，根据最优性的一阶必要条件，以及算法的设 计思想，可以用
；
x1；
②若 f (a) f ( x1 ) 0，则令b= x ( 此时零点 x0 (a, x1 ) )； 1
③若 f ( x1 ) f (b) 0 ，则令a=
非线性-无约束规划
强单峰
α *
β
单峰
1. 精确一维搜索（假定求目标函数极小值）
设f(X)是目标函数，如果
a
* k
是在给定Xk和方向
矢量Pk下，通过f(x)=f(xk+akPk) 的极小化而产生
a* arg min f (xk a Pk )
k
ak
k
则称 ak* 为最优步长。
根据单变量的驻点条件:
df
(X
k ak dak
1º若2 ≤ * ，则φ( 1) > φ( 2);
2º若
1
≥λ*
，则φ(
1) <φ(
2).
则称φ( )在[α, β] 上强单峰。
若立只，有则当称φφ((1))在≠φ[α(,
* )， φ( 2) ≠φ(
β] 上单峰。
* )时， 上述1º, 2º式才成
α * 1 2 β
x y r
梯度, 记为Grad u. 如果用l 0 cosi cos j cos k表示l线
上的单位矢量,
则方向导数可以写成
u l
G
l0
|
G
|
cos(G,l0 )
梯度的性质：
1) 方向导数等于梯度在该方向的投影.即
u l
gradlu
2) 数量场u=u(M)中任一点M处的梯度, 垂直于过该点
α *
β
单峰
1. 精确一维搜索（假定求目标函数极小值）
设f(X)是目标函数，如果
a
* k
是在给定Xk和方向
矢量Pk下，通过f(x)=f(xk+akPk) 的极小化而产生
a* arg min f (xk a Pk )
k
ak
k
则称 ak* 为最优步长。
根据单变量的驻点条件:
df
(X
k ak dak
1º若2 ≤ * ，则φ( 1) > φ( 2);
2º若
1
≥λ*
，则φ(
1) <φ(
2).
则称φ( )在[α, β] 上强单峰。
若立只，有则当称φφ((1))在≠φ[α(,
* )， φ( 2) ≠φ(
β] 上单峰。
* )时， 上述1º, 2º式才成
α * 1 2 β
x y r
梯度, 记为Grad u. 如果用l 0 cosi cos j cos k表示l线
上的单位矢量,
则方向导数可以写成
u l
G
l0
|
G
|
cos(G,l0 )
梯度的性质：
1) 方向导数等于梯度在该方向的投影.即
u l
gradlu
2) 数量场u=u(M)中任一点M处的梯度, 垂直于过该点
非线性规划-无约束问题的最优化方法
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
一、基本思想
变
量
轮 换
法
认为最有利的搜索方向是各坐标轴的方向， 认为最有利的搜索方向是各坐标轴的方向，因此它轮流 按各坐标的方向搜索最优点。 按各坐标的方向搜索最优点。 过程：从某一个给定点出发，按第 个坐标轴 个坐标轴x 过程：从某一个给定点出发，按第i个坐标轴 i的方向搜 索时，假定有 个变量 则只有x 在变化，其余(n-1)个变量 个变量， 索时，假定有n个变量，则只有 i在变化，其余 个变量 都取给定点的值保持不变。这样依次从 做了n次单变 都取给定点的值保持不变。这样依次从x1到xn做了 次单变 量的一维搜索，完成了变量轮换法的一次迭代。 量的一维搜索，完成了变量轮换法的一次迭代。
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
一、基本思想
变
量
轮 换
法
认为最有利的搜索方向是各坐标轴的方向， 认为最有利的搜索方向是各坐标轴的方向，因此它轮流 按各坐标的方向搜索最优点。 按各坐标的方向搜索最优点。 过程：从某一个给定点出发，按第 个坐标轴 个坐标轴x 过程：从某一个给定点出发，按第i个坐标轴 i的方向搜 索时，假定有 个变量 则只有x 在变化，其余(n-1)个变量 个变量， 索时，假定有n个变量，则只有 i在变化，其余 个变量 都取给定点的值保持不变。这样依次从 做了n次单变 都取给定点的值保持不变。这样依次从x1到xn做了 次单变 量的一维搜索，完成了变量轮换法的一次迭代。 量的一维搜索，完成了变量轮换法的一次迭代。
无约束非线性规划
练习
1. 用0.618法求 min ex x2在（0，1）上的极小点，
精度 取0.03.
2. 用牛顿法求 min x4 4x3 6x2 16x 4分别 取初始点x(0) =2.5和x(0) =3
第三节：最速下降法和共轭梯度法
求解无约束非线性规划问题的迭代算法包含两个关键步骤， 得到迭代点x (k)后： (1) 如何选择搜索方向d(k)？ (2) 在选定的搜索方向上，如何进行一维搜索？（已介绍）
黄金分割法也是建立在区间消去法原理基础上的试探方法。 在搜索区间[a,b]内适当插入两点1,2，将区间分成三段； 利用区间消去法，使搜索区间缩小，通过迭代计算，使搜索 区间无限缩小，从而得到极小点的数值近似解
1 2 将区间分成三段
2 1 5 1 0.618
2 黄金分割法还要求在保留下来的区间内再插入一点所形成 的区间新三段，与原来区间的三段具有相同的比例分布
2 -0.236 0.236 0.528 1 -1.125 < -0.970 3 -0.236 0.056 0.236 0.528 -1.050 > -1.125
4 0.056 0.236 0.348 0.528 -1.125 < -1.106
5 0.056 0.168 0.236 0.348 -1.112 > -1.125 6 0.168 0.236 0.279 0.348 -1.125 < -1.123
第二章__无约束非线性规划[1]
![第二章__无约束非线性规划[1]](https://img.taocdn.com/s3/m/d94279aec77da26925c5b093.png)
f ( x * ) f ( x), x X, x x *
则称 x 是的严格整体最优解或严格整体极小点，称 f ( x * ) 是的严格整体最优值或严格整体极小值。
*
最优解和极小点
* x 定义 2.1.2 对于非线性规划，若 X ，并且存在 x * 的一
* n * N ( x ) x R x x ( 0, R) ，使 个领域
通 常 情 况 下 ， 目 标 函 数 f(x) 和 约 束 条 件 hi(X)和gi(X)为自变量Ｘ的非线性函数
非线性规划
g ( x) 0, i 1,..., p 约束集或可行域 n i X x R h j ( x) 0, j 1,...,q
f ( x1,0) f (0,0) f (0, x2 )
故驻点（０，０）不是极值点，而是一个鞍点
极值存在的条件
例3 试求函数f(x1,x2)=2x12-8x1+2x2２-4x2+20的 极值和极值点． 解：令
f ( x1 , x2 ) 4 x1 8 0 x1 f ( x1 , x2 ) 4 x2 4 0 x2
得（2,1）点为驻点
2 f ( x1 , x2 ) 4 0, 2 x1 2 f ( x1 , x2 ) 4 2 x2 2 f ( x1 , x2 ) 2 f ( x1 , x2 ) 0 x1x2 x1x2
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
轾犏0 轾犏0 轾犏0 x(3) + l e3 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌3 犏臌1 犏臌3 + l
( ) f x(3) + l e3 = (l + 3)2
fl' = 0 ? l 3 - 3 轾犏0
( ) x(4) = x(3) + l 3e3 = 犏犏0 ? f x(4) 0 犏臌0
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
轾犏0 轾犏0 轾犏0 x(3) + l e3 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌3 犏臌1 犏臌3 + l
( ) f x(3) + l e3 = (l + 3)2
fl' = 0 ? l 3 - 3 轾犏0
( ) x(4) = x(3) + l 3e3 = 犏犏0 ? f x(4) 0 犏臌0
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
无约束最优化和非线性规划
是半正定的.
定理4 (二阶充分条件)设 f 在点 X * ∈ E n 二阶可微,如果f ( X * ) = 0
* 且Hessian矩阵 H ( X ) 是正定的,则 X * 是问题的严格局部 最优解. 定理5 (充要条件)设 f 是E n上的凸函数, * ∈ E n 则 X * 为全局 X
极值点的充要条件是 f ( X * ) = 0 .若 f 是严格凸函数, 则全局极值点是唯一的. 解法 1.搜索法
特别若 f ( X ) 为二次函数 f ( X ) =
2 f x1x2 2 f 2 x2 2 f xn x2
2 f x1xn 2 f x2 xn 2 f 2 xn
的二阶偏导数矩阵. 为函数 f ( X ) 的二阶偏导数矩阵
1 T X AX + B T X + C 时,其 2
det A = 0 ≤ 0, i为奇数 Ai ≥ 0, i为偶数 i = 1,2,3, , n
i = 1,2,3, , n
不定矩阵
特征值既有大于零又有小于零的实 对称矩阵
有两个奇数阶主子式, 其中一个为正,另一个 为负
其中
Ai
为各阶主子式.
3.无约束最优化问题的解 无约束最优化问题的解
min f ( X ), 其中f : E n → E 1 考虑无约束最优化问题: 考虑无约束最优化问题: n
MATLAB非线性规划问题
封面
作者：PanHongliang
仅供个人学习
一．非线性规划课题
实例1 表面积为36平方M的最大长方体体积.
建立数学模型：
设x、y、z分别为长方体的三个棱长，f为长方体体积.
max f = x y (36-2 x y)/2 (x+y)
实例2 投资决策问题
某公司准备用5000万元用于A、B两个工程的投资，设x1、x2分别表示配给工程A、B的投资.预计工程A、B的年收益分别为20%和16%.同时，投资后总的风险损失将随着总投资和单位投资的增加而增加，已知总的风险损失为2x12+x22+(x1+x2)2.问应如何分配资金，才能使期望的收益最大，同时使风险损失为最小.
建立数学模型：
max f=20x1+16x2-λ[2x12+x22+(x1+x2)2]
s.t x1+x2≤5000
x 1≥0,x2≥0
目标函数中的λ≥0是权重系数.
由以上实例去掉实际背景，其目标函数与约束条件至少有一处是非线性的，称其为非线性问题.
非线性规划问题可分为无约束问题和有约束问题.实例1为无约束问题，实例2为有约束问题.
二．无约束非线性规划问题：
求解无约束最优化问题的方法主要有两类：直接搜索法(Search method)和梯度法(Gradient method)，单变量用fminbnd,fminsearch,fminunc。多变量用fminsearch,fminnuc 1．fminunc函数
调用格式：x=fminunc(fun,x0)
x=fminunc(fun,x0,options)
x=fminunc(fun,x0,options,P1,P2)
09非线性规划：无约束极值问题
k
X
k +1
=X +k P
k
k
其中P 称为搜索方向，k 称为步长
无约束极值问题的解法
一、梯度法(最速下降法):选择负梯度方向为搜索方向
将f ( X k 1 )在X k点处进行多元泰勒展开： f ( X k 1 ) f ( X k P k ) f ( X k ) f ( X k )T P k o( ) 对充分小的，只要f ( X k )T P k 0 即可保证f ( X k 1 ) f ( X k ) f ( X k )T P k || f ( X k )T || || P k || cos 当 =180即P k 与f ( X k )反向时，f ( X k )T P k 0且最小 称P k f ( X k )为负梯度方向，它是函数值下降最快的方向
说明f ( X)在极值点X*附近, 近似于一个二次函数。
特别：对二元正定二次函数，可证明：在极值点附近，其等高线可近似视为同心 椭园族，而同心椭园族的任意两根平行切线的切点连线必通过椭园中心。
( g 10 ) ( || G ( 0 ) || 0.93 e10 ) G (0) (0) b.计算该梯度的单位方向 E ( 0 ) : (0) (0) e 2 || G || g 2 0.37 (0) || G || 0.93 c.以E( 0 )的反方向 ( 0 ) E( 0 ) P 为一维搜索方向 0.37 在此方向上寻找最优步 h ( 0 )使得 : 长 J (h ( 0 ) ) f ( X ( 0 ) h ( 0 ) P ( 0 ) ) Min f ( X ( 0 ) h P ( 0 ) ) Min f (0.93h,0.37h ) h h dJ (h ) 0.6577h 2 10.78h 60 令 0, 得h ( 0 ) 8.21946 dh 7.63 d.求得新点X(1) X( 0 ) h ( 0 ) P ( 0 ) 3.05 (1) 出发，照此进行下去，直至满足给定的精度 =0.1 为止 ②从点 X |f(X(k+1)) -f(X(k))|＜0.1 或 ||G(k) ||＜0.1
X
k +1
=X +k P
k
k
其中P 称为搜索方向，k 称为步长
无约束极值问题的解法
一、梯度法(最速下降法):选择负梯度方向为搜索方向
将f ( X k 1 )在X k点处进行多元泰勒展开： f ( X k 1 ) f ( X k P k ) f ( X k ) f ( X k )T P k o( ) 对充分小的，只要f ( X k )T P k 0 即可保证f ( X k 1 ) f ( X k ) f ( X k )T P k || f ( X k )T || || P k || cos 当 =180即P k 与f ( X k )反向时，f ( X k )T P k 0且最小 称P k f ( X k )为负梯度方向，它是函数值下降最快的方向
说明f ( X)在极值点X*附近, 近似于一个二次函数。
特别：对二元正定二次函数，可证明：在极值点附近，其等高线可近似视为同心 椭园族，而同心椭园族的任意两根平行切线的切点连线必通过椭园中心。
( g 10 ) ( || G ( 0 ) || 0.93 e10 ) G (0) (0) b.计算该梯度的单位方向 E ( 0 ) : (0) (0) e 2 || G || g 2 0.37 (0) || G || 0.93 c.以E( 0 )的反方向 ( 0 ) E( 0 ) P 为一维搜索方向 0.37 在此方向上寻找最优步 h ( 0 )使得 : 长 J (h ( 0 ) ) f ( X ( 0 ) h ( 0 ) P ( 0 ) ) Min f ( X ( 0 ) h P ( 0 ) ) Min f (0.93h,0.37h ) h h dJ (h ) 0.6577h 2 10.78h 60 令 0, 得h ( 0 ) 8.21946 dh 7.63 d.求得新点X(1) X( 0 ) h ( 0 ) P ( 0 ) 3.05 (1) 出发，照此进行下去，直至满足给定的精度 =0.1 为止 ②从点 X |f(X(k+1)) -f(X(k))|＜0.1 或 ||G(k) ||＜0.1
第4讲无约束优化与非线性规划
14
定义1 把满足问题（1）中条件的解 X ( En)称为可行解（或可行
点），所有可行点的集合称为可行集（或可行域）．记为D．即
D X |g i X 0 , h j X 0 , X E n问题(1)可简记为
minfX．
XD
定义2 对于问题(1)，设 X* D，若存在 0 ,使得对一切
XD，且 X X* ，都有 fX*fX，则称X*是f(X)在D上的
局部极小值点（局部最优解）．特别地当X X* 时， fX*f，X
则称X*是f(X)在D上的严格局部极小值点（严格局部最优解）．
定义3 对于问题(1),设 X* D ,对任意的XD,都有 fX*fX
则称X*是f(X)在D上的全局极小值点（全局最优解）．特别地当
[1] fminunc为无约束优化提供了大型优化和中型优化算法。 由options中的参数LargeScale控制：
LargeScale=’on’(默认值),使用大型算法 LargeScale=’off’(默认值),使用中型算法 [2] fminunc为中型优化算法的搜索方向提供了4种算法，由 options中的参数HessUpdate控制： HessUpdate=’bfgs’（默认值），拟牛顿法的BFGS公式； HessUpdate=’dfp’，拟牛顿法的DFP公式； HessUpdate=’steepdesc’，最速下降法 [3] fminunc为中型优化算法的步长一维搜索提供了两种算法， 由options中参数LineSearchType控制 LineSearchType=’quadcubic’(缺省值)，混合的二次和 三次多项式插值； LineSearchType=’cubicpoly’，三次多项式插值
e第六章 非线性规划-无约束极值
A) ▽f(X*)·d≥0 B) ▽f(X*)· d=0，则必有dT· ▽2 f(X*)·d≥0
▽2 f( X)表示f( X)的第二阶梯度或二阶导数，又称Hess或海 森阵，亦可用H或F表示。
§3 解和算法的基本性质 （5）
命题3 （二阶必要条件 ——无约束情况）：设X*是集合 的内点，且X*是函数f(X)C2在上一个相对极小点。则：
§1 一维最优化方法 （2）
一、斐波那契法与黄金分割法的基本思路
1 ．非线性规性的所有求解方法在理论上都是寻找出局 部极值点，即所搜寻区域是单峰函数。当然，作为一维 搜索方法的斐波那契法与黄金分割法亦不例外。然而， 这两种方法的寻优途径不是直接找出最优点，而是不断 缩小最优点所处区域，直到符合精度为止。这两种方法 的主要特点为：
§3 解和算法的基本性质 （4）
命题1 （一阶必要条件）：设是En子集，f(X) C1(C1表 明存在一阶导数)是上函数，若X*是f( X)在上一个相对 极小点，则对于任一 X*的可行方向dEn必有▽f(X*)· d≥0。 （其中，▽f(X*)表示函数f( X)的一阶梯度或导数）
命题2 （二阶必要条件——有约束情况）：设是En的一 个子集，且f( X) Ｃ2（Ｃ2表明存在二阶导数）是上的一 个函数。若X*是f( X)在上的一个相对极小点。则对于任 一X*处的可行方向dＥn有：
表4-1
n Fn
▽2 f( X)表示f( X)的第二阶梯度或二阶导数，又称Hess或海 森阵，亦可用H或F表示。
§3 解和算法的基本性质 （5）
命题3 （二阶必要条件 ——无约束情况）：设X*是集合 的内点，且X*是函数f(X)C2在上一个相对极小点。则：
§1 一维最优化方法 （2）
一、斐波那契法与黄金分割法的基本思路
1 ．非线性规性的所有求解方法在理论上都是寻找出局 部极值点，即所搜寻区域是单峰函数。当然，作为一维 搜索方法的斐波那契法与黄金分割法亦不例外。然而， 这两种方法的寻优途径不是直接找出最优点，而是不断 缩小最优点所处区域，直到符合精度为止。这两种方法 的主要特点为：
§3 解和算法的基本性质 （4）
命题1 （一阶必要条件）：设是En子集，f(X) C1(C1表 明存在一阶导数)是上函数，若X*是f( X)在上一个相对 极小点，则对于任一 X*的可行方向dEn必有▽f(X*)· d≥0。 （其中，▽f(X*)表示函数f( X)的一阶梯度或导数）
命题2 （二阶必要条件——有约束情况）：设是En的一 个子集，且f( X) Ｃ2（Ｃ2表明存在二阶导数）是上的一 个函数。若X*是f( X)在上的一个相对极小点。则对于任 一X*处的可行方向dＥn有：
表4-1
n Fn
第三章非线性规划无约束问题的最优化方法
f x 1 4x1 2x2 , 2 f x 4 2
1 2x1 2x2
22
f x0
1 ,
1
2f x0
42 22
1
2f x0
11 22 11 2
第三节 牛顿法
构造牛顿方向：
1
p0
2f x0
f x0
11 2 21
1
11 2
1
3 2
从x(0)出发，沿牛顿方向做一维搜索，令步长变量为l，最优步长为l0
x0
p0 0
1 ,
x0
0 ,
f x0
2 ,
2 x2 1
0
2
p0
ห้องสมุดไป่ตู้
f x0
2
2
f x0
8
H x0
2f x
20 02
求最佳步长l0
f x0 T f x0
1
0
f
x0
T
H
x0
f x0
2
第二节 最速下降法
则：
x1 x0
0 f x0
f x1
0
0.01
x* x 1 1 1
0 12 1 0 22 1
第二节 最速下降法
三、最速下降法的锯齿现象
1 11
e1 2 3
02 03
f x 1 e1 3 1 2 2 22 32 3 1 2 17
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f ( x) 2 x 3x1 x2 2 x
2 1
2 2
f f 4 x1 3x2 3x1 4 x2 x1 x2
f f f 4, 3 2 x1 x1x2 x2 x1
2 2 2
f 4 2 x2
2
4 3 H 3 4
第二次搜索 计算试算点
x(2,1) a1 0.382(b1 a1 ) 1 0.382(1.472 1) 0.055696 ( x(2,1) ) ( x(2,2) )
确定下一轮搜索区间
a2 x(2,1) 0.055696, x(3,1) x(2,2) 0.528 b2 b1 1.472
当 ' a a ; b t ; t f (t1 ) f (t2 ) 1 0 1 2 2 t1 F( n 2) ' t1 b1 (b1 a1 ) F( n 1)
区间变为[a0, t2]
反之 f (t1 ) f (t2 )
a1 t1 ; b1 b0 ; t1' t2 t a1
最速下降法 共轭梯度法
牛顿法 拟牛顿法*
无约束问题
一维搜索法
xk 1 xk tk pk
步长tk的选定是由使目标函数值沿搜索方向 下降最多为依据的，因此这一工作变成了求 解以tk为变量的一元函数，故得名一维搜索 法。
适用于某些不能求得一阶导数解析解的问题
n x 如求最小回流比 i j Di R min 1 i 1 ij 其中ij：组分i对组分j的相对挥发度
0.5 FA0 cA0 xA 50
FA0 600
dcA 2 2 rA 2.0cA0 (1 xA ) dt
非线性规划
目标函数或约束条件中有非线性函
数的规划问题
非线性规划的最优解可能在其可行域中的任
意一点达到
不一定是全局最优解
背景
理论计算
相对于计算要求，计算能力仍十分有限
A的进料速度FA0、初始浓度CA0、反应器体积
V和转化率各取多大，才能使得该反应器在单
位时间内的经济效益是最好的？
max z C3 FB (C1FA0 C2 ) C3 FB (4c FA0 0.4V )
1.4 A0 0.6
FA0 cA0 rAV FA0 cA0 (1 xA )
以0.618作为固定的区间缩短率代替斐波那 契法不同的缩短率，就得到了0.618法 实施更为容易
t1 (1 ) L 0.382 L
t2 L 0.618L, 为t1的对称点。
计算步骤 选取初始区间[a0, b0]
t1 a0 (1 )(b0 a0 ) a0 0.382(b0 a0 ) t2 a0 (b0 a0 ) a0 0.618(b0 a0 )
背景
为加快计算速度，必须明确各种方法的特点，
以针对不同问题选择最合适的方法
求解思路：
迭代
从一个选定的初始点x0出发，按照某种特定
的迭代规则产生一个点列{xk}
xk有穷点列：最后一个点为最优解 xk无穷点列：其中一个点为最优解
基本迭代格式
n
xk 1 xk tk pk
比较得，
第一次搜索 选取两个初始试算点
( x(1,1) ) ( x(1,2) )
可以得到下一次搜索区间
a1 1, b1 x(1,2) 1.472, x(2,2) x(1,1) 0.528
( x(2,2) ) ( x(1,1) ) 1.75078
xk R ：第k轮迭代点 xk 1 Rn ：第k+1轮迭代点 tk：搜索步长 pk：迭代方向
基本概念
f ( x ) : R En
对于 存在ε>0，使
x x* f ( x ) f ( x* )
则称x*为R上的局部极小点，f(x*)称为局部 极小值 →严格局部极小点、严格局部极小值
数列{Fn}为斐波那契数列
Fn 1 Fn
斐波那契分数
n Fn n Fn
0 1 6 13
1 1 7 21
2 2 8 34
3 3 9 55
4 5 10 89
5 8 11 144
计算步骤 选取初始数据，确定单峰区间[a0, b0] 根据缩短率计算Fn，再确定最小n值 计算初值t1和t2，计算f(t1)、f(t2)
f(x2)＝f(x1)： a.去掉[x1,b0]，此时x*[a0,x1] b.去掉[a0,x2]，此时x*[x2,b0]
f(x)
wenku.baidu.com
o a0 x2 x*
x1 b x
x1,x2
0 * 在x 的两侧
斐波那契（Fibonacci）法
斐波那契数列
F0 F1 1 Fn Fn 2 Fn 1 , n 2,3,,
基本概念
若对于任意x，有 f ( x ) f ( x* ) 则x*为R上的全局极小点， f(x*)为全局极小 值 →严格全局极小点、严格全局极小值
凸性和凹性的判定（二阶条件）
Hessian矩阵
T T T T
H ( x) H f ( x)
2
x 0, x Hx 0 H 半正定 x 0, x Hx 0 H 正定 x 0, x Hx 0 H 负定 x 0, x Hx 0 H 半负定
H E
4 3
3 4
0
1,7 0
H正定，f(x)为严格凸函数
无约束问题
极值存在的必要条件和充分条件 对于一元函数f(x) 极值存在 必要条件→f’(x)=0（稳定点） f”(x)>0 充分条件→ f’(x)=0且 f”(x)<0
对n维函数 必要条件： f(x)在x*处一阶可导 充分条件 H(x*)正定，则x*为极小值，反之为极大值
解方程组得
x1 (1.941,3.854)T , x2 (1.053,1.028)T , x3 (0.6117,1.4929)
T
试判断所得的稳定点是否为最优解 31.794 9.764 2 H ( x1 ) f (1.941,3.854) 9.764 4
f ( x ) 0
*
例 求函数 2 f ( x) 4 4.5 x1 4 x2 x12 2 x2 2 x1 x2 x14 2 x12 x2
的所有稳定点
解
f 3 4.5 2 x 2 x 4 x 1 2 1 4 x1 x2 0 x 1 f 4 4 x 2 x 2 x 2 0 2 1 1 x2
一维搜索法（消去法）
f(x2)＜f(x1)，去掉[x1,b0]，此时x*[a0,x1]
f(x)
o
a0
x* x2 x1 b0 x x1,x2 在x*的右侧
一维搜索法（消去法）
f(x2)＞f(x1)，去掉[a0,x2]，此时x*[x2,b0]
f(x)
o a0 x2 x1 x*
b0 x
x1,x2 在x*的左侧
xDi：塔顶产品中i组分的组成 ：由Underwood公式确定
i j xFi 1 q i 1 ij
n
用经典的微分 方法很难求解
一维搜索法（消去法）
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
原料A的单位成本
dcA 2 2 2 rA 2.0cA 2.0cA0 (1 xA ) dt
C1 4.0c
1.4 A0
折旧、公用工程和其他费用
C2 0.4V
0.6
根据预测，市场只能提供物料A 600单位/h， 产品B的市场需求量FB不超过50 单位/h，产
品B的价格为C3=2000 元/单位。试确定物料
' 2
F( n 2) F( n 1)
(b1 a1 )
区间变为[t1, b0]
确定n个搜索点以后，每次的区间缩短率为
Fn1 Fn2 Fn3 , , , Fn Fn1 Fn2
F1 , F2
n次计算能得到的区间长度比为
要使精度够大，即
1 Fn
Fn
1
δ ：区间缩短的相对精度
如果至某一步
1 t1 t2 (a b) 2
则可令
1 t2 (a b) 2 t a ( 1 )(b a ) 1 2
0.618法
可以证明对于斐波那契数列，其奇数项和偶 数项都各自收敛于同一极限，该极限值等于
5 1 0.618033988 2
第三章 最优化方法 运筹学
施鹏
第三节 非线性规划
当要求容器的容积一定，求表面积最小，以 使用料最省。
min S 3πx12 2πx1 x2
x1 x2
s.t
2 3 πx1 πx12 x2 V 3
x1≥0，x2≥0
一连续反应器如图所示，进行如下反应
2A B
已知单位体积的液相反应速率为
2
设初始区间为a0=-1.0，b0=3.0，要求剩余 区间长度不大于0.1 解 本例可以通过解析法求得精确解
x 0.5, ( x ) 1.75
* *
x(1,1) a0 0.382(b0 a0 ) 0.528, ( x(1,1) ) 1.75078 x(1,2) a0 0.618(b0 a0 ) 1.472, ( x(1,2) ) 2.69478
1.941，3.854
f(x)
0.9855
特征值
37.03 0.97
局部极小点
-1.053，1.028
0.6117，1.4929
-0.5134
2.8300
10.50
7.0
3.50
-2.56
（全局）极小点
鞍点
主要方法
Fibonacci法 一维搜索法 多项式近似 0.618法 二次插值法 三次插值法 一阶导数 求导数方法 二阶导数
H为对称矩阵
部分x 0，x Hx 0 H 不定
T
多元函数，如何判断H是否正定？
特征值
f(x)
严格凸函数 凸函数 凹函数 严格凹函数 既凸又凹 非凸非凹
H
正定 半正定 半负定 负定 （线性函数）
特征值 >0 ≥0 ≤0 <0 =0 >0,<0
例 分析函数
指出此函数属于哪种类型
t’2
b
1
搜索n个点后的 区间长度缩短为 (b0 a0 ) n1 (b0 a0 )0.618n1
或者说，迭代k次以后的区间长度变为 即 已知搜索的相对精度，迭代次数满足
(b0 a0 )0.618
0.618
k
k
例 用0.618法求
min ( x) x x 2
f(t1)<f(t2)，取[a1=a0, b1=t2] t’2=t1 t’1=a1+0.382(b1-a1) f(t1)＞f(t2)，取[a1=t1, b1=b0] t’2=a1+ 0.618(b1-a1) a0 t’1=t2
a1
L
t1 t’1
L
t2
b
1
b
0
t’2
a1
t’1
( x(3,1) ) ( x(2,2) ) 1.75078
迭代 次数
ak-1
-1 -1
bk-1
3 1.472
x(k,1)
0.528 0.05569 6 0.528 0.30495 6 0.528 0.4427
x(k,2)
1.472 0.528
11.194 2.212 H ( x2 ) f (1.053,1.028) 2.212 4
2
0.519 4.447 H ( x3 ) f (0.6117,1.4929) 4.447 4
2
求得各点的H特征值和稳定点类型如下： 稳定点