10《运筹学》(第四版)非线性规划无约束优化
合集下载
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
非线性约束优化.ppt
gi (X *)T Y 0, i 1, 2,..., I
例４２求解不等式约束问题的K-T点，并判断是否为局部极小
例min s.t.
f ( X )(x11)2 x22 g1( X )x1 x22 / 5
解： L( X , ) (x1 1)2 x22 {x1 x22 / 5}
f x1
构造拉日函数：L(X ,, ) f (x)
m i1
i*
gi
(
X
)
l i1
i
hi
(
X
)
如果x*----l.opt. 那么，u*i≥0, 使得
１）驻点条件：f (x)
m i 1
i*gi
(
X
*
)
l j 1
jhj
(
X
*)
0
２）互补条件：
３）非负条件： ui* 0 i 1, 2, , m ４）不等式约束：gi (x) 0 i 1, 2, , m
j 1, 2,..., l
P( X , M k ) f ( X ) (M k , g( X ), h( X ))
m
l
f ( X ) M k { [min(0, gi ( X ))]2 [(hj ( X ))]2}
i 1
j 1
这里(M k , g( X ), h( X ))是惩罚项：M k CM k1
2L( X *, * )
x12
2x2*
41*
4
2L( X *, * )
x1 x2
2x1*
21*
2
2L( X *, * )
x22
0
h1
(
Xx1*) Nhomakorabea4x1*
例４２求解不等式约束问题的K-T点，并判断是否为局部极小
例min s.t.
f ( X )(x11)2 x22 g1( X )x1 x22 / 5
解： L( X , ) (x1 1)2 x22 {x1 x22 / 5}
f x1
构造拉日函数：L(X ,, ) f (x)
m i1
i*
gi
(
X
)
l i1
i
hi
(
X
)
如果x*----l.opt. 那么，u*i≥0, 使得
１）驻点条件：f (x)
m i 1
i*gi
(
X
*
)
l j 1
jhj
(
X
*)
0
２）互补条件：
３）非负条件： ui* 0 i 1, 2, , m ４）不等式约束：gi (x) 0 i 1, 2, , m
j 1, 2,..., l
P( X , M k ) f ( X ) (M k , g( X ), h( X ))
m
l
f ( X ) M k { [min(0, gi ( X ))]2 [(hj ( X ))]2}
i 1
j 1
这里(M k , g( X ), h( X ))是惩罚项：M k CM k1
2L( X *, * )
x12
2x2*
41*
4
2L( X *, * )
x1 x2
2x1*
21*
2
2L( X *, * )
x22
0
h1
(
Xx1*) Nhomakorabea4x1*
运筹学与最优化方法 第5章无约束最优化PPT课件
注意： f(x) ≥f(x*)+ ▽Tf(x*)(x-x*), x. 故 f(x*) ≤f(x)， x. （ 由于▽Tf(x*) =0）
5.2 最速下降法
在迭代点 x(k) 取方向 d(k)= －▽f(x(k) )
精确一维搜索
最 速 下降法：梯度方向函数值变化最快的方
向
3
第五章 无约束最优化
5.2 最速下降法（续）
5
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
x(i+1)=x(i)+αid(i) , i=1,2, …,k
求得λk , x(k+1)=x(k)+λkd(k)
特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负方 向搜索，但可能出现± d(k)均非下降方向的情况。
8
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(3)Goldstein-Price方法(G-P法)：
主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程组，计算量大
7
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个
5.2 最速下降法
在迭代点 x(k) 取方向 d(k)= －▽f(x(k) )
精确一维搜索
最 速 下降法：梯度方向函数值变化最快的方
向
3
第五章 无约束最优化
5.2 最速下降法（续）
5
第五章 无约束最优化
Newton法： （续）
当▽2f(x(k)) 正定时，有极小点：
x(k+1)=x(k)-[▽2f(x(k)) ]-1 ▽f(x(k))
——Newton迭代公式
实用中常用 ▽2f(x(k)) S= -▽f(x(k)) 解得s(k)
x(k+1)=x(k)+s(k)
k=k+1
x(1), ε >0, k=1
x(i+1)=x(i)+αid(i) , i=1,2, …,k
求得λk , x(k+1)=x(k)+λkd(k)
特点：可改善局部收敛性，当d(k)为函数上升方向时，可向负方 向搜索，但可能出现± d(k)均非下降方向的情况。
8
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： （续）
(3)Goldstein-Price方法(G-P法)：
主要缺点： (1)局部收敛 (2)用到二阶Hesse阵，且要求正定 (3)需计算Hesse阵逆或解n阶线性方程组，计算量大
7
第五章 无约束最优化
5.3 Newton法及其修正 二、 Newton法的改进： (1)为减小工作量，取m（正整数），使每m次迭代使用同一个
非线性规划-无约束问题的最优化方法
k+ 1 k
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
求解非线性无约束优化问题的两种方法的分析
垫墼兰￡望叁兰堑圭兰垒篁塞１第一章预备知识§１．１共轭梯度方法§１．１．１引言共轭梯度法足最优化中最常用的方法之一。
它具有算法简便，存储需求小等优点，十分适合于大规模优化问题．在石油勘探，大气模拟，航天航空等领域出现的特大规模的优化问题是常常利用共轭梯度法求解。
在所有需要计算导数的优化方法中，最速下降是最简单的，但它速度太慢。
拟牛顿方法收敛速度很快，被广泛认为是非线性规划的最有效的方法。
但拟牛顿法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解诸如上述问题等一些大规模问题几乎是不太可能办到的，共轭梯度法在算法的简便性，所需存储量等方面均与最速下降法差别不大，而收敛速度比最速下降法要快。
非线性共轭梯度法的收敛性分析的早期工作主要由Ｆｌｅｔｃｈｅｒ，Ｐｏｗｅｌｌ，Ｂｅａｌｅ等学者给出的，近年来，Ｎｏｃｅｄａｌ，Ｇｉｌｂｅｒｔ，Ｎａｚａｒｅｔｈ等学者在收敛性方面得到了不少的结果，使得共轭梯度法的研究由又热了起来．我国的学者也在共轭梯度法的理论研究中也取得了一定的成绩。
例如中科院应用数学所的韩继业，戴口等．§１．１．２共轭方向法共轭梯度法最本质的是共轭性质，共轭性是正交的一种推广。
定义１．１．２．１：设Ｗ∈咿×ｎ对称正定，ｄｌ，ｄ２，…，ｄ。
是咿中的一组非零向量，如果盯Ａｄｊ＝０，（ｉ≠Ｊ）．（１．１）则称ｄ１，ｄ２，…，ｄ。
是相互Ａ一共轭。
显然可见，如果ｄｌ，ｄ２，…，ｄ。
相互Ａ一共轭，则它们是线性无关的。
设Ｊ是单位阵则知，一共轭就是正交。
一般共轭方向法步骤如下：算法１．１．２．１：（一般共轭方向法）给出∞＋的初始点Ｘｌ，步ｌ：计算ｇｌ＝ｇ（Ｘ１）．步２：计算ｄｌ，使（ｆ｛’９ｌ＜０．步３：令女＝１．步４：计算口ｋ和Ｘｋ＋１，使得ｆ（ｘｋ－Ｆ‘１ｋｄｋ）。
Ｉ。
ｊ１１，‰十“呶），Ｘｋ＋１＝Ｘｋ＋ｖ。
ｋｄｋ．步５：计算以＋ｌ使得ｄ矗１Ｇｄｊ＝０，Ｊ＝１，２，…ｋ．步６：令ｋ：＝ｋ＋１，转步４．共轭方向法的一个基本性质是：只要执行精确线性搜索，就能得到二次终止性，这就足下面的共轭方向法基本定理。
第三章 非线性规划无约束问题的最优化方法.ppt
能源与动力工程学院
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
College of Energy and Power Engineering
研究生课程《工程数学》之“最优化方法”
第三章 无约束问题的最优化方法
第三章 无约束问题的最优化方法
第一节 第二节 第三节 第四节
变量轮换法 最速下降法 牛顿法 共轭梯度法
本章主要介绍构造无约束问题(多维)搜索方向的方法。这些方 法大致可分为两类：
第二节 最 速 下 降 法
因为 x(1) - x(4) > 0.01 ，故以x(4)点作为新的x(1) ，进行新一轮迭代。
x(1) = x(4) = (0,0,0)T
轾犏0 轾犏1 轾犏l x(1) + l e1 = 犏犏0 + l 犏犏0 = 犏犏0
犏臌0 犏臌0 犏臌0
( ) f x(1) = 3l 2
式中f(x)具有一阶连续偏导数，有极小点x*。 若现已求得x*的第k次近似值x(k)，为了求得第k+1次近似值x(k+1) ，需选定方向p(k)。 p(k)有什么特征呢？
令 x(k) + l p(k) = x ，其中 l > 0, p(k) = 1. p(k)为某个下降方向。
变量轮换法
min f (x)= 3x12 + 2x22 + x32
给定初始点
x(1) = (1, 2,3)T
当
x(n+1) - x(1) < 0.01
答案：
x(1) = (0, 0, 0)T
时，停止迭代
第二节 最 速 下 降 法
解： e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T 从初始点 x(1) = (1, 2,3)T 出发，沿x1轴方向e1进行一维搜索：
05运筹与优化—非线性规划约束最优化
一、约束优化最优性条件
Page 8
拉格朗日乘子法
定义 n+l 元函数：
l
L(x, )=f(x)- Th(x)=f(x)- ihi(x) i1 为 lagrange 函数，
称 为 lagrange 乘子向量。
例：求解最优化问题
min f x2 y2 xy 3
一、约束优化最优性条件
Page 9
m
f (x ) uigi (x ) 0
i 1
ui* 0 i 1, 2, , m
uigi (x ) 0 i 1, 2, , m
(互补松弛条件)
其中：i I，且满足CQ条件
x*
g2
g1
x
f
g3 g2
f
D
一、约束优化最优性条件
Page 12
3.一般约束的Khun-Tucker条件
定理3： Khun-Tucker条件（KKT条件，K-T条件）
2.不等式约束的最优化条件
考虑不等式约束最优化问题 min f(x),x∈R n s.t. gi(x)≤0
极小值取值特点
（1）极小值点落在可行 域内（不包含边界）
（2）极小值点落在可 行域外（包含边界）
一、约束优化最优性条件
Page 10
定义:若不等式约束问题的一个可行点 x使某个不等式 约束 g j (x)≥0 变成等式，即 g j ( x)=0，则该不等式约束 gj (x)≥0,称为关于 x的有效约束。
运筹与优化— 非线性规划优化方法
Page 2
某金属制品厂要加工一批长方形容器，按规格要求，上 下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、 宽、高的尺寸，在容积一定的情况下（设为90 m3 ），使 这个容器的成本最低。
非线性规划_多维无约束优化_0507
1 1 2 2 f x (0) 2 0
0 1 0 1 100 0 50
0 * x 0 此时 f x 0 ，故迭代结束，一次收敛到最优解
(1)
该二次型函数的梯度和 Hessian 矩阵为： Λ x 2 x1 2 x2 4 2 x1 4 x2 ， H(x)
x Λ x( k ) H x( k ) x x( k ) Λ x( k ) H x ( k ) x x ( k ) 0
为求 x 的极小值，可令 x 0 ，即：
阻尼牛顿法
收敛性质
由于阻尼牛顿法含有一维搜索，故每次迭代的目标函数值一般都会有所下降， 可以证明，阻尼牛顿法在适当的条件下具有全局收敛性，且为二阶收敛，其收敛性 质可以表述为： 若 f x 为二阶连续可微函数，其 Hessian 矩阵 H x 为正定矩阵，且水平集
x | f x f x 有界，则由阻尼牛顿法得到的点列 x 具有如下性质：
牛顿法
迭代步骤
(1) 选取初始点估计值 x (0) ，确定允许误差 ，令 k 0 ； (2) 计算目标函数在 x ( k ) 处的梯度 Λ x ( k ) ； (3) 收敛性检查，若 Λ x( k ) ，则 x* x( k ) ，终止计算，否则继续； (4) 构造 Newton 方向： p ( k ) H 1 x( k ) Λ x( k ) (5) 更新点列 x( k 1) x( k ) p( k ) (6) 令 k k 1，转(2)
最速下降法的特点
第三章无约束非线性规划课件
a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
无约束最优化与非线性规划-PPT精品文档
* f ( X ) 0 的点称为驻点，在区域内部，极值 3）满足
点必为驻点，而驻点不一定为极值点.
2、海赛矩阵
2 f 2 f 2 f 2 x x x x 1 2 1 n 1 x 2 f 2 f 2 f 2 2 H( X ) f ( X ) x x x x x 2 n 2 2 1 2 2 2 f f f x x x x x 2 n 2 n n 1 H( X ) 为函数 f ( X ) 的二阶偏导数矩阵.
可能不是极值点，需视高阶导数的性质而定。
2）极值点的必要条件和充分条件
定义1
* n n 1 min f ( X ), 其中 f : E E 问题，设 是任意 X E 对于 n
给定点，P为非零向量，若存在一个数 0 ，使得对于 * * (0 ,)，都有 f( X p ) f( X )，则称P是 f ( x) 任意 在 X * 处的下降方向. n n 1 n X E E在 定理1 设 f : E 可微，如果存在向量P ，使得 E
无约束最优化和非线性规划
1.建模实例 2.数学预备知识 3.无约束最优化问题的解 4.非线性规划的数学模型 5.非线性规划的解 6.非线性规划建模实例
1.建模实例
如图1，有一条河，两个工厂P 和Q位于河岸L（直线）的同一 侧，工厂 P 和 Q 距离河岸L分别为8千米和10千米，两个工厂的 距离为14千米，现要在河的工厂一侧选一点R，在R处建一个水 泵站，向两工厂P、Q 输水，请你给出一个经济合理的设计方 案。 14 P Q
是半正定的.
* n 定理4 (二阶充分条件)设 f 在点 X 二阶可微，如果 f (X*) 0 E
点必为驻点，而驻点不一定为极值点.
2、海赛矩阵
2 f 2 f 2 f 2 x x x x 1 2 1 n 1 x 2 f 2 f 2 f 2 2 H( X ) f ( X ) x x x x x 2 n 2 2 1 2 2 2 f f f x x x x x 2 n 2 n n 1 H( X ) 为函数 f ( X ) 的二阶偏导数矩阵.
可能不是极值点，需视高阶导数的性质而定。
2）极值点的必要条件和充分条件
定义1
* n n 1 min f ( X ), 其中 f : E E 问题，设 是任意 X E 对于 n
给定点，P为非零向量，若存在一个数 0 ，使得对于 * * (0 ,)，都有 f( X p ) f( X )，则称P是 f ( x) 任意 在 X * 处的下降方向. n n 1 n X E E在 定理1 设 f : E 可微，如果存在向量P ，使得 E
无约束最优化和非线性规划
1.建模实例 2.数学预备知识 3.无约束最优化问题的解 4.非线性规划的数学模型 5.非线性规划的解 6.非线性规划建模实例
1.建模实例
如图1，有一条河，两个工厂P 和Q位于河岸L（直线）的同一 侧，工厂 P 和 Q 距离河岸L分别为8千米和10千米，两个工厂的 距离为14千米，现要在河的工厂一侧选一点R，在R处建一个水 泵站，向两工厂P、Q 输水，请你给出一个经济合理的设计方 案。 14 P Q
是半正定的.
* n 定理4 (二阶充分条件)设 f 在点 X 二阶可微，如果 f (X*) 0 E
非线性规划-无约束问题
一般地，解非线性规划问题要比解线性规划问题困难的多，因为它不像解线性规划问题有单纯形法这一通用的方法，非线性规划目前还没有适合于各种问题的一般算法，各个方法都有自己特定的应用范围。
1.1 非线性规划问题及其数学模型
例：某金属制品厂要加工一批容积为1米3的长方形容器，按规格要求，上下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、宽、高的尺寸，使这个容器的成本最低。
线性规划：
可能在其可行域中的任意一点达到。
非线性规划：
02
01
非线性规划的解的特点
目标函数是线性函数，可行域为凸集，求出的最优解就是整个可行域上的全局最优解。
线性规划：
01
有时求出的解是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。
非线性划：
02
1.2 极值问题
局部极值定义
定理1：极值存在的必要条件
称该点列{X(k)}收敛于X*. 由于算法产生的点列使目标函数值逐步减小，称这一算法为下降算法。
或
超线性收敛：当 1<<2, q>0，或＝1, q＝0时，称为超线性收敛速度
二阶收敛：当 =2 ，k充分大时有
收敛速度
一般地认为，具有超线性收敛或二阶收敛速度的算法是比较快速的算法。
对于不同的问题，要根据具体情况来选择算法，因为我们事先并不知道最优解，迭代到什么时候停止呢？常用的准则是：
01
02
01
迭代中我们从一点出发沿下降可行方向找一个新的、性质有所改善的点。
02
下降方向：
可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点 的可行方向。
2
如果继续缩小区间[a,b1](或[a1,b])，就需要在区间[a,b1](或[a1,b])内取一点b2，并计算出f(b2)的值，并与f(a1)比较。
第4讲无约束优化与非线性规划
1）.用fminsearch函数求解 输入命令:
f='100*(x(2)-x(1)^2)^2+(1-x(1))^2'; [x,fval,exitflag,output]=fminsearch(f, [-1.2 2])
运行结果: x =1.0000 1.0000 fval =1.9151e-010
11
XD，且 X X* ，都有 fX*fX，则称X*是f(X)在D上的
局部极小值点（局部最优解）．特别地当X X* 时， fX*f，X
则称X*是f(X)在D上的严格局部极小值点（严格局部最优解）．
定义3 对于问题(1),设 X* D ,对任意的XD,都有 fX*fX
则称X*是f(X)在D上的全局极小值点（全局最优解）．特别地当
•使用fminunc和 fminsearch可能会得到局部最优解.
9
例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)
1）、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)
7. [x,fval,exitflag]=quaprog(...);
8. [x,fval,exitflag,output]=quaprog(...);
16
例5 min f(x1,x2)=-2x1-6x2+x12-2x1x2+2x22 s.t. x1+x2≤2 -x1+2x2≤2 x1≥0, x2≥0
3、运算结果为：
x =0.8000 1.2000 z = -7.2000
f='100*(x(2)-x(1)^2)^2+(1-x(1))^2'; [x,fval,exitflag,output]=fminsearch(f, [-1.2 2])
运行结果: x =1.0000 1.0000 fval =1.9151e-010
11
XD，且 X X* ，都有 fX*fX，则称X*是f(X)在D上的
局部极小值点（局部最优解）．特别地当X X* 时， fX*f，X
则称X*是f(X)在D上的严格局部极小值点（严格局部最优解）．
定义3 对于问题(1),设 X* D ,对任意的XD,都有 fX*fX
则称X*是f(X)在D上的全局极小值点（全局最优解）．特别地当
•使用fminunc和 fminsearch可能会得到局部最优解.
9
例3 min f(x)=(4x12+2x22+4x1x2+2x2+1)*exp(x1)
1）、编写M-文件 fun1.m: function f = fun1 (x) f = exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)
7. [x,fval,exitflag]=quaprog(...);
8. [x,fval,exitflag,output]=quaprog(...);
16
例5 min f(x1,x2)=-2x1-6x2+x12-2x1x2+2x22 s.t. x1+x2≤2 -x1+2x2≤2 x1≥0, x2≥0
3、运算结果为：
x =0.8000 1.2000 z = -7.2000
《高级运筹学》无约束非线性规划
求解方法简介
梯度法
基于目标函数的梯度信息，通 过迭代更新搜索方向和步长， 逐步逼近最优解。
牛顿法
利用目标函数的二阶导数（海 森矩阵）信息，构造一个二次 逼近模型，通过迭代更新搜索 方向和步长，逐步逼近最优解 。
共轭梯度法
结合梯度法和牛顿法的思想， 通过迭代更新搜索方向和步长 ，逐步逼近最优解。该方法在 求解大规模问题时具有较好的 收敛性和计算效率。
到该问题的最优解。
案例三：实际应用中的无约束非线性规划问题
要点一
总结词
要点二
详细描述
通过解决一个实际应用中的无约束非线性规划问题，了解 无约束非线性规划在现实生活中的应用和价值。
该案例是一个实际应用中的无约束非线性规划问题，目标函 数为 f(x) = -(x1*x2*x3)，约束条件为 x1 + x2 + x3 = 1。 这个问题来自于化学反应优化领域，通过求解该问题可以找 到最优的反应条件，提高化学反应的效率和产物质量。
约束条件
等式约束
表示决策变量之间的关系，通常以等式形式给出。
不等式约束
表示决策变量的取值范围或与其他变量的关系，通 常以不等式形式给出。
无穷范数约束
对于一些特殊的无约束非线性规划问题，可能需要 考虑无穷范数约束，即决策变量的极限行为。
决策变量
连续型决策变量
在无约束非线性规划中，决策变量可以是连续的，也可以是 离散的。连续型决策变量通常在连续空间中进行优化。
案例一：简单的无约束非线性规划问题求解
总结词
通过求解一个简单的无约束非线性规划问，了解无约束非线性规划的基本概念和求解 方法。
详细描述
该案例是一个简单的无约束非线性规划问题，目标函数为 f(x) = x1^2 + x2^2 2*x1*x2，约束条件为 x1 + x2 = 1。通过使用非线性规划求解器，可以找到该问题的
运筹学 — 无约束非线性规划,约束非线性优化解析
则 x是 f (x) 的R上的最小点（全局极小点）
• 凸规划：
定义：若 R En 为凸集， f ( x) 是R上的凸函数， 则称规划：
min f (x) s.t. x R
为凸规划
定义：若规划问题：
min f (x) s.t. gi (x) 0 i 1, 2, m
其中 f (x) 为凸函数， gi (x) 为凹函数（或 gi (x) 为凸函数） ，则该规划问题为凸规划。
x
k+1
=x +k P
k
k
检查得到的新点x是否为极小值点或近似极小值点。若是， 停止迭代。否则，令 k：=k+1，回2步继续迭代。
• 确定最优步长
k： min f (x +P )
k k
求以 为变量的一元函数 f (xk +Pk ) 的极小值点 （一维搜索）
一维搜索重要性质：在 搜索方向上所得最优点 处的梯度和该搜索方向 正交。
t
(t1 ) 0.2082 (t2 ) 0.0611
b-t1=1.146-0.438>0.5
0 t1
t2
1.416
t
4、第四轮：
a = 0.438, t1=0.708, t2=0.876, b=1.146
(t1 ) 0.0611 (t2 ) 0.0798
b-t1=1.146-0.708<0.5 0
第四章非线性规划
凌翔 龙建成 交通运输工程学院
凸函数定义：
设 f (x) 为定义在n维欧氏空间E中某个凸集R上的函数，若 对任何实数 0 1 以及R中的任意两点 x1 和 x2 ，恒有：
f ( x1 (1 )x2 ) f (x1 ) (1 ) f (x2 )
运筹学-无约束最优化方法
§4 共轭方向法
对于简单的二次函数
任给一个初始向量x(0),沿着方向e1=(1,0,· · · ,0)T 进行搜索,即求解下面问题
min f1 (a1 ) ( x ( 0 ) a1e1 b)T ( x ( 0 ) a1e1 b)
a1
1 T 1 T x x b x c ( x b)T ( x b) c bT b 2 2
13
2.2 收敛性 1 整体收敛性 定理 2.1 设f(x)具有一阶连续偏导数,给定 x0∈Rn,假定水平集L={x∈Rn|f(x)≤f(x0)}0)=0; 或者(ii)
14
2 用于二次函数时的收敛速度
* T * * *
6
考虑无约束优化问题：
min f ( x ) n
xR
假设函数 f ( x ) 是一阶（或二阶）连续可微函数。
无约束最优化方法： 1.最速下降法 2.Newton法 3.共轭方向法和共轭梯度法 4.拟Newton法 DFP算法 Broyden族拟Newton法
7
若 z f ( x, y )在点M 0 ( x0, y0 )可微，则f ( x, y ) 在点M 0沿任一方向l 的方向导数都存在，且 z l
26
共轭方向法
将此过程进行下去有
x ( k ) (b 1,
(1) , bk , xk 1 , (1) T , xn ) .
x(k)是函数在{x(0) +a1e1+a2e2+· · · +akek,a1,a2· · · ,ak∈R} 中的极小点. 进行n步后有 x( n) (b 1, b2 , , bn )T b.
若Gk正定,则qk(x)有唯一极小点,该极小点即为 Newton法取的xk+1. 显然 0 qk ( xk 1 ) Gk ( xk 1 xk ) gk Newton迭代公式为
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
运筹学课件第六章 非线性规划
或 x
k 1
x tk p , tk 0
k k
称p k 为 第k轮 搜 索 方 向 ， 为 第k轮 沿 搜 索 方 向 tk p k的 步 长 。
第11页
n n n 定义3 设f : R R, x R , p R , p 0， 0，使得 若
f ( x tp) f ( x ), t (0, )
2 1
令 0 得： f ( x1 )T ( x 2 x1 ) f ( x 2 ) f ( x1 )
f ( x 2 ) f ( x1 )
第23页
x1 , x 2 S f ( x ) ( x x ) f ( x ) f ( x )
1 T 2 1 2 1
1 T 2 1 2 1
证 (1) 必要性.设f是S上的凸函数，则对 (0,1), 有
f ( x 2 (1 ) x1 ) f ( x 2 ) (1 ) f ( x1 )
x1 , x 2 S
f ( x 1 ( x 2 x 1 )) f ( x1 )
第14页
全局优化算法概述
全局优化方法可分为随机性方法和确定性方法. 确定性方法充分利用了问题的解析性质, 如函数的 凸性、单调性、稠密性等, 产生一个确定性的有限 或无限点序列, 使得该点序列收敛于全局最优解. 包 括分枝定界算法、区间算法、填充函数法、割平面 法、顶点枚举法等,这类算法在理论上有较强的可行 性, 但对较为复杂的大型优化问题却难于应用.
如果有 f ( x* ) f ( x), x D, x x* 则称 x * 是(P)的严格全局最优解或严格全局极小点， 称 f ( x * ) 是(P)的严格全局最优值或严格全局极小值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
莫 莉
5.1 无约束优化问题
一、问题的数学描述
无约束非线性规划的数学描述
min f (X ) n
X E
f ( X )为非线性函数.
解析法 用到函数的一、二 阶导数，即函数的 解析性质 只用到函数值，而 不要求函数的解析 性质
莫 莉
迭代法
直接法
水电与数字化工程学院
5.1 无约束优化问题
min
f ( x)
取 p0 f ( x 0 ) (4,100)T 2 4 2 4 0 0 x p 2 100 2 100 f ( x0 p 0 ) (2 4 )2 25(2 100 )2 d 得 0 0.020037 令 f ( x0 p0 ) 0 d 1.919878 1 0 0 所以 x x 0 p 0.003070
第二章 非线性规划(Nonlinear Programming)
主讲人：莫 莉
moli@ 2015 年 5 月
水电与数字化工程学院 莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭方向法 共轭梯度法
水电与数字化工程学院
f ( x * ) 0
则x*是(UP)的全局最优解。
因为 f 是R n上的可微凸函数，定理 3知 f ( x* )T ( x x*) f ( x ) f ( x * ), x R n
由于f ( x * ) 0
f ( x * ) f ( x ), x R n
x*是(UP)的全局最优解。
所以 f ( x tp) f ( x )， t (0, ) 由定义知， p是 f 在点x处的下降方向。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理2 设 f : R n R在点x R n 处可微，若x*是(UP)的 局部最优解，则
f ( x * ) 0
使f ( x ) 0的点x称为函数 f的的驻点。
X
*
X
(k )
X
*
(k ) (k ) 成立，就称 X 收敛的阶为α ，或 X 阶收敛。
当 2 时，称为二阶收敛，也可说 X ( k ) 具有二阶敛速。
当 1 2 时，称超线性收敛。 当 1 ，且 0 1 时，称线性收敛或一阶收敛。
定理 4 设 f : R n R ， x * R n ，f 是 R n 上得可微凸函数。若有 f ( x * ) 0 则 x * 是(UMP)的整体最优解。
水电与数字化工程学院 莫 莉
5.2 最速下降法
设目标函数f(x)一阶连续可微.
基本思想：从当前点xk出发，取函数 f(x)在点 x k处 下降最快的方向为搜索方向 pk，即负梯度方向。
)，则 a1 : a0 , b1 : t1 , t2 : t1 若f ( t 1 ) f ( t 1 Fn 2 并且令 t 2 b1 (a1 b1 ) Fn1 )，则 t1 : a1 , b1 : b0 , t 2 : t1 若f ( t1 ) f ( t1 Fn 2 a1 并且令 t 2 (b1 a1 ) Fn1 水电与数字化工程学院
2 0 0 2 f ( x) 0 8 0 0 0 2 2 f ( x )正定， f ( x )是R n上的凸函数，
x * (1， 0， 0)T 是全局最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理 1 设 f : R n R 在点 x R n 处可微。若存在 p R n ，使 f ( x )T p 0 则向量 p 是 f 在点 x 处的下降方向。
水电与数字化工程学院
莫 莉
5.2 最速下降法
算法步骤： 第1步 选取初始点x0,给定终止误差 ε>0,令k:= 0； 第2步 计算
f ( x k ) 若 || f ( x k ) || ，停止迭代，
输出x k，否则转第3步；
第 3步 第4步 进行一维搜索，求 λk使得 f ( x k k p k ) min f ( x k p k )
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) f (X
(k )
)
其中 1 , 2 , 3 , 4 , 5为事先给定的足够小的 正数.
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的思路 1. 根据相对精度或绝对精度，确定试点个数； 2. 确定两个试点的位置a1、b1（对称搜索）；
水电与数字化工程学院
莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭梯度法 Newton法
水电与数字化工程学院
莫 莉
第二章 非线性规划
1 2 3 4 5 6
水电与数字化工程学院
基本概念 最优性条件 凸函数和凸规划 一维搜索方法 无约束最优化方法★ 约束最优化方法
水电与数字化工程学院 莫 莉
前节回顾
算法的精度判别
1 绝对误差 X
( k 1 )
0
2 0 相对误差
1) X ( k ) X
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) 2
3 4
30 f ( X )的模 f ( X ） 5
莫 莉
下降迭代算法步骤
前节回顾
确定搜索方向P (k)是关键的一步，各种算法的区 别主要在于确定搜索方向P (k)的方法不同。 步长 k 的选定一般都是以使目标函数在搜索方 向上下降最多为依据的，称为最佳步长，即沿 射线
X X (k ) P(k )
求目标函数的极小值
k : min f ( X (k ) P(k ) )
定理3 设 f : R n R在点x R n 处的Hesse矩阵 2 f ( x* )存在，
若f ( x* ) 0，且 2 f ( x * )正定
则x*是(UP)的严格局部最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理4 设 f : Rn R，x* R n , f 是R n上的可微凸函数，若
经10轮迭代得最优解。 水电与数字化工程学院
莫 莉
5.2 最速下降法
所以令 a : t1 , t1 : t 2 t 2 0.438 0.618(1.146 0.348) 0.876
1 : 2
2 (0.876) 0.0798
(4) 因 1 2 , b t1 1.146 0.708 0.438 0.5 得最优解 ： t 2 0.876
1 令 t n 1 t n
1 (a n 2 bn 2 ) 2
莫 莉
水电与数字化工程学院
前节回顾
黄金分割法
Fn 2 t1 a 0 (b0 a0 ) Fn Fn1 a0 t1 (b0 a0 ) Fn
t1 a0 0.382 (b0 a0 ) b0 0.618 (b0 a0 )
Fn-2
a a1 Fn-1
Fn-1
b1 Fn-2 b
3. 计算函数值和并比较其大小，从而缩减搜索区间； 4. 重复2、3两步，直到得到近似最小点。
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的步骤
第1步 根据缩短率δ，计算Fn ，求出最小的n。
第2步 由前面公式求前两个测试点 t1 和 t1 ) 第3步 计算 f (t1 ) 和 f (t1
(UP)
其中 x ( x1 ,..., x n )T R n ， f : R n R
无约束问题的最优性条件
最速下降法
共轭方向法 共轭梯度法
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理1 设 f : R n R在点x R n 处可微，若存在 p R n , 使
因 ( t1 ) ( t 2 ), t 2 a 1.854 0 0.5 所以令 b : t 2 , t 2 : t1 , t1 1.854 0.618(1.854 0) 0.708 2 : 1
1 (0.708) 0.0611
水电与数字化工程学院 莫 莉
由于确定步长是通过求以 为变量的一元函数
的极小点来实现的，故称这一过程为一维搜索。
水电与数字化工程学院 莫 莉
前节回顾
算法的收敛速度。
(k ) * 设序列 X 收敛于 X，若存在与迭代次数 k无关的数 0
和 1 使K从某个 k0 0 开始，都有
X
( k 1)
定理 2 设 f : R n R 在点 x R n 处可微。若 x * 是(UMP)的局部最 优解，则 f ( x * ) 0
定理 3 设 f : R n R 在点 x R n 处的 Hesse 矩阵 2 f ( x * ) 存在。 若 f ( x * ) 0 ，并且 2 f ( x * ) 正定 则 x * 是(UMP)的局部最优解。
前节回顾
(2) 因 1 2 , t 2 a 1.146 0.5
所以令 b : t 2 , t 2 : t1
t1 1.146 0.618(1.146 0) 0.438
2 : 1
1 (0.438) 0.2082
(3) 因 1 2 , b t1 0.708 0.5
f ( x )T p 0 则 p是 f 在点x处的下降方向。
5.1 无约束优化问题
一、问题的数学描述
无约束非线性规划的数学描述
min f (X ) n
X E
f ( X )为非线性函数.
解析法 用到函数的一、二 阶导数，即函数的 解析性质 只用到函数值，而 不要求函数的解析 性质
莫 莉
迭代法
直接法
水电与数字化工程学院
5.1 无约束优化问题
min
f ( x)
取 p0 f ( x 0 ) (4,100)T 2 4 2 4 0 0 x p 2 100 2 100 f ( x0 p 0 ) (2 4 )2 25(2 100 )2 d 得 0 0.020037 令 f ( x0 p0 ) 0 d 1.919878 1 0 0 所以 x x 0 p 0.003070
第二章 非线性规划(Nonlinear Programming)
主讲人：莫 莉
moli@ 2015 年 5 月
水电与数字化工程学院 莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭方向法 共轭梯度法
水电与数字化工程学院
f ( x * ) 0
则x*是(UP)的全局最优解。
因为 f 是R n上的可微凸函数，定理 3知 f ( x* )T ( x x*) f ( x ) f ( x * ), x R n
由于f ( x * ) 0
f ( x * ) f ( x ), x R n
x*是(UP)的全局最优解。
所以 f ( x tp) f ( x )， t (0, ) 由定义知， p是 f 在点x处的下降方向。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理2 设 f : R n R在点x R n 处可微，若x*是(UP)的 局部最优解，则
f ( x * ) 0
使f ( x ) 0的点x称为函数 f的的驻点。
X
*
X
(k )
X
*
(k ) (k ) 成立，就称 X 收敛的阶为α ，或 X 阶收敛。
当 2 时，称为二阶收敛，也可说 X ( k ) 具有二阶敛速。
当 1 2 时，称超线性收敛。 当 1 ，且 0 1 时，称线性收敛或一阶收敛。
定理 4 设 f : R n R ， x * R n ，f 是 R n 上得可微凸函数。若有 f ( x * ) 0 则 x * 是(UMP)的整体最优解。
水电与数字化工程学院 莫 莉
5.2 最速下降法
设目标函数f(x)一阶连续可微.
基本思想：从当前点xk出发，取函数 f(x)在点 x k处 下降最快的方向为搜索方向 pk，即负梯度方向。
)，则 a1 : a0 , b1 : t1 , t2 : t1 若f ( t 1 ) f ( t 1 Fn 2 并且令 t 2 b1 (a1 b1 ) Fn1 )，则 t1 : a1 , b1 : b0 , t 2 : t1 若f ( t1 ) f ( t1 Fn 2 a1 并且令 t 2 (b1 a1 ) Fn1 水电与数字化工程学院
2 0 0 2 f ( x) 0 8 0 0 0 2 2 f ( x )正定， f ( x )是R n上的凸函数，
x * (1， 0， 0)T 是全局最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理 1 设 f : R n R 在点 x R n 处可微。若存在 p R n ，使 f ( x )T p 0 则向量 p 是 f 在点 x 处的下降方向。
水电与数字化工程学院
莫 莉
5.2 最速下降法
算法步骤： 第1步 选取初始点x0,给定终止误差 ε>0,令k:= 0； 第2步 计算
f ( x k ) 若 || f ( x k ) || ，停止迭代，
输出x k，否则转第3步；
第 3步 第4步 进行一维搜索，求 λk使得 f ( x k k p k ) min f ( x k p k )
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) f (X
(k )
)
其中 1 , 2 , 3 , 4 , 5为事先给定的足够小的 正数.
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的思路 1. 根据相对精度或绝对精度，确定试点个数； 2. 确定两个试点的位置a1、b1（对称搜索）；
水电与数字化工程学院
莫 莉
前节回顾
温
斐波那契法 黄金分割法
故
无约束优化
知
新
下降迭代算法
最速下降法 共轭梯度法 Newton法
水电与数字化工程学院
莫 莉
第二章 非线性规划
1 2 3 4 5 6
水电与数字化工程学院
基本概念 最优性条件 凸函数和凸规划 一维搜索方法 无约束最优化方法★ 约束最优化方法
水电与数字化工程学院 莫 莉
前节回顾
算法的精度判别
1 绝对误差 X
( k 1 )
0
2 0 相对误差
1) X ( k ) X
(k )
f ( X ( k 1 ) ) f ( X ( k ) ) 2
3 4
30 f ( X )的模 f ( X ） 5
莫 莉
下降迭代算法步骤
前节回顾
确定搜索方向P (k)是关键的一步，各种算法的区 别主要在于确定搜索方向P (k)的方法不同。 步长 k 的选定一般都是以使目标函数在搜索方 向上下降最多为依据的，称为最佳步长，即沿 射线
X X (k ) P(k )
求目标函数的极小值
k : min f ( X (k ) P(k ) )
定理3 设 f : R n R在点x R n 处的Hesse矩阵 2 f ( x* )存在，
若f ( x* ) 0，且 2 f ( x * )正定
则x*是(UP)的严格局部最优解。
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理4 设 f : Rn R，x* R n , f 是R n上的可微凸函数，若
经10轮迭代得最优解。 水电与数字化工程学院
莫 莉
5.2 最速下降法
所以令 a : t1 , t1 : t 2 t 2 0.438 0.618(1.146 0.348) 0.876
1 : 2
2 (0.876) 0.0798
(4) 因 1 2 , b t1 1.146 0.708 0.438 0.5 得最优解 ： t 2 0.876
1 令 t n 1 t n
1 (a n 2 bn 2 ) 2
莫 莉
水电与数字化工程学院
前节回顾
黄金分割法
Fn 2 t1 a 0 (b0 a0 ) Fn Fn1 a0 t1 (b0 a0 ) Fn
t1 a0 0.382 (b0 a0 ) b0 0.618 (b0 a0 )
Fn-2
a a1 Fn-1
Fn-1
b1 Fn-2 b
3. 计算函数值和并比较其大小，从而缩减搜索区间； 4. 重复2、3两步，直到得到近似最小点。
水电与数字化工程学院 莫 莉
前节回顾
斐波那契法的步骤
第1步 根据缩短率δ，计算Fn ，求出最小的n。
第2步 由前面公式求前两个测试点 t1 和 t1 ) 第3步 计算 f (t1 ) 和 f (t1
(UP)
其中 x ( x1 ,..., x n )T R n ， f : R n R
无约束问题的最优性条件
最速下降法
共轭方向法 共轭梯度法
水电与数字化工程学院 莫 莉
5.1 无约束优化问题
定理1 设 f : R n R在点x R n 处可微，若存在 p R n , 使
因 ( t1 ) ( t 2 ), t 2 a 1.854 0 0.5 所以令 b : t 2 , t 2 : t1 , t1 1.854 0.618(1.854 0) 0.708 2 : 1
1 (0.708) 0.0611
水电与数字化工程学院 莫 莉
由于确定步长是通过求以 为变量的一元函数
的极小点来实现的，故称这一过程为一维搜索。
水电与数字化工程学院 莫 莉
前节回顾
算法的收敛速度。
(k ) * 设序列 X 收敛于 X，若存在与迭代次数 k无关的数 0
和 1 使K从某个 k0 0 开始，都有
X
( k 1)
定理 2 设 f : R n R 在点 x R n 处可微。若 x * 是(UMP)的局部最 优解，则 f ( x * ) 0
定理 3 设 f : R n R 在点 x R n 处的 Hesse 矩阵 2 f ( x * ) 存在。 若 f ( x * ) 0 ，并且 2 f ( x * ) 正定 则 x * 是(UMP)的局部最优解。
前节回顾
(2) 因 1 2 , t 2 a 1.146 0.5
所以令 b : t 2 , t 2 : t1
t1 1.146 0.618(1.146 0) 0.438
2 : 1
1 (0.438) 0.2082
(3) 因 1 2 , b t1 0.708 0.5
f ( x )T p 0 则 p是 f 在点x处的下降方向。