研究生高级运筹学 无约束非线性规划
合集下载
高级运筹学-非线性规划
目标函数或约束函数中至少有一个是非线性的
应用背景
–有着最广泛的应用，应该说所有现实问题都是非线 性的，线性模型都是经过简化而来的。机械、电子 等行业的器件最优设计问题，如飞行器的结构优化。
决策论（decision theory)
著名经济学家西蒙有一句名言：“管理就
模型是现实的近似表达，要能抓住决策
问题的关键，在真实性和可用性之间取 得适当的平衡。
运筹学的分支
数学规划
– 线性规划 √ – 非线性规划 – 整数规划 √ – 动态规划
图与网络流 √ 网络计划 库存论 排队论 对策论 决策论 。。。。。
优化问题的分类
确定性、静态优化问题
1.1 相关的数学知识
四、Hessian 矩阵（二阶导数矩阵） 几个常用的公式 五、正定矩阵 定义 正定二次函数 六、多元函数的Taylor展开
Transportation Science
运筹学软件
LINDO是一种专门用于求解数学规划问题的软件包。由于 LINDO执行速度很快、易于方便输入、求解和分析数学规 划问题。因此在数学、科研和工业界得到广泛应用。 LINDO主要用于解线性规划、非线性规划、二次规划和整 数规划等问题。也可以用于一些非线性和线性方程组的求 解以及代数方程求根等。LINDO中包含了一种建模语言和 许多常用的数学函数，可供使用者建立规划问题时调用。 一般用LINDO（Linear Interactive and Discrete Optimizer） 解决线性规划（LP—Linear Programming）。整数规划（ IP—Integer Programming）问题。其中LINDO 6 .1 学生版 至多可求解多达300个变量和150个约束的规划问题。其正 式版（标准版）则可求解的变量和约束在1量级以上。
应用背景
–有着最广泛的应用，应该说所有现实问题都是非线 性的，线性模型都是经过简化而来的。机械、电子 等行业的器件最优设计问题，如飞行器的结构优化。
决策论（decision theory)
著名经济学家西蒙有一句名言：“管理就
模型是现实的近似表达，要能抓住决策
问题的关键，在真实性和可用性之间取 得适当的平衡。
运筹学的分支
数学规划
– 线性规划 √ – 非线性规划 – 整数规划 √ – 动态规划
图与网络流 √ 网络计划 库存论 排队论 对策论 决策论 。。。。。
优化问题的分类
确定性、静态优化问题
1.1 相关的数学知识
四、Hessian 矩阵（二阶导数矩阵） 几个常用的公式 五、正定矩阵 定义 正定二次函数 六、多元函数的Taylor展开
Transportation Science
运筹学软件
LINDO是一种专门用于求解数学规划问题的软件包。由于 LINDO执行速度很快、易于方便输入、求解和分析数学规 划问题。因此在数学、科研和工业界得到广泛应用。 LINDO主要用于解线性规划、非线性规划、二次规划和整 数规划等问题。也可以用于一些非线性和线性方程组的求 解以及代数方程求根等。LINDO中包含了一种建模语言和 许多常用的数学函数，可供使用者建立规划问题时调用。 一般用LINDO（Linear Interactive and Discrete Optimizer） 解决线性规划（LP—Linear Programming）。整数规划（ IP—Integer Programming）问题。其中LINDO 6 .1 学生版 至多可求解多达300个变量和150个约束的规划问题。其正 式版（标准版）则可求解的变量和约束在1量级以上。
《高级运筹学》非线性规划模型及基本概念
min f ( x1 , x2 ) ( x1 ai ) 2 ( x2 bi ) 2
i 1
m
例3
求表面积为常数6a2 (a>0), 体积最大的长方体体积。
解：设长方体的长、宽、高分别为x1,x2,x3. 则
max f ( x1 , x2 , x3 ) x1 x2 x3 s.t. 2( x1 x2 x1 x3 x2 x3 ) 6a 2 x1 0, x2 0, x3 0
许国志等根据史记中：“运筹于帷幄之中，决 胜于千里之外”将其翻译成“运筹学”
本学期教学内容
非线性规划 第一章：非线性规划模型及基本概念 第二章：无约束非线性规划 第三章：约束非线性规划 第四章：多目标规划 现代优化算法简介
《非线性规划》教学参考书
[1] 施光燕、董加礼,最优化方法 高等教育出版社，2004。 [2] 施光燕、钱伟懿，庞丽萍，最优化方法（第二版）高等 教育出版社，2007。
4. 梯度：
定义: 以f(x) 的n个偏导数为分量的向量称为f(x) 在x处的梯 度，记为
f ( x) f ( x) x1 f ( x) x2 f ( x) xn
T
梯度也可以称为函数 f(x) 关于向量 x 的一阶导数.
5. 梯度和方向导数的关系
f ( x 0 ) f ( x 0 )T e P
SETS: N/1..4/:X; ENDSETS max=@sum(N(i):X(i)^0.5); X(1)<400; 1.1*X(1)-(X(1))^(1/2)+X(2)<440; 1.21*X(1)-1.1*(X(1))^(1/2)+1.1*X(2)-(X(2))^(1/2)+X(3)<484; 1.331*X(1)-1.21*(X(1))^(1/2)+1.21*X(2)-1.1*(X(2))^(1/2)+1.1*X(3)(X(3))^(1/2)+X(4)<532.4;
高级运筹学-非线性规划[1]
![高级运筹学-非线性规划[1]](https://img.taocdn.com/s3/m/48185b2b4b73f242336c5f6d.png)
排队论
银行、医院、机场跑道、港口码头、 银行、医院、机场跑道、港口码头、理 发店、通信设备、 发店、通信设备、交通路口等等的排队 现象； 现象； 排队论是运筹学的又一个分支， 排队论是运筹学的又一个分支，又叫做 随机服务系统理论。它的研究目的是要 随机服务系统理论。 回答如何改进服务机构、 回答如何改进服务机构、或组织被服务 的对象， 的对象，使得某种指标达到最优的问题 比如一个港口应该有多少个码头， 。比如一个港口应该有多少个码头，一 个工厂应该有多少维修人员等 。
目标函数或约束函数中至少有一个是非线性的
应用背景
– 有着最广泛的应用，应该说所有现实问题都是非线 性的，线性模型都是经过简化而来的。机械、电子 等行业的器件最优设计问题，如飞行器的结构优化 设计等；管理科学中的应用问题更是不胜枚举；系 统控制问题。
决策论（decision)
著名经济学家西蒙有一句名言：“管理 就是决策”。 “决策”一词本身是一个广义的概念， 本课程介绍的是针对在不确定或随机环 境下的决策分析方法。 应用背景：产品开发决策问题、风险投 资决策问题、开设连锁店问题等等
最速下降法（梯度法） The Steepest descent method The Gradient Method
基本思想：以负梯度方向作为寻优方向 算法步骤： 特点：
– – – – 迭代过程简单，存储量少，计算量小； 即使是正定二次函数也不能有限步收敛； 相邻两次寻优方向是垂直的; 寻优路线呈锯齿状（Zig-Zag)，在极小点附 近收敛缓慢;
– 可行域
R ={X ∈En | hi (X) = 0, gj (X) ≥ 0;i =12,..., m j =1 l} , ; ,...,
– 特别当R=En, 称为无约束优化问题
非线性-无约束规划
6） 实用收敛性： ）
定义最优解集如下 S* = { x | x 具有某种性质 } 例：S*={x| x---g.opt} S*={x| x---l.opt} S*={x|∇f(x)=0} S*={x| f’(x)≤β} (β为给定实数,称为阈值） 当下列情况之一成立时 当下列情况之一成立时，称算法收敛具有该性质点 之一成立时， 1°∃x(k) ∈S*; ° 2°∀k，{X(k)}任意极限点∈S* ° 任意极限点∈ 任意极限点
* ak 为最优步长。 最优步长。 则称
根据单变量的驻点条件: 根据单变量的驻点条件 d f(xk+akPk)/dak=0 （当ak=ak* 时） 以及复合函数的求导法则可得： 以及复合函数的求导法则可得：
∇f ( x
k +1 T
) P =0
k
2） 缩小区间的非精确一维搜索
（1）单峰的概念 ） 若对任意λ 若对任意 1 ,λ2, α≤ 1º 若α2 ≤
停
11. 最优步长的一维搜索 1) 精确一维搜索（假定求目标函数极小值） 假定求目标函数极小值） * ak 是在给定 k和方向 是目标函数， 设f(X)是目标函数，如果 是在给定X 是目标函数 矢量P 通过f(x)=f(xk+akPk) 的极小化而产生 矢量 k下，通过
ak* = arg ak min f ( x k + ak P k )
∂ u ∂u ∂u ∂u = cos α + cos β + cos γ ∂ l ∂x ∂y ∂r
2. 海瑟矩阵
海瑟矩阵是对称形式：
∂2 f ( X ) ∂x12 ∂2 f ( X ) 2 H ( X ) = ∇ f ( X ) = ∂x2 ∂x1 ...... ∂2 f ( X ) ∂xn ∂x1
第五章 无约束非线性规划[1]
![第五章 无约束非线性规划[1]](https://img.taocdn.com/s3/m/120b97e219e8b8f67c1cb993.png)
凸函数的性质
定理 5.2.1 设 S R n 是非空凸集。 （1） 若 f : Rn R 是 S 上的凸函数， 0 ，则 f 是 S 上 的凸函数； n （2） 若 f 1 , f 2 : R R 都是 S 上的凸函数，则 f 1 f 2 是 S 上的凸函数。
定理 5.2.2 设 S R n 是非空凸集， f : Rn R 是凸函数， c R ，则集合
t
min [ i (c1 c 2 t i e c3t i )]2
i 1
n
例2 构件容积问题
设计一个右图所示的由圆锥和圆柱面 围成的构件，要求构件的表面积为 S， 圆锥部分的高 h 和圆柱部分的高 x2 之 比为 a。确定构件尺寸，使其容积最 大。
x3
x2 x1
max V (1 a / 3)x12 x2 2 s.t. x1 x12 a 2 x2 2x1 x2 x12 S x1 0, x2 0
(5.4)
极值存在的条件
例１ 求目标函数
f ( x) x 2x 3x x x 4x2 x3 x x
4 1 3 2 2 3 2 1 2
2 1 3
的梯度和Hesse矩阵
解:因为 f 3 2 4 x1 2 x1 x2 x3 x1 ,所以
f 2 2 6 x2 x1 4 x3 x2 f 6 x3 4 x2 2 x1 x3 x3
f (2,1) 2 2 8 2 2 1 4 1 20 10
2 2
凸函数和凸规划
凸函数及其性质
凸规划及其性质
凸函数及其性质
定义 5.2.1 设 S R n 是非空凸集， f : S R ，如果对任意的 (0,1)
无约束非线性计划求解方式和其实现
无约束非线性计划求解方式及其实现杨玲指导教师：陈素根摘要:非线性计划是具有非线性约束条件或目标函数的数学计划，是运筹学的一个重要分支。
非线性计划属于最优化方式的一种，是线性计划的延伸。
非线性计划研究一个n元实函数在一组灯饰或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。
目标函数和约束条件都是线性函数的情形那么属于线性计划。
非线性计划是20世纪50年代才形成的一门新兴学科。
1951年库恩和塔克发表的关于最优性条件的论文是非线性计划正是诞生的一个重要标志。
在50年代还得出了可分离计划和二次计划的n种解法，它们多数是以.丹齐克提出的解线性计划的单纯形法为基础的。
50年代末到60年代末显现了许多解线性计划问题的有效的算法，70年代又取得进一步的进展。
非线性计划在工程，治理，经济，科研，军事等发面都有普遍的应用，为最优设计提供了有力的工具。
20世纪80年代以来，随着运算机技术的快速进展，非线性计划在信任域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的功效，无约束非线性计划问题是非线性计划的一个重要内容，很多学者对非线性计划问题进行了深切且系统的研究，研究功效丰硕。
关键词最优化共轭梯度法非线性无约束1 引言无约束非线性计划问题是最大体的非线性计划问题，在1959~1963年幼三位数学家一起研究成功求解无约束问题的DFP变尺度法，该算法的研究成功是无约束优化算法的一个大飞跃，引发了一系列的理论工作，并陆续显现了许多新的算法。
20世纪80年代以来，随着运算机技术的快速进展，非线性计划在信任域法、稀疏牛顿法、并行计算、内点法和有限存储法等领域取得了丰硕的功效。
无约束非线性计划问题是非线性计划的一个重要内容，很多学者对非线性计划问题进行了深切且系统的研究，研究功效丰硕。
本文要紧研究无约束非线性计划问题，将文章分成四个部份，第一会具体介绍无约束非线性计划的相关概念，并在此基础上研究非线性计划的相关理论与大体算法问题，接着详细介绍无约束非线性计划的几种要紧的求解方式，最后举例说明他在实际生活中的应用，并编程实现它。
非线性规划-无约束问题的最优化方法
k+ 1 k
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
( )
后，令
k
第4步：进行一维搜索，求得最佳步长因子 进行一维搜索，
x( ) = x( ) + l k p( ) = x( ) - f x( ) 然后再令k=k+1，转到第二步。 然后再令 ，转到第二步。
k k
( )
第 二 节 最
2
速 下
2
降 法
例题2 用最速下降法求解下述函数的极小点。 例题 用最速下降法求解下述函数的极小点。
p
(k )
= - f x
( )
(k )
T
当搜索方向确定后，进行下面的一维搜索 当搜索方向确定后， ：
ì f x + l p = min f x + l p ï ï k ï í ï x(k + 1) = x(k ) + l p(k ) ï k ï î
可以用已经学过的一维
(k )
(
(k )
(k )
)
(
f x( ) + l e1 = 3( + l ) + 2? 22 1
1
(
)
2
32 = 3( + l ) + 17 1
2
fl ' = 0 ? l 1
- 1
轾 轾 1 1 犏 犏 2 1 x( ) = x( ) + l e1 = 犏 + (- 1)犏 = 2 0 犏 犏 犏 犏 3 0 臌 臌
轾 0 犏 犏 ? f x(2) 2 犏 犏 3 臌
第 一 节
二、算法步骤 设问题为 min
变
量
轮 换
法
f (x), x 挝R n ,
T
高级运筹学第9章非线性规划
x’1=a1+(b1-a1) x’2=x1 ⑵ 若求f(x)的极大值点，则
否则，继续缩短区间， 直至满足给定的精度为止。
① f(x2)≥f(x1)，取[a1=a0,b1=x1]
x’1=x2
x’2=b1-(b1-a1)
② f(x2)＜f(x1)，取[a1=x2,b1=b0]
x’1=a1+(b1-a1)
2、寻优方法
① 间接法(解析法)：适应于目标函数有简单明确的数学表达式。
② 直接法(搜索法)：目标函数复杂或无明确的数学表达式。
a.消去法(对单变量函数有效)：
不断消去部分搜索区间，逐步缩小极值点存在的范围。
b.爬山法(对多变量函数有效)：
根据已求得的目标值，判断前进方向，逐步改善目标值。
6
9.2 无约束条件下单变量函数寻优
2、多元函数 y=f(X)=f(x1,x2,…,xn)：在 X0 附近作泰勒展开，得
f (X)
f(X0 )
n i1
f (X0 ) xi
xi
1 n 2f(X0 ) 2 i,j1 xix j
xixj
(X3 ),(xi
xi
x0 )
f (X)
f (X0
)
f (X0
)T
X
1 2
XT
H
X,(X
X
x’1=a1+(b1-a1)
计算n个点后，总缩短率为 En=n-1＜， 可得试点数n。x’2=x1
8
3、计算步骤：求函数f(x)的极值点
第一步：取初始区间[a0,b0]
a0 •
x•2 x•1
• b0
a1 •
•• x’2 x’1
• b1
a1 •
否则，继续缩短区间， 直至满足给定的精度为止。
① f(x2)≥f(x1)，取[a1=a0,b1=x1]
x’1=x2
x’2=b1-(b1-a1)
② f(x2)＜f(x1)，取[a1=x2,b1=b0]
x’1=a1+(b1-a1)
2、寻优方法
① 间接法(解析法)：适应于目标函数有简单明确的数学表达式。
② 直接法(搜索法)：目标函数复杂或无明确的数学表达式。
a.消去法(对单变量函数有效)：
不断消去部分搜索区间，逐步缩小极值点存在的范围。
b.爬山法(对多变量函数有效)：
根据已求得的目标值，判断前进方向，逐步改善目标值。
6
9.2 无约束条件下单变量函数寻优
2、多元函数 y=f(X)=f(x1,x2,…,xn)：在 X0 附近作泰勒展开，得
f (X)
f(X0 )
n i1
f (X0 ) xi
xi
1 n 2f(X0 ) 2 i,j1 xix j
xixj
(X3 ),(xi
xi
x0 )
f (X)
f (X0
)
f (X0
)T
X
1 2
XT
H
X,(X
X
x’1=a1+(b1-a1)
计算n个点后，总缩短率为 En=n-1＜， 可得试点数n。x’2=x1
8
3、计算步骤：求函数f(x)的极值点
第一步：取初始区间[a0,b0]
a0 •
x•2 x•1
• b0
a1 •
•• x’2 x’1
• b1
a1 •
《高级运筹学》无约束非线性规划.ppt
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这
两点函数值的大小，确定第三点位置，比较这三点的函 数值大小，确定是否为 “高—低—高” 形态
计算步骤 Step1.选定初始点a1，初始步长h，计算
f 1＝f (a1), f 2＝f (a1 + h) Step2. 比较f 1和f 2。
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
研究生《高级运筹学》课件
无约束非线性规划
2015年5月
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
非线性规划—无约束问题132页PPT
非线性规划—无约束问题
51、没有哪个社会可以制订一部永远 适用的 宪法， 甚至一 条永远 适用的 法律。 ——杰 斐逊 52、法律源于人的自卫本能。——英 格索尔
53、人们通常会发现，法律就是这样 一种的 网，触 犯法律 的人， 小的可 以穿网 而过， 大的可 以破网 而出， 只有中 等的才 会坠入 网中。 ——申 斯通 54、法律就是法律它是一座雄伟的大 夏，庇 护着我 们大家 ；它的 每一块 砖石都 垒在另 一块砖 石上。 ——高 尔斯华 绥 55、今天的法律未必明天仍是法律。 ——罗·伯顿
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
132
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
51、没有哪个社会可以制订一部永远 适用的 宪法， 甚至一 条永远 适用的 法律。 ——杰 斐逊 52、法律源于人的自卫本能。——英 格索尔
53、人们通常会发现，法律就是这样 一种的 网，触 犯法律 的人， 小的可 以穿网 而过， 大的可 以破网 而出， 只有中 等的才 会坠入 网中。 ——申 斯通 54、法律就是法律它是一座雄伟的大 夏，庇 护着我 们大家 ；它的 每一块 砖石都 垒在另 一块砖 石上。 ——高 尔斯华 绥 55、今天的法律未必明天仍是法律。 ——罗·伯顿
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
132
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
6-3无约束非线性规划问题的求解
使得 f ( x k k d k ) min f ( x k d k )。
4. 令 x k 1 x k k d k , 令 k : k 1 , 转2。
二、共轭梯度法 1. 共轭方向与正定二次函数 设A为n×n对称正定阵，X和Y是n维欧氏空间En中的两个 向量，若有 XTAY=0， 则称X和Y关于A共轭，或X和Y关于A正交。 n p , p , , p E 设A为n×n对称正定阵，若向量组 1 2 中任 n 意两个向量关于A共轭，即满足条件 piT Ap j 0 (i j; i, j 1,2,, n) ，则称该向量组为A共轭。 定理6-11 设为A为n×n对称正定阵，p1 , p2 ,, pn 为A共轭 的非零向量，则这一向量组线性无关。 证 设有实数k1 , k 2 ,, k n ，使得 k1 p1 k 2 p2 k n pn 0 0 i=1,2,…,n 用 piT A 左乘上式得： ki piT Api ， T 但 pi 0 且A为正定，从而 pi Api 0 故必有 ki 0 (i 1,2,, n) ，从而知 p1 , p2 ,, pn线性无关。
o
d (1)T Ad ( 2) 0,
即等值面上一点处的切 向量与由这一点指向极小点的向量关于A 共轭。
p0 , p1 ,, pk 1 (k n) 定理6-12 设 f ( X )是上面讲的二次正定函数， 为A共轭，则从任一点X 0出发，依次沿 p0 , p1 ,, pk 1 执行一维搜索，即 * min f ( X p ) f ( X k k k k pk )
2 f ( x ) A,
因为A 正定，所以 2 f ( x ) A 0 ,
x
第三章无约束非线性规划课件
a = l; l = u; u = a + 0.618*(b - a); else b = u; u = l; l = a + 0.382*(b-a);
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
end k = k+1; tol = abs(b - a);
end if k == 100000
disp('找不到最小值！'); x = NaN; minf = NaN; return; end x = (a+b)/2; minf = subs(f, findsym(f),x); format short;
eps = 1.0e-6; end l = a + 0.382*(b-a); u = a + 0.618*(b-a); k=1; tol = b-a; while tol>eps && k<100000
fl = subs(f , findsym(f), l); fu = subs(f , findsym(f), u); if fl > fu
引言
本章讨论如下的优化模型
min f (x)
xRn
x 其中 f 是
的实值连续函数，通常假定具有
二阶连续偏导数。
#
预备知识
#
预备知识
#
预备知识
#
最优性条件
#
最优性条件
定理的逆不成立，即梯度为零的点不一定是局部解。 #
最优性条件
#
迭代法
求解无约束优化问题的常用方法是数值解法，而数值
解法中最为常见的是迭代法。
step3.令xk 1 =
xk
f (xk ) ； f (xk )
step4.令k k 1,转step2.
05-非线性规划-无约束问题
非线性规划
目标函数或约束条件中有非线性函 数的规划问题
非线性规划的最优解可能在其可行域中的任 意一点达到
不一定是全局最优解
背景 理论计算 相对于计算要求，计算能力仍十分有限
背景
为加快计算速度，必须明确各种方法的特点， 以针对不同问题选择最合适的方法
求解思路： 迭代
从一个选定的初始点x0出发，按照某种特定 的迭代规则产生一个点列{xk}
2 x2
4 x13
4 x1 x2
0
f
x2
4 4x2
2x1
2x12
0
解方程组得 xv1 (1.941,3.854)T , xv2 (1.053,1.028)T , xv3 (0.6117,1.4929)T
试判断所得的稳定点是否为最优解
H
(
xv1 )
2
f
(1.941,
3.854)
F2
n次计算能得到的区间长度比为
1
Fn
要使精度够大，即
Fn
1
δ：区间缩短的相对精度
如果至某一步
t1
t2
1 2
(a
b)
则可令
t2
1 2
(a
b)
t1
a
(1 可以证明对于斐波那契数列，其奇数项和偶 数项都各自收敛于同一极限，该极限值等于
5 1 0.618033988
xDi：塔顶产品中i组分的组成
：由Underwood公式确定
用经典的微分
n i j xFi 1 q
i1 ij
方法很难求解
一维搜索法（消去法）
斐波那契（Fibonacci）法（分数法） 0.618法 无需求导，根据函数值判断搜索方向 适用于求解已知极值区间的单峰函数
非线性规划-无约束问题
一般地，解非线性规划问题要比解线性规划问题困难的多，因为它不像解线性规划问题有单纯形法这一通用的方法，非线性规划目前还没有适合于各种问题的一般算法，各个方法都有自己特定的应用范围。
1.1 非线性规划问题及其数学模型
例：某金属制品厂要加工一批容积为1米3的长方形容器，按规格要求，上下底的材料为25元/m2，侧面的材料为40元/m2，试确定长、宽、高的尺寸，使这个容器的成本最低。
线性规划：
可能在其可行域中的任意一点达到。
非线性规划：
02
01
非线性规划的解的特点
目标函数是线性函数，可行域为凸集，求出的最优解就是整个可行域上的全局最优解。
线性规划：
01
有时求出的解是一部分可行域上的极值点，但并不一定是整个可行域上的全局最优解。
非线性划：
02
1.2 极值问题
局部极值定义
定理1：极值存在的必要条件
称该点列{X(k)}收敛于X*. 由于算法产生的点列使目标函数值逐步减小，称这一算法为下降算法。
或
超线性收敛：当 1<<2, q>0，或＝1, q＝0时，称为超线性收敛速度
二阶收敛：当 =2 ，k充分大时有
收敛速度
一般地认为，具有超线性收敛或二阶收敛速度的算法是比较快速的算法。
对于不同的问题，要根据具体情况来选择算法，因为我们事先并不知道最优解，迭代到什么时候停止呢？常用的准则是：
01
02
01
迭代中我们从一点出发沿下降可行方向找一个新的、性质有所改善的点。
02
下降方向：
可行方向：设 ∈S，d∈Rn,d≠0,若存在 ，使 ，称d 为 点 的可行方向。
2
如果继续缩小区间[a,b1](或[a1,b])，就需要在区间[a,b1](或[a1,b])内取一点b2，并计算出f(b2)的值，并与f(a1)比较。
《高级运筹学》无约束非线性规划
f ( x(k ) k d (k ) ) f ( x(k ) )
从而确定下一个点
x( k 1) x( k ) k d ( k )
(4) 检验新得到的点x (k+1)是否为最优或近似最优，若是则 停止迭代，否则继续迭代。检验方法：
|| f ( x( k 1) ) ||
第二节：一维搜索
局部极小点的一阶必要条件：设函数f(x)在点x处可微，且x (0) 为局部极小点，则必有
f ( x(0) ) 0
利用局部极小点的一阶必要条件，求多元函数极值问题往 往化成求解 f ( x) 0 即
f ( x) x 0 1 f ( x) 0 x2 f ( x) x 0 n
f(x)
函数值：大—小—大
图形：高—低—高
单谷区间中一定有极小点
a
x*
b
x
2. 一维搜索的基本思想 （1）确定初始单谷区间 （2）根据区间消去法原理逐步缩小此区间 （3）根据迭代精度要求确定最优解的近似值
bk ak ,
1 x (ak bk ) 2
*
(1) 确定初始单谷区间的进退法
-0.236 0.236
-0.236 0.236 -0.236 0.056 0.056 0.056 0.168 0.168 0.236 0.168 0.236
经过6次迭代，b-a=0.111<0.16, 满足精度要求，取 1 x (0.168 0.279) 0.23 2 问题的精确最优解为 0.25。
牛顿法的计算步骤
(1)给定 0、，令k 0 (2)计算f '( k ), f "( k ) (3)求 k 1 f '( k ) k f ''( k )
非线性规划—无约束问题
则称X * 为f(X )在上的全局极小点。 f(X *)为全局极小值。 若对于所有 X X * ，且X ，都有
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
f(X ) f(X *) 则称X * 为f(X )在上的严格全局极小点。 f(X *)为严格全局极小值。
如果将上述不等式反向 ，即可得到局部极 大值与全局极大值的定 义。
第11页
定理1：极值存在的必要条件
两边乘以“1”。 第5页
非线性规划的图解问题
图解法可以给人以直观概念，当只有两个自变量时， 非线性规划也像线性规划一样，可以利用图解法。
例：min f (X ) (x1 2)2 (x2 1)2
x1 x2 5 0
A
若令目标函数f ( X）＝C
C为某一常数。
则f ( X）＝C就代表一条曲线，
一般地，解非线性规划问题要比解线性规划问 题困难的多，因为它不像解线性规划问题有单纯形 法这一通用的方法，非线性规划目前还没有适合于 各种问题的一般算法，各个方法都有自己特定的应 用范围。
第2页
非线性规划模型
例：某金属制品厂要加工一批容积为1米3的长方 形容器，按规格要求，上下底的材料为25元/m2，侧 面的材料为40元/m2，试确定长、宽、高的尺寸，使 这个容器的成本最低。
设容器的长为x1，宽为x2，则高为1/x1x2。根据题意 得：
min
f
( x1 ,
x2 )
50 x1x2
80[
1 x1x2
( x1
x2 )]
x1, x2 0
第3页
例：某公司经营两种设备，第一种设备每件售价30元， 第二种设备每件售价为450元，根据统计，售出一件 第一种设备所需营业时间平均为0.5小时，第二种设备 为（2＋0.25x2）小时，其中x2是第二种设备的售出数 量，已知该公司在这段时间内的总营业时间为800小 时，试决定使其营业额最大的营业计划。
《高级运筹学》无约束非线性规划
求解方法简介
梯度法
基于目标函数的梯度信息，通 过迭代更新搜索方向和步长， 逐步逼近最优解。
牛顿法
利用目标函数的二阶导数（海 森矩阵）信息，构造一个二次 逼近模型，通过迭代更新搜索 方向和步长，逐步逼近最优解 。
共轭梯度法
结合梯度法和牛顿法的思想， 通过迭代更新搜索方向和步长 ，逐步逼近最优解。该方法在 求解大规模问题时具有较好的 收敛性和计算效率。
到该问题的最优解。
案例三：实际应用中的无约束非线性规划问题
要点一
总结词
要点二
详细描述
通过解决一个实际应用中的无约束非线性规划问题，了解 无约束非线性规划在现实生活中的应用和价值。
该案例是一个实际应用中的无约束非线性规划问题，目标函 数为 f(x) = -(x1*x2*x3)，约束条件为 x1 + x2 + x3 = 1。 这个问题来自于化学反应优化领域，通过求解该问题可以找 到最优的反应条件，提高化学反应的效率和产物质量。
约束条件
等式约束
表示决策变量之间的关系，通常以等式形式给出。
不等式约束
表示决策变量的取值范围或与其他变量的关系，通 常以不等式形式给出。
无穷范数约束
对于一些特殊的无约束非线性规划问题，可能需要 考虑无穷范数约束，即决策变量的极限行为。
决策变量
连续型决策变量
在无约束非线性规划中，决策变量可以是连续的，也可以是 离散的。连续型决策变量通常在连续空间中进行优化。
案例一：简单的无约束非线性规划问题求解
总结词
通过求解一个简单的无约束非线性规划问，了解无约束非线性规划的基本概念和求解 方法。
详细描述
该案例是一个简单的无约束非线性规划问题，目标函数为 f(x) = x1^2 + x2^2 2*x1*x2，约束条件为 x1 + x2 = 1。通过使用非线性规划求解器，可以找到该问题的
运筹学 — 无约束非线性规划,约束非线性优化解析
则 x是 f (x) 的R上的最小点（全局极小点）
• 凸规划：
定义：若 R En 为凸集， f ( x) 是R上的凸函数， 则称规划：
min f (x) s.t. x R
为凸规划
定义：若规划问题：
min f (x) s.t. gi (x) 0 i 1, 2, m
其中 f (x) 为凸函数， gi (x) 为凹函数（或 gi (x) 为凸函数） ，则该规划问题为凸规划。
x
k+1
=x +k P
k
k
检查得到的新点x是否为极小值点或近似极小值点。若是， 停止迭代。否则，令 k：=k+1，回2步继续迭代。
• 确定最优步长
k： min f (x +P )
k k
求以 为变量的一元函数 f (xk +Pk ) 的极小值点 （一维搜索）
一维搜索重要性质：在 搜索方向上所得最优点 处的梯度和该搜索方向 正交。
t
(t1 ) 0.2082 (t2 ) 0.0611
b-t1=1.146-0.438>0.5
0 t1
t2
1.416
t
4、第四轮：
a = 0.438, t1=0.708, t2=0.876, b=1.146
(t1 ) 0.0611 (t2 ) 0.0798
b-t1=1.146-0.708<0.5 0
第四章非线性规划
凌翔 龙建成 交通运输工程学院
凸函数定义：
设 f (x) 为定义在n维欧氏空间E中某个凸集R上的函数，若 对任何实数 0 1 以及R中的任意两点 x1 和 x2 ，恒有：
f ( x1 (1 )x2 ) f (x1 ) (1 ) f (x2 )
第三章非线性规划无约束问题的最优化方法
x0
0p 0
1.919877 还需要经过10次迭代才
能满足精度要求
0.003070
第三节 牛顿法
3. 牛顿法的缺点： 牛顿法要求初始解离最优解不远，若初始点选得离最优解太
远时，牛顿法并不能保证其收敛，甚至也不是下降方向。因此， 常将牛顿法与最速下降法结合起来使用。前期使用最速下降法， 当迭代到一定程度后，改用牛顿法，可得到较好的效果。 4. 修正牛顿法 基本思想： 保留了从牛顿法中选取牛顿方向作为搜索方向，摒弃其步长恒 为1的做法，而用一维搜索确定最优步长来构造算法。
2
2
0
2e2 2 3
00 21 0
03
f x3 9
第二节 最速下降法
再从x(3)点 出发，沿x3轴方向e3进行一维搜索：
0 x 3 e3 0
3
00 00 13
f x 3 e3
32
f' 0 x4 x3
3
3
0
3e3 0 0
f x4 0
第二节 最速下降法
因为 x 1
x 4 ，0故.0以1 x(4)点作为新的x(1) ，进行新一轮迭代。
0
1 33 22
f x0
p0
52 5
42
f' x0
p0 5 5 0
22
01
第三节 牛顿法
x1 x0
1 p0 3
2
3
f x1
14
12 2
0
30
12 1 2
2
f x1
所以选取 x* x 1
1 3 作为极小点。 2
第三节 牛顿法
6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处：
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
计算函数值， f1＝f（a1）， f2＝f（b1）有下列三种情况：
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
四、 黄金分割法 （0.618法）
黄金分割律是公元前六世纪，希腊的大数学家毕达哥拉斯发现 的：如果把一条线段分成两部分，长段和短段的长度之比是 1:0.618，整条线段和长段的比也是1:0.618时，才是和黄金 一样最完美的分割，进行分割的这个点就叫黄金分割点
黄金分割法适用于[a,b]区间上的任何单谷函数求极小值问 题。对函数除要求“单谷”外不作其他要求，甚至可以不连续。 因此，这种方法的适应面相当广.
研究生《高级运筹学》课件
无约束非线性规划
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题： min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
现有多元函数 f(x1,x2,…,xn), 若点 x (0) = (x10, x20,…, xn0)T 存
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这两点函数值的大小，
确定第三点位置，比较这三点的函数值大小，确定是否为 “高—低—高” 形态
计算步骤
Step1.选定初始点a1，初始步长h，计算 f 1＝f (a1), f 2＝f (a1 + h)
往化成求解
f (x) 0
即 的问题
f (x)
x1
0
f (x)
x2
0
f (x) xn
0
该方程组很难求解， 一般不采用此法。
二、迭代法
求解无约束非线性规划问题常用数值解法中的迭代法
1. 迭代法的基本思想：
给定f(x)的极小点位置的一个初始估计x (0)，依次计算产生 一系列点x (k) （1,2,…,), 希望点列x (k)的极限x* 就是f(x)的一 个极小点。
黄金分割法也是建立在区间消去法原理基础上的试探方法。 在搜索区间[a,b]内适当插入两点1,2，将区间分成三段； 利用区间消去法，使搜索区间缩小，通过迭代计算，使搜索 区间无限缩小，从而得到极小点的数值近似解
1 2 将区间分成三段
2 1 5 1 0.618
2 黄金分割法还要求在保留下来的区间内再插入一点所形成 的区间新三段，与原来区间的三段具有相同的比例分布
在一邻域(x(0)), 使对任意x (x(0)),均有f (x(0)) f(x), 则称
x (0)是 f(x) 的局部极小点。
无约束极小化问题的最优解必是f(x)的局部极小点。
局部极小点的一阶必要条件：设函数f(x)在点x处可微，且x (0) 为局部极小点，则必有
f (x(0) ) 0
利用局部极小点的一阶必要条件，求多元函数极值问题往
x x d (k1)
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维Байду номын сангаас索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
从而确定下一个点 x(k 1) x(k ) k d (k )
(4) 检验新得到的点x (k+1)是否为最优或近似最优，若是则 停止迭代，否则继续迭代。检验方法：
|| f (x(k1) ) ||
第二节：一维搜索
一、一维搜索的定义
在求解无约束非线性规划的算法中，要进行一系列如下格式 的迭代计算:
（a）如f2<f3, 则初始区间得到； h>0时，[a,b]=[a1,a3]; h<0时，[a,b]=[a3,a1];
（b）如f2>f3, 加大步长 h＝2 h ，a1=a2, a2=a3,转step3 继 续探测
(2) 消去法的基本原理
单谷区间确定后，假定在区间内任取两点a1,b1;且 a1 <b1。
3. 迭代法的基本步骤：
(1) 选择初始点x (0) ;
(2) 如已得到的迭代点x (k)不是最优解，确定从x (k)点出发 的搜索方向d (k)，使f(x)沿d (k)方向可以找到x (k+1)，目标函 数有所下降。
(3)在射线x (k) +d (k) (0) 上选取步长k, 使
f (x(k ) k d (k ) ) f (x(k ) )
三、一维搜索的基本思想：
1.单谷(峰）区间 在给定区间内仅有一个谷值(极大或极小)的函数称为单
谷函数，其区间称为单谷区间
函数值：大—小—大
f(x)
图形：高—低—高 单谷区间中一定有极小点
a
x*
b
x
2. 一维搜索的基本思想 （1）确定初始单谷区间 （2）根据区间消去法原理逐步缩小此区间 （3）根据迭代精度要求确定最优解的近似值
Step2. 比较f 1和f 2。 （a）如f 1 > f 2, 向右前进；加大步长 h ＝2 h ，转step3 （b）如f 1 < f 2, 向左后退；h＝- h，转（3）向后探测， （c）如f 1 ＝ f 2 ，极小点在[a1 a1 ＋ h ]之间。
向前探测
Step3. 产生新的探测点 a3＝a1＋h，f3＝f(a3); Step4. 比较函数值 f2与f3：
黄金分割法要求插入两点：
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。
f(b1) f(a1)
f(a1) f(b1)
f(a1)
f(b1)
a a1
b1
b
a a1
b1 b
a a1
b1 b
综合为两种情况：
①若f(a1)<f(b1), 则取 [a,b1]为缩短后的搜索区间。
②若f(a1)f(b1), 则取 [a1,b]为缩短后的搜索区间。
四、 黄金分割法 （0.618法）
黄金分割律是公元前六世纪，希腊的大数学家毕达哥拉斯发现 的：如果把一条线段分成两部分，长段和短段的长度之比是 1:0.618，整条线段和长段的比也是1:0.618时，才是和黄金 一样最完美的分割，进行分割的这个点就叫黄金分割点
黄金分割法适用于[a,b]区间上的任何单谷函数求极小值问 题。对函数除要求“单谷”外不作其他要求，甚至可以不连续。 因此，这种方法的适应面相当广.
研究生《高级运筹学》课件
无约束非线性规划
本章内容
第一节：最优性条件 第二节：一维搜索 第三节：最速下降法和共轭梯度法 第四节：牛顿法和拟牛顿法
第一节: 最优性条件
本章仅讨论如下无约束非线性规划问题： min f (x)
xRn
假定f(x)具有二阶连续偏导数。
一、 无约束极小化问题的最优性条件
现有多元函数 f(x1,x2,…,xn), 若点 x (0) = (x10, x20,…, xn0)T 存
bk ak ,
x*
1 2
(ak
bk
)
(1) 确定初始单谷区间的进退法
基本思想： 对f(x)任选一个初始点a1及初始步长h，通过比较这两点函数值的大小，
确定第三点位置，比较这三点的函数值大小，确定是否为 “高—低—高” 形态
计算步骤
Step1.选定初始点a1，初始步长h，计算 f 1＝f (a1), f 2＝f (a1 + h)
往化成求解
f (x) 0
即 的问题
f (x)
x1
0
f (x)
x2
0
f (x) xn
0
该方程组很难求解， 一般不采用此法。
二、迭代法
求解无约束非线性规划问题常用数值解法中的迭代法
1. 迭代法的基本思想：
给定f(x)的极小点位置的一个初始估计x (0)，依次计算产生 一系列点x (k) （1,2,…,), 希望点列x (k)的极限x* 就是f(x)的一 个极小点。
黄金分割法也是建立在区间消去法原理基础上的试探方法。 在搜索区间[a,b]内适当插入两点1,2，将区间分成三段； 利用区间消去法，使搜索区间缩小，通过迭代计算，使搜索 区间无限缩小，从而得到极小点的数值近似解
1 2 将区间分成三段
2 1 5 1 0.618
2 黄金分割法还要求在保留下来的区间内再插入一点所形成 的区间新三段，与原来区间的三段具有相同的比例分布
在一邻域(x(0)), 使对任意x (x(0)),均有f (x(0)) f(x), 则称
x (0)是 f(x) 的局部极小点。
无约束极小化问题的最优解必是f(x)的局部极小点。
局部极小点的一阶必要条件：设函数f(x)在点x处可微，且x (0) 为局部极小点，则必有
f (x(0) ) 0
利用局部极小点的一阶必要条件，求多元函数极值问题往
x x d (k1)
(k)
(k)
k
当方向d (k)给定，求最佳步长k, 就是求一元函数
() f (x(k) d (k) )
的极小点问题。 这一过程称为一维Байду номын сангаас索。
二、一维搜索的方法：
1. 精确线搜索，即解方程： d() 0 d
2. 试探法；按照某种方式找试探点，通过一系列试探 点的比较确定极小点。 3. 函数逼近法：用较简单的曲线近似代替原来的曲线， 用近似曲线的极小点来估计原曲线的极小点。
从而确定下一个点 x(k 1) x(k ) k d (k )
(4) 检验新得到的点x (k+1)是否为最优或近似最优，若是则 停止迭代，否则继续迭代。检验方法：
|| f (x(k1) ) ||
第二节：一维搜索
一、一维搜索的定义
在求解无约束非线性规划的算法中，要进行一系列如下格式 的迭代计算:
（a）如f2<f3, 则初始区间得到； h>0时，[a,b]=[a1,a3]; h<0时，[a,b]=[a3,a1];
（b）如f2>f3, 加大步长 h＝2 h ，a1=a2, a2=a3,转step3 继 续探测
(2) 消去法的基本原理
单谷区间确定后，假定在区间内任取两点a1,b1;且 a1 <b1。
3. 迭代法的基本步骤：
(1) 选择初始点x (0) ;
(2) 如已得到的迭代点x (k)不是最优解，确定从x (k)点出发 的搜索方向d (k)，使f(x)沿d (k)方向可以找到x (k+1)，目标函 数有所下降。
(3)在射线x (k) +d (k) (0) 上选取步长k, 使
f (x(k ) k d (k ) ) f (x(k ) )
三、一维搜索的基本思想：
1.单谷(峰）区间 在给定区间内仅有一个谷值(极大或极小)的函数称为单
谷函数，其区间称为单谷区间
函数值：大—小—大
f(x)
图形：高—低—高 单谷区间中一定有极小点
a
x*
b
x
2. 一维搜索的基本思想 （1）确定初始单谷区间 （2）根据区间消去法原理逐步缩小此区间 （3）根据迭代精度要求确定最优解的近似值
Step2. 比较f 1和f 2。 （a）如f 1 > f 2, 向右前进；加大步长 h ＝2 h ，转step3 （b）如f 1 < f 2, 向左后退；h＝- h，转（3）向后探测， （c）如f 1 ＝ f 2 ，极小点在[a1 a1 ＋ h ]之间。
向前探测
Step3. 产生新的探测点 a3＝a1＋h，f3＝f(a3); Step4. 比较函数值 f2与f3：
黄金分割法要求插入两点：
计算公式：
x(k 1) x(k ) k d (k )
其中:
d k : 搜索方向
k : 步长
不同算法的区别在于得出搜索方向和步长的方式不同。
2. 选择搜索方向和步长的原则： （1） 目标函数值逐次减小，这种算法称为下降算法。
f (x(0) ) f (x(1) ) f (x(k) )
（2） 算法具有收敛性。 即：序列中的某一点，或序列的极限点是函数的极小点。