优化方法PPT课件

最优点 初始点
(1 (-1
1) 1)
x1 x2
f
-1 1 4.00
-0.79 0.58 3.39
-0.53 0.23 2.60 -0.18 0.00 1.50 0.09 -0.03 0.98
0.37 0.11 0.47 0.59 0.33 0.20
0.80 0.63 0.05
0.95 0.90 0.003
Fibonacci法 抛物线插值法 三次插值法
方向的选择:最速下降法(梯度法) dk f(xk)
牛顿法 d k ( 2f(xk) 1 ) f(xk)
拟牛顿法 dkHkf(xk)
H k 由BFGS迭代公式或DEP公式迭代得出
搜索过程
m f( x 1 i x 2 ) n 1 ( x 2 0 x 1 2 ) 2 0 ( 1 x 1 ) 2
⑷ 令Sk f Xk ，从 Xk 出发，沿Sk 进行一维搜索， 基
即求k使得：
minf Xk Sk
0
f
Xk kSk
；
本 算
⑸ 令Xk1Xk kSk，k=k+1返回⑵.
法
最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最
速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛
最优化方法
数学建模系列讲座
最优化:在一定条件下,寻求使目标最大（小）的决策
最优化问题的解就是从所有可能的方案中选出最合 理的, 以达到最优目标的方案--最优方案. 搜寻最优方案的方法就是最优化方法.
最优化是工程技术、经济管理、科学研究、社会 生活中经常遇到的问题. 如：
结构设计 资源分配 生产计划 运输方案
•混合整数规划: 99B 钻井布局 •最短路，二次规划： 00B 管道订购 •组合优化最短路： 97B 截断切割，
04A 奥运会临时超市(MS)网点设计 •旅行商问题: 98B 灾情巡视 •优化： 02A 车灯光源优化设计
02B 彩票中的数学
最优化理论是运筹学的基本内容
运筹学OR： Operational Research 管理科学MS: Management Science 决策科学DS: Decision Science
停 止 迭 代 ,X *X k. 否 则 ,转 向 ( 3 ) ；
CUMCM赛题：约一半以上与最优化问题有关.如：
飞行管理问题(95A) 最优捕鱼策略(96A) 节水洗衣机(96B)
零件参数设计(97A)
投资的收益和风险(98A)
钢管订购和运输(2000B)
电力市场的堵塞管理(2004B)
•非线性规划： 96A 最优捕鱼策略 96B 节水洗衣机 97A 零件参数设计 98A 投资收益与风险01B 公交车调度
约 束
决策变量 g j ( x ) 0 , j 1, ..., l
条 件
x D n
可行解（满足约束）与可行域（可行解的集合） 最优解（取到最小或最大值的可行解）
最优化模型与方法的步骤
1.分析问题.发现、提出并形成问题,进行抽象、
简化、归纳和综合.明确问题的目标、各种约束、 问题的可控变量以及有关参数,搜集有关资料
0.99 0.99 1E-4
0.999 0.998 1E-5
0.9997 0.9998 1E-8
1．最速下降法（共轭梯度法）算法步骤：
无 约
⑴ 给定初始点X0En，允许误差0,令k=0；
束
⑵ 计算f Xk ；
优
⑶ 检验是否满足收敛性的判别准则：
化
f Xk ，
问 题
若满足，则停止迭代，得点XBiblioteka BaiduXk ，否则进行⑷； 的
慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值
点时，宜选用别种收敛快的算法.
2．牛顿法算法步骤：
( 1 ) 选 定 初 始 点 X 0 E n， 给 定 允 许 误 差 0， 令 k = 0 ；
( 2 )求 fXk, 2fXk 1, 检 验 ： 若 fXk , 则
2.建立模型.经过合理的假设,确定变量、参数和
目标与约束之间的关系,使用有效的模型来表示
3.求解.使用和创立各种数学方法和数学技术,对
模型求解(如最优解、次优解、近似解).借助于计 算机软件进行求解复杂的模型,并进行各种数据分 析
4.解的检验和控制.检查求解步骤和程序无误后,
检验解是否反映现实问题并进行灵敏度分析
多局部极小
f 0.298
求解方法:搜索算法(数值迭代)
在迭代的每一步,确定一个搜索方向和一个步长,使沿此方向和 此步长走一步到达下一点时,函数f(X)的值下降.
步长的选择:搜索方向 d k 确定后,求步长实际上是一个一维d k
优化问题 m ifn(xk dk)
称为一维搜索
成功-失败法 黄金分割法(0.618法)
建模时需要注意的几个基本问题
1.尽量使用实数优化,减少整数约束和整数变量 2.尽量使用光滑优化,减少非光滑约束的个数
如:尽量少使用绝对值函数、符号函数、多个变量求最大(最 小)值、四舍五入、取整函数等
3.尽量使用线性模型,减少非线性约束和非线性 变量的个数
如: x/y<5应改为x<5y
4.合理设定变量上下界,尽可能给定变量初始值 5.模型中使用的参数数量级要适当
如:小于 1 0 3
无约束优化 m in f ( x ) x n
F(x)
Xl Xg
最优解都是局部最 优解,全局最优解只 能从局部最优解的 X 比较中得到.
梯 度 : f(x ) ( f, f, x 1 x 2
, x fn ) T ,H e s s ia n 矩 阵 : 2 f(x ) ( x i2 fx j)m n
必 要 条 件 :若 x * 为 的 极 小 点 , 则 f(x * ) 0
充 要 条 件 :若 f(x * ) 0 , 2f(x * )正 定 , 则 x * 是 极 小 点
唯一极小 (全局极小)
f 0.298
f 0
f( x 1x 2 ) 2 x 1 2 2 x 1 x 2 x 2 2 3 x 1 x 2
优化Optimization 规划Programming
无线 约性 束规 优划 化
非整 线数 性规 规划 划
组不多目动网 合确目标态络 优定标规规优 化规规划划化
划划
优化问题的一般形式
优化问题三要素：决策变量；目标函数；约束条件
m in f (x)
目标函数
s.t. hi ( x ) 0 , i 1, ..., m