最优化方法 尹秋响 第二章
最优化方法
最优化的发展简史
最优化是一个古老的课题。长期以来， 人们对最优化问题进行着探讨和研究。
公元前 500年古希腊在讨论建筑美学中就已 发现了长方形长与宽的最佳比例为1. 618,称为 黄金分割比。其倒数至今在优选法中仍得到广泛 应用。在微积分出现以前，已有许多学者开始研 究用数学方法解决最优化问题。例如阿基米德证 明：给定周长，圆所包围的面积为最大。这就是 欧洲古代城堡几乎都建成圆形的原因。
最优化方法的具体应用举例
② 最优计划:现代国民经济或部门经济的计划，直 至企业的发展规划和年度生产计划，尤其是农业 规划、种植计划、能源规划和其他资源、环境和 生态规划的制订,都已开始应用最优化方法。一个 重要的发展趋势是帮助领导部门进行各种优化决 策。
③最优管理：一般在日常生产计划的制订、调度和 运行中都可应用最优化方法。随着管理信息系统 和决策支持系统的建立和使用，使最优管理得到 迅速的发展。
最优化方法
最优化及最优化方法
最优化是一门应用十分广泛的学科，它研究 在有限种或无限种可行方案中挑选最优方案，构 造寻求最优解的计算方法。达到最优目标的方案， 称为最优方案，搜索最优方案的方法，称为最优 化方法。这种方法的数学理论，称为最优化理论。
最优化方法（也称做运筹学方法）是近几十年 形成的，它主要运用数学方法研究各种系统的优 化途径及方案，为决策者提供科学决策的依据。
最优化方法的具体应用举例
④最优控制：主要用于对各种控制系统的优化。 例如，导弹系统的最优控制，能保证用最少燃料 完成飞行任务,用最短时间达到目标;再如飞机、 船舶、电力系统等的最优控制，化工、冶金等工 厂的最佳工况的控制。计算机接口装置不断完善 和优化方法的进一步发展，还为计算机在线生产 控制创造了有利条件。最优控制的对象也将从对 机械、电气、化工等硬系统的控制转向对生态、 环境以至社会经济系统的控制。
《最优化方法》课程教学大纲
《最优化方法》课程教学大纲课程编号：英文名称：Optimization Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3.课程目的（1）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法；（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。
4. 学分与学时学分2，学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）. 谢政、李建平、汤泽滢主编.国防科技大学出版社. 2003年（2）《最优化方法》（第一版）. 孙文瑜、徐成贤、朱德通主编. 高等教育出版社. 2004年参考书目：（1）《最优化原理》（第一版）. 胡适耕、施保昌主编. 华中理工大学出版社. 2000年（2）《运筹学》》（修订版）. 《运筹学》教材编写组主编. 清华大学出版社. 1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%，形式有：考勤、课堂测验、作业完成情况。
（2）考试成绩占80%，形式有：笔试（开卷）。
9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。
二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；（5）最优化的基本术语。
基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。
最优化方法课程设计
湖南****大学课程设计资料袋理学院学院（系、部）2013-2014 学年第一学期课程名称最优化方法指导教师黄力职称讲师学生姓名**** 专业班级数学与应用数学101班学号**********学生姓名**** 专业班级数学与应用数学101班学号*********学生姓名**** 专业班级数学与应用数学101班学号*********题目最优化方法成绩起止日期2013 年12 月16 日～2013 年12 月23 日目录清单湖南******大学课程设计任务书2013—2014 学年第1学期理学院学院（系、部）数学与应用数学专业101 班课程名称：最优化方法设计题目：求解各类最优化问题完成期限：自2013 年12 月16 日至2013 年12月23 日共 1 周指导教师（签字）：年月日系（教研室）主任（签字）：年月日设计说明书最优化方法求解各类最优化问题起止日期：2013 年12 月16 日至2013 年12 月23 日学生姓名*********学生姓名*********学生姓名*********班级数学与应用数学101班学号*********学号*********学号*********成绩指导教师(签字)理学院2013 年12 月23 日目录第1章课程设计目的和要求 (3)1.1设计目的 (3)1.2设计要求 (4)第2章具体问题及解析 (3)2.1铁板问题 (3)2.2配棉问题 (5)2.3连续投资问题 (7)2.4销售问题 (8)2.5整数规划模型 (8)第3章课程设计心得与体会 (9)参考文献 (9)第一章设计目的和要求1.1设计目的：1、理解线性规划原理并能解决实际问题；2、学会针对实际问题建立数学模型；3、掌握用Matlab实现线性规划问题；4、发现学习Matlab中的不足之处，加以改进。
1.2设计要求：1、编写针对实际具体的问题建立数学模型，并编写求解程序；2、能够处理调试程序中出现的问题，并总结经验；3、将实验过程中出现的问题加以分析讨论,找出解决办法；4、该实验两人一组，通过共同讨论来一起学习。
最优化方法_chapter1 绪论
三 最终结果
差
差
中
中
差
好
好
好
好
中
中
好
用这种方法娶到最差老婆的概率是1/6,娶到最好老 婆的概率是1/2!由此我们可以得到一个经典的结论:
初恋是靠不住的!
1.2 最优化问题的数学模型及其分类
最优化问题的数学模型包含三要素：
✓目标函数/评价函数 ✓决策变量 ✓约束条件
1.2 最优化问题的数学模型及其分类
第一种最优化问题表示形式为
min
[ x1，x2，L ，xn ]T
f
(x1，x2，...，xn )
s.
t.
gi hj
( (
x1，x2，...，xn x1，x2，...，xn
) )
0 0
i 1，2，...，l j 1，2，...，m (m n)
第二种最优化问题表示形式为
问题的严格全局最优解，称 f (x*)为严格全局最 优值.
y
D
x
x*
x
定义2 如果有x* D 及 0 ，使得当 x D N (x*) 时恒有 f (x) f (x*)，则称 x*为最优化问题的局部 最优解，称 f (x*)为局部最优值.其中：
N (x*) {x | x x * }
题目的规则是这样的:从现在开始甲可以选择和其中 任意一位女士交往一个月,一个月之后如果甲觉得满意就 与之结婚并且之后不能再离婚去选择剩下两位女士了;如 果甲觉得不满意可以从剩下的两个女士中再选择一位女 士交往一个月.第二个月之后如果甲满意那么就与这个女 士结婚,如果不满意就必须娶剩下的一位女士结婚(需要 注意的是与其中任何一个女士交往的过程中都不能和其 他女士同时交往,只能串行不能并行!).
最优化方法实验指导书
最优化方法实验指导书《最优化方法》课程设计指导书一、课程设计目的与要求1、提高分析问题、解决问题的能力，进一步巩固最优化方法的基本原理与方法。
2、熟悉应用MATLAB进行优化方法的设计。
二、课程设计要求1、要充分认识课程设计对培养自己的重要性，认真做好设计前的各项准备工作。
尤其是对编程软件的使用有基本的认识。
2、既要虚心接受老师的指导，又要充分发挥主观能动性。
结合课题，独立思考，努力钻研，勤于实践，勇于创新。
3、独立按时完成规定的工作任务，不得弄虚作假，不准抄袭他人内容，否则成绩以不及格计。
4、在设计过程中，要严格要求自己，树立严肃、严密、严谨的科学态度，必须按时、按质、按量完成课程设计。
三、内容及学时分配本设计包括四个小题目，全部设计时间一周，共16学时。
（一）单纯性算法的基本原理及思路（4学时）设计目的和要求：通过本次设计应使学生掌握如何使用MATLAB 软件进行单纯性算法求解线性规划，并学会对具体问题进行分析。
设计的内容：１、单纯性算法的基本思路２、算法流程图３、用matlab编写源程序４、单纯性算法应用举例教学建议：初次使用MATLAB进行优化问题的实验，本次设计在全面了解软件系统基础之上，要让学生学习和熟悉一些MATLAB的基础用途，重点掌握优化工具箱函数选用的内容。
重点和难点：优化工具箱函数选用。
（二）黄金分割法的MATLAB实现（4学时）设计目的和要求：通过本次设计应使学生掌握如何使用MATLAB 软件进行一维搜索，并学会对具体问题进行分析。
设计内容：１、0.618法的算法思路２、0.618法的MATLAB实现３、0.618法应用举例教学建议：本次实验是学生初次使用MATLAB进行优化问题的实验，本次实验就是要通过对一些具体问题的分析学会软件的操作并加深对理论知识的理解。
重点和难点：具体问题的步长因子的确定，理解、掌握精度与效率的关系。
（三）最速下降法的MATLAB实现（4学时）设计目的和要求：通过本次实验使学生进一步熟悉掌握使用MATLAB软件，并能利用该软件进行无约束最优化方法的计算。
最优化方法第一章
最优化的数学模型的一般形式:
f ( x) min s.t. ci ( x) 0 ci ( x ) 0 i 1, , m i m 1, , p
T n
(1.1.1)
其中
x ( x1 , x 2 , , x n ) R f : R n R1 ci : R R
分析：在长度确定的原料上截取三种不同规格的圆钢,
可
以归纳出8种不同的下料方案：
圆钢（米） Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅶ
2．9
2．1 1．5 料头（米）
1
0 3 0
2
0 1 0.1
0
2 2 0.2
1
2 0 0.3
0
1 3 0.8
1
1 1 0.9
0
3 0 1.１
0
0 4 1.4
问题归纳为如何混合使用这8种不同的下料方案, 来制造100 套钢架, 且要使剩余的余料总长为最短.
15
原料
化学成分 A B C 单位成本（元）
化学成分含量（%） 产品中化学成分的最低含量（%）
甲 12 2 3 ３ 乙 3 3 15 ２ 4 2 5
数学模型：
min z 3 x1 2 x2 x1 x2 1 12 x 3 x 4 2 1 s.t . 2 x1 3 x2 2 3 x 15 x 0 2 1 x1 0, x2 0
4
其它参考书： (5)卢名高、刘庆吉编著, 《最优化应用技术》, 石油 工业出版社,2002 (6)唐焕文, 秦学志,《实用最优化方法》, 大连理工大 学出版社, 2004 (7)钱颂迪, 《运筹学》, 清华大学出版社, 1990 (8)解可新、韩健, 《最优化方法》, 天津大学出版社, 2004
最优化法
优选法即“最优化理论”及解决方法始于第二次世界大战。
20世纪40年代初期，西方国家出于军事上的需要，提出一些不能用古典的微分法和变分法解决的最优化问题，从而产生了新的数学方法，并已成为应用数学上不可忽视的一个分支。
解决最优化问题的方法分两种：一种是间接最优化（或称解析最优化）方法，另一种是直接最优化（或称试验最优化）方法。
所谓间接最优化方法，就是要求把所研究的对象（如物理或化学过程）用数学方程描述出来，然后再用数学解析方法求出其最优解。
但是在很多情况下，研究对象本身机理不很清楚，无法用标准数学方程描述。
对于这种情形，可以构造一种函数来逼近这些试验数据，然后再从函数求最优解，并通过试验来验证。
然而也有很多实际问题可以不经过中间阶段，而直接通过少量试验，根据试验，结果的比较而迅速求得最优解——这就是“直接最优化方法”。
如爬山法、均分法、来回调试法、平分法、等这些安排科学试验的基本原则，早已应用，只是没有系统整理、提高为理论而已。
自从1953年美国的基弗（Kiefer）提出的分数法和.0618法后，从单因素方法扩展到多因素法、降维法等多种方法，在设计数字滤波器、变压器、微波网络及空间技术中确定最优弹道、空间交汇、拦截时间等方面都有广泛应用。
艾略特在1939年提出的波浪理论已经自觉不自觉地在应用“直接最优化方法”来判断和预测日后的走势。
如“主升浪是初升浪的1.618倍”等，他没有用“间接最优化法”先把初升浪和主升浪的数学方程函数求出来，而是直接求各种可能的结果。
但由于历史条件的限制，即受牛顿绝对时空观的束缚及最优化方法理论还不够完善情况的制约，艾略特只能把时间当常量，单就空间论空间，使得他不得不采用概率理论中的“把所有可能结果组成的集合样本空间”都罗列出来，让应用者自己去取舍。
譬如在经初升浪、主升浪后的收尾阶段——末升浪阶段,只能把末升浪推测为“与初升浪相等、失败或延长浪”。
即把A＝{与初升浪相等}、B＝{是初升浪的失败浪}、C＝{是初升浪的延长浪}三个事件的概率函数P(A)、P（B）、P（C）用语言表示法都罗列了出来了，却没有列出概率函数P(.)的具体计算公式。
最优化方法 第二版 孙文瑜 部分课后答案
0 的边界点；
2. 考虑下述约束最优化问题
min x1
s.t.
x21 + (x2 − 2)2 x21 1,
3,
画出问题的可行域和目标函数的等位线，并由此确定问题的所有局部最优解和全局最优解.
解: 可行域和等位线如下
1
x2
(1,2 2)
( 3,2)
(0,2)
3 1
(1,2 2)
1 3 x1
全等局位最线优：解f (x：1)x1==k；−√局3部, x最2 =优2解. ：x1
T = {x|f (x) α}
为函数 f (x) 关于实数 α 的水平集. 证明对任意实数 α，集合 T 是凸集. 证: 对于 ∀x1, x2 ∈ T ，根据 T 的定义则有 f (x1) α, f (x2) α. 由于 D 是凸集，则对于 ∀λ ∈ [0, 1]，必 有
λx1 + (1 − λ)x2 ∈ D 又由于 f (x) 是 D 上的凸函数，则有
f (λx∗ + (1 − λ)y) λf (x∗) + (1 − λ)f (y) λf (x∗) + (1 − λ)f (x∗) = f (x∗)
5
这表明在 x∗ 的任意小的邻域内都存在函数值小于 f (x∗) 的可行点，这与 x∗ 是局部最优解相矛盾，则 x∗ 是一个全局最优解. 再证 x∗ 是唯一的：由于目标函数是严格凸的，设 x∗ ̸= y∗ 都是全局最优解，则 f (x∗) = f (y∗). 由严格凸 函数的定义，而 ∀λ ∈ (0, 1)，有
λx1 + (1 − λ)y1 + λx2 + (1 − λ)y2 = λ(x1 + x2) + (1 − λ)(y1 + y2) λ+1−λ=1
最优化方法 2第二章
13
例2.2 试求目标函数 f ( X ) x12 x22 1 在点X 0 [0,3]T 处的 最速下降方向，并求沿这个方向移动一个单位 长后新点的目标函数值． f 解 因为 f 2 x 2x
0 2 x1 f ( X 0 ) = 所以最速下降方向是－ = ． 2 x2 x1 0 6
0
f : R n R1是 X 0
8
二、梯度
定义2.4 以 f ( X ) 的n个偏导数为分量的向量称为
f ( X ) 在X处的梯度，记为
f ( X ) f ( X ) f ( X ) f ( X ) ， ， ， x2 xn x1
T
．
梯度也可以称为函数f ( X )关于向量 X 的一阶导 数．
11
f ( X 0 ) P
f ( X 0 )T e
= f ( X 0 ) · 1· ( cos(f ( X 0 ) , e )) f ( X 0 )
f ( X 0 ) 的方向相同时才成立． 等号当且仅当 e的方向与
可得如下重要结论(如图2.1所示）：
(1) 梯度方向是函数值的最速上升方向；
T n (b X ) ( bi xi ) b j， j 1，， 2 ， n x j x j i 1
所以 (bT X ) b T （3） ( X X ) 2 X ． （4）若Q是对称矩阵，则
( X T QX ) 2QX
10
三、梯度与方向导数之间的关系 定理2.1 设 f : R n R1 在点 X 0 处可微，则 f ( X 0 ) f ( X 0 ) T e ， P 其中 e 是 P 方向上的单位向量. 容易得下列结论： (1)若 f ( X 0 )T P 0，则P的方向是函数在点 X 0处的 下降方向； (2) 若 f ( X 0 )T P 0，则 P 的方向是函数在点 X 0 处 的上升方向． 方向导数的正负决定了函数值的升降，而升 降的快慢就由它的绝对值大小决定．绝对值越 大，升降的速度就越快
最优化方法
最优化方法为了使系统达到最优的目标所提出的各种求解方法称为最优化方法。
在经济管理学上就是在一定人力、物力和财力资源条件下，使经济效果（如产值、利润等）达到最大，并使投入的人力和物力达到以最小的系统科学方法。
常用的优化方法有线性规划法、非线性规划法、动态规划法、极大值法等。
最优化方法是在第二次世界大战前后，在军事领域中对导弹、雷达控制的研究中逐渐发展起来的。
它对促进运筹学、管理科学、控制论和系统工程等新兴学科的发展起到了重要的作用。
最优化方法解决问题一般可以分为以下几个步骤：（1）提出需要进行最优化的问题，开始收集有关资料和数据；（2）建立求解最优化问题的有关数学模型，确定变量，列出目标函数和有关约束条件；（3）分析模型，选择合适的最优化方法；（4）求解方程。
一般通过编制程序在电子计算机上求得最优解；（5）最优解的验证和实施。
通过上述五个相互独立和互相渗透的步骤，最终求得系统的最优解。
我国数学家华罗庚在生产企业中推广最优化方法时采用"优选法"一说，推广优选法的目的是帮助工厂合理安排试验，以较少的试验次数找到合理的配方、下料和工艺条件。
随着系统科学的发展和各个领域的需求，最优化方法不断地应用于经济、自然、军事和社会研究的各个领域。
最优化方法在实践中的应用可以分为最优设计、最优计划、最优管理和最优控制等四个方面。
最优设计：在飞机、造船、机械、建筑设计等工程技术界的最优化方法，并与计算机辅助设计相结合，进行设计参数的优选和优化设计问题的求解。
最优计划：在编制国民经济和部门经济的计划和农业、交通、能源、环境、生态规划中，在编制企业发展规划和年度生产计划，领导人的决策方案设计等领域中应用最优化方法的过程称之为最优计划。
最优管理：是指一般在企业日常生产计划的制订、生产经营的高度和运行中，通过计算机管理住处系统和决策支持系统等辅助工具，运用最优化方法进行经营管理的过程。
最优控制：主要是指在各种控制系统和导弹系统、卫星系统、航天飞机系统、电力系统等高度复杂系统中运用最优化方法的过程。
最优化方法
第2章 最优化方法
《 计 算 方 法 》
图 7.3
第2章 最优化方法
1.4 求目标函数极值的迭代法
数值解法中最为常见的是迭代法。它的基本思想 为:首先给出目标函数f(x)极小点的初始点x(0),然后按一
《 计 算 方 法 》
定 的 规 则 构 造 一 系 列 点 列 x(k)(k=0,1,2,„), 希 望 点 列 ｛x(k)｝的极限x就是f(x)的一个极小点。下面讨论点 列｛x(k)｝的产生。 设｛x(k)｝为已知,要求x(k+1)。因为 x(k+1)与x(k)之差是一个从x(k)出发指向x(k+1)的向量,而向量
A为对称矩阵。 我们知道,过点x(0)引向量p0,f(x)沿这个方向的变化
率就是f(x)在该点沿此方向的方向导数,其值为
f ( x (0) ) f ( x (0) ) T cos 1 cos 2 g0 h x1 x2 cos 1 h cos 2
第2章 最优化方法
为f(x,y)的极小点;若满足f(x,y)＜f(x0,y0)
第2章 最优化方法
(p(x,y)≠p0(x0,y0)), 则 称 函 数 f(x,y) 在 点 p0 达 到 极 大
值,p0为f(x,y)的极大点。如图7.2,f(x,y)在p1(x1,y1)达到极 大值,在p2(x2,y2)点达到极小值,p1 、p2 分别为f(x,y)的极
第2章 最优化方法
第二种充分条件设函数f(x)在点x0处具有二阶导数 且f′（x0)=0,f″(x0)≠0,则 (1)当f″(x0)＜0时,函数f(x)在点x0处达到极大值;
《 计 算 方 法 》
(2)当f″(x0)＞0时,函数f(x)在点x0处达到极小值。
最优化方法
最优化方法最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。
基本定义最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。
最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。
最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。
实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。
本章将介绍最优化方法的研究对象、特点，以及最优化方法模型的建立和模型的分析、求解、应用。
主要是线性规划问题的模型、求解（线性规划问题的单纯形解法）及其应用――运输问题；以及动态规划的模型、求解、应用――资源分配问题。
最优化方法1.微分学中求极值2.无约束最优化问题3.常用微分公式4.凸集与凸函数5.等式约束最优化问题6.不等式约束最优化问题7.变分学中求极值详细资料数学意义为了达到最优化目的所提出的各种求解方法。
从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。
从经济意义上说，是在一定的人力、物力和财力资源条件下，使经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。
发展简史公元前500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为1.黄金分割比618,称为黄金分割比。
其倒数至今在优选法中仍得到广泛应用。
在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。
例如阿基米德证明：给定周长，圆所包围的面积为最大。
最优化方法
否则采用 xk 1 xk 1，或 | f ( xk ) f ( xk 1 ) | 1 对于有一阶导数信息，且收敛不太快的算法，可采用 g k 3 , 其中g k＝f ( xk )。 但由于平稳点也可能是鞍点，因此可与上式结合使用。 一般地，可取 1 2 10 5 , 3 10 4.
a) b)
若xk+1满足某种终止条件，则停止迭代，得到近似最优解， 否则，重复以上步骤。
dk
xk+1
xk
收敛速度
收敛速度也是衡量最优化方法有效性的重要方面。
若存在实数 0及一个与迭代次数 k 无关的常数q 0，使得 lim x k 1 x *
k xk x *
q,
f ( x) f ( x*), 则称x * 为f的局部极小点。 如所有满足 || x x* || 的x，都有f ( x) f ( x*), 则称x * 为f的严格局部极小点。
全局极小 若存在 0，使得对所有x, 都有f ( x) f ( x*),
则称x * 为f的总体极小点。 如所有x，都有f ( x) f ( x*), 则称x * 为f的严格总体极小点。
定理（凸充分性定理）：设f : D R n R1是凸函数且一阶连续可微， 若x * 是总体极小点的充要条件是g ( x*) 0。
问题：什么是凸函数？
1.2 最优化方法的结构
迭代优化方法的基本思想：
给定一个初始点x0, 按照某一迭代规则产生一个点列{xk}, 使得 当{xk}是有穷点列时，其最后一个点是最优化模型问题的最优解。 当{xk}是无穷点列时，其极限点为最优解。
则称算法产生的迭代点列x k 具有Q 阶收敛速度。特别地 （ 1）当＝1，q 0时， xk 具有Q 线性收敛速度。 （2）当1 2，q 0时(或者＝1, q 0)， xk 具有Q 超线性收敛速度。 （3）当＝2，q 0时， xk 具有Q 二阶收敛速度。
《最优化方法》硕士研究生课程.
从而得到两杆桁架最优设计问题的数学模型：
min 2dB L2 h 2 2 2 p L h s.t. 0 dhB 2 E d 2 B 2 p L2 h 2 0 2 2 dhB 8 L h d max d d min h h h min max
这是作为系统决策变量的一个数学函数来衡量系统的 效率，即系统追求的目标。
§2 最优化问题
最优化在物质运输、自动控制、机械设计、采矿冶金、经济 管理等科学技术各领域中有广泛应用。下面举几个专业性不强 的实例。 例1.把半径为1的实心金属球熔化后，铸成一个实心圆柱体， 问圆柱体取什么尺寸才能使它的表面积最小？ 解：决定圆柱体表面积大小有两个决策变量：圆柱体底面半 径r、高h。 问题的约束条件是所铸圆柱体重量与球重相等。即
h 2r
2 2 3 r . h2 3 3
3
此时圆柱体的表面积为 例2.多参数曲线拟合问题
2 6 3
2 3
已知两个物理量x和y之间的依赖关系为: a2 y a1 x a4 1 a3 ln 1 exp a 5 a2 a3 a4 和 a5待定参数,为确定这些参数, 其中 a1
最优化原理与方法 第一章 最优化原理建模与数学预备知识
§1 引言
最优化技术是一门较新的学科分支。它是在本世纪五十年 代初在电子计算机广泛应用的推动下才得到迅速发展，并成为 一门直到目前仍然十分活跃的新兴学科。最优化所研究的问题 是在众多的可行方案中怎样选择最合理的一种以达到最优目标。 将达到最优目标的方案称为最优方案或最优决策，搜寻最 优方案的方法称为最优化方法，关于最优化方法的数学理论称 为最优化论。 最优化问题至少有两要素：一是可能的方案；二是要追求 的目标。后者是前者的函数。如果第一要素与时间无关就称为 静态最优化问题，否则称为动态最优化问题。 本科程专门讲授静态最优化问题。
最优化方法最详细总结
最优化方法最详细总结下载温馨提示：该文档是我店铺精心编制而成，希望大家下载以后，能够帮助大家解决实际的问题。
文档下载后可定制随意修改，请根据实际需要进行相应的调整和使用，谢谢!并且，本店铺为大家提供各种各样类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，如想了解不同资料格式和写法，敬请关注!Download tips: This document is carefully compiled by the editor. I hope that after you download them, they can help yousolve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you!In addition, our shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts,other materials and so on, want to know different data formats and writing methods, please pay attention!最优化方法在计算机科学和数学领域广泛应用，其目的是寻找问题的最佳解决方案。
最优化方法及其应用
第一章 最优化问题总论无论做任何一件事，人们总希望以最少的代价取得最大的效益，也就是力求最好，这就是优化问题．最优化就是在一切可能的方案中选择一个最好的方案以达到最优目标的学科．例如，从甲地到乙地有公路、水路、铁路、航空四种走法，如果我们追求的目标是省钱，那么只要比较一下这四种走法的票价，从中选择最便宜的那一种走法就达到目标．这是最简单的最优化问题，实际优化问题一般都比较复杂．概括地说，凡是追求最优目标的数学问题都属于最优化问题．作为最优化问题，一般要有三个要素：第一是目标；第二是方案；第三是限制条件．而且目标应是方案的“函数”．如果方案与时间无关，则该问题属于静态最优化问题；否则称为动态最优化问题．§1.1 最优化问题数学模型最简单的最优化问题实际上在高等数学中已遇到，这就是所谓函数极值，我们习惯上又称之为经典极值问题．例1.1 对边长为a 的正方形铁板，在四个角处剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？解 设剪去的正方形边长为x ，由题意易知，与此相应的水槽容积为x x a x f 2)2()(-=．令0)6)(2()2()2)(2(2)('2=--=-+--=x a x a x a x x a x f ，得两个驻点：a x a x 6121==，．第一个驻点不合实际，这是因为剪去4个边长为2a的正方形相当于将铁板全部剪去．现在来判断第二个驻点是否为极大点．∵ a x f 824)(''-=， 04)6(''<-=a af ，∴6a x =是极大点． 因此，每个角剪去边长为6a的正方形可使所制成的水槽容积最大．例1.2 求侧面积为常数)0(62>a a ，体积最大的长方体体积．解 设长方体的长、宽、高分别为z y x ，，体积为v ，则依题意知体积为 xyz z y x f v ==)(，，，条件为06)(2)(2=-++=a xy xz yz z y x ，，ϕ．由拉格朗日乘数法，考虑函数)6222()(2a xy xz yz xyz z y x F -+++=λ，，，2()02()02()0x y z F yz y z F xz z x F xy x y λλλ'=++='=++='=++=，，，由题意可知z y x ，，应是正数，由此0≠λ，将上面三个等式分别乘以z y x ，，并利用条件23a xy zx yz =++，得到2222(3)02(3)02(3)0xyz a yz xyz a zx xyz a xy λλλ⎧+-=⎪+-=⎨⎪+-=⎩，，．比较以上三式可得xy a zx a yz a -=-=-222333，从而a z y x ===．又侧面积固定的长方体的最大体积客观存在，因此侧面积固定的长方体中以正方体体积最大，其最大值为3a ．例1.3 某单位拟建一排四间的停车房，平面位置如图1.1所示．由于资金及材料的限制，围墙和隔墙的总长度不能超过40m ，为使车房面积最大，应如何选择长、宽尺寸？解 设四间停车房长为1x ，宽为2x ．由题意可知面积为2121)(x x x x f =，，且变量1x ，2x 应满足405221≤+x x ， 1200x x ≥≥，．即求2121),(m ax x x x x f =，1212254000x x x x +≤⎧⎨≥≥⎩，，．以上三个例子，虽然简单，但是它代表了三种类型的最优化问题．第一个例子代表无约束极值问题：一般可表示为),,,(m i n21n x x x f 或),,,(m ax 21n x x x f ．这里，),,,(21n x x x f 是定义在n R 上的可微函数．求极值的方法是从如下含有n 个未知数n x x x ,,,21 的非线性方程组⎪⎪⎩⎪⎪⎨⎧===0)('0)('0)('21212121n x n x n x x x x f x x x f x x x f n ，，，，，中解出驻点，然后判定或验证这些驻点是不是极值点．第二个例子代表具有等式约束的极值问题： 一般可表示为121212min ()max ()()0123()n n j n f x x x f x x x h x x x j m m n ⎧⎪⎨==<⎪⎩，，，或，，，，，，，，，，，，．该问题的求解通常采用拉格朗日乘数法，即把这个问题转化为求121212121()()()mn m n j j n j L x x x f x x x h x x x λλλλ==-∑，，，；，，，，，，，，，的无约束极值问题．第三个例子代表具有不等式约束的极值问题．下面具体分析上述三种类型的最优化问题中按经典极值问题解法可能出现不能解决的情况：（1）当变量个数增加且方程组又是非线性，求解此方程组只有在相当特殊情况下才能人工解出．正因为如此，通常高等数学中的求极值问题的变量个数一般不超过三个．（2）当限制条件出现不等式，无论变量数多少，按经典极值方法求解根本无法解决． 直到本世纪50年代，最优化理论的建立以及电子计算机的迅速发展，才为求解各种最优化问题提供了雄厚的基础和有效手段．不过最优化方法作为一门崭新的应用学科，有关理论和方法还没有完善，有许多问题还有待解决，目前正处于迅速发展之中．最优化问题的数学模型包含三个要素：变量（又称设计变量）、目标函数、约束条件． 一、变量一个优化设计方案是用一组设计参数的最优组合来表示的．这些设计参数可概括地划分为两类：一类是可以根据客观规律、具体条件、已有数据等预先给定的参数，统称为常量；另一类是在优化过程中经过逐步调整，最后达到最优值的独立参数，称为变量．优化问题的目的就是使各变量达到最优组合．变量的个数称为优化问题的维数．例如有n 个变量n x x x ，，， 21的优化问题就是在n 维空间n R 中寻优．n 维空间n R 中的点T n x x x X ][21，，， =就代表优化问题中的一个方案．当变量为连续量时，称为连续变量；若变量只能在离散量中取值，称为离散变量．二、目标函数反映变量间相互关系的数学表达式称为目标函数．其值的大小可以用来评价优化方案的好坏．按照规范化的形式，一般把优化问题归结为求目标函数的极小化问题，换句话说，目标函数值越小，优化方案越好．对于某些追求目标函数极大的问题，可以转化成求其负值最小的问题，即12max ()max ()min[()]n f X f x x x f X ==--，，，．因此在本书的叙述中，一律把优化问题描述为目标函数的极小化问题，其一般形式为12min ()min ()n f X f x x x =，，，． 如果优化问题只有一个目标函数，称为单目标函数，如果优化问题同时追求多个目标，则该问题的目标函数称为多目标函数．多目标优化问题的目标函数通常表示为12min ()[()()()]T m V F X f X f X f X -=，，，，其中Tn x x x X ][21，，， =．这时的目标函数在目标空间中是一个m 维矢量，所以又称之为矢量优化问题（一般用min 加一个前缀“-V ”来表示矢量极小化）． 三、约束条件变量间本身应该遵循的限制条件的数学表达式称为约束条件或约束函数． 约束条件按其表达式可分为不等式约束和等式约束两种，即()012..()012i j g X i l s t h X j m ≥=⎧⎪⎨==⎪⎩，，，，，，，，，．上式中“s . t .”为Subject to 的缩写，意即“满足于”或“受限于”．按约束条件的作用还可将约束条件划分为起作用的约束（紧约束、有效约束）和不起作用的约束（松约束、消极约束）．等式约束相当于空间里一条曲线（曲面或超曲面），点X 必须为该曲线（曲面或超曲面）上的一点，因而总是紧约束．有一个独立的等式约束，就可用代入法消去一个变量，使优化问题降低一维．因此，数学模型中独立的等式约束个数应小于变量个数；如果相等，就不是一个待定优化系统，而是一个没有优化余地的既定系统．不等式约束通常是以其边界)0)((0)(≈=X g X g 或表现出约束作用的，它只限制点X 必须落在允许的区域内（包括边界上），因而不等式约束的个数与变量个数无关．不带约束条件的优化问题称为无约束最优化问题；带约束条件的优化问题称为约束最优化问题．四、带约束条件的优化问题数学模型表示形式综上所述，全书所要讨论的问题是如下的（静态）最优化问题，其表示形式有三种： 第一种最优化问题表示形式为1212[]1212min()()012..()012()T n n x x x i n j n f x x x g x x x i l s t h x x x j m m n ∈Ω≥=⎧⎪⎨==<⎪⎩，，，，，，，，，，，，，，，，，，，，，，． 第二种最优化问题表示形式为m i n ()()012..()012()X i j f X g X i l s t h X j m m n ∈Ω≥=⎧⎪⎨==<⎪⎩，，，，，，，，，，．第三种最优化问题表示形式为min ()()0..()0X f G X s t H X ∈Ω≥⎧⎨=⎩，，，X（1.1）其中11()[()()]()[()()]T Tl m G X g X g X H X h X h X ==，，，，，． 上述三种表示形式中，X ∈Ω称为集约束．在所讨论的最优化问题中，集约束是无关紧要的．这是因为一般nR ≡Ω，不然的话，Ω通常也可用不等式约束表达出来．因此今后一般不再考虑集约束．满足所有约束的点X 称为容许点或可行点．容许点的集合称为容许集或可行域．可用{|()012()012()}i j D X g X i l h X j m m n =≥===<，，，，；，，，， 表示．一般地，对于最优化问题（1.1）的求解，是指在可行域内找一点*X ，使得目标函数)(X f在该点取得极小值，即***()min ()()0..()0f X f X G X s t H X =≥⎧⎨=⎩，，．这样的*X 称为问题（1.1）的最优点，也称极小点，而相应的目标函数值)(*X f 称为最优值；合起来，))((**X f X ，称为最优解，但习惯上常把*X 本身称为最优解．最优点的各分量和最优值必须是有限数．§1.2 最优化问题的算法一、二维最优化问题的图解法二维最优化问题具有鲜明的几何解释，这对于理解有关理论和掌握所述的方法是很有益处的．下面讨论的二维最优化问题为⎩⎨⎧==≥.0)(210)(..)(min 212121x x h l i x x g t s x x f i ，，，，，，，（一）约束集合当约束函数为线性时，等式约束在21x x ，的坐标平面上为一条直线；不等式约束在21x x ，的坐标平面上为一半平面．当约束函数（例如)(21x x h ，）为非线性时，则等式约束条件0)(21=x x h ，在21x x ，的坐标平面上为一条曲线（如图 1.2所示）．当约束函数（例如)(211x x g ，）为非线性时，则不等式约束0)(211≥x x g ，在21x x ，的坐标平面上为曲线0)(211=x x g ，把坐标平面分成两部分当中的一部分（如图1.3所示）．图1.2图1.3综上所述，当把约束条件中的每一个等式所确定的曲线，以及每一个不等式所确定的部分在21x x ，坐标平面上画出之后，它们相交的公共部分即为约束集合D ． 例1.4 在21x x ，坐标平面上画出约束集合 }001|],{[21222121≥≥≤+=x x x x x x D T ，，．解 满足12221≤+x x 的区域为以原点为圆心，半径为1的圆盘；满足0021≥≥x x ，的区域为第一象限中的扇形（如图1.4所示）．（二）等高线我们知道)(21x x f t ，=在三维空间中表示一张曲面．c t =（其中c 为常数）在三维空间中表示平行于21x x ，平面的一个平面，这个平面上任何一点的高度都等于常数c （如图1.5所示）．图1.4图1.5现在，在三维空间中曲面)(21x x f t ，=与平面c t =有一条交线L ．交线L 在21x x ，平面上的投影曲线是L '，可见曲线L '上的点T x x ][21，到平面c t =的高度都等于常数c ，也即曲线L '上的T x x ][21，的函数值)(21x x f ，都具有相同的值c ．当常数c 取不同的值时，重复上面的讨论，在21x x ，平面上得到一簇曲线——等高线．不难看出，等高线的形状完全由曲面)(21x x f t ，=的形状所决定；反之，由等高线的形状也可以推测出曲面)(21x x f t ，=的形状．在以后的讨论中，不必具体画出曲面)(21x x f t ，=的图形，只须在21x x ，平面上变动常数c 画出曲线簇c x x f =)(21，． 例1.5 在21x x ，坐标平面上画出目标函数222121)(x x x x f +=，的等高线．解 因为当取0>c 时，曲线c x x =+2221表示是以原点为圆心，半径为c 的圆．因此等高线是一簇以原点为圆心的同心圆（如图1.6所示）．（三）几何意义及图解法当在21x x ，坐标平面上分别画出约束集合D 以及目标函数)(21x x f ，的等高线后，不难求出二维最优化问题的最优解．下面举例说明．例1.6 用图解法求解二维最优化问题2212221212min[(2)(2)]1..00x x x x s t x x +++⎧+≤⎪⎨≥≥⎪⎩，，，．解 由例1.4得到约束集合D （如图1.7所示）．目标函数的等高线是以T]22[--，为圆心的同心圆，并且这簇同心圆的外圈比内圈的目标函数值大．因此，这一问题成为在约束集合中找一点Tx x ][21，，使其落在半径最小的那个同心圆上．不难看出，问题的最优解图1.6T T x x X ]00[][21*，，==．图1.7二、最优化问题的迭代解法（一）迭代方法在经典极值问题中，解析法虽然具有概念简明，计算精确等优点，但因只能适用于简单或特殊问题的寻优，对于复杂的工程实际问题通常无能为力，所以极少使用．最优化问题的迭代算法是指：从某一选定的初始点出发，根据目标函数、约束函数在该点的某些信息，确定本次迭代的一个搜索方向和适当的步长，从而到达一个新点，用式子表示即为1012k k k k X X t P k +=+=，，，，（1.2）式中k X 代表前一次已取得的迭代点，在开始计算时为迭代初始点0X ，1+k X 代表新的迭代点，k P 代表第k 次迭代计算的搜索方向，k t 代表第k 次迭代计算的步长因子．按照式（1.2）进行一系列迭代计算所根据的思想是所谓的“爬山法”，就是将寻求函数极小点（无约束或约束极小点）的过程比喻为向“山”的顶峰攀登的过程，始终保持向“高”的方向前进，直至达到“山顶”．当然“山顶”可以理解为目标函数的极大值，也可以理解为极小值，前者称为上升算法，后者称为下降算法．这两种算法都有一个共同的特点，就是每前进一步都应该使目标函数有所改善，同时还要为下一步移动的搜索方向提供有用的信息．如果是下降算法，则序列迭代点的目标函数值必须满足下列关系011()()()()k k f X f X f X f X +>>>>．如果是求一个约束的极小点，则每一次迭代的新点 ，，21X X 都应该在约束可行域内，即 012k X D k ∈=，，，，图1.8为迭代过程示意图．由上面的迭代过程可知，在迭代过程中有两个规则需要确定：一个是搜索方向k P 的选取；一个是步长因子k t 的选取．一旦k P 和k t 的选取方法确定，则一种迭代算法就确定，即不同的规则就对应不同的最优化方法．（二）收敛速度与计算终止准则（1）收敛速度作为一个算法，能够收敛于问题的最优解当然是必要８的，但仅收敛还不够，还必须能以较快的速度收敛，这才是好的算法．图1.8定义1.1 设由算法A 产生的迭代点列{}k X 在某种“||·||”的意义下收敛 于点*X ，即0||||lim *=-∞→X X k k ，若存在实数0>α及一个与迭代次数k 无关的常数0>q ，使得，q X X X X k k k =--+∞→α||||||||lim **1则称算法A 产生的迭代点列}{k X 具有α阶收敛速度，或称算法A 为α阶收敛的．特别地：① 当01>=q ，α时，称迭代点列}{k X 具有线性收敛速度或称算法A 为线性收敛的． ② 当021><<q ，α时，或0,1==q α时，称迭代点列}{k X 具有超线性收敛速度或称算法A 是超线性收敛．③ 当2=α时，迭代点列}{k X 叫做具有二阶收敛速度或算法A 是二阶收敛的． 一般认为，具有超线性收敛或二阶收敛的算法是较快速的算法．例1.7 设一算法A 产生迭代点列}1{k X k =，它收敛于点0*=X ，试判定算法A 的收敛速度．解 因为 1|01||011|lim =--+∞→k k k ，即取 01,1>==q α．所以算法A 具有线性收敛速度．例1.8 设一算法A 产生迭代点列}1{kk k X =，它收敛于0*=X ，试确定A 的收敛速度．解 因为11)1(lim |01||0)1(1|lim +∞→+∞→+=--+k k k k k k k k k k11lim()01k k k k k +→∞=⋅=+，即取0,1==q α． 所以A 是超线性收敛的． （2）计算终止准则用迭代方法寻优时，其迭代过程不能无限制地进行下去，那么什么时候截断这种迭代呢？这就是迭代什么时候终止的问题．从理论上说，当然希望最终迭代点到达理论极小点，或者使最终迭代点与理论极小点之间的距离足够小时才终止迭代．但是这在实际上是办不到的．因为对于一个待求的优化问题，其理论极小点在哪里并不知道．所知道的只是通过迭代计算获得的迭代点列}{k X ，因此只能从点列所提供的信息来判断是否应该终止迭代．对于无约束优化问题通常采用的迭代终止准则有以下几种： ①点距准则相邻两迭代点1+k k X X ，之间的距离已达到充分小，即 ε≤-+||||1k k X X ，上式中ε是一个充分小的正数，代表计算精度．②函数下降量准则相邻两迭代点的函数值下降量已达到充分小．当1|)(|1<+k X f 时，可用函数绝对下降量准则ε≤-+|)()(|1k k X f X f ．当1|)(|1>+k X f 时，可用函数相对下降量准则ε≤-++|)()()(|11k k k X f X f X f ．③梯度准则目标函数在迭代点的梯度已达到充分小，即ε≤∇+||)(||1k X f ．这一准则对于定义域上的凸函数是完全正确的．若是非凸函数，有可能导致误把驻点作为最优点．（凸函数的定义请参见第二章2.6节）对于约束优化问题，不同的优化方法有各自的终止准则． 综上所述，优化算法的基本迭代过程如下： ① 选定初始点0X ，置0=k ．② 按照某种规则确定搜索方向k P ． ③ 按某种规则确定k t 使得)()(k k k k X f P t X f <+．④ 计算k k k k P t X X +=+1．⑤ 判定1+k X 是否满足终止准则．若满足，则打印1+k X 和)(1+k X f ，停机；否则置1+=k k ，转②．上述算法用框图表达如图1.9．§1.3 最优化算法分类所谓优化算法，其实就是一种搜索过程或规则，它是基于某种思想和机制，通过一定的途径或规则来得到满足用户要求的问题的解．就优化机制与行为而分，目前工程中常用的优化算法主要可分为：经典算法、构造型算法、改进型算法、基于系统动态演化的算法和混合型算法等．（1）经典算法．包括线性规划、动态规划、整数规划和分枝定界等运筹学中的传统算法，其算法计算复杂性一般很大，只适于求解小规模问题，在工程中往往不实用．（2）构造型算法．用构造的方法快速建立问题的解，通常算法的优化质量差，难以满足工程需要．譬如，调度问题中的典型构造型方法有：Johnson 法、Palmer 法、Gupta 法、CDS 法、Daunenbring 的快速接近法、NEH 法等．（3）改进型算法，或称邻域搜索算法．从任一解出发，对其邻域的不断搜索和当前解的替换来实现优化．根据搜索行为，它又可分为局部搜索法和指导性搜索法．①局部搜索法．以局部优化策略在当前解的邻域中贪婪搜索，如只接受优于当前解的状态作为下一当前解的爬山法；接受当前解邻域中的最好解作为下一当前解的最陡下降法等．②指导性搜索法．利用一些指导规则来指导整个解空间中优良解的探索，如SA 、GA 、TS 等．（4）基于系统动态演化的算法．将优化过程转化为系统动态的演化过程，基于系统动态的演化来实现优化，如神经网络和混沌搜索等．（5）混合型算法．指上述各算法从结构或操作上相混合而产生的各类算法． 优化算法当然还可以从别的角度进行分类，如确定性算法和不确定性算法，局部优化算法和全局优化算法等．§1.4 组合优化问题简介一、组合优化问题建模优化问题涉及的工程领域很广，问题种类与性质繁多，归纳而言，最优化问题可分为函数优化问题和组合优化问题两大类，上一节介绍的最优化数学模型属于函数优化问题，该函数优化的对象是一定区间内的连续变量，而组合优化的对象则是解空间中的离散状态．本节重点介绍组合优化问题．组合优化问题是通过对数学方法的研究去寻找离散事件的最优编排、分组、次序或筛选等，所研究的问题涉及信息技术、经济管理、工业工程、交通运输、通信网络等诸多领域，该问题数学模型可表示为⎩⎨⎧=≥Ω∈，，0)(0)(..)(min X H X G t s X f X其中)(X f 为目标函数，)(X G 和)(X H 为约束函数，X 为决策变量，Ω表示有限个点组成的集合．一个组合优化问题可用3个参数)(f D ，，Ω表示，其中Ω表示决策变量的定义域，D 表示可行解区域}0)(0)(|{=≥Ω∈=X H X G X X D ，，，D 中的任何一个元素称为该问题的可行解，f 表示目标函数，满足}|)(m in{)(*D X X f X f ∈=的可行解*X 称为该问题的最优解．组合最优化问题的特点是可行解集合为有限集．由直观可知，只要将Ω中有限个点逐一判别是否满足约束条件0)(0)(=≥X H X G ，和比较目标函数值的大小，该问题的最优解一定存在并可以求得，下面是三个典型的组合优化问题．例1.9 0-1背包问题（knapsack problem ）设有一个容积为b 的背包，n 个体积分别为),,2,1(n i a i =，价值分别为),,2,1(n i c i =的物品，如何以最大的价值装包?这个问题称为0-1背包问题．用数学模型表示为∑=ni ii x c 1max ， （1.3）⎪⎩⎪⎨⎧=∈≤∑=)5.1(21}10{)4.1(..1．，，，，，，n i x b x a t s ini i i其中目标（1.3）欲使包内所装物品的价值最大，式（1.4）为包的能力限制，式（1.5）表示i x 为二进制变量，1=i x 表示装第i 个物品，0=i x 则表示不装．例1.10 旅行商问题（TSP ，traveling salesman problem ）一个商人欲到n 个城市推销商品，每两个城市i 和j 之间的距离为ij d ，如何选择一条道路使得商人每个城市走一遍后回到起点且所走路径最短．TSP 还可以细分为对称和非对称距离两大类问题．当对任意的j i ，时都有ji ij d d =，则称该TSP 为对称距离TSP ，否则称为非对称距离TSP ．对一般的TSP ，它的一种数学模型描述为∑≠ji ijij x d min ， （1.6）11,112(1.7)112(1.8)..||12||2{12}(1.9){01}12(1.10)nij j n ij i ij i j Sij x i n x j n s t x S S n S n x i j n i j ==∈⎧==⎪⎪⎪⎪==⎨⎪≤-≤≤-⊂⎪⎪⎪∈=≠⎩∑∑∑，，，，，，，，，，，，，，，，，，，，，，，．以上是基于图论的数学模型．其中式（1.10）中的决策变量ij x =1表示商人行走的路线包含从城市i 到城市j 的路径，0=ijx 表示商人没有选择走这条路．j i ≠的约束可以减少变量的个数，使得共有)1(-⨯n n 个决策变量．目标（1.6）要求距离之和最小．式（1.7）要求商人从城市i 出来一次，式（1.8）要求商人走入城市j 只有一次．式（1.7）和式（1.8）表示每个城市经过一次．仅有式（1.7）和式（1.8）的约束无法避免回路的产生，一条回路是由)1(n k k ≤≤个城市和k 条弧组成，因此，式（1.9）约束旅行商在任何一个城市子集中不形成回路，其中||S 表示集合S 中元素个数．例1.11 聚类问题m 维空间上的n 个模式}21|{n i X i ，，，=要求聚类成k 类，使得各类本身内的点最相近，即∑=-ni p p i R X 0)(||||min ，其中p R 为第p 类的中心，∑==pn i p ip p Xn R 1)(1，k p ，，， 21=，p n 为第p 类中的点数．二、算法复杂性前面给大家介绍的三个组合优化问题例子，模型建立都比较简单，但要求它们的最优解却很困难，而解模型的困难主要原因是所谓的“组合爆炸”，如聚类问题的可能划分方式有!/k k n 个，TSP 问题有!n 个．显然状态数量随问题规模呈超指数增长，若计算机每秒处理1亿种排列，则列举20个城市问题的20！种排列约需几百年．如此巨大的计算量是无法承受的，更不用谈更大规模问题的求解，因此解决这些问题的关键在于寻求有效的优化算法，也正是由于组合优化问题算法的复杂性，激起了人们对它的理论与算法研究的兴趣．算法的复杂性是指算法对时间复杂性和对空间复杂性．按照算法复杂性求解的难易程度，可把组合优化问题分为P 类，NP 类和NP 完全类．算法或问题的复杂性一般表示为问题规模n （如TSP 问题中的城市数）的函数，时间的复杂性记为)(n T ，空间的复杂性记为)(n S ．在算法分析和设计中，沿用实用性的复杂性概念，即把求解问题的关键操作，如加、减、乘，比较等运算指定为基本操作，算法执行基本操作的次数则定义的算法的时间复杂性，算法执行期间占用的存储单元则定义为算法的空间复杂性．P 类问题指具有多项式时间求解算法的问题类．许多优化问题仍没有找到求得最优解的多项式时间算法，称这种比P 类问题更广泛的问题为非确定型多项式算法的问题类，即NP 问题．三、NP 完全问题离散问题的求解常常要从有限个方案中选出一个满意的结果来 ，也许有人认为，从有限个方案中挑选一个，总是比较容易的．然而，事实并非如此，关键在于问题的规模．由于计算机的出现，人们对问题的求解在观念上发生了改变，一个在理论上可解的问题如果在求解时需要花费相当多，以至于不合理的时间（如几百年甚至更长时间），我们不能认为它已解决，而应当努力寻找更好的算法．如何比较算法的好坏呢？从不同的角度出发可以有不同的回答．这里，仅就算法的计算速度作一个十分粗略的比较．设有一台每小时能进行M 次运算的计算机．并设问题已有两种不同的算法，算法A 对规模为n 的问题约需作2n 次运算，算法B 则约需作n2次运算．运用算法A 在一个小时内大约可解一个规模为M 的问题，而算法B 则大约可解一个规模为M 2log 的问题．现在假设计算机有了改进，例如计算速度提高了100倍．此时，利用算法A 能求解的问题规模增大了10倍，利用算法B 可解的问题规模只增加了7100log 2<．前者得到了成倍的增加，而后者则几乎没有什么改变，今天无法求解的问题，将来也很少有希望解决．由于这一原因，对算法作如下分类．定义1.2（多项式算法） 设A 是求解某类问题D 的一个算法，n 为问题D 的规模，用)(n D f A ，表示用算法A 在计算机上求解这一问题时需作的初等运算的次数．若存在一个多项式)(n P 和正整数N ，当N n ≥时，总有)(),(n P n D f A ≤（不论求解的D 是怎样的具体实例），则称算法A 是求解问题D 的一个多项式算法．定义1.3（指数算法） 设算法B 是求解某类问题D 的一个算法，若存在一个常数0>k ，对任意n ，总可以找到问题D 的一个规模为n 的实例，用算法B 求解时，所需的计算量约为)2()(kn B o n D f =，，则称B 为求解问题D 的一个指数算法．多项式算法被称为是“好”算法（或有效算法），而指数算法则一般认为是“坏”算法，因为它只能用来求解规模很小的问题．这样看来，对一个问题只有在找到求解它的多项式算法后才能较为放心．然而十分可惜的是，对于许多具有广泛应用价值的离散模型，人们至今仍未找到多项式算法．现在的任何算法在最坏的情况下计算量均可达到或接近n2．1971年和1972年，S. Cook 和R. Karp 分别发表了相关论文，奠定了NP 完全理论基础．Cook 指出，NP 完全类问题，具有两个性质：（1）这类问题中的任何一个问题至今均未发现有多项式算法．（2）只要其中任一个问题找到了多项式算法，那么其他所有问题也就有了多项式算法．。
最优化方法课件_解可新1
向量范数
定义1.1.5 如果向量x∈Rn 的某个实值函数||x||, 满足条件 (1)||x||≥0(||x||=0当且仅当x=0)(正定性); (2)||ax||=|a|· ||x||(对于任意a∈R); (3) ||x+y||≤||x||+||y||(三角不等式); 则称||x||为Rn 上的一个向量范数.
30
安康学院数学与统计系 应用数学教研室
可行方向
定义1.2.2(可行方向) 已知区域 , x k∈ D , 对于向量pk≠0,若存在实数b >0, 使得对任意的 a∈(0,b ),有:xk+apk∈D, 则称pk为点xk处关于区域D的可行方向. 对于D的内点(存在邻域包含于D),任意方向可 行,对于边界点(任意邻域既有D的点也有不在D 中的点),则有些方向可行,有些方向不可行. 若下降方向关于域D可行,则称为可行下降方向.
j
试设计一个调运方案,在满足需要的同时使总 运费最省.
7
安康学院数学与统计系 应用数学教研室
由题意可画出如下的运输费用图:
a1
A1 A2 B1 B2
b1
产量
a2
b2
需求量
am
Am
Bk
bk
设Ai→Bj的水泥量为xij,已知Ai→Bj单价为cij,单 位为元,则总运费为:
S cij xij
i 1
n
1 p p
∞-范数是p-范数的极限
|| x || lim || x || p
p
24
安康学院数学与统计系 应用数学教研室
常用的向量范数
对向量x=(1,-2,3)T,有
|| x ||1 6,
|| x ||2 14 3.74166, || x ||3 3 36 3.30193,
新疆大学《最优化方法》课程教学大纲
新疆大学《最优化方法》课程教学大纲课程英文名称：Optimization Methods课程编号：C 052829(汉本);C 052828(民本) 课程类型：专业核心课总学时：48+18学时(授课：48，上机：18) 学分：3.5适用对象：信息与计算专业汉（民）本科生先修课程：数学分析、高等代数、Matlab 编程语言使用教材及参考书：教材：施光燕等编著，面向21 世纪教材《最优化方法》，高等教育出版社， 1999年第一版参考书：张可村编著、《工程最优化方法》，西安交大出版社薛嘉庆著、《最优化原理与方法》（修订本），冶金工业出版社袁亚湘，孙文瑜著，《最优化理论与方法》，北京科学出版社一、课程性质、目的和任务《最优化方法》是数学与应用数学专业和信息与计算科学专业的一门专业必修课。
最优化是从所有可能方案中选择最合理的方案以达到最优目标的学科，是随着计算机的普遍应用而发展起来的，它已广泛应用于各个领域。
本门课程旨在讲授最优化的基本理论和方法,通过本课程的学习,要求学生能较深刻地理解定量优化的思想和方法，掌握线形规划、非线形规划和多目标规划的基本而常用的优化算法，并能运用优化的观点和方法利用计算机解决实践中遇到的优化问题，从而提高学生的数学素质，加强学生开展科研工作和解决实际问题的能力。
鼓励学有余力的学生在掌握数学规划基本解法的同时，提高自己在建立模型和算法分析方面的水平和能力。
二、教学基本要求牢固地掌握最优化的基本理论，常用算法的构造途径，并能在计算机上实现。
通过各教学环节，本课程应达到下列要求：⑴掌握线性规划问题的基本理论和单纯形方法。
⑵理解非线性规划问题解的概念，掌握凸规划及其性质，掌握无约束优化问题与约束优化问题的最优性条件及其求解方法。
⑶理解多目标规划问题的最优化原理，认识求解整数线性规划问题的困难性，掌握Gomory割平面法和分枝定界法。
⑷掌握几种典型离散优化模型的特征及其相应的求解方法三、教学内容及要求第一章优化模型的分类及MATLAB优化工具箱介绍。
最优化方法
动态规划的步骤
• 定义状态变量 • 定义状态转移方程 • 初始化状态 • 自下而上求解最优解
动态规划方法的实际应用案例
资源分配问题
• 如生产线分配、车辆调度等 • 动态规划方法可以帮助制定最优的资源分配方案
路径规划问题
• 如货物的运输、人员的出行等 • 动态规划方法可以帮助制定最优的路径规划方案
• 优化方法的意义 • 提高资源利用效率 • 降低生产成本 • 提高决策水平
优化问题的分类与复杂性
• 优化问题的分类 • 根据目标函数类型分类 • 线性规划 • 非线性规划 • 根据约束条件类型分类 • 线性约束 • 非线性约束 • 根据变量类型分类 • 整数变量 • 连续变量
• 优化问题的复杂性 • 问题的复杂程度与求解难度成正比
模拟退火算法
模拟退火算法的基本原理与特点
模拟退火算法的基本原理
• 受物理学中退火过程的启发求解问题 • 通过随机搜索和温度控制逐步找到最优解
模拟退火算法的特点
• 算法具有较强的全局搜索能力 • 可以处理复杂的非线性问题
模拟退火算法的实现步骤与关键技术
模拟退火算法的实现步骤
• 初始化参数 • 当前解不是最优解时，随机产生新解 • 计算新解与当前解的差值 • 根据温度和差值判断是否接受新解 • 降低温度 • 判断是否满足收敛条件
CREATE TOGETHER
DOCS
谢谢观看
THANK YOU FOR WATCHING
CREATE TOGETHER
DOCS
DOCS SMART CREATE
最优化方法概述与实践
01
最优化方法的定义与意义
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
例2.1.1 确定职工编制问题 某厂每日8小时的产量不低于 某厂每日 小时的产量不低于1800件。为了进行质量控制，计划聘请两 小时的产量不低于 件 为了进行质量控制， 种不同水平的检验员。一级检验员的标准是： 小时， 种不同水平的检验员。一级检验员的标准是：速度 25件/小时，正确率 98％， 件 小时 ％， 小时； 小时， 计时工资 4元/小时；二级检验员的标准是：速度 15件/小时，正确率 95％， 元 小时 二级检验员的标准是： 件 小时 ％， 小时。 计时工资 3元/小时。检验员每错验一次，工厂要损失 元。现可供厂方聘请 元 小时 检验员每错验一次，工厂要损失2元 的检验员人数为一级8人和二级 人和二级10人 为使总检验费用最省， 的检验员人数为一级 人和二级 人。为使总检验费用最省，该工厂应聘一 级和二级检验员各多少名？ 级和二级检验员各多少名？ 分析：设应聘一级检验员 二级检验员x 分析：设应聘一级检验员x1 ，二级检验员 2 约束一： x1≤ 8 约束一：可聘两级检验员人数 约束二： 约束二：每日产量要求 目标函数 一级检验员每小时费用 二级检验员每小时费用 4＋25 (0.02) (2)=5元/小时 ＋ 元 小时 3＋15 (0.05) (2)=4.5元/小时 ＋ 元 小时 x2≤10 8(25)x1+8(15)x2≥1800 5x1+3x2 ≥ 45
h j ( x ) = 0 , j = 1, L , m
均为线性函数时， 线性规划问题 当f(x), g i(x), (i=1,…l ), hj(x), (j=1,…m)均为线性函数时，称为线性规划问题 均为线性函数时 称为线性规划
LP
1939年苏联数学家提出并解决了一个线性规划问题 ☆ 1939年苏联数学家提出并解决了一个线性规划问题 1947年美国数学家提出了单纯形法后 LP的理论和算法趋于成熟 年美国数学家提出了单纯形法后， ☆ 1947年美国数学家提出了单纯形法后，LP的理论和算法趋于成熟
f(x) = 8(5x1+4.5x2) = 40 x1+36x2
数学模型 min f(x)=40x1+36x2 s.t. 5x1+3x2 ≥45 x1≤8 x2≤10 x1, x2 ≥0
隐含的 约束条件
§2.2 二维问题的图解法
图解步骤 坐标平面上画出可行域； （1）在x10x2坐标平面上画出可行域； ） 为一组平行的直线)， （2）作目标函数的等高线 (为一组平行的直线 ， ） 为一组平行的直线 根据等高线函数值的变化规律及目标函数的要 确定等高线的移动方向， 求，确定等高线的移动方向，按此方向移动 等高线，使其达到可行域的极限点（最优点）； 等高线，使其达到可行域的极限点（最优点）； （3）根据最优点的位置，联立求解对应的约束方程， ）根据最优点的位置，联立求解对应的约束方程， 求出最优点坐标； 求出最优点坐标； （4）将最优点坐标代入目标函数，求出最优值。 ）将最优点坐标代入目标函数，求出最优值。
§2.5 线性规划的标准形式
思路： 思路： 一般LP 一般 LP的标准形式： LP的标准形式： 的标准形式 min z=c1x1+ c2x2+．．． cnxn ．．．+ ．．． s.t. a11x1+ a12x2+．．． a1nxn=b1 ．．．+ ．．． a21x1+ a22x2+．．． a2nxn=b2 ．．．+ ．．． ．．．．．．．．．．．．． am1x1+ am2x2+．．． amnxn=bm ．．．+ ．．． x1≥0, x2≥0, ．．． xn≥0 ．．．, b1≥0, b2≥0, ．．． bm≥0 ．．．, 目标函数 标准LP 标准 单纯形法求解标准LP 单纯形法求解标准
A B K F C D G H （球面上的所有 点都是顶点） 点都是顶点） E
§2.4.2 线性规划的两个重要性质 ☆基本定理 （1）线性规划的可行域是一个凸集； ）线性规划的可行域是一个凸集； （2）线性规划若存在可行点，则必存在可行域的顶点； ）线性规划若存在可行点，则必存在可行域的顶点； 若存在最优点，则至少有一个顶点是最优点。 若存在最优点，则至少有一个顶点是最优点。 ☆定理的重要意义 （1）保证了顶点的存在性； ）保证了顶点的存在性； （2）把一般要从无限个可行点中寻优最优点的问题 ） 简化为仅在有限个顶点中确定最优点的问题 问题：为什么顶点只有有限个？怎样找出顶点？ 问题：为什么顶点只有有限个？怎样找出顶点？
§2.5.3
自由变量的处理
中存在可取任意值的自由变量x 在标准形式中不允许存在） （在LP中存在可取任意值的自由变量 j ，在标准形式中不允许存在） 中存在可取任意值的自由变量
方法一： 引进新变量x 作变换x 方法一： 引进新变量 j’≥0, xj”≥0, 作变换 j=xj’－xj”， ， 代入原问题消除x 代入原问题消除 j 方法二：（消去法） 方法二： 消去法） （1）先用松驰变量或剩余变量将约束条件中的不等式 ） 变为等式； 变为等式； （2）把自由变量 j 从某个等式约束中解出； ）把自由变量x 从某个等式约束中解出； （3）把已解出的 j 代入其余约束及目标函数， ）把已解出的x 代入其余约束及目标函数， 新问题中消去了xj 。 新问题中消去了 （参见 PP25 例2.5.1 )
0 3x1+4x2=12 3x1+3x2=10 x1 f 增大方向 x2 4x1+2x2=8
§2.3.3 可行域为空集 例： max f(x)=4x1+3x2 s.t. 3x1+4x2≤12 3x1+3x2 ≥ 10 4x1+2x2≤8 x1, x2 ≥0
3x1+4x2=12 3x1+3x2=10 0 x1 x2 4x1+2x2=8
B C
4
f =7
0
x1
§2.3 线性规划问题的几种特殊情况
§2.3.1 有无限个最优解 例： max f(x)=4x1+2x2 s.t. 3x1+4x2≤12 3x1+3x2≤10 4x1+2x2≤8 x1, x2 ≥0 最优点： 最优点： CD上的所有点 上的所有点 f
*=8
x2 4x1+2x2≤8 A D
3x1+4x2≤12 B 0 f =4 3x1+3x2≤10 C f =8 x1
§2.3.2 无界可行域 例： max f(x)=4x1+3x2 s.t. 3x1+4x2≥ 12 3x1+3x2≥ 10 4x1+2x2≥ 8 x1, x2 ≥0 数学上存在 ！但对实际问题，可 但对实际问题， 能是遗漏或写错了约 束条件
上次课回顾： 上次课回顾：
1、二维问题的图解法 2、线性规划问题的几种特殊情况： 线性规划问题的几种特殊情况： 有无限个最优解 无界可行域 可行域为空集 3、线性规划的基本定理 线性规划的基本定理 （1）线性规划的可行域是一个凸集；(可以证明） 线性规划的可行域是一个凸集； 可以证明） （2）线性规划若存在可行点，则必存在可行域的顶点； 线性规划若存在可行点，则必存在可行域的顶点； 若存在最优点，则至少有一个顶点是最优点。 若存在最优点，则至少有一个顶点是最优点。
☆ 研究重要性
（1）一些 NLP 问题可简化为 LP 问题求解 ） （2）是开发一些较复杂 NLP 算法的基础 ） （3）是所有最优化方法中最常用的技术 ） ( 占47％；科学计算中，LP的计算时间占 ） ％；科学计算中 的计算时间占1/4） ％；科学计算中， 的计算时间占
§2.1 建立LP问题数学模型的实例 建立LP问题数学模型的实例 LP
P19 例： max f(x)=4x1+3x2 s.t. 3x1+4x2≤12 3x1+3x2≤10 4x1+2x2≤8 x1, x2 ≥0 3
x2
52/15
4x1+2x2=8
A
最优点(x 最优点 1* =4/5, x2*=12/5)
D
f =52/5
f *=52/5
3x1+4x2=12 3x1+3x2=10
价值系数向量 决策向量 要求向量
§2.5.1 将等式约束的右端化为非负 若某等式约束的b （－1 若某等式约束的 i < 0，在该约束两端乘上（－ ），化为 ，在该约束两端乘上（－ ），化为 ．．．+ －(ai1x1+ ai2x2+．．． ainxn)=－bi >0 ．．． － §2.5.2 化不等式约束为等式约束 （1）若第 i 个约束条件为 ） ai1x1+ ai2x2+．．． ainxn≥bi ．．．+ ．．． 则引入“剩余变量” wi≥0 ，将不等式化为等式 则引入“剩余变量” ai1x1+ ai2x2+．．． ainxn－wi = bi ．．．+ ．．． （2）若第 i 个约束条件为 ） ai1x1+ ai2x2+．．． ainxn≤ bi ．．．+ ．．． 则引入“松弛变量” 则引入“松弛变量” wi≥0 ，将不等式化为等式 ai1x1+ ai2x2+．．． ainxn＋wi = bi ．．．+ ．．． 问题：维数增加了！ 问题：维数增加了！
☆定理的重要意义 （1）保证了顶点的存在性； ）保证了顶点的存在性； 无限个可行点中寻优最优点的问题 （2）把一般要从无限个可行点中寻优最优点的问题 ）把一般要从无限个可行点 有限个顶点中确定最优点的问题 简化为仅在有限个顶点 简化为仅在有限个顶点中确定最优点的问题
问题：为什么顶点只有有限个？怎样找出顶点？ 问题：为什么顶点只有有限个？怎样找出顶点？
§2.4 线性规划的基本定理