第一章 引言

工程优化方法硕士研究生学位课程
课程作用与任务
最优化是一个重要的数学分支，同时又是一门应用广泛、实用性很强的学科。

最优化是从所有可能方案中选择最合理的方案以达到最优目标的学科，是随着计算机的普遍应用而发展起来的，已广泛应用于各个领域。

本课程旨在讲授最优化的基本理论和方法，要求通过本课程的学习，具有应用最优化方法解决一些实际问题的初步技能，并为以后的学习和工作做必要的准备。

基本要求
1．理解并掌握最优化的基本概念、无约束优化的基本理论、约束最优化的基本理论与线性规划的基本理论；
2．熟悉并掌握一维搜索方法、最速下降法、牛顿方法、共轭梯度法、变尺度法的思想、原理及计算等；
3.实践技能：在理解最优化的基本原理、具体算法的基础上，自己编制解决实际问题的优化程序及实现课内部分算法。

内容及安排
第一章绪论
第二章基础知识
第三章一维搜索方法第四章无约束优化方法第五章线性规划
第六章约束优化方法
参考书目:
《最优化计算方法》，陈开周，西电出版社
《最优化理论与算法》陈宝林，清华大学出版社
《实用最优化方法》唐焕文秦学志，大连理工出版社
作业：按章交作业——每章结束后的下一次课交作业.
注：1)以活页纸方式提交，写清楚姓名、学号、院系专业。

2) 合适时间课堂讲解部分作业 (建议大家课间及课前
答疑).
第一章绪论
▪引言
▪最优化问题举例
▪最优化问题的数学模型与分类▪最优化的基本概念
第一章绪论
§1 引言
最优化就是从所有可能方案中选择最合理的一种以达到最优目标的学科。

达到最优目标的方案称为最优方案。

搜索最优方案的方法称为最优化方法。

关于最优化方法的数学理论称为最优化理论。

最优化问题至少有两要素：一是可能的方案；二是要追求的目标。

后者是前者的函数。

如果第一要素与时间无关称为静态最优化问题，否则称为动态最优化问题。

本课程主要讨论静态优化问题
历史与现状
▪公元前500年，古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为1.618,称为黄金分割比。

其倒数至今在优选法中仍得到广泛应用。

▪在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。

阿基米德证明：给定周长，圆所包围的面积为最大。

这就是欧洲古代城堡几乎都建成圆形的原因。

但是最优化方法真正形成为科学方法则在17世纪以后。

历史与现状
▪17 世纪，Newton & Leibniz 提出了函数的极值问题；后来出现了Lagrange乘数法；
▪1847年，Cauchy研究了函数值沿什么方向下降最快的问题，提出了最速下降法；
▪1939年，苏联数学家提出解决下料问题和运输问题这两种线性规划问题的求解方法；
▪1947年，Dantzig 提出解线性规划问题的单纯形法，被称为“20世纪最伟大的创作之一”；
历史与现状
▪1948年，Fritz John 提出最优性条件；
▪1951年，Kuhn和Tucher 提出最优性条件，完成了非线性规划的基础工作；
▪近几十年来，最优化理论和算法发展十分迅速，应用也越来越广泛，已成为一个相当庞大的研究领域；
▪狭义上主要指非线性规划问题的相关内容；
▪广义上则涵盖：线性规划、非线性规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等等。

建立最优化数学模型时的一些说明：
数学模型: 对现实事物或问题的数学抽象或描述。

建立数学模型时要尽可能简单，而且要能完整地描述所研究的系统，但要注意到过于简单的数学模型所得到的结果可能不符合实际情况，而过于详细复杂的模型又给分析计算带来困难。

因此，具体建立怎样的数学模型需要丰富的经验和熟练的技巧。

即使在建立了问题的数学模型之后，通常也必须对模型进行必要的数学简化以便于分析、计算。

一般的模型简化工作包括以下几类：
（1）将离散变量转化为连续变量。

（2）将非线性函数线性化。

（3）删除一些非主要约束条件。

建立最优化问题数学模型的三要素：
（1）决策变量和参数。

决策变量是由数学模型的解确定的未知数。

参数表示系统的控制变量，有确定性的也有随机性的。

（2）约束或限制条件。

由于现实系统的客观物质条件限制，模型必须包括把决策变量限制在它们可行值之内，即约束条件，而这通常是用约束的数学函数形式来表示的。

（3）目标函数。

这是作为系统决策变量的一个数学函数来衡量系统的效率，即系统追求的目标。

§2 最优化问题举例
●经典极值问题的一个实例
例 把半径为1的实心金属球熔化后，铸成一个实心圆柱体，问圆柱体取什么尺寸才能使它的表面积最小？
解：设圆柱体的底面半径为r ，高为h ，则该问题可表示为
2
2
min 224
.. 3
rh r
s t r h ππππ+=
其中“..s t ”为“subject to ”字头，意为“受约束于”。

也可化为无约束的函数极值问题：2
8min 23r r π
π+
此例实际上代表了经典优化中的两种类型的问题及其解法。

第一， 无约束极值问题：
12min (,,
,)n f x x x （或12max (,,
,)n f x x x ）
其中12(,,
,)n f x x x 为n R 上的可微函数，求可能的极值点的方
法是：先求出如下n 元方程组
121212
12(,,,)0
(,,,)0
(,,,)0 n x n
x n
x n f x x x f x x x f x x x '⎧=⎪
'⎪=⎪⎪⎨
⎪⎪'=⎪⎪
⎩
的解，然后判定或验证这些解是否为极值点。

第二，具有等式约束的极值问题
1212min (,,,)
.. (,,
,)0, 1,2,
,n j n f x x x s t h x x x j l ==
通常用Lagrange 乘子法来求解，即把问题转化为求Lagrange 函数
l
12121212j 1(,,
,,,,
,) (,,
,) -(,,
,)
n l n j j n L x x x f x x x h x x x λλλλ==∑
的无约束极值问题。

例1:多参数曲线拟合问题
已知两个物理量x 和y 之间的依赖关系为:
其中 为待定参数, 为确定这些参数,
对x,y 测得m 个实验点:
试将确定参数的问题表示成最优化问题。

2
14351ln 1exp a y a x a a a =+
⎛⎫
-++ ⎪
⎝
⎭12345,,,,a a a a a ()()()
1,12,2,,,m m x y x y x y 最优化问题举例
解:很显然对参数 任意给定的一组数值,就由上式确定了 y 关于x 的一个函数关系式,在几何上它对应一条曲线,这条曲线不一定通过那m 个测量点,而要产生“偏差”. 12345
,,,,a a a a a 2
2114351ln 1exp m
i i i a S y a x a a a =⎡⎤⎛⎫⎢⎥ ⎪⎢⎥ ⎪=-+
⎢⎥ ⎪⎛⎫-⎢⎥++ ⎪ ⎪ ⎪⎢⎥⎝⎭⎝⎭⎣⎦
∑显然偏差S 越小,曲线就拟合得越好,说明参数值就选择得越好，从而我们的问题就转化为5维无约束最优化问题。

即：
将测量点沿垂线方向到曲线的距离的
平方和作为这种“偏差”的度量. 即
x
y
2
211435min 1ln 1exp m
i i i a y a x a a a =⎡⎤⎛⎫⎢⎥ ⎪⎢⎥ ⎪-+
⎢⎥ ⎪⎛⎫-⎢⎥++ ⎪ ⎪ ⎪⎢⎥⎝⎭⎝⎭⎣⎦
∑最优化问题举例
例2 （运输问题）
设某种物资有m 个产地，n 个销地。

第i 个产地的产量为(1,2,
,)i a i m =；第j 个销地的需要量为(1,2,,)j b j n =，其中
1
1
m
n i
j
i j a b ==≥∑∑。

由产地i 到销地j 的距离为ij d ，问如何安排运输，才
能既满足各地的需要，又使所花费的运输总费用最少？
解：设由产地i 运往销地j 的货物数量为ij x ，S 为运输的总费用，则
11
1
1
min .. 12 12 0, 12, 12m n
ij ij
i j n
ij i j m
ij j i ij S d x s t x a i ,,
,m x b j ,,
,n x i ,,
,m j ,,,n
=====≤===≥==∑∑∑∑（各产地的运出量不超过产量）（各销地的需要量满足）
例3（指派问题）设有四项任务1
2
3
4
,,,B B B B 派四个人1234
,,,A A A A 去完成，
每个人都可以承担四项任务中的任何一项，但所耗资金不同。

设
i A 完成j B 所需资金为ij c 。

如何分配任务使总支出最少？
解：设变量1, 0 i j
ij i j A B x A B ⎧⎪=⎨⎪⎩指派去完成，
不派去完成，总支出为 4
4
11
S ij ij
i j c x ===
∑∑，
则满足条件4
4
11
1,12341,1234ij ij j i x i ,,,x j ,,,======∑∑（），（），该问题的数学模型如下：
4
4
11min S ij ij
i j c x ===∑∑
4
14
1
.. 1 1234
1 1234
ij j ij i s t x i ,,,x j ,,,======∑∑
01ij x =或 1234 i ,,,=，1234j ,,,=
这里的变量ij x 叫0-1变量。

该问题称为0-1规划问题。

例4 某个中型百货商场对售货人员（周工资200元）的需求经统计如下表
星期一二三四五六日
人数12 15 12 14 16 18 19
为了保证销售人员充分休息，销售人员每周工作5天，休息2天。

问应如何安排销售人员的工作时间，使得所配售货人员的总费用最小？
x i ，解：设从周一起每天开始休息的人数分别为(1,2,,7)
i
则这个问题的线性规划模型为：
1234567234563456745671min 200(++++++).. ++++12 ++++15 ++++12
⨯≥≥≥x x x x x x x s t x x x x x x x x x x x x x x x
5671267123 ++++14 ++++16≥≥x x x x x x x x x x
71234 ++++18≥x x x x x
123451234567 ++++19
,,,,,,0≥≥且为正整数x x x x x x x x x x x x
练习：现有一批某种型号的圆钢长8米，需要截取2.5米长的毛坯100根，长1.3米的毛坯200根。

问如何才能既满足需要，又能使总的用料最少？
分析：为了找到一个省料的套裁方案，必须先设计出较好的几个下料方案。

其次要求这些方案的总体能裁下所有各种规格的圆钢，以满足对各种不同规格圆钢的需要并达到省料的目的，为此可以设计出4种下料方案以供套裁用。

ⅠⅡⅢⅣ
2.5m 3 2 1 0
1.3m 0 2 4 6
料头0.5 0.4 0.3 0.2
设按方案Ⅰ、Ⅱ、Ⅲ、Ⅳ下料的原材料根数分别为x j
(j =1,2,3,4), 上述问题的数学模型如下：
1234123234min 321002462000(1,2,3,4)j
Z x x x x x x x x x x x j =+++⎧++≥⎪
++≥⎨⎪≥=⎩
例5 （旅行售货员问题，又称货郎担问题）
有一推销员，从城市0v 出发，要遍访城市12,,,n v v v 各一次，
最后返回0v 。

已知从i v 到j v 的旅费为ij c ，问他应按怎样的次序
访问这些城市，使得总旅费最少？（设,ii
c M =M
为充分大的正
数，0,1,
,)i n =
解：对每一对城市i v ，j v ，指定一个变量ij
x ，令
1, 0 i j ij v v x ⎧⎪=⎨
⎪⎩如果推销员决定从直接进入，
其他情况
则总旅费为 00
n
n
ij ij i j S c x ===∑∑，于是该问题化为使总支出S 最小且满
足条件
00
1012 1012
1 1n
ij i n
ij j i j ij s.t. x j ,,
,n x i ,,
,n u u nx n , i j n
======-+≤-≤≠≤∑∑，，
01ij x =或 0,12i,j ,,,n =
i u 为实数
0,12i ,,
,n =
练习： （选址问题）
设有n 个市场，第j 个市场的位为(,)j j a b ，对某种货物的需求量为
(=1,2,
,)j q j n 。

现计划建立m 个仓库，第i 个仓库的容量为(i=1,2,
,m)i c
试确定仓库的位置，使各仓库到各市场的运输量与路程乘积之和最小。

练习：靠近某河流有两个化工厂，流经第一化工厂的河流流量为每天500万m3，在两个工厂之间有一条流量为200万m3的支流。

两化工厂每天排放某种有害物质的工业污水分别为2万m3和1.4万m3。

从第一化工厂排出的工业污水流到第二化工厂以前，有20%可以自然净化。

环保要求河流中工业污水含量不能大于0.2%。

两化工厂处理工业污水的成本分别为1000元/万m3和800元/万m3。

现在要问在满足环保要求的条件下，每厂各应处理多少工业污水，使这两个工厂处理工业污水的费用最小. 工厂1
工厂1 工厂2
500万m3
500万m3
200万m3
变量：x 1、x 2----分别代表工厂1和工厂2处理污水的数量(万m 3) 则目标函数：min z =1000x 1+800x 2
约束条件： 化简有：
第一段河流（工厂1----工厂2之间）：
(2-x 1)/500 ≤0.2%
第二段河流：
[ 0.8(2-x 1) +(1.4-x 2)]/700≤0.2% 此外有： x 1≤2； x 2≤1.4
min z =1000x 1+800x 2 s.t. x 1 ≥1
0.8x 1 + x 2 ≥1.6 x 1 ≤2 x 2 ≤1.4 x 1、x 2 ≥0
最优化问题举例
§3 最优化问题的数学模型与分类
以上列举了几个最优化问题，这些问题所对应的数学模型具有如下结构：
第一是决策变量，即所考虑的问题可归结为优选若干个被称为参数或变量的量12,,,n x x x ，它们都取实数值，它们的一组值构成了一个方案。

第二是约束条件，即对决策变量12,,,n x x x 所加的附加条件，通常用一组不等式或等式表示为
1212(,,,)0, 1,2,,(,,
,)0, 1,2,
,i n j n g x x x i m h x x x j l ≥===
其中 12(,,
,)0( 1,2,,)i n g x x x i m ≥=称为不等式约束， 12(,,,)0j n h x x x =(1,2,,)j l =称为等式约束。

第三是目标函数，如使利润达到最大或使成本达到最小，通常刻画为极大化或极小化一个实值函数12(,,,)n f x x x 。

因此最优化问题可理解为确定一组决策变量在满足约束条件下寻求目标函数12(,,,)n f x x x 的最优。

由于极大化目标函数12(,,
,)n f x x x 相当于极小化12-(,,,)n f x x x 。

本课程只讨论极小化情形。

采用向量记法，令12(,,,)T n x x x x =，并将约束条件写成集约束的形式，
即令 {|()0,1,2,,;()0,1,2,
,}i j S x g x i m h x j l =≥=== 则最优化问题一般可表述为如下形式：
min ()
.. f x s t x S ∈
其中称12(,,,)T n
n x x x x R =∈为决策变量，()f x 为目标函数或评价函数（因为它常常反映设计质量的好坏）。

n S R ⊆为约束集或可行域，它是所有可行解即满足约束条件的点的集合。

根据目标函数与约束函数的不同形式，可以把最优化问题分为不同的类型。

1.根据数学模型中有无约束函数，可分为有约束的最优化问
题和无约束的最优化问题。

（1）无约束极小化问题min() .. n
f x s t x R
∈
（2）不等式约束优化问题min()
.. ()0,12
i
f x
s t g x i,,,m
≥=
（3）等式约束优化问题min()
.. ()0,12
j
f x
s t h x j,,,l
==
（4）一般约束优化问题min()
.. ()0,12
()0,1,2,,
i
j
f x
s t g x i,,,m
h x j l
≥=
==
2.据目标函数及约束函数的表现形式
线性规划：目标函数及约束函数均为线性；
二次规划：目标函数是二次函数，约束函数是线性；
凸规划：可行域为凸集，目标函数是凸函数；
非线性规划：目标函数不是一次或二次函数，约束函
数不全是线性函数；
3. 据问题是否存在随机因素：随机规划，确定性规划
4. 据变量的取值范围：整数规划，0-1整数规划问题
5. 据目标函数的个数：单目标优化，多目标优化
决策变量与时间是否有关，动态优化问题、静态优化问题
最优化问题一般可作如下分类：
n ⎧⎧⎧⎪⎪⎪⎧⎨⎪⎪⎨⎪⎪⎪⎨⎩⎩⎪⎪⎪⎧⎨⎪⎨⎪⎪⎩⎩⎪⎪⎧⎪⎨⎪⎩⎩
线性问题无约束问题一维问题非线性问题维问题静态问题最优化问题线性规划约束问题非线性规划无约束动态问题约束
解决优化问题的方法大致可分为两类：
（1）解析法（间接法）：利用函数的解析性质（如梯度等）主要利用函数的分析性质去构造迭代公式，使之收敛到极值和极值点。

本课程主要介绍此类方法。

（2）直接法（试验法）：此类方法对函数的分析性质（如可微性等）没有要求，而是根据一定的数学原理，用极可能少的计算量，通过直接比较函数值的大小确定极值点的位置（如0.618法）。

12 min () P ()0,1,2,
, ()0,1,2,
,(,,
,) , () : :, :, n x R
i j T n n n
n i j f x s.t.g x i m h x j l x x x x R f x g R R h R R ∈≥====∈--→→（）其中决策变量或设计变量目标函数不等式约束条件等式约束条件 C {|()0,()0,1,2,
,,1,2,,} P .n i j x R g x h x i m j l x C =∈≥===∈可行集，容许集
称为问题（）的可行解 max ()min[(]
) f x f x =--注： §4 最优化的基本概念
不失一般性，考虑如下问题
***
***** 1 ,,()(),P . (global )
;
2 ,(,),(,),()(), P x C x C f x f x x x C N x x N x f x f x x δδ∈∀∈≤∈∃∀∈≤定义若有且对有则称为（）的（全局）最优解（点）或全局极小值点严格全局最优解最优值定义设若使得对有
则称为（）的（局部）最优*. (){| ||||,0}
; ( local or regional ):,.*N x x x -x δδδ=<>解（点）或局部极小值点其中严格局部最优解最优值注全局最优解一定是局部最优解
反之不一定成立
对于等式约束()0j h x =可将它转化为两个不等式约束：
()0()0j j h x h x ≤⎧⎪⎨-≤⎪⎩
因此，不失一般性，以后讨论问题时，仅考虑如下的带不等式约束的优化问题
min ()
.. ()0, 12i f x s t g x i ,,,m ≥=
由定义,对上述问题易于证明下面的定理
定理1：上述问题的任意全局极小值点必为局部极小值点. 定理2： 若(),()(1,2,,)i f x g x i m =为定义在n R 上的连续函数，则 （1）问题（P ）的可行解集合为闭集；
（2）问题（P ）的最优解集合为闭集。