第1章最优化问题总论
最优化方法及其应用 - 更多gbj149 相关pdf电子书下载

最优化方法及其应用作者:郭科出版社:高等教育出版社类别:不限出版日期:20070701最优化方法及其应用 的图书简介系统地介绍了最优化的理论和计算方法,由浅入深,突出方法的原则,对最优化技术的理论作丁适当深度的讨论,着重强调方法与应用的有机结合,包括最优化问题总论,线性规划及其对偶问题,常用无约束最优化方法,动态规划,现代优化算法简介,其中前八章为传统优化算法,最后一章还给出了部分优化问题的设计实例,也可供一般工科研究生以及数学建模竞赛参赛人员和工程技术人员参考,最优化方法及其应用 的pdf电子书下载最优化方法及其应用 的电子版预览第一章 最优化问题总论1.1 最优化问题数学模型1.2最优化问题的算法1.3 最优化算法分类1.4组合优化问題简卉习题一第二章 最优化问题的数学基础2.1二次型与正定矩阵2.2 方向导数与梯度2.3Hesse矩阵及泰勒展式2.4 极小点的判定条件2.5锥、凸集、凸锥2.6 凸函数2.7约束问题的最优性条件习题二第三章 线性规划及其对偶问题3.1线性规划数学模型基本原理3.2 线性规划迭代算法3.3对偶问题的基本原理3.4 线性规划问题的灵敏度习题三第四章一维搜索法4.1 搜索区间及其确定方法4.2 对分法4.3Newton切线法4.4 黄金分割法4.5 抛物线插值法习题四第五章常用无约束最优化方法5.1 最速下降法5.2 Newton法5.3修正Newton法5.4 共轭方向法5.5 共轭梯度法5.6 变尺度法5.7坐标轮换法5.8 单纯形法习題五第六章 常用约束最优化方法6.1外点罚函数法6.2 內点罚函数法6.3 混合罚函数法6.4约束坐标轮换法6.5 复合形法习题六第七章 动态规划7.1动态规划基本原理7.2 动态规划迭代算法7.3动态规划有关说明习题七第八章 多目标优化8.1多目标最优化问题的基本原理8.2 评价函数法8.3 分层求解法8.4目标规划法习题八第九章 现代优化算法简介9.1 模拟退火算法9.2遗传算法9.3 禁忌搜索算法9.4 人工神经网络第十章最优化问题程序设计方法10.1 最优化问题建模的一般步骤10.2常用最优化方法的特点及选用标准10.3最优化问题编程的一般过程10.4 优化问题设计实例参考文献更多 最优化方法及其应用 相关pdf电子书下载。
运筹学最优化方法复习

第1章 最优化问题的基本概念§1.1最优化的概念最优化就是依据最优化原理和方法,在满足相关要求的前提下,以尽可能高的效率求得工程问题最优解决方案的过程。
§1.2最优化问题的数学模型1.最优化问题的一般形式⎪⎪⎩⎪⎪⎨⎧===≤q v x x x h p u x x x g t s x x x f x x x find n v n u nn,,2,10),,,(,,2,10),,,(..),,,(min ,,,212121212.最优化问题的向量表达式⎪⎪⎩⎪⎪⎨⎧=≤0)(0)(..)(min X H X G t s X f X find式中:T n x x x X ],,,[21 =T p X g X g X g X G )](,),(),([)(21 = T p X h X h X h X H )](,),(),([)(21 =3.优化模型的三要素设计变量、约束条件、目标函数称为优化设计的三要素!设计空间:由设计变量所确定的空间。
设计空间中的每一个点都代表一个设计方案。
§1.3优化问题的分类按照优化模型中三要素的不同表现形式,优化问题有多种分类方法: 1按照模型中是否存在约束条件,分为约束优化和无约束优化问题 2按照目标函数和约束条件的性质分为线性优化和非线性优化问题 3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章 最优化问题的数学基础§2.1 n 元函数的可微性与梯度一、可微与梯度的定义1.可微的定义设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数,且D X ∈0。
若存在n 维向量L ,对于任意n 维向量P ,都有0)()(lim 000=--+→P P L X f P X f T P 则称)(X f 在0X 处可微。
2.梯度设有函数)(X F ,T n x x x X ],,,[21 =,在其定义域内连续可导。
最优化理论与算法(第一章)

最优化理论与算法(数学专业研究生)第一章 引论§1.1引言一、历史与现状最优化理论最早可追溯到古老的极值问题,但成为一门独立的学科则是在20世纪四十年代末至五十年代初。
其奠基性工作包括FritzJohn 最优性条件(1948),Kuhn-Tucker 最优性条件(1951),和Karush 最优性条件(1939)。
近几十年来最优化理论与算法发展十分迅速,应用也越来越广泛。
现在已形成一个相当庞大的研究领域。
关于最优化理论与方法,狭义的主要指非线性规划的相关内容,而广义的则涵盖:线性规划、非线性规划、动态规划、整数规划、几何规划、多目标规划、随机规划甚至还包括变分、最优控制等动态优化内容。
本课程所涉及的内容属于前者。
二、最优化问题的一般形式 1、无约束最优化问题min ()nx Rf x ∈ (1.1) 2、约束最优化问题min ()()0, ..()0, i i f x c x i E s t c x i I=∈⎧⎨≥∈⎩ (1.2)这里E 和I 均为指标集。
§1.2数学基础一、范数 1.向量范数max i xx ∞=(l ∞范数) (1.3)11ni i x x ==∑(1l 范数) (1.4)12221()ni i x x ==∑(2l 范数) (1.5)11()np pi pi x x ==∑(p l 范数) (1.6)12()TAxx Ax =(A 正定) (椭球范数) (1.7)事实上1-范数、2-范数与∞-范数分别是 p -范数当 p =1、2和p →∞时情形。
2.矩阵范数定义1.1方阵A 的范数是指与A 相关联并记做A 的一个非负数,它具有下列性质: ①对于0A ≠都有0A >,而0A =时0A =; ②对于任意k R ∈,都有kA k A =; ③A B A B +≤+; ④AB A B ≤; 若还进一步满足: ⑤pp AxA x ≤则称之为与向量范数p 相协调(相容)的方阵范数。
最优化方法第一章最优化问题与凸分析基础

4.2 凸函数
定义: 设集合 S Rn 为凸集,函数 f :SR, 若 x(1), x(2) S, ( 0 , 1 ) ,均有
f( x(1)+(1- ) x(2) ) ≤f(x(1))+(1- )f(x(2)) , 则称 f(x) 为凸集 S 上的凸函数。
hi x 0 等式约束
称满足所有约束条件的向量 x为可行解,或可行点,全体
可行点的集合称为可行集,记为D 。
D {x | hi x 0, i 1, 2, m, g j x 0,
j 1, 2, p, x Rn } 若 hi ( x), g j ( x) 是连续函数,则D 是闭集。
2.3 Hesse矩阵
Hesse 矩阵:多元函数 f (x) 关于 x 的二阶偏导
数矩阵
2
f
X
x12
2
f
X
f
X
2 f X
x1 x2
2
f
X
x1xn
2 f X
x2x1
2 f X
x22
2 f X
x2 xn
2
f
X
xnx1
2
f
X
xnx2
2
f
X
xn2
例:求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
若进一步有上面不等式以严格不等式成立,则称
f(x) 为凸集 S 上的严格凸函数。 当- f(x) 为凸函数(严格凸函数)时,则称 f(x) 为
凹函数(严格凹函数)。
严格凸函数
第一章 最优化问题概述

43
黄金分割法
若第一次选取的试点为x1<x2,则下一步保留的 区间为[a,x2]或[x1,b],两者的机会是均等的. 因此我们选取试点时希望x2-a=b-x1. 设x1=a+p(b-a),则x2=a+(1-p)(b-a). x2 x1 a
26
可行方向
定义1.2.2(可行方向) 已知区域 , x k∈ D , 对于向量pk≠0,若存在实数b >0, 使得对任意的 a∈(0,b ),有:xk+apk∈D, 则称pk为点xk处关于区域D的可行方向. 对于D的内点(存在邻域包含于D),任意方向可 行,对于边界点(任意邻域既有D的点也有不在D 中的点),则有些方向可行,有些方向不可行. 若下降方向关于域D可行,则称为可行下降方向.
29
收敛速度
定义1.2.3 设序列{xk}收敛于x*,而且
若0<b<1,则称{xk}为线性收敛的,称b为收敛比;
若b=0,则称{xk}为超线性收敛的.
定义1.2.4 设序列{xk}收敛于x*,而且
则称{xk}为p阶收敛.
30
终止准则
对于一种算法,应该有某种终止准则,当某次迭代 满足终止准则时,就停止迭代.常用的终止准则有:
21
最优化问题的分类
根据数学模型中有无约束函数分为有约束的 最优化问题和无约束的最优化问题. 根据目标函数和约束函数的函数类型分类:线 性最优化问题,非线性最优化问题,二次规划, 多目标规划,动态规划,整数规划,0-1规划.
22
§1.2 最优化问题的一般算法
23
迭代算法
迭代算法 选取一个初始可行点x0∈D,由这个 初始可行点出发,依次产生一个可行点列: x1,x2,· · · ,xk,· · · , 记为{xk},使得某个xk恰好是问题的一个最优解, 或者该点列收敛到问题的一个最优解x*. 下降算法 在迭代算法中一般要求 f(xk+1)≤f(xk).
数学中的最优化问题

数学中的最优化问题数学中的最优化问题是一类重要的数学问题,其目标是寻找某个函数的最优解,即使得函数取得最大值或最小值的输入变量的取值。
最优化问题在数学、经济学、物理学等领域有广泛的应用,对于解决实际问题具有重要意义。
一、最优化问题的基本概念在介绍最优化问题之前,需要先了解几个基本的概念。
1. 目标函数:最优化问题中,我们定义一个目标函数,该函数是一个关于变量的函数,表示我们要优化的目标。
2. 约束条件:最优化问题中,往往存在一些限制条件,这些条件限制了变量的取值范围。
这些限制条件可以是等式约束或者不等式约束。
3. 最优解:最优解是指满足约束条件下使得目标函数取得最优值的变量取值。
最优解可能是唯一的,也可能存在多个。
二、最优化问题的求解方法在数学中,有多种方法可以求解最优化问题。
以下是几种常见的方法:1. 解析法:对于一些特殊的最优化问题,我们可以通过解析的方法求解。
这种方法通常需要对目标函数进行求导,并解方程得到极值点。
2. 迭代法:对于一些复杂的最优化问题,解析法并不适用,这时可以采用迭代法求解。
迭代法通过不断地逼近最优解,逐步优化目标函数的值。
3. 线性规划:线性规划是一种常见的最优化问题,它的约束条件和目标函数都是线性的。
线性规划可以利用线性代数的方法进行求解,有着广泛的应用。
4. 非线性规划:非线性规划是一类更一般的最优化问题,约束条件和目标函数都可以是非线性的。
非线性规划的求解比线性规划更为困难,需要采用一些数值方法进行逼近求解。
三、最优化问题的应用最优化问题在各个领域都有广泛的应用,下面以几个具体的例子来说明:1. 经济学中的最优化问题:经济学中的生产优化、消费优化等问题都可以抽象为最优化问题。
通过求解最优化问题,可以找到最有效的生产组合或最佳的消费策略。
2. 物理学中的最优化问题:在物理学中,最优化问题常常涉及到动力学、优化控制等方面。
例如,在机械设计中,可以通过最优化问题确定各部件的尺寸和形状,使得机械系统具有最佳的性能。
最优化设计:第1章 最优化基本要素

l 1, 2,..., L (1-3)
不等式约束的形式为
gm(x) 0
m 1, 2,..., M (1-4)
式中,L和M分别表示等式约束和不等式约
束的个数,其中等式约束的个数L必须小
于优化变量的个数n。
如果相等,则该优化问题就成了没有优 化余地的既定系统。等式约束 hl (x) 0 也可以用 hl (x) 0 和 hl (x) 0 两个不
二维问题的目标函数图形可以在三维
空间表示出来,图1-2所示为某二维问题的 目标函数的曲面。令目标函数的值分别为a、 b、c、d,则与这些函数值相对应的方案点 的集合是x1Ox2坐标平面内的一簇曲线,每 条曲线上的各点都对应相等的目标函数值, 这些曲线即为等值线。从图1-2可以看出, 等值线越往里,目标函数值越小。对于有
终于点(x1,x2)的向量来表示,如图1-1 (a)所示。对于三维优化问题,可以用以
x1、x2、x3为坐标轴的空间直角坐标系中始 于原点、终于点(x1,x2,x3)的向量来表 示,如图1-1(b)所示。
(a)二维坐标系 (b)三维坐标系 图1-1 二维平面与三维空间
当n>3时,向量x就无法用以x1、 x2、…、xn为坐标轴组成的空间图示出来, 该空间是一个抽象的超空间,称为n维空间, 或称为n维欧氏空间。因为优化变量xi(i= 1,2,…,n)都是实数,所以这n个独立 变量组成的n维向量空间是一个n维实空间, 用Rn表示。具有n个优化变量的优化问题的 每一个方案x都对应于n维向量空间的一个 向量或一个点。
中心的曲线族来说,等值线簇的中心即为 目标函数的无约束极小点x*。所以从几何 意义来说,求目标函数的无约束极小值点 就是求其等值线簇的中心。
图1-2 二维目标函数的等值线
第一章--最优化问题与数学预备知识

第一章 最优化问题与数学预备知识1. 最优化问题的一般形式给定目标函数,满足不等式约束及等式约束,记为:)(min x f X Ω∈,其中[]Tn x x x x ,...,,21=)(,...2,10)(,...,2,10)(..n l l j x h mi x s t s j i <===≥满足所有约束的向量X 称为容许解或容许点,容许点集合称为容许集。
从最优化问题的一般形式可以看出,最优化要解决的问题就是在容许集中找一点*x ,使目标函数)(x f ,在该点取极小。
这样*x 称为问题的最优点,而相应的目标函数值)(*x f 称为最优值。
2.最优化问题分类最优化问题可分为静态问题和动态问题两大类,本书只讨论静态问题。
静态最优化问题又可分为无约束问题和约束问题两类。
例:求Rosenbrock 函数大极小点,即{}212212)1()(100min x x x -+-。
这是一个无约束二维问题。
例:求优化问题{}3214min x x x ++ 422..321=+-x x x t s0,0,0321≥≥≥x x x 的最优解。
这是一个约束最优化问题。
无约束问题又可分为一维问题及n 维问题,求解一维问题的方法称为一维搜索或直线搜索,在最优化方法中起着十分重要的作用,故单独列出。
约束问题又分为线性规划和非线性规划。
3.二次函数1)二次函数的一般形∑∑∑===++==n i nj ni i i j i ij n c x b x x q x x x f x f 1112121),...,,()(它的矩阵形式是c x b Qx x x f T T ++=21)(其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡= (2)12222111211nn n n n n q q q q q qq q q Q ,⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n b b b b (21)这里Q 是对称矩阵。
我们称特殊的二次函数Qx x x f T 21)(=为二次型。
最优化问题的线性代数

最优化问题的线性代数线性代数在最优化问题中的应用引言:最优化问题是数学中的一个重要分支。
线性代数作为数学的基础学科,不仅在理论研究中发挥着重要作用,而且在实际问题中的运用广泛。
本文将介绍线性代数在最优化问题中的应用。
第一部分:最优化问题的基本概念要理解最优化问题的线性代数应用,首先需要了解最优化问题的基本概念。
最优化问题的目标是在给定的约束条件下寻找使某个函数值达到最大或最小的变量值。
最优化问题分为线性最优化问题和非线性最优化问题两种。
第二部分:线性最优化问题线性最优化问题是指目标函数和约束条件都是线性的最优化问题。
在解决线性最优化问题时,我们可以利用线性代数的工具来求解。
例如,通过线性代数中的矩阵运算可以将线性最优化问题转化为矩阵方程的求解问题。
第三部分:线性代数在最优化问题中的应用举例1. 线性规划(Linear Programming):线性规划是一种常见的线性最优化问题,可以利用线性代数的工具来求解。
通过构建目标函数和约束条件的线性方程组,将线性规划问题转化为线性代数中的矩阵方程求解问题。
2. 最小二乘法(Least Squares Method):最小二乘法是一种广泛应用于数据拟合、曲线拟合等问题的优化方法。
在最小二乘法中,我们可以利用线性代数中的正规方程组来求解拟合曲线的参数。
3. 特征值问题(Eigenvalue Problem):特征值问题在科学和工程领域中具有广泛的应用。
最优化问题中的特征值问题可以通过线性代数中的特征值分解方法得到最优解的一些性质。
第四部分:线性代数的其他应用除了上述举的例子,线性代数还可以在最优化问题中发挥更多的作用。
例如,线性代数可以用于解决线性方程组、矩阵的逆运算、特征值和特征向量的计算等问题,这些工具都与最优化问题密切相关。
结论:线性代数作为数学的基础学科,在最优化问题中发挥着重要作用。
通过运用线性代数的工具和理论,我们可以更好地解决最优化问题,并得到更准确、高效的解答。
第1章最优化问题总论

第一章 最优化问题总论无论做任何一件事,人们总希望以最少的代价取得最大的效益,也就是力求最好,这就是优化问题.最优化就是在一切可能的方案中选择一个最好的方案以达到最优目标的学科.例如,从甲地到乙地有公路、水路、铁路、航空四种走法,如果我们追求的目标是省钱,那么只要比较一下这四种走法的票价,从中选择最便宜的那一种走法就达到目标.这是最简单的最优化问题,实际优化问题一般都比较复杂.概括地说,凡是追求最优目标的数学问题都属于最优化问题.作为最优化问题,一般要有三个要素:第一是目标;第二是方案;第三是限制条件.而且目标应是方案的“函数”.如果方案与时间无关,则该问题属于静态最优化问题;否则称为动态最优化问题.§1.1 最优化问题数学模型最简单的最优化问题实际上在高等数学中已遇到,这就是所谓函数极值,我们习惯上又称之为经典极值问题.例1.1 对边长为a 的正方形铁板,在四个角处剪去相等的正方形以制成方形无盖水槽,问如何剪法使水槽的容积最大?解 设剪去的正方形边长为x ,由题意易知,与此相应的水槽容积为x x a x f 2)2()(-=.令0)6)(2()2()2)(2(2)('2=--=-+--=x a x a x a x x a x f ,得两个驻点:a x a x 6121==,.第一个驻点不合实际,这是因为剪去4个边长为2a的正方形相当于将铁板全部剪去.现在来判断第二个驻点是否为极大点.∵ a x f 824)(''-=, 04)6(''<-=a af ,∴6a x =是极大点. 因此,每个角剪去边长为6a的正方形可使所制成的水槽容积最大.例1.2 求侧面积为常数)0(62>a a ,体积最大的长方体体积.解 设长方体的长、宽、高分别为z y x ,,体积为v ,则依题意知体积为 xyz z y x f v ==)(,,,条件为06)(2)(2=-++=a xy xz yz z y x ,,ϕ.由拉格朗日乘数法,考虑函数)6222()(2a xy xz yz xyz z y x F -+++=λ,,,2()02()02()0x y z F yz y z F xz z x F xy x y λλλ'=++='=++='=++=,,,由题意可知z y x ,,应是正数,由此0≠λ,将上面三个等式分别乘以z y x ,,并利用条件23a xy zx yz =++,得到2222(3)02(3)02(3)0xyz a yz xyz a zx xyz a xy λλλ⎧+-=⎪+-=⎨⎪+-=⎩,,.比较以上三式可得xy a zx a yz a -=-=-222333,从而a z y x ===.又侧面积固定的长方体的最大体积客观存在,因此侧面积固定的长方体中以正方体体积最大,其最大值为3a .例1.3 某单位拟建一排四间的停车房,平面位置如图1.1所示.由于资金及材料的限制,围墙和隔墙的总长度不能超过40m ,为使车房面积最大,应如何选择长、宽尺寸?解 设四间停车房长为1x ,宽为2x .由题意可知面积为2121)(x x x x f =,,且变量1x ,2x 应满足405221≤+x x , 1200x x ≥≥,.即求2121),(m ax x x x x f =,1212254000x x x x +≤⎧⎨≥≥⎩,,.以上三个例子,虽然简单,但是它代表了三种类型的最优化问题.第一个例子代表无约束极值问题:一般可表示为),,,(m i n21n x x x f 或),,,(m ax 21n x x x f .这里,),,,(21n x x x f 是定义在n R 上的可微函数.求极值的方法是从如下含有n 个未知数n x x x ,,,21 的非线性方程组⎪⎪⎩⎪⎪⎨⎧===0)('0)('0)('21212121n x n x n x x x x f x x x f x x x f n ,,,,,中解出驻点,然后判定或验证这些驻点是不是极值点.第二个例子代表具有等式约束的极值问题: 一般可表示为121212min ()max ()()0123()n n j n f x x x f x x x h x x x j m m n ⎧⎪⎨==<⎪⎩,,,或,,,,,,,,,,,,.该问题的求解通常采用拉格朗日乘数法,即把这个问题转化为求121212121()()()mn m n j j n j L x x x f x x x h x x x λλλλ==-∑,,,;,,,,,,,,,的无约束极值问题.第三个例子代表具有不等式约束的极值问题.下面具体分析上述三种类型的最优化问题中按经典极值问题解法可能出现不能解决的情况:(1)当变量个数增加且方程组又是非线性,求解此方程组只有在相当特殊情况下才能人工解出.正因为如此,通常高等数学中的求极值问题的变量个数一般不超过三个.(2)当限制条件出现不等式,无论变量数多少,按经典极值方法求解根本无法解决. 直到本世纪50年代,最优化理论的建立以及电子计算机的迅速发展,才为求解各种最优化问题提供了雄厚的基础和有效手段.不过最优化方法作为一门崭新的应用学科,有关理论和方法还没有完善,有许多问题还有待解决,目前正处于迅速发展之中.最优化问题的数学模型包含三个要素:变量(又称设计变量)、目标函数、约束条件. 一、变量一个优化设计方案是用一组设计参数的最优组合来表示的.这些设计参数可概括地划分为两类:一类是可以根据客观规律、具体条件、已有数据等预先给定的参数,统称为常量;另一类是在优化过程中经过逐步调整,最后达到最优值的独立参数,称为变量.优化问题的目的就是使各变量达到最优组合.变量的个数称为优化问题的维数.例如有n 个变量n x x x ,,, 21的优化问题就是在n 维空间n R 中寻优.n 维空间n R 中的点T n x x x X ][21,,, =就代表优化问题中的一个方案.当变量为连续量时,称为连续变量;若变量只能在离散量中取值,称为离散变量.二、目标函数反映变量间相互关系的数学表达式称为目标函数.其值的大小可以用来评价优化方案的好坏.按照规范化的形式,一般把优化问题归结为求目标函数的极小化问题,换句话说,目标函数值越小,优化方案越好.对于某些追求目标函数极大的问题,可以转化成求其负值最小的问题,即12max ()max ()min[()]n f X f x x x f X ==--,,,.因此在本书的叙述中,一律把优化问题描述为目标函数的极小化问题,其一般形式为12min ()min ()n f X f x x x =,,,. 如果优化问题只有一个目标函数,称为单目标函数,如果优化问题同时追求多个目标,则该问题的目标函数称为多目标函数.多目标优化问题的目标函数通常表示为12min ()[()()()]T m V F X f X f X f X -=,,,,其中Tn x x x X ][21,,, =.这时的目标函数在目标空间中是一个m 维矢量,所以又称之为矢量优化问题(一般用min 加一个前缀“-V ”来表示矢量极小化). 三、约束条件变量间本身应该遵循的限制条件的数学表达式称为约束条件或约束函数. 约束条件按其表达式可分为不等式约束和等式约束两种,即()012..()012i j g X i l s t h X j m ≥=⎧⎪⎨==⎪⎩,,,,,,,,,.上式中“s . t .”为Subject to 的缩写,意即“满足于”或“受限于”.按约束条件的作用还可将约束条件划分为起作用的约束(紧约束、有效约束)和不起作用的约束(松约束、消极约束).等式约束相当于空间里一条曲线(曲面或超曲面),点X 必须为该曲线(曲面或超曲面)上的一点,因而总是紧约束.有一个独立的等式约束,就可用代入法消去一个变量,使优化问题降低一维.因此,数学模型中独立的等式约束个数应小于变量个数;如果相等,就不是一个待定优化系统,而是一个没有优化余地的既定系统.不等式约束通常是以其边界)0)((0)(≈=X g X g 或表现出约束作用的,它只限制点X 必须落在允许的区域内(包括边界上),因而不等式约束的个数与变量个数无关.不带约束条件的优化问题称为无约束最优化问题;带约束条件的优化问题称为约束最优化问题.四、带约束条件的优化问题数学模型表示形式综上所述,全书所要讨论的问题是如下的(静态)最优化问题,其表示形式有三种: 第一种最优化问题表示形式为1212[]1212min()()012..()012()T n n x x x i n j n f x x x g x x x i l s t h x x x j m m n ∈Ω≥=⎧⎪⎨==<⎪⎩,,,,,,,,,,,,,,,,,,,,,,. 第二种最优化问题表示形式为m i n ()()012..()012()X i j f X g X i l s t h X j m m n ∈Ω≥=⎧⎪⎨==<⎪⎩,,,,,,,,,,.第三种最优化问题表示形式为min ()()0..()0X f G X s t H X ∈Ω≥⎧⎨=⎩,,,X(1.1)其中11()[()()]()[()()]T Tl m G X g X g X H X h X h X ==,,,,,. 上述三种表示形式中,X ∈Ω称为集约束.在所讨论的最优化问题中,集约束是无关紧要的.这是因为一般nR ≡Ω,不然的话,Ω通常也可用不等式约束表达出来.因此今后一般不再考虑集约束.满足所有约束的点X 称为容许点或可行点.容许点的集合称为容许集或可行域.可用{|()012()012()}i j D X g X i l h X j m m n =≥===<,,,,;,,,, 表示.一般地,对于最优化问题(1.1)的求解,是指在可行域内找一点*X ,使得目标函数)(X f在该点取得极小值,即***()min ()()0..()0f X f X G X s t H X =≥⎧⎨=⎩,,.这样的*X 称为问题(1.1)的最优点,也称极小点,而相应的目标函数值)(*X f 称为最优值;合起来,))((**X f X ,称为最优解,但习惯上常把*X 本身称为最优解.最优点的各分量和最优值必须是有限数.§1.2 最优化问题的算法一、二维最优化问题的图解法二维最优化问题具有鲜明的几何解释,这对于理解有关理论和掌握所述的方法是很有益处的.下面讨论的二维最优化问题为⎩⎨⎧==≥.0)(210)(..)(min 212121x x h l i x x g t s x x f i ,,,,,,,(一)约束集合当约束函数为线性时,等式约束在21x x ,的坐标平面上为一条直线;不等式约束在21x x ,的坐标平面上为一半平面.当约束函数(例如)(21x x h ,)为非线性时,则等式约束条件0)(21=x x h ,在21x x ,的坐标平面上为一条曲线(如图 1.2所示).当约束函数(例如)(211x x g ,)为非线性时,则不等式约束0)(211≥x x g ,在21x x ,的坐标平面上为曲线0)(211=x x g ,把坐标平面分成两部分当中的一部分(如图1.3所示).图1.2图1.3综上所述,当把约束条件中的每一个等式所确定的曲线,以及每一个不等式所确定的部分在21x x ,坐标平面上画出之后,它们相交的公共部分即为约束集合D . 例1.4 在21x x ,坐标平面上画出约束集合 }001|],{[21222121≥≥≤+=x x x x x x D T ,,.解 满足12221≤+x x 的区域为以原点为圆心,半径为1的圆盘;满足0021≥≥x x ,的区域为第一象限中的扇形(如图1.4所示).(二)等高线我们知道)(21x x f t ,=在三维空间中表示一张曲面.c t =(其中c 为常数)在三维空间中表示平行于21x x ,平面的一个平面,这个平面上任何一点的高度都等于常数c (如图1.5所示).图1.4图1.5现在,在三维空间中曲面)(21x x f t ,=与平面c t =有一条交线L .交线L 在21x x ,平面上的投影曲线是L ',可见曲线L '上的点T x x ][21,到平面c t =的高度都等于常数c ,也即曲线L '上的T x x ][21,的函数值)(21x x f ,都具有相同的值c .当常数c 取不同的值时,重复上面的讨论,在21x x ,平面上得到一簇曲线——等高线.不难看出,等高线的形状完全由曲面)(21x x f t ,=的形状所决定;反之,由等高线的形状也可以推测出曲面)(21x x f t ,=的形状.在以后的讨论中,不必具体画出曲面)(21x x f t ,=的图形,只须在21x x ,平面上变动常数c 画出曲线簇c x x f =)(21,. 例1.5 在21x x ,坐标平面上画出目标函数222121)(x x x x f +=,的等高线.解 因为当取0>c 时,曲线c x x =+2221表示是以原点为圆心,半径为c 的圆.因此等高线是一簇以原点为圆心的同心圆(如图1.6所示).(三)几何意义及图解法当在21x x ,坐标平面上分别画出约束集合D 以及目标函数)(21x x f ,的等高线后,不难求出二维最优化问题的最优解.下面举例说明.例1.6 用图解法求解二维最优化问题2212221212min[(2)(2)]1..00x x x x s t x x +++⎧+≤⎪⎨≥≥⎪⎩,,,.解 由例1.4得到约束集合D (如图1.7所示).目标函数的等高线是以T]22[--,为圆心的同心圆,并且这簇同心圆的外圈比内圈的目标函数值大.因此,这一问题成为在约束集合中找一点Tx x ][21,,使其落在半径最小的那个同心圆上.不难看出,问题的最优解图1.6T T x x X ]00[][21*,,==.图1.7二、最优化问题的迭代解法(一)迭代方法在经典极值问题中,解析法虽然具有概念简明,计算精确等优点,但因只能适用于简单或特殊问题的寻优,对于复杂的工程实际问题通常无能为力,所以极少使用.最优化问题的迭代算法是指:从某一选定的初始点出发,根据目标函数、约束函数在该点的某些信息,确定本次迭代的一个搜索方向和适当的步长,从而到达一个新点,用式子表示即为1012k k k k X X t P k +=+=,,,,(1.2)式中k X 代表前一次已取得的迭代点,在开始计算时为迭代初始点0X ,1+k X 代表新的迭代点,k P 代表第k 次迭代计算的搜索方向,k t 代表第k 次迭代计算的步长因子.按照式(1.2)进行一系列迭代计算所根据的思想是所谓的“爬山法”,就是将寻求函数极小点(无约束或约束极小点)的过程比喻为向“山”的顶峰攀登的过程,始终保持向“高”的方向前进,直至达到“山顶”.当然“山顶”可以理解为目标函数的极大值,也可以理解为极小值,前者称为上升算法,后者称为下降算法.这两种算法都有一个共同的特点,就是每前进一步都应该使目标函数有所改善,同时还要为下一步移动的搜索方向提供有用的信息.如果是下降算法,则序列迭代点的目标函数值必须满足下列关系011()()()()k k f X f X f X f X +>>>>.如果是求一个约束的极小点,则每一次迭代的新点 ,,21X X 都应该在约束可行域内,即 012k X D k ∈=,,,,图1.8为迭代过程示意图.由上面的迭代过程可知,在迭代过程中有两个规则需要确定:一个是搜索方向k P 的选取;一个是步长因子k t 的选取.一旦k P 和k t 的选取方法确定,则一种迭代算法就确定,即不同的规则就对应不同的最优化方法.(二)收敛速度与计算终止准则(1)收敛速度作为一个算法,能够收敛于问题的最优解当然是必要8的,但仅收敛还不够,还必须能以较快的速度收敛,这才是好的算法.图1.8定义1.1 设由算法A 产生的迭代点列{}k X 在某种“||·||”的意义下收敛 于点*X ,即0||||lim *=-∞→X X k k ,若存在实数0>α及一个与迭代次数k 无关的常数0>q ,使得,q X X X X k k k =--+∞→α||||||||lim **1则称算法A 产生的迭代点列}{k X 具有α阶收敛速度,或称算法A 为α阶收敛的.特别地:① 当01>=q ,α时,称迭代点列}{k X 具有线性收敛速度或称算法A 为线性收敛的. ② 当021><<q ,α时,或0,1==q α时,称迭代点列}{k X 具有超线性收敛速度或称算法A 是超线性收敛.③ 当2=α时,迭代点列}{k X 叫做具有二阶收敛速度或算法A 是二阶收敛的. 一般认为,具有超线性收敛或二阶收敛的算法是较快速的算法.例1.7 设一算法A 产生迭代点列}1{k X k =,它收敛于点0*=X ,试判定算法A 的收敛速度.解 因为 1|01||011|lim =--+∞→k k k ,即取 01,1>==q α.所以算法A 具有线性收敛速度.例1.8 设一算法A 产生迭代点列}1{kk k X =,它收敛于0*=X ,试确定A 的收敛速度.解 因为11)1(lim |01||0)1(1|lim +∞→+∞→+=--+k k k k k k k k k k11lim()01k k k k k +→∞=⋅=+,即取0,1==q α. 所以A 是超线性收敛的. (2)计算终止准则用迭代方法寻优时,其迭代过程不能无限制地进行下去,那么什么时候截断这种迭代呢?这就是迭代什么时候终止的问题.从理论上说,当然希望最终迭代点到达理论极小点,或者使最终迭代点与理论极小点之间的距离足够小时才终止迭代.但是这在实际上是办不到的.因为对于一个待求的优化问题,其理论极小点在哪里并不知道.所知道的只是通过迭代计算获得的迭代点列}{k X ,因此只能从点列所提供的信息来判断是否应该终止迭代.对于无约束优化问题通常采用的迭代终止准则有以下几种: ①点距准则相邻两迭代点1+k k X X ,之间的距离已达到充分小,即 ε≤-+||||1k k X X ,上式中ε是一个充分小的正数,代表计算精度.②函数下降量准则相邻两迭代点的函数值下降量已达到充分小.当1|)(|1<+k X f 时,可用函数绝对下降量准则ε≤-+|)()(|1k k X f X f .当1|)(|1>+k X f 时,可用函数相对下降量准则ε≤-++|)()()(|11k k k X f X f X f .③梯度准则目标函数在迭代点的梯度已达到充分小,即ε≤∇+||)(||1k X f .这一准则对于定义域上的凸函数是完全正确的.若是非凸函数,有可能导致误把驻点作为最优点.(凸函数的定义请参见第二章2.6节)对于约束优化问题,不同的优化方法有各自的终止准则. 综上所述,优化算法的基本迭代过程如下: ① 选定初始点0X ,置0=k .② 按照某种规则确定搜索方向k P . ③ 按某种规则确定k t 使得)()(k k k k X f P t X f <+.④ 计算k k k k P t X X +=+1.⑤ 判定1+k X 是否满足终止准则.若满足,则打印1+k X 和)(1+k X f ,停机;否则置1+=k k ,转②.上述算法用框图表达如图1.9.§1.3 最优化算法分类所谓优化算法,其实就是一种搜索过程或规则,它是基于某种思想和机制,通过一定的途径或规则来得到满足用户要求的问题的解.就优化机制与行为而分,目前工程中常用的优化算法主要可分为:经典算法、构造型算法、改进型算法、基于系统动态演化的算法和混合型算法等.(1)经典算法.包括线性规划、动态规划、整数规划和分枝定界等运筹学中的传统算法,其算法计算复杂性一般很大,只适于求解小规模问题,在工程中往往不实用.(2)构造型算法.用构造的方法快速建立问题的解,通常算法的优化质量差,难以满足工程需要.譬如,调度问题中的典型构造型方法有:Johnson 法、Palmer 法、Gupta 法、CDS 法、Daunenbring 的快速接近法、NEH 法等.(3)改进型算法,或称邻域搜索算法.从任一解出发,对其邻域的不断搜索和当前解的替换来实现优化.根据搜索行为,它又可分为局部搜索法和指导性搜索法.①局部搜索法.以局部优化策略在当前解的邻域中贪婪搜索,如只接受优于当前解的状态作为下一当前解的爬山法;接受当前解邻域中的最好解作为下一当前解的最陡下降法等.②指导性搜索法.利用一些指导规则来指导整个解空间中优良解的探索,如SA 、GA 、TS 等.(4)基于系统动态演化的算法.将优化过程转化为系统动态的演化过程,基于系统动态的演化来实现优化,如神经网络和混沌搜索等.(5)混合型算法.指上述各算法从结构或操作上相混合而产生的各类算法.优化算法当然还可以从别的角度进行分类,如确定性算法和不确定性算法,局部优化算法和全局优化算法等.§1.4 组合优化问题简介一、组合优化问题建模优化问题涉及的工程领域很广,问题种类与性质繁多,归纳而言,最优化问题可分为函数优化问题和组合优化问题两大类,上一节介绍的最优化数学模型属于函数优化问题,该函数优化的对象是一定区间内的连续变量,而组合优化的对象则是解空间中的离散状态.本节重点介绍组合优化问题.组合优化问题是通过对数学方法的研究去寻找离散事件的最优编排、分组、次序或筛选等,所研究的问题涉及信息技术、经济管理、工业工程、交通运输、通信网络等诸多领域,该问题数学模型可表示为⎩⎨⎧=≥Ω∈,,0)(0)(..)(min X H X G t s X f X其中)(X f 为目标函数,)(X G 和)(X H 为约束函数,X 为决策变量,Ω表示有限个点组成的集合.一个组合优化问题可用3个参数)(f D ,,Ω表示,其中Ω表示决策变量的定义域,D 表示可行解区域}0)(0)(|{=≥Ω∈=X H X G X X D ,,,D 中的任何一个元素称为该问题的可行解,f 表示目标函数,满足}|)(m in{)(*D X X f X f ∈=的可行解*X 称为该问题的最优解.组合最优化问题的特点是可行解集合为有限集.由直观可知,只要将Ω中有限个点逐一判别是否满足约束条件0)(0)(=≥X H X G ,和比较目标函数值的大小,该问题的最优解一定存在并可以求得,下面是三个典型的组合优化问题.例1.9 0-1背包问题(knapsack problem )设有一个容积为b 的背包,n 个体积分别为),,2,1(n i a i =,价值分别为),,2,1(n i c i =的物品,如何以最大的价值装包?这个问题称为0-1背包问题.用数学模型表示为∑=n i ii x c 1max , (1.3)⎪⎩⎪⎨⎧=∈≤∑=)5.1(21}10{)4.1(..1.,,,,,,n i x b x a t s i ni i i其中目标(1.3)欲使包内所装物品的价值最大,式(1.4)为包的能力限制,式(1.5)表示i x 为二进制变量,1=i x 表示装第i 个物品,0=i x 则表示不装.例1.10 旅行商问题(TSP ,traveling salesman problem )一个商人欲到n 个城市推销商品,每两个城市i 和j 之间的距离为ij d ,如何选择一条道路使得商人每个城市走一遍后回到起点且所走路径最短.TSP 还可以细分为对称和非对称距离两大类问题.当对任意的j i ,时都有 ji ij d d =,则称该TSP 为对称距离TSP ,否则称为非对称距离TSP .对一般的TSP ,它的一种数学模型描述为∑≠j i ijij x d min , (1.6)11,112(1.7)112(1.8)..||12||2{12}(1.9){01}12(1.10)nij j n ij i ij i j Sij x i n x j n s t x S S n S n x i j n i j ==∈⎧==⎪⎪⎪⎪==⎨⎪≤-≤≤-⊂⎪⎪⎪∈=≠⎩∑∑∑,,,,,,,,,,,,,,,,,,,,,,,. 以上是基于图论的数学模型.其中式(1.10)中的决策变量ij x =1表示商人行走的路线包含从城市i 到城市j 的路径,0=ijx 表示商人没有选择走这条路.j i ≠的约束可以减少变量的个数,使得共有)1(-⨯n n 个决策变量.目标(1.6)要求距离之和最小.式(1.7)要求商人从城市i 出来一次,式(1.8)要求商人走入城市j 只有一次.式(1.7)和式(1.8)表示每个城市经过一次.仅有式(1.7)和式(1.8)的约束无法避免回路的产生,一条回路是由)1(n k k ≤≤个城市和k 条弧组成,因此,式(1.9)约束旅行商在任何一个城市子集中不形成回路,其中||S 表示集合S 中元素个数.例1.11 聚类问题m 维空间上的n 个模式}21|{n i X i ,,,=要求聚类成k 类,使得各类本身内的点最相近,即∑=-n i p p i R X 0)(||||min ,其中p R 为第p 类的中心,∑==p n i p i p p X n R 1)(1,k p ,,, 21=,p n 为第p 类中的点数. 二、算法复杂性前面给大家介绍的三个组合优化问题例子,模型建立都比较简单,但要求它们的最优解却很困难,而解模型的困难主要原因是所谓的“组合爆炸”,如聚类问题的可能划分方式有!/k k n 个,TSP 问题有!n 个.显然状态数量随问题规模呈超指数增长,若计算机每秒处理1亿种排列,则列举20个城市问题的20!种排列约需几百年.如此巨大的计算量是无法承受的,更不用谈更大规模问题的求解,因此解决这些问题的关键在于寻求有效的优化算法,也正是由于组合优化问题算法的复杂性,激起了人们对它的理论与算法研究的兴趣.算法的复杂性是指算法对时间复杂性和对空间复杂性.按照算法复杂性求解的难易程度,可把组合优化问题分为P 类,NP 类和NP 完全类.算法或问题的复杂性一般表示为问题规模n (如TSP 问题中的城市数)的函数,时间的复杂性记为)(n T ,空间的复杂性记为)(n S .在算法分析和设计中,沿用实用性的复杂性概念,即把求解问题的关键操作,如加、减、乘,比较等运算指定为基本操作,算法执行基本操作的次数则定义的算法的时间复杂性,算法执行期间占用的存储单元则定义为算法的空间复杂性.P 类问题指具有多项式时间求解算法的问题类.许多优化问题仍没有找到求得最优解的多项式时间算法,称这种比P 类问题更广泛的问题为非确定型多项式算法的问题类,即NP 问题.三、NP 完全问题离散问题的求解常常要从有限个方案中选出一个满意的结果来 ,也许有人认为,从有限个方案中挑选一个,总是比较容易的.然而,事实并非如此,关键在于问题的规模.由于计算机的出现,人们对问题的求解在观念上发生了改变,一个在理论上可解的问题如果在求解时需要花费相当多,以至于不合理的时间(如几百年甚至更长时间),我们不能认为它已解决,而应当努力寻找更好的算法.如何比较算法的好坏呢?从不同的角度出发可以有不同的回答.这里,仅就算法的计算速度作一个十分粗略的比较.设有一台每小时能进行M 次运算的计算机.并设问题已有两种不同的算法,算法A 对规模为n 的问题约需作2n 次运算,算法B 则约需作n 2次运算.运用算法A 在一个小时内大约可解一个规模为M 的问题,而算法B 则大约可解一个规模为M 2log 的问题.现在假设计算机有了改进,例如计算速度提高了100倍.此时,利用算法A 能求解的问题规模增大了10倍,利用算法B 可解的问题规模只增加了7100log 2<.前者得到了成倍的增加,而后者则几乎没有什么改变,今天无法求解的问题,将来也很少有希望解决.由于这一原因,对算法作如下分类.定义1.2(多项式算法) 设A 是求解某类问题D 的一个算法,n 为问题D 的规模,用)(n D f A ,表示用算法A 在计算机上求解这一问题时需作的初等运算的次数.若存在一个多项式)(n P 和正整数N ,当N n ≥时,总有)(),(n P n D f A ≤(不论求解的D 是怎样的具体实例),则称算法A 是求解问题D 的一个多项式算法.定义1.3(指数算法) 设算法B 是求解某类问题D 的一个算法,若存在一个常数0>k ,对任意n ,总可以找到问题D 的一个规模为n 的实例,用算法B 求解时,所需的计算量约为)2()(kn B o n D f =,,则称B 为求解问题D 的一个指数算法.多项式算法被称为是“好”算法(或有效算法),而指数算法则一般认为是“坏”算法,因为它只能用来求解规模很小的问题.这样看来,对一个问题只有在找到求解它的多项式算法后才能较为放心.然而十分可惜的是,对于许多具有广泛应用价值的离散模型,人们至今仍未找到多项式算法.现在的任何算法在最坏的情况下计算量均可达到或接近n2.1971年和1972年,S. Cook 和R. Karp 分别发表了相关论文,奠定了NP 完全理论基础.Cook 指出,NP 完全类问题,具有两个性质:(1)这类问题中的任何一个问题至今均未发现有多项式算法.(2)只要其中任一个问题找到了多项式算法,那么其他所有问题也就有了多项式算法. 现在,NP 完全类中的问题已被扩充到了四千多个,其中包括前面讨论的旅行商问题.对它们的研究使人们越来越相信这样一个猜测:对这类问题也许根本不存在多项式算法.。
最优化方法第1章第1节1

2021/5/17
最优化方法
28
1.1 最优化问题简介
17、凸规划
如果最优化问题的目标函数是凸的,可行 域是凸集,则问题的任何最优解(不一定 唯一)必是全局最优解,这样的最优化问 题称为凸规划。
2021/5/17
最优化方法
29
1.2 凸集和凸函数
• (一)凸集
1、凸集的定义
2021/5/17
最优化方法
8. 非线性最优化
模型(1.1.1)中的函数中有一个关于x是非线性的,就称为非线性最优 化问题。
9. 可行点(feasible point)
10.可行域(feasible region) 所有可行点的全体称为可行域。
2021/5/17
最优化方法
22
1.1 最优化问题简介
11、有效约束(active constraint)和无效约束(inactive constraint)
2
举例
例2:某单位拟建一排四间的车库,平面位置 如图所示.由于资金及材料的限制,围墙和隔 墙的总长度不能超过40m,为使车库面积最大, 应如何选择长、宽尺寸?
x1
x2
图1.1
2021/5/17
最优化方法
3
举例
解: 设四间车库长为 x 1 ,宽为 x 2 .由题意可知面积为
f(x1, x2)x1x2
转 换 成 h (x ) 0 的 不 等 式 约 束 形 式 。
2021/5/17
最优化方法
12
1.1 最优化问题简介
• 最优化问题的划分(根据不同的性质对最 优化有不同的划分):
离 散 最 优 化 ( 组 合 最 优 化 ) 整 数 规 划 , 资 源 配 置 等 最 优 化 连 续 最 优 化 光 滑 最 优 化 非 线 光 性 滑 规 非 最 划 线 优 ( 性 化 线 最 性 优 最 化 优 化 )
第一章 第一节 最优化方法

1.2 极值的必要条件 在一元微积分中我们知道,若函数f(x)在点 x0的偏 导数存在且连续,并在该点取得极值时, f ( x0 ) 0 则必有: * T 对n维欧式空间点 x x1 , x2 , xn
的偏导数存在且连续,并在该点取得极值时,则必 有:
f f f 0 x1 x2 xn * 记为f ( x ) 0
n 凸函数:f ( x )为R 中某个凸集K上的函数, 若对任何实数( 〈 0 〈1 ) 1 2 及K中任何两点x 和x , 都有 1 2 1 2 f x 1 x f x 1 f x
6
第一节
基本概念
1.1 数学模型 无约束条件的非线性最优化问题数学模型为: minf(x) 有约束条件的非线性最优化问题数学模型为:
min f ( x ) hi ( x ) 0 g j (x) 0
(1) i 1,2,, m j 1,2,, l (2) (3)
hi x 0 g i x 0
线性规划问题:如果目标函数和约束条件都 是线性的则称这类最优化问题为线性规划问 题,否则称为非线性规划。 研究最优化问题的方法大致分为二种:
一种方法称为间接法:即解析法,就是用 数学解析式表达目标函数和约束条件,然 后用数学的方法求得最优解。
第二种方法称为直接法。优化目标函数无 数学表达式,优化过程不经过中间阶段, 直接通过少量试验,根据结果比较而求得 最优解或近似最优解。此法也可用于求复 杂目标函数的最优解。
T 其中x为n维殴氏空间的点 x x1 , x2 , xn f(x)为目标函数;
hi ( x ) 0 g j ( x) 0
2 Chap 1.2 最优化问题的图解法,解的概念

解的概念
• 几个名词:最优解,全局解,局部解。 • 分约束与无约束两种情况。 • 约束问题的可行域、可行解概念。 D={x | ci(x) = 0, iE, 且ci(x) 0, iI } 。 其中x=(x1, x2, ..., xn)T}
– 无约束问题的可行域为全部空间Rn。
无约束问题情况
• 直接就可看出来 • 图上看看
画出定义域为圆时的图
• 解为 x1 = 2, x2 = 2 x* = (2, 2)T f=4 等高线 / 等值线
画图的函数或命令:ezcontour (@fun, [2,6])
例2
min f(x) = -3x1-4x2 st c1(x) = x1+2x2-60 c2(x) = 3x1+2x2-120 c3(x) = x2-20 c4(x) = -x10 c5(x) = -x20
x1 x2 x n
• 求解即求出使目标函数值最小的变量取值。
x1 x2 x n
x* =
= (x1, x2, ..., xn)T
例1、min f(x) = (x1-2)2 + (x2-2)2 + 4
– 理论方法的重要性:理论指导。面对复杂情况 时提供思路。缺点是适合于小规模、简单问题 的求解。 – 对于大规模复杂问题,要用数值方法(算法)、 用计算机工具来求解。
可行域,可行集
3、min f(x) = (x1-2)2 + (x2-2)2
st
c1(x) = x1+2x2-40 c2(x) = -x10 c3(x) = -x20
• 解为 x* = (8/5, 6/5)T f = 4/5 (求法可参考备注)
最优化第一部分

最优化方法的研究内容是,在需要对有限的资源进行分配的情
况下,作出人机系统最优设计的操作的科学决策。
非线性优化与动态规划
第一部分 绪论
以上几种定义中虽然每个定义所强调的侧重点略有不同, 但总的含义是一致的。一般说来,最优化方法的研究对象是各 种有组织的系统(主要是经济组织系统)的经营管理问题,最 优化方法所研究的系统是在一定时空条件下存在,为人所能控 制和操纵,有两个以上行动方案可供选择而需要人们作决策的 系统。最优化方法研究的问题是能用数量表示与系统各项活动 有关而带有运用、策划、使用、安排、控制和规划等方面的问 题。最优化方法的任务就是在现有条件下,根据问题的要求,
非线性优化与动态规划
第一部分 绪论
2.向量的范数 约定:取向量为列向量,即 n 维Euclid 空间Rn中的一个 向量 x 可表示为:
x1 x 2 x xn
或
x ( x1 , x2 , , xn )T
矩阵相等:设 x ( x1 , x2 , , xn )T , y ( y1 , y2 , , yn )T , 如果对一切 1 i n , 都有 x y , 则称向量x与y相等,记作 i i
非线性优化与动态规划
第一部分 绪论
一、最优化方法的定义、研究对象及研究方法 英国运筹学会给最优化方法下的定义是,最优化方法是一 系列科学方法的应用。在工业、商业、政府及国防部门中,用 这些方法处理大量的人员、机器、材料和资金等复杂问题。这 种方法的特点是科学地建立系统模型,包括度量各种因素,例 如分析机会和风险,以此预测和比较各种决策、策略或控制的 结果,使管理机构科学地确定它的政策及行动。 美国运筹学会下了一个比较简短的、与上述相类似的定义:
工程优化方法-第1章 极值理论与最优化问题的数学表达

)
,
2 f (X ) 2 f (X )
H
(
X
)
x2x1
,
x22
,
2 f (X xnx1
)
,
2 f (X ) xnx2
,
,
2 f (X x1xn
)
2 f (X )
,
x2xn
,
2
f (X xn2
)
(1 3)
式(1-3)称为Hesse矩阵。
梯度性质: a.若梯度不为零,则与过此点的等值面垂直;
(b)
若X是极小点,在此移动后目标函数值增加:
f ( X * X ) f ( X *) X Tf ( X *) 0
把式(b)代入上式
X T [jg j (X *)] 0
j[X Tg j (X *)] 0
(c)
考虑式(a),由式(c)得:
j 0
J(X *) { j g j (X *) 0 ( j 1, 2, , m)}
12x2 8ax a2 0 a / 2 不符合题意
x a / 6
由 f (x a / 6) 4a 0
可知 x a / 6 为极大值。
max f (x) 2a3 / 27
例 1-2 实心金属球体半径为1,熔化后 铸成一个圆柱体,问什么尺寸的圆柱体 表面积最小?
解:
1)设圆柱体半径、高分别为Fra bibliotek、h;实际上最优化方法已广泛应用于空 间技术、军事科学、电子工程、通讯工程、 自动控制、系统识别、资源分配、计算数 学、经济管理等等领域。
最优化方法包括的内容很广泛,如 线性规划、非线性规划、整数规划、动 态规划、多目标规划、组合优化等等。 本教程重点介绍线性、非线性规划。
1 最优化问题总论

最优化方法
18
1.4 最优化问题的图解法
• 对于简单的二维最优化问题,可以用作图的方法。在设计平面中 划出约束可行域和目标函数的一族等值线,并根据等值线与可行 域的相互关系确定出最优点的位置,进而得到问题的近似最优解 。图解法的步骤如下:
• • • • 确定设计空间。 画出由约束边界围成的约束可行域。 做出1到2条目标函数的等值线,判断目标函数的下降方向。 判断并确定最优点。
济南大学控制科学与工程学院
最优化方法
5
1.1 引言
• 最优化方法:从所有可能的方案中,选择出最合理的,达到最优 目标的方案,搜寻最优方案的方法就是最优化方法。
• • • • • 工程设计:如何选择参数,使设计满足要求又能降低成本。 资源分配:满足各方面的基本要求,获得好的经济效益。 生产计划:提高产值,提高利润。 原料配比:选择何种成分比例,提高质量、降低成本。 城建规划:如何安排工厂、学校、医院、商店、住宅的合理布局。
x * = 0.5, f * ( x) = 2.0
最优化方法 8
济南大学控制科学与工程学院
• [例1.2] 某工厂生产甲、乙两种产品,生产每种产品所需的材料、 工时、用电量和可以获得的利润,以及每天能够提供的材料、工 时、用电量见表,试确定该厂两种产品每天的生产计划,以使得 每天获得的利润最大。
产品 甲 乙 供应量 材料 kg 9 4 360 工时 h 3 10 300 用电量 kWh 4 5 200 利润 元 60 120
• 目标函数是衡量设计方案优劣的定量标准。不同的最优化设计问 题有不同的方案评价标准,一般选择某几个重要的技术经济指标 来构成目标函数,如利润、成本、功率、重量等。 • 求解最优化问题的目的就是找出最优解所代表的设计方案。对于 一个具体的设计问题,是否有最优解?有几个最优解?最优解在 什么位置?这些问题都决定于目标函数和约束函数的形态及其变 化规律。 • 令函数f(X)等于常数c,满足该条件的点X在设计控制定义了一个 点集。
第一章 最优化问题与数学预备知识

实例5—结构设计问题
实例与模型
2L
(a)桁架示意图
d
(b) 钢管剖面图
实例5—结构设计问题
实例与模型
2 2
分析: 这里决策变量为 d 和 h, 目标函数为 约束条件包括:
W 2Td L h .
2 2
(1)钢管内压应力不超过容许极限,即 P L h ; Tdh (2)为保证在负荷2P的作用下钢管不发生弯曲,要求压 应力不超过临界应力σ l,由材料力学知
(2)Cauchy不等式:
x y x y;
T
其中等式成立当且仅当 x y(为实数).
数学预备知识---矩阵的条件数 (Condition Number)
矩阵的 谱半径 矩阵的 奇异值 矩阵的 条件数
称n阶方阵A的各特征值的绝对值 | 1 | ,2 | , | ..., | n | 中的最大者为A的谱半径.
根据决策变量、目标函数和约束条件的不同,最优化还可 分为二次规划、整数规划、动态规划、网络优化、非光滑优 化、随机规划、几何规划、目标规划、模糊规划、全局最优 化等若干分支.
数学预备知识---向量的范数(Norm)
定义 范数: 在 n 维向量空间 R n 中, 定义实函数 x , 使其满足以下三个条件:
Optimization Problem with Inequality Constraints
实例与模型
当目标函数和约束函数均为变量x的 线性规划: 线性函数时,模型(1.1)-(1.3)称为线性 LP 规划问题. 当目标函数和约束函数中至少有一 非线性规划: 个为变量x的线性函数时,模型 NLP (1.1)-(1.3)称为非线性规划问题.
实例与模型
实例2—资金使用问题
【优化方案】高中数学 第1章本章优化总结课件 新人教选修12

例2 炼钢厂出钢时所用的盛钢水的钢包,在使 用过程中,由于钢液及炉渣对包衬耐火材料的侵 蚀,使其容积不断增大,请根据表格中的数据找 出使用次数x与增大的容积y之间的关系.
使用次数 x
2
3 456
7
89
增大的容 积y 6.42 8.20 9.58 9.50 9.70 10.00 9.93 9.99
使用次数x 10 11 12 13 14 15 16
∴^y=-3x+161.5. (2)依题意有 P=(-3x+161.5)(x-30) =-3x2+251.5x-4845 =-3(x-2561.5)2+25112.52-4845.
∴当 x=2561.5≈42 时,P 有最大值.
即预测销售单价为42元时,能获得最大日销售利 润. 【思维总结】 该类题属于线性回归问题,解答 此类题目的关键是:首先通过散点图来判断两变 量是否相关,然后再利用求回归方程的公式求解 回归方程.在此基础上,借助回归方程对实际问 题进行分析.
【思维总结】 对于非线性问题,挑选一种跟这 些散点拟合得最好的函数,然后采用适当的变量 代换,把问题转化为线性回归问题,使其得到解 决.
专题二 独立性检验
独立性检验的一般步骤: (1)提出假设H0:Ⅰ和Ⅱ没有关系; (2)根据2×2列联表计算K2的观测值; (3)根据K2的观测值与临界值的大小关系作统计推 断. 例3 调查某医院某段时间内婴儿出生的时间与 性别的关系,得到下面的数据表,试问婴儿的性 别与出生的时间是否有关系?
指数型函数曲线 y=aebx.对它两边取对
数得 lny=lna+bx.
令 z=lny,t=1x,a′=lna,则上式可写 为线性方程:
z=a′+bt,t、z 的数值对应表为:
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第一章 最优化问题总论无论做任何一件事,人们总希望以最少的代价取得最大的效益,也就是力求最好,这就是优化问题.最优化就是在一切可能的方案中选择一个最好的方案以达到最优目标的学科.例如,从甲地到乙地有公路、水路、铁路、航空四种走法,如果我们追求的目标是省钱,那么只要比较一下这四种走法的票价,从中选择最便宜的那一种走法就达到目标.这是最简单的最优化问题,实际优化问题一般都比较复杂.概括地说,凡是追求最优目标的数学问题都属于最优化问题.作为最优化问题,一般要有三个要素:第一是目标;第二是方案;第三是限制条件.而且目标应是方案的“函数”.如果方案与时间无关,则该问题属于静态最优化问题;否则称为动态最优化问题.§1.1 最优化问题数学模型最简单的最优化问题实际上在高等数学中已遇到,这就是所谓函数极值,我们习惯上又称之为经典极值问题.例1.1 对边长为a 的正方形铁板,在四个角处剪去相等的正方形以制成方形无盖水槽,问如何剪法使水槽的容积最大?解 设剪去的正方形边长为x ,由题意易知,与此相应的水槽容积为x x a x f 2)2()(-=.令0)6)(2()2()2)(2(2)('2=--=-+--=x a x a x a x x a x f ,得两个驻点:a x a x 6121==,.第一个驻点不合实际,这是因为剪去4个边长为2a的正方形相当于将铁板全部剪去.现在来判断第二个驻点是否为极大点.∵ a x f 824)(''-=, 04)6(''<-=a af ,∴6a x =是极大点. 因此,每个角剪去边长为6a的正方形可使所制成的水槽容积最大.例1.2 求侧面积为常数)0(62>a a ,体积最大的长方体体积.解 设长方体的长、宽、高分别为z y x ,,体积为v ,则依题意知体积为 xyz z y x f v ==)(,,,条件为06)(2)(2=-++=a xy xz yz z y x ,,ϕ.由拉格朗日乘数法,考虑函数)6222()(2a xy xz yz xyz z y x F -+++=λ,,,2()02()02()0x y z F yz y z F xz z x F xy x y λλλ'=++='=++='=++=,,,由题意可知z y x ,,应是正数,由此0≠λ,将上面三个等式分别乘以z y x ,,并利用条件23a xy zx yz =++,得到2222(3)02(3)02(3)0xyz a yz xyz a zx xyz a xy λλλ⎧+-=⎪+-=⎨⎪+-=⎩,,.比较以上三式可得xy a zx a yz a -=-=-222333,从而a z y x ===.又侧面积固定的长方体的最大体积客观存在,因此侧面积固定的长方体中以正方体体积最大,其最大值为3a .例1.3 某单位拟建一排四间的停车房,平面位置如图1.1所示.由于资金及材料的限制,围墙和隔墙的总长度不能超过40m ,为使车房面积最大,应如何选择长、宽尺寸?解 设四间停车房长为1x ,宽为2x .由题意可知面积为2121)(x x x x f =,,且变量1x ,2x 应满足405221≤+x x , 1200x x ≥≥,.即求2121),(max x x x x f =,1212254000x x x x +≤⎧⎨≥≥⎩,,.以上三个例子,虽然简单,但是它代表了三种类型的最优化问题.第一个例子代表无约束极值问题:一般可表示为),,,(m i n21n x x x f 或),,,(max 21n x x x f .这里,),,,(21n x x x f 是定义在n R 上的可微函数.求极值的方法是从如下含有n 个未知数n x x x ,,,21 的非线性方程组⎪⎪⎩⎪⎪⎨⎧===0)('0)('0)('21212121n x n x n x x x x f x x x f x x x f n ,,,,,中解出驻点,然后判定或验证这些驻点是不是极值点.第二个例子代表具有等式约束的极值问题: 一般可表示为121212min ()max ()()0123()n n j n f x x x f x x x h x x x j m m n ⎧⎪⎨==<⎪⎩ ,,,或,,,,,,,,,,,,.该问题的求解通常采用拉格朗日乘数法,即把这个问题转化为求121212121()()()mn m n j j n j L x x x f x x x h x x x λλλλ==-∑ ,,,;,,,,,,,,,的无约束极值问题.第三个例子代表具有不等式约束的极值问题.下面具体分析上述三种类型的最优化问题中按经典极值问题解法可能出现不能解决的情况:(1)当变量个数增加且方程组又是非线性,求解此方程组只有在相当特殊情况下才能人工解出.正因为如此,通常高等数学中的求极值问题的变量个数一般不超过三个.(2)当限制条件出现不等式,无论变量数多少,按经典极值方法求解根本无法解决. 直到本世纪50年代,最优化理论的建立以及电子计算机的迅速发展,才为求解各种最优化问题提供了雄厚的基础和有效手段.不过最优化方法作为一门崭新的应用学科,有关理论和方法还没有完善,有许多问题还有待解决,目前正处于迅速发展之中.最优化问题的数学模型包含三个要素:变量(又称设计变量)、目标函数、约束条件. 一、变量一个优化设计方案是用一组设计参数的最优组合来表示的.这些设计参数可概括地划分为两类:一类是可以根据客观规律、具体条件、已有数据等预先给定的参数,统称为常量;另一类是在优化过程中经过逐步调整,最后达到最优值的独立参数,称为变量.优化问题的目的就是使各变量达到最优组合.变量的个数称为优化问题的维数.例如有n 个变量n x x x ,,, 21的优化问题就是在n 维空间n R 中寻优.n 维空间n R 中的点T n x x x X ][21,,, =就代表优化问题中的一个方案.当变量为连续量时,称为连续变量;若变量只能在离散量中取值,称为离散变量.二、目标函数反映变量间相互关系的数学表达式称为目标函数.其值的大小可以用来评价优化方案的好坏.按照规范化的形式,一般把优化问题归结为求目标函数的极小化问题,换句话说,目标函数值越小,优化方案越好.对于某些追求目标函数极大的问题,可以转化成求其负值最小的问题,即12max ()max ()min[()]n f X f x x x f X ==-- ,,,.因此在本书的叙述中,一律把优化问题描述为目标函数的极小化问题,其一般形式为12min ()min ()n f X f x x x = ,,,. 如果优化问题只有一个目标函数,称为单目标函数,如果优化问题同时追求多个目标,则该问题的目标函数称为多目标函数.多目标优化问题的目标函数通常表示为12min ()[()()()]T m V F X f X f X f X -= ,,,,其中Tn x x x X ][21,,, =.这时的目标函数在目标空间中是一个m 维矢量,所以又称之为矢量优化问题(一般用min 加一个前缀“-V ”来表示矢量极小化). 三、约束条件变量间本身应该遵循的限制条件的数学表达式称为约束条件或约束函数. 约束条件按其表达式可分为不等式约束和等式约束两种,即()012..()012i j g X i l s t h X j m ≥=⎧⎪⎨==⎪⎩ ,,,,,,,,,.上式中“s . t .”为Subject to 的缩写,意即“满足于”或“受限于”.按约束条件的作用还可将约束条件划分为起作用的约束(紧约束、有效约束)和不起作用的约束(松约束、消极约束).等式约束相当于空间里一条曲线(曲面或超曲面),点X 必须为该曲线(曲面或超曲面)上的一点,因而总是紧约束.有一个独立的等式约束,就可用代入法消去一个变量,使优化问题降低一维.因此,数学模型中独立的等式约束个数应小于变量个数;如果相等,就不是一个待定优化系统,而是一个没有优化余地的既定系统.不等式约束通常是以其边界)0)((0)(≈=X g X g 或表现出约束作用的,它只限制点X 必须落在允许的区域内(包括边界上),因而不等式约束的个数与变量个数无关.不带约束条件的优化问题称为无约束最优化问题;带约束条件的优化问题称为约束最优化问题.四、带约束条件的优化问题数学模型表示形式综上所述,全书所要讨论的问题是如下的(静态)最优化问题,其表示形式有三种: 第一种最优化问题表示形式为1212[]1212min()()012..()012()T n n x x x i n j n f x x x g x x x i l s t h x x x j m m n ∈Ω≥=⎧⎪⎨==<⎪⎩ ,,,,,,,,,,,,,,,,,,,,,,. 第二种最优化问题表示形式为m i n ()()012..()012()X i j f X g X i l s t h X j m m n ∈Ω≥=⎧⎪⎨==<⎪⎩ ,,,,,,,,,,.第三种最优化问题表示形式为min ()()0..()0X f G X s t H X ∈Ω≥⎧⎨=⎩,,,X(1.1)其中11()[()()]()[()()]T Tl m G X g X g X H X h X h X == ,,,,,. 上述三种表示形式中,X ∈Ω称为集约束.在所讨论的最优化问题中,集约束是无关紧要的.这是因为一般nR ≡Ω,不然的话,Ω通常也可用不等式约束表达出来.因此今后一般不再考虑集约束.满足所有约束的点X 称为容许点或可行点.容许点的集合称为容许集或可行域.可用 {|()012()012()}i j D X g X i l h X j m m n =≥===< ,,,,;,,,, 表示.一般地,对于最优化问题(1.1)的求解,是指在可行域内找一点*X ,使得目标函数)(X f在该点取得极小值,即***()min ()()0..()0f X f X G X s t H X =≥⎧⎨=⎩,,.这样的*X 称为问题(1.1)的最优点,也称极小点,而相应的目标函数值)(*X f 称为最优值;合起来,))((**X f X ,称为最优解,但习惯上常把*X 本身称为最优解.最优点的各分量和最优值必须是有限数.§1.2 最优化问题的算法一、二维最优化问题的图解法二维最优化问题具有鲜明的几何解释,这对于理解有关理论和掌握所述的方法是很有益处的.下面讨论的二维最优化问题为⎩⎨⎧==≥.0)(210)(..)(min 212121x x h l i x x g t s x x f i ,,,,,,,(一)约束集合当约束函数为线性时,等式约束在21x x ,的坐标平面上为一条直线;不等式约束在21x x ,的坐标平面上为一半平面.当约束函数(例如)(21x x h ,)为非线性时,则等式约束条件0)(21=x x h ,在21x x ,的坐标平面上为一条曲线(如图 1.2所示).当约束函数(例如)(211x x g ,)为非线性时,则不等式约束0)(211≥x x g ,在21x x ,的坐标平面上为曲线0)(211=x x g ,把坐标平面分成两部分当中的一部分(如图1.3所示).图1.2图1.3综上所述,当把约束条件中的每一个等式所确定的曲线,以及每一个不等式所确定的部分在21x x ,坐标平面上画出之后,它们相交的公共部分即为约束集合D . 例1.4 在21x x ,坐标平面上画出约束集合 }001|],{[21222121≥≥≤+=x x x x x x D T ,,.解 满足12221≤+x x 的区域为以原点为圆心,半径为1的圆盘;满足0021≥≥x x ,的区域为第一象限中的扇形(如图1.4所示).(二)等高线我们知道)(21x x f t ,=在三维空间中表示一张曲面.c t =(其中c 为常数)在三维空间中表示平行于21x x ,平面的一个平面,这个平面上任何一点的高度都等于常数c (如图1.5所示).图1.4图1.5现在,在三维空间中曲面)(21x x f t ,=与平面c t =有一条交线L .交线L 在21x x ,平面上的投影曲线是L ',可见曲线L '上的点T x x ][21,到平面c t =的高度都等于常数c ,也即曲线L '上的T x x ][21,的函数值)(21x x f ,都具有相同的值c .当常数c 取不同的值时,重复上面的讨论,在21x x ,平面上得到一簇曲线——等高线.不难看出,等高线的形状完全由曲面)(21x x f t ,=的形状所决定;反之,由等高线的形状也可以推测出曲面)(21x x f t ,=的形状.在以后的讨论中,不必具体画出曲面)(21x x f t ,=的图形,只须在21x x ,平面上变动常数c 画出曲线簇c x x f =)(21,. 例1.5 在21x x ,坐标平面上画出目标函数222121)(x x x x f +=,的等高线.解 因为当取0>c 时,曲线c x x =+2221表示是以原点为圆心,半径为c 的圆.因此等高线是一簇以原点为圆心的同心圆(如图1.6所示).(三)几何意义及图解法当在21x x ,坐标平面上分别画出约束集合D 以及目标函数)(21x x f ,的等高线后,不难求出二维最优化问题的最优解.下面举例说明.例1.6 用图解法求解二维最优化问题2212221212min[(2)(2)]1..00x x x x s t x x +++⎧+≤⎪⎨≥≥⎪⎩,,,.解 由例1.4得到约束集合D (如图1.7所示).目标函数的等高线是以T]22[--,为圆心的同心圆,并且这簇同心圆的外圈比内圈的目标函数值大.因此,这一问题成为在约束集合中找一点Tx x ][21,,使其落在半径最小的那个同心圆上.不难看出,问题的最优解T T x x X ]00[][21*,,==.图1.6图1.7二、最优化问题的迭代解法(一)迭代方法在经典极值问题中,解析法虽然具有概念简明,计算精确等优点,但因只能适用于简单或特殊问题的寻优,对于复杂的工程实际问题通常无能为力,所以极少使用.最优化问题的迭代算法是指:从某一选定的初始点出发,根据目标函数、约束函数在该点的某些信息,确定本次迭代的一个搜索方向和适当的步长,从而到达一个新点,用式子表示即为1012k k k k X X t P k +=+= ,,,,(1.2)式中k X 代表前一次已取得的迭代点,在开始计算时为迭代初始点0X ,1+k X 代表新的迭代点,k P 代表第k 次迭代计算的搜索方向,k t 代表第k 次迭代计算的步长因子.按照式(1.2)进行一系列迭代计算所根据的思想是所谓的“爬山法”,就是将寻求函数极小点(无约束或约束极小点)的过程比喻为向“山”的顶峰攀登的过程,始终保持向“高”的方向前进,直至达到“山顶”.当然“山顶”可以理解为目标函数的极大值,也可以理解为极小值,前者称为上升算法,后者称为下降算法.这两种算法都有一个共同的特点,就是每前进一步都应该使目标函数有所改善,同时还要为下一步移动的搜索方向提供有用的信息.如果是下降算法,则序列迭代点的目标函数值必须满足下列关系011()()()()k k f X f X f X f X +>>>> .如果是求一个约束的极小点,则每一次迭代的新点 ,,21X X 都应该在约束可行域内,即 012k X D k ∈= ,,,,图1.8为迭代过程示意图.由上面的迭代过程可知,在迭代过程中有两个规则需要确定:一个是搜索方向k P 的选取;一个是步长因子k t 的选取.一旦k P 和k t 的选取方法确定,则一种迭代算法就确定,即不同的规则就对应不同的最优化方法.(二)收敛速度与计算终止准则(1)收敛速度作为一个算法,能够收敛于问题的最优解当然是必要8的,但仅收敛还不够,还必须能以较快的速度收敛,这才是好的算法.图1.8定义1.1 设由算法A 产生的迭代点列{}k X 在某种“||·||”的意义下收敛 于点*X ,即0||||lim *=-∞→X X k k ,若存在实数0>α及一个与迭代次数k 无关的常数0>q ,使得,q X X X X k k k =--+∞→α||||||||lim **1则称算法A 产生的迭代点列}{k X 具有α阶收敛速度,或称算法A 为α阶收敛的.特别地:① 当01>=q ,α时,称迭代点列}{k X 具有线性收敛速度或称算法A 为线性收敛的. ② 当021><<q ,α时,或0,1==q α时,称迭代点列}{k X 具有超线性收敛速度或称算法A 是超线性收敛.③ 当2=α时,迭代点列}{k X 叫做具有二阶收敛速度或算法A 是二阶收敛的. 一般认为,具有超线性收敛或二阶收敛的算法是较快速的算法.例1.7 设一算法A 产生迭代点列}1{k X k =,它收敛于点0*=X ,试判定算法A 的收敛速度.解 因为 1|01||011|lim =--+∞→k k k ,即取 01,1>==q α.所以算法A 具有线性收敛速度. 例1.8 设一算法A 产生迭代点列}1{kk k X =,它收敛于0*=X ,试确定A 的收敛速度.解 因为11)1(lim |01||0)1(1|lim +∞→+∞→+=--+k k k k k k k k k k11lim()01k k k k k +→∞=⋅=+,即取0,1==q α. 所以A 是超线性收敛的. (2)计算终止准则用迭代方法寻优时,其迭代过程不能无限制地进行下去,那么什么时候截断这种迭代呢?这就是迭代什么时候终止的问题.从理论上说,当然希望最终迭代点到达理论极小点,或者使最终迭代点与理论极小点之间的距离足够小时才终止迭代.但是这在实际上是办不到的.因为对于一个待求的优化问题,其理论极小点在哪里并不知道.所知道的只是通过迭代计算获得的迭代点列}{k X ,因此只能从点列所提供的信息来判断是否应该终止迭代.对于无约束优化问题通常采用的迭代终止准则有以下几种: ①点距准则相邻两迭代点1+k k X X ,之间的距离已达到充分小,即 ε≤-+||||1k k X X ,上式中ε是一个充分小的正数,代表计算精度.②函数下降量准则相邻两迭代点的函数值下降量已达到充分小.当1|)(|1<+k X f 时,可用函数绝对下降量准则ε≤-+|)()(|1k k X f X f .当1|)(|1>+k X f 时,可用函数相对下降量准则ε≤-++|)()()(|11k k k X f X f X f .③梯度准则目标函数在迭代点的梯度已达到充分小,即ε≤∇+||)(||1k X f .这一准则对于定义域上的凸函数是完全正确的.若是非凸函数,有可能导致误把驻点作为最优点.(凸函数的定义请参见第二章2.6节)对于约束优化问题,不同的优化方法有各自的终止准则. 综上所述,优化算法的基本迭代过程如下: ① 选定初始点0X ,置0=k . ② 按照某种规则确定搜索方向k P . ③ 按某种规则确定k t 使得)()(k k k k X f P t X f <+.④ 计算k k k k P t X X +=+1.⑤ 判定1+k X 是否满足终止准则.若满足,则打印1+k X 和)(1+k X f ,停机;否则置1+=k k ,转②.上述算法用框图表达如图1.9.§1.3 最优化算法分类所谓优化算法,其实就是一种搜索过程或规则,它是基于某种思想和机制,通过一定的途径或规则来得到满足用户要求的问题的解.就优化机制与行为而分,目前工程中常用的优化算法主要可分为:经典算法、构造型算法、改进型算法、基于系统动态演化的算法和混合型算法等.(1)经典算法.包括线性规划、动态规划、整数规划和分枝定界等运筹学中的传统算法,其算法计算复杂性一般很大,只适于求解小规模问题,在工程中往往不实用.(2)构造型算法.用构造的方法快速建立问题的解,通常算法的优化质量差,难以满足工程需要.譬如,调度问题中的典型构造型方法有:Johnson 法、Palmer 法、Gupta 法、CDS 法、Daunenbring 的快速接近法、NEH 法等.(3)改进型算法,或称邻域搜索算法.从任一解出发,对其邻域的不断搜索和当前解的替换来实现优化.根据搜索行为,它又可分为局部搜索法和指导性搜索法.①局部搜索法.以局部优化策略在当前解的邻域中贪婪搜索,如只接受优于当前解的状态作为下一当前解的爬山法;接受当前解邻域中的最好解作为下一当前解的最陡下降法等.②指导性搜索法.利用一些指导规则来指导整个解空间中优良解的探索,如SA 、GA 、TS 等.(4)基于系统动态演化的算法.将优化过程转化为系统动态的演化过程,基于系统动态的演化来实现优化,如神经网络和混沌搜索等.(5)混合型算法.指上述各算法从结构或操作上相混合而产生的各类算法.优化算法当然还可以从别的角度进行分类,如确定性算法和不确定性算法,局部优化算法和全局优化算法等.§1.4 组合优化问题简介一、组合优化问题建模优化问题涉及的工程领域很广,问题种类与性质繁多,归纳而言,最优化问题可分为函数优化问题和组合优化问题两大类,上一节介绍的最优化数学模型属于函数优化问题,该函数优化的对象是一定区间内的连续变量,而组合优化的对象则是解空间中的离散状态.本节重点介绍组合优化问题.组合优化问题是通过对数学方法的研究去寻找离散事件的最优编排、分组、次序或筛选等,所研究的问题涉及信息技术、经济管理、工业工程、交通运输、通信网络等诸多领域,该问题数学模型可表示为⎩⎨⎧=≥Ω∈,,0)(0)(..)(min X H X G t s X f X其中)(X f 为目标函数,)(X G 和)(X H 为约束函数,X 为决策变量,Ω表示有限个点组成的集合.一个组合优化问题可用3个参数)(f D ,,Ω表示,其中Ω表示决策变量的定义域,D 表示可行解区域}0)(0)(|{=≥Ω∈=X H X G X X D ,,,D 中的任何一个元素称为该问题的可行解,f 表示目标函数,满足}|)(min{)(*D X X f X f ∈=的可行解*X 称为该问题的最优解.组合最优化问题的特点是可行解集合为有限集.由直观可知,只要将Ω中有限个点逐一判别是否满足约束条件0)(0)(=≥X H X G ,和比较目标函数值的大小,该问题的最优解一定存在并可以求得,下面是三个典型的组合优化问题.例1.9 0-1背包问题(knapsack problem )设有一个容积为b 的背包,n 个体积分别为),,2,1(n i a i =,价值分别为),,2,1(n i c i =的物品,如何以最大的价值装包?这个问题称为0-1背包问题.用数学模型表示为∑=n i ii x c 1max , (1.3)⎪⎩⎪⎨⎧=∈≤∑=)5.1(21}10{)4.1(..1.,,,,,,n i x b x a t s i ni i i其中目标(1.3)欲使包内所装物品的价值最大,式(1.4)为包的能力限制,式(1.5)表示i x 为二进制变量,1=i x 表示装第i 个物品,0=i x 则表示不装.例1.10 旅行商问题(TSP ,traveling salesman problem )一个商人欲到n 个城市推销商品,每两个城市i 和j 之间的距离为ij d ,如何选择一条道路使得商人每个城市走一遍后回到起点且所走路径最短.TSP 还可以细分为对称和非对称距离两大类问题.当对任意的j i ,时都有 ji ij d d =,则称该TSP 为对称距离TSP ,否则称为非对称距离TSP .对一般的TSP ,它的一种数学模型描述为∑≠j i ijij x d min , (1.6)11,112(1.7)112(1.8)..||12||2{12}(1.9){01}12(1.10)nij j n ij i ij i j Sij x i n x j n s t x S S n S n x i j n i j ==∈⎧==⎪⎪⎪⎪==⎨⎪≤-≤≤-⊂⎪⎪⎪∈=≠⎩∑∑∑ ,,,,,,,,,,,,,,,,,,,,,,,. 以上是基于图论的数学模型.其中式(1.10)中的决策变量ij x =1表示商人行走的路线包含从城市i 到城市j 的路径,0=ijx 表示商人没有选择走这条路.j i ≠的约束可以减少变量的个数,使得共有)1(-⨯n n 个决策变量.目标(1.6)要求距离之和最小.式(1.7)要求商人从城市i 出来一次,式(1.8)要求商人走入城市j 只有一次.式(1.7)和式(1.8)表示每个城市经过一次.仅有式(1.7)和式(1.8)的约束无法避免回路的产生,一条回路是由)1(n k k ≤≤个城市和k 条弧组成,因此,式(1.9)约束旅行商在任何一个城市子集中不形成回路,其中||S 表示集合S 中元素个数.例1.11 聚类问题m 维空间上的n 个模式}21|{n i X i ,,, =要求聚类成k 类,使得各类本身内的点最相近,即∑=-n i p p i R X 0)(||||min ,其中p R 为第p 类的中心,∑==p n i p i p p X n R 1)(1,k p ,,, 21=,p n 为第p 类中的点数.二、算法复杂性前面给大家介绍的三个组合优化问题例子,模型建立都比较简单,但要求它们的最优解却很困难,而解模型的困难主要原因是所谓的“组合爆炸”,如聚类问题的可能划分方式有!/k k n 个,TSP 问题有!n 个.显然状态数量随问题规模呈超指数增长,若计算机每秒处理1亿种排列,则列举20个城市问题的20!种排列约需几百年.如此巨大的计算量是无法承受的,更不用谈更大规模问题的求解,因此解决这些问题的关键在于寻求有效的优化算法,也正是由于组合优化问题算法的复杂性,激起了人们对它的理论与算法研究的兴趣.算法的复杂性是指算法对时间复杂性和对空间复杂性.按照算法复杂性求解的难易程度,可把组合优化问题分为P 类,NP 类和NP 完全类.算法或问题的复杂性一般表示为问题规模n (如TSP 问题中的城市数)的函数,时间的复杂性记为)(n T ,空间的复杂性记为)(n S .在算法分析和设计中,沿用实用性的复杂性概念,即把求解问题的关键操作,如加、减、乘,比较等运算指定为基本操作,算法执行基本操作的次数则定义的算法的时间复杂性,算法执行期间占用的存储单元则定义为算法的空间复杂性.P 类问题指具有多项式时间求解算法的问题类.许多优化问题仍没有找到求得最优解的多项式时间算法,称这种比P 类问题更广泛的问题为非确定型多项式算法的问题类,即NP 问题.三、NP 完全问题离散问题的求解常常要从有限个方案中选出一个满意的结果来 ,也许有人认为,从有限个方案中挑选一个,总是比较容易的.然而,事实并非如此,关键在于问题的规模.由于计算机的出现,人们对问题的求解在观念上发生了改变,一个在理论上可解的问题如果在求解时需要花费相当多,以至于不合理的时间(如几百年甚至更长时间),我们不能认为它已解决,而应当努力寻找更好的算法.如何比较算法的好坏呢?从不同的角度出发可以有不同的回答.这里,仅就算法的计算速度作一个十分粗略的比较.设有一台每小时能进行M 次运算的计算机.并设问题已有两种不同的算法,算法A 对规模为n 的问题约需作2n 次运算,算法B 则约需作n 2次运算.运用算法A 在一个小时内大约可解一个规模为M 的问题,而算法B 则大约可解一个规模为M 2log 的问题.现在假设计算机有了改进,例如计算速度提高了100倍.此时,利用算法A 能求解的问题规模增大了10倍,利用算法B 可解的问题规模只增加了7100log 2<.前者得到了成倍的增加,而后者则几乎没有什么改变,今天无法求解的问题,将来也很少有希望解决.由于这一原因,对算法作如下分类.定义1.2(多项式算法) 设A 是求解某类问题D 的一个算法,n 为问题D 的规模,用)(n D f A ,表示用算法A 在计算机上求解这一问题时需作的初等运算的次数.若存在一个多项式)(n P 和正整数N ,当N n ≥时,总有)(),(n P n D f A ≤(不论求解的D 是怎样的具体实例),则称算法A 是求解问题D 的一个多项式算法.定义1.3(指数算法) 设算法B 是求解某类问题D 的一个算法,若存在一个常数0>k ,对任意n ,总可以找到问题D 的一个规模为n 的实例,用算法B 求解时,所需的计算量约为)2()(kn B o n D f =,,则称B 为求解问题D 的一个指数算法.多项式算法被称为是“好”算法(或有效算法),而指数算法则一般认为是“坏”算法,因为它只能用来求解规模很小的问题.这样看来,对一个问题只有在找到求解它的多项式算法后才能较为放心.然而十分可惜的是,对于许多具有广泛应用价值的离散模型,人们至今仍未找到多项式算法.现在的任何算法在最坏的情况下计算量均可达到或接近n 2.1971年和1972年,S. Cook 和R. Karp 分别发表了相关论文,奠定了NP 完全理论基础.Cook 指出,NP 完全类问题,具有两个性质:(1)这类问题中的任何一个问题至今均未发现有多项式算法.(2)只要其中任一个问题找到了多项式算法,那么其他所有问题也就有了多项式算法. 现在,NP 完全类中的问题已被扩充到了四千多个,其中包括前面讨论的旅行商问题.对它们的研究使人们越来越相信这样一个猜测:对这类问题也许根本不存在多项式算法.。