第1讲优化方法

电子信息与电气工程学院优化方法和最优控制Optimization Methods and Optimal Control第一章概述Shanghai Jiao Tong University本章主要内容：一、优化方法与最优控制简介二、目标函数及约束的基本概念三、总体和局部最优，严格和弱最优四、单变量单峰函数及凸、凹函数五、单变量函数最优的判别方法六、多变量函数最优的判别方法Shanghai Jiao Tong University(1)优化方法(Optimization Methods)优化方法是运筹学的一个重要组成部分，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。

从数学意义上说，优化方法是一种求极值的方法，即在一组等式或不等式的约束条件下，使系统的目标函数达到极值（最大值或最小值）的方法。

从经济意义上说，优化方法是在一定的人力、物力和财力资源条件下，使经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。

研究对象：优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。

Shanghai Jiao Tong University研究目的：最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。

最优化模型的基本要素：最优化模型一般包括变量、约束条件和目标函数三要素:①变量：指最优化问题中待确定的某些量, 而受客观条件制约，固定不变的量称为参量。

②约束条件：指在求最优解时对变量的某些限制, 包括技术上的约束、资源上的约束和时间上的约束等。

③目标函数：判断系统设计或运行优劣的标准的数学描述。

Shanghai Jiao Tong University 最优化问题的分类：最优化问题根据其中的变量、约束、目标、问题性质、时间因素和函数关系等不同情况，可分成多种类型：最优化方法的主要研究步骤：①提出最优化问题，收集有关数据和资料；②建立最优化问题的数学模型：确定变量，列出目标函数和约束条件；③分析模型，选择合适的最优化方法；④求解，一般通过编制程序，用计算机求最优解；⑤最优解的检验和实施。

分类标志变量个数变量性质约束情况极值个数目标个数函数关系问题性质时间类型单变量连续无约束单峰单目标线性确定性静态离散随机性多变量函数有约束多峰多目标非线性模糊性动态Shanghai Jiao Tong University最优化求解方法：不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。

反之，某些最优化方法可适用于不同类型的模型。

最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其它方法。

①解析法：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将问题简化，因此也称间接法。

这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。

②直接法：当目标函数较为复杂或者不能用变量型函数描述时，无法用解析法求必要条件。

此时可采用直接搜索的方法经过若干次迭代搜索到最优点。

这种方法常常根据经验或通过试验得到所需结果。

③数值计算法：这种方法也是一种直接法。

它以梯度法为基础，所以是一种解析与数值计算相结合的方法。

Shanghai Jiao Tong University最优化方法的应用：最优化一般可以分为最优设计、最优计划、最优管理和最优控制等四个方面。

①最优设计：世界各国工程技术界, 尤其是飞机、造船、机械、建筑等部门都已广泛应用最优化方法于设计中，从各种设计参数的优选到最佳结构形状的选取等，结合有限元方法已使许多设计优化问题得到解决。

②最优计划：现代国民经济或部门经济的计划，直至企业的发展规划和年度生产计划，尤其是农业规划、种植计划、能源规划和其它资源、环境和生态规划的制订。

③最优管理：一般在日常生产计划的制订、调度和运行中都可应用最优化方法。

随着管理信息系统和决策支持系统的建立和使用，使最优管理得到迅速的发展。

④最优控制：主要用于对各种控制系统的优化。

例如，导弹系统的最优控制，能保证用最少燃料完成飞行任务, 用最短时间达到目标；化工、冶金等工厂的最佳工况的控制等。

Shanghai Jiao Tong University(2) 最优控制(Optimal Control)是现代控制理论的一个主要分支，着重于研究使控制系统的性能指标实现最优时的控制规律及其综合方法。

最优控制所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。

解决最优控制问题必须建立描述受控运动过程的运动方程，给出控制变量的允许取值范围，指定运动过程的初始状态和目标状态，并且规定一个评价运动过程品质优劣的性能指标。

通常，性能指标的好坏取决于所选择的控制函数和相应的运动状态。

系统的运动状态受到运动方程的约束，而控制函数只能在允许的范围内选取。

因此，从数学上看，确定最优控制问题可以表述为：在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（称为泛函）求取极值（极大值或极小值）。

解决最优控制问题的主要方法有古典变分法、极大值原理和动态规划。

Shanghai Jiao Tong University在单变量优化问题中，变量x是标量，目标函数f(x)是关于x的函数，也是标量。

定义：当x在a至b的闭区间内变化，即x [a, b]，若f(x)有上界或下界，则f(x)可能达到的最(极)大值为上界，而可能达到的最(极)小值为下界。

oa b 上界下界xf(x)有界函数Shanghai Jiao Tong University 定义：在x 的整个域内，如果f (x )没有上界或下界，则f (x )无最大值(或无最下值)。

定义：x 所在的闭区间[a, b ]称为约束或可行域。

oa b xf (x )无界函数Shanghai Jiao Tong Universityo xf (x )f (x)=x-3无约束线性函数无最大值也无最小值oxf (x )f (x )=x 2二次函数只有一个极值Shanghai Jiao Tong University定义：函数f (x )在x 0处连续的条件：①函数f (x )在x 0处的函数值f (x 0)存在；②函数f (x )在x 0处的左极限和右极限相等，并等于x 0处的函数值f (x 0)，即：,)()()(000lim lim >=+=-→→h x f h x f h xf h h 连续函数的特性：①连续函数的和与积也是连续函数；②两个连续函数的商在分母不为零的任意点连续。

oxf (x )1212Shanghai Jiao Tong University优化问题的解分为两种类型：①确定已知点x是不是最优解；②当x0不是最优点时，如何从x出发找到最优解。

总体最小：在集合S内定义的函数f (x)，在S域内的x*点达到最小值的充分必要条件是：对于所有x∈S，均有f (x)≥f (x*),则x*∈S为总体最小（最小值）。

局部最小(相对最小)：在S域内定义的函数f (x)，在x*∈S处有局部最小的充分必要条件是：对于所有与点x*的距离小于δ而且在S域内的点x，即：∀x∈{| x –x*|< δ，x∈S}均有f (x*)≤f (x)，则x*为局部最小（极小值）。

Shanghai Jiao Tong University当函数只有一个峰值时，局部极小自然就是总体极小。

当函数并非单峰时，多重局部最小可能存在，求总体极小一般只能求出所有的局部最优，再选出其中函数值最小者。

对于单目标优化，最小值必然存在于极小值和边界上。

弱极小(极大)：x *是邻域δ内的局部极小(或极大)点，即存在δ，在0<| x –x*|< δ范围内，所有函数值f (x ) ≥f (x *)或[f (x )≤f (x *)]。

ox f (x )弱极小x*o xf (x )弱极大x*Shanghai Jiao Tong University严格(强)极小(极大)：x *是邻域δ内的严格(强)局部极小(极大)点，即存在δ，在0<| x –x*|< δ范围内，所有函数值f (x ) > f (x *)或[f (x ) < f (x *)]。

ox f (x )强极小x *oxf (x )强极大x *Shanghai Jiao Tong University单变量单峰函数的简单定义：x 0是[a ，b ]内唯一极小值，则必有:当任取x 1，x 2，且x 0≤x 1≤x 2时，f (x 0)≤f (x 1)≤f (x 2)当任取x 1，x 2，且x 0≥x 1≥x 2时，f (x 0) ≤f (x 1) ≤f (x 2)上述定义比较直观，但在数学上却很难处理，所以数学上采用检验函数的凸性或凹性的方法，判断函数的单峰性质。

其条件比单峰函数的定义更严格，但判断起来更方便。

oxf (x )单峰函数x 0ba目标函数既可以是连续的，也可以是不连续的，或离散的。

Shanghai Jiao Tong University凸函数定义：在闭区间[a ，b ]上有定义的函数f (x )是凸函数的充要条件是：对于区间内的任意两点x 1，x 2以及任意常数0≤λ≤1，下列不等式都成立：f [λx 1+(1 –λ) x 2]≤λf (x 1) +(1 –λ)f (x 2)oxf (x )凸函数的定义xx 1x 2λf (x 1) +(1 –λ)f (x 2)f (x 1)f (x 2)f [λx 1+ (1 –λ) x 2]Shanghai Jiao Tong University凸函数具有如下性质：①曲线上任意两点的连线都完全落在曲线的上方或和曲线重合；②f (x )的斜率（一阶导数）单调递增；③∀x ∈[a ，b ]，f (x )的二阶导数非负；④在区间内任意点处函数f (x )的线性近似总低于函数值，即：0000(,)()'()()()f x x f x f x x x f x =+-≤Shanghai Jiao Tong University定理：设f (x )是开区间(a ，b )中的凸函数，假如在区间内存在驻点x 0(即f ´(x 0) = 0点)，则x 0为f (x )在(a ，b )区间内的总体极小点x *。

证明：利用性质④凹函数定义：在闭区间[a ，b ]上有定义的函数f (x )是凹函数的充要条件是：对于区间内的任意两点x 1和x 2，以及任意0≤λ≤1，下列不等式都成立：f [λx 1+(1–λ) x 2] ≥λf (x 1) +(1–λ)f (x 2)00000()(,)()()()()'f x f x x f x f x x x f x ≥=+-=Shanghai Jiao Tong University注意：函数平面内，曲线下弯为凸函数；曲线上弓为凹函数。