第1讲优化方法

f (x ) f (x,x0 ) f (x0 ) f ' (x0 )(x x0 ) f (x0 )
凹函数定义： 在闭区间[a，b]上有定义的函数f (x)是凹函数的充要条 件是：对于区间内的任意两点x1和x2，以及任意 0≤≤1 ，下 列不等式都成立： f [x1 + (1 – ) x2 ] f (x1) + (1 – )f(x2)
-5-
一、优化方法与最优控制简介
Shanghai Jiao Tong University
最优化求解方法： 不同类型的最优化问题可以有不同的最优化方法，即使 同一类型的问题也可有多种最优化方法。反之，某些最优化 方法可适用于不同类型的模型。最优化问题的求解方法一般 可以分成解析法、直接法、数值计算法和其它方法。 ① 解析法：先求出最优的必要条件，得到一组方程或不 等式，再求解这组方程或不等式，一般是用求导数的方法或 变分法求出必要条件，通过必要条件将问题简化，因此也称 间接法。这种方法只适用于目标函数和约束条件有明显的解 析表达式的情况。 ② 直接法：当目标函数较为复杂或者不能用变量型函数 描述时，无法用解析法求必要条件。此时可采用直接搜索的 方法经过若干次迭代搜索到最优点。这种方法常常根据经验 或通过试验得到所需结果。 ③ 数值计算法：这种方法也是一种直接法。它以梯度法 为基础，所以是一种解析与数值计算相结合的方法。
优化方法和最优控制
Optimization Methods and Optimal Control
电子信息与电气工程学院
第一章
Shanghai Jiao Tong University
概述
本章主要内容： 一、优化方法与最优控制简介 二、目标函数及约束的基本概念 三、总体和局部最优，严格和弱最优 四、单变量单峰函数及凸、凹函数 五、单变量函数最优的判别方法 六、多变量函数最优的判别方法
均有f (x*)≤ f (x)，则x*为局部最小（极小值）。
08:54
- 13 -
三、总体和局部最优，严格和弱最优
Shanghai Jiao Tong University
当函数只有一个峰值时，局部极小自然就是总体极小。 当函数并非单峰时，多重局部最小可能存在，求总体极小一 般只能求出所有的局部最优，再选出其中函数值最小者。 对于单目标优化，最小值必然存在于极小值和边界上。 弱极小(极大)：x*是邻域内的局部极小(或极大)点，即存在 ，在0<| x – x* |< 范围内，所有函数值f (x) f (x*) 或[f (x) f (x*)]。
08:54
-8-
二、目标函数及约束的基本概念
Shanghai Jiao Tong University
在单变量优化问题中，变量x是标量，目标函数f(x)是关 于x的函数，也是标量。 定义：当x在a 至b的闭区间内变化，即x[a, b]，若f(x)有上界 或下界，则f(x)可能达到的最(极)大值为上界，而可能达到的 最(极)小值为下界。
定义：函数f(x)在x0处连续的条件： ① 函数f(x)在x0处的函数值f(x0)存在； ② 函数f(x)在x0处的左极限和右极限相等，并等于x0处的 函数值f(x0)，即：
lim f ( x
h 0
0
h ) lim f ( x0 h ) f ( x0 ) , h 0
h 0
f(x)
多变量
函数
有约束
多峰
多目标
非线性
模糊性
动态
最优化方法的主要研究步骤： ① 提出最优化问题，收集有关数据和资料； ② 建立最优化问题的数学模型：确定变量，列出目标 函数和约束条件； ③ 分析模型，选择合适的最优化方法； ④ 求解，一般通过编制程序，用计算机求最优解； ⑤ 最优解的检验和实施。
08:54
f(x)
f(x)
o
x* 强极小
x
o
x* 强极大
x
08:54
- 15 -
四、单变量单峰函数及凸、凹函数
Shanghai Jiao Tong University
单变量单峰函数的简单定义：
x0是[a，b]内唯一极小值，则必有: 当任取x1，x2，且x0≤x1≤x2时， f (x0)≤f (x1)≤f(x2) 当任取x1，x2，且x0≥x1≥x2时， f (x0) ≤f (x1) ≤ f(x2)
f(x) f(x)
o
08:54
x* 弱极小
x
o
x* 弱极大
- 14 -
x
三、总体和局部最优，严格和弱最优
Shanghai Jiao Tong University
严格(强)极小(极大)：x*是邻域内的严格(强)局部极小(极 大)点，即存在，在0<| x – x* |< 范围内，所有函数值 f (x) > f (x*)或[f (x) < f (x*)]。
f ( x, x0 ) f ( x0 ) f '( x0 )( x x0 ) f ( x)
08:54
- 18 -
Байду номын сангаас
四、单变量单峰函数及凸、凹函数
Shanghai Jiao Tong University
定理：设f(x)是开区间(a，b)中的凸函数，假如在区间内存在 驻点x0(即f ´(x0) = 0点)，则x0为f(x)在(a，b)区间内的总体 极小点x*。 证明：利用性质④
08:54
-6-
一、优化方法与最优控制简介
Shanghai Jiao Tong University
最优化方法的应用： 最优化一般可以分为最优设计、最优计划、最优管理和 最优控制等四个方面。 ① 最优设计：世界各国工程技术界, 尤其是飞机、造船、 机械、建筑等部门都已广泛应用最优化方法于设计中，从各 种设计参数的优选到最佳结构形状的选取等，结合有限元方 法已使许多设计优化问题得到解决。 ② 最优计划：现代国民经济或部门经济的计划，直至企 业的发展规划和年度生产计划，尤其是农业规划、种植计划、 能源规划和其它资源、环境和生态规划的制订。 ③ 最优管理：一般在日常生产计划的制订、调度和运行 中都可应用最优化方法。随着管理信息系统和决策支持系统 的建立和使用，使最优管理得到迅速的发展。 ④ 最优控制：主要用于对各种控制系统的优化。例如， 导弹系统的最优控制，能保证用最少燃料完成飞行任务, 用 最短时间达到目标；化工、冶金等工厂的最佳工况的控制等。
2 1
o
1
2
x
连续函数的特性： ① 连续函数的和与积也是连续函数； ② 两个连续函数的商在分母不为零的任意点连续。
08:54
- 12 -
三、总体和局部最优，严格和弱最优
Shanghai Jiao Tong University
优化问题的解分为两种类型： ① 确定已知点 x0 是不是最优解； ② 当 x0 不是最优点时，如何从 x0出发找到最优解。 总体最小：在集合S内定义的函数f (x)，在S域内的x*点达到 最小值的充分必要条件是：对于所有xS，均有f (x)≥f (x*), 则x*S为总体最小（最小值）。 局部最小(相对最小)：在S域内定义的函数f (x)，在x*S处有 局部最小的充分必要条件是：对于所有与点x*的距离小于而 且在S域内的点x，即：x {| x – x* |< ，x S}
08:54
- 10 -
二、目标函数及约束的基本概念
Shanghai Jiao Tong University
f(x)
f(x)
f(x)=x-3
f(x)=x2
o
x o x
无约束线性函数 无最大值也无最小值
二次函数 只有一个极值
08:54
- 11 -
二、目标函数及约束的基本概念
Shanghai Jiao Tong University
08:54
-3-
一、优化方法与最优控制简介
Shanghai Jiao Tong University
研究目的：最优化方法的目的在于针对所研究的系统， 求得一个合理运用人力、物力和财力的最佳方案，发挥和提 高系统的效能及效益，最终达到系统的最优目标。 最优化模型的基本要素： 最优化模型一般包括变量、约束条件和目标函数三要素: ① 变量：指最优化问题中待确定的某些量, 而受客观 条件制约，固定不变的量称为参量。 ② 约束条件：指在求最优解时对变量的某些限制, 包 括技术上的约束、资源上的约束和时间上的约束等。 ③ 目标函数：判断系统设计或运行优劣的标准的数学 描述。
f(x)
o
a
x0
b
x
单峰函数
目标函数既可以是连续的，也可以是不连续的，或离散的。 上述定义比较直观，但在数学上却很难处理，所以数学 上采用检验函数的凸性或凹性的方法，判断函数的单峰性质。 其条件比单峰函数的定义更严格，但判断起来更方便。
08:54
- 16 -
四、单变量单峰函数及凸、凹函数
Shanghai Jiao Tong University
08:54
-4-
一、优化方法与最优控制简介
Shanghai Jiao Tong University
最优化问题的分类： 最优化问题根据其中的变量、约束、目标、问题性质、 时间因素和函数关系等不同情况，可分成多种类型：
分类标志 变量个数 变量性质 约束情况 极值个数 目标个数 函数关系 问题性质 单变量 类型 连续 离散 无约束 单峰 单目标 线性 确定性 随机性 时间 静态
08:54
-7-
一、优化方法与最优控制简介
Shanghai Jiao Tong University
(2) 最优控制(Optimal Control)
是现代控制理论的一个主要分支，着重于研究使控制系 统的性能指标实现最优时的控制规律及其综合方法。 最优控制所研究的问题可以概括为：对一个受控的动力 学系统或运动过程，从一类允许的控制方案中找出一个最优 的控制方案，使系统的运动在由某个初始状态转移到指定的 目标状态的同时，其性能指标值为最优。 解决最优控制问题必须建立描述受控运动过程的运动方 程，给出控制变量的允许取值范围，指定运动过程的初始状 态和目标状态，并且规定一个评价运动过程品质优劣的性能 指标。通常，性能指标的好坏取决于所选择的控制函数和相 应的运动状态。系统的运动状态受到运动方程的约束，而控 制函数只能在允许的范围内选取。因此，从数学上看，确定 最优控制问题可以表述为：在运动方程和允许控制范围的约 束下，对以控制函数和运动状态为变量的性能指标函数（称 为泛函）求取极值（极大值或极小值）。解决最优控制问题 的主要方法有古典变分法、极大值原理和动态规划。
f (x1)
f [x1 + (1 – ) x2 ]
o
x1
x
x2
x
凸函数的定义
08:54
- 17 -
四、单变量单峰函数及凸、凹函数
Shanghai Jiao Tong University
凸函数具有如下性质： ① 曲线上任意两点的连线都完全落在曲线的上方或和曲 线重合； ② f(x)的斜率（一阶导数）单调递增； ③ x [a，b]，f(x)的二阶导数非负； ④ 在区间内任意点处函数f(x)的线性近似总低于函数值， 即：
08:54
-2-
一、优化方法与最优控制简介
Shanghai Jiao Tong University
(1)优化方法(Optimization Methods)
优化方法是运筹学的一个重要组成部分，它主要运用 数学方法研究各种系统的优化途径及方案，为决策者提供科 学决策的依据。 从数学意义上说，优化方法是一种求极值的方法，即在 一组等式或不等式的约束条件下，使系统的目标函数达到极 值（最大值或最小值）的方法。 从经济意义上说，优化方法是在一定的人力、物力和财 力资源条件下，使经济效果达到最大（如产值、利润），或 者在完成规定的生产或经济任务下，使投入的人力、物力和 财力等资源为最少。 研究对象：优化方法的主要研究对象是各种有组织系统 的管理问题及其生产经营活动。
凸函数定义： 在闭区间[a，b]上有定义的函数f (x)是凸函数的充要条件 是：对于区间内的任意两点x1，x2以及任意常数 0≤≤1，下 列不等式都成立： f [x1 + (1 – ) x2 ]≤f (x1) + (1 – )f(x2)
f(x)
f (x1) +(1 – )f(x2) f (x ) 2
f(x)
上界
下界
a o
08:54
有界函数
b
x
-9-
二、目标函数及约束的基本概念
Shanghai Jiao Tong University
定义：在x的整个域内，如果f(x)没有上界或下界，则f(x)无最 大值(或无最下值)。
f(x)
a
o 无界函数
b
x
定义：x所在的闭区间[a, b]称为约束或可行域。