最优化理论与方法概述课件

，l， ，m (m

n)．
向量形式
min f ( X )，
s.
t.
G( X ) H ( X )
0， 0，
其中 X (x1, x2 , xn )
G(X ) [g1(X )， ，gl (X )]T，H (X ) [h1(X )， ，hm (X )]T
min f x 目标函数
第一章 最优化问题与凸分析基础
在日常生活中，无论做什么事情，总是有 多种方案可供选择，并且可能出现多种不 同的结果。我们在做这些事情的时候，总 是自觉不自觉的选择一种最优方案，以期 达到最优结果。这种追求最优方案以达到 最优结果的学科就是最优化。寻求最优方 案的方法就是最优化方法。这种方法的理 论基础就是最优化理论，而凸分析又是最 优化理论的基础之一。
严格最优解：当 x x* ，有 f x* f x则称 x*为问题的
严格最优解。
局部最优解 f(X) 整体最优解
1.3 最优化问题的分类
与时间的关系：静态问题，动态问题 是否有约束条件：有约束问题，无约束问题 函数类型：线性规划，非线性规划
2、梯度与Hesse矩阵
在可行集中找一x* 点
，使目f标 x函 数
取最小f值 x，* 即 m满in足f： x . s.t. gj x* 0. hi x 0
的过程即为最优化的求解过程。
在该点
x*
称为问题的最优点或最优f 解x* ，
称为最优值。
定义1：整体（全局）最优解：若x* D，对于一切 x D ，
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N (x*，) 使得对于
一切 x N (x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) {x | x x* , 0}
配料
每磅配料中的营养含量
钙
蛋白质
纤维
石灰石 谷物 大豆粉
0.380 0.00
0.001 0.02
0.00 0.09
每磅成本（元）
0.0164 0.0463 0.1250
解:根据前面介绍的建模要素得出此问题的数学模型如下:
设 x1 x2 x3
是生产100磅混合饲料
所须的石灰石、谷物、大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
00..338800xx11

0.001x2 0.001x2

0.002 0.002
x3 x3

0.012 0.008
100 100
0.09x2 0.50x3 0.22100
等值线的形状完 全由曲面的形状所决定； 反之，由等高线的形状 也可以推测出曲面的形 状．
例 在坐标平面x1，x2 的等值线．
上画出目标f函(x1，数x2 ) x12 x22
解:因为当目标函数取常数时，曲线表示是以原点
为圆心，半径为的圆．因此等值线是一族以原点为
圆心的同心圆（如图所示）
2.2 n元函数的可微性与梯度
max (a 2x)2 x
例2.（混合饲料配合）设每天需要混合饲料的批量 为100磅，这份饲料必须含：至少0.8%而不超过1.2% 的钙;至少22%的蛋白质;至多5%的粗纤维。假定主要 配料包括石灰石、谷物、大豆粉。这些配料的主要 营养成分如下表所示。试以最低成本确定满足动物 所需营养的最优混合饲料。

s.t .
g j x 0 不等式约束

hi x 0 等式约束
称满足所有约束条件的向量 x为可行解，或可行点，全体
可行点的集合称为可行集，记为D 。
D {x | hi x 0, i 1, 2, m, g j x 0,
j 1, 2, p, x Rn } 若 hi ( x), g j ( x) 是连续函数，则D 是闭集。
梯度：多元函数 f (x) 关x于 的一阶导数
f (x) ( f , f , f )T x1 x2 xn
Hesse 矩阵：多元函数 f (x) 关x于
偏导数矩阵
的二阶



2
f

X


x12

2
f

X

f

X



2 f X
x1 x2
1. 最优化问题
最优化问题：求一个一元函数或多元函数 的极值。 在微积分中，我们曾经接触过一些 比较简单的极值问题。下面通过具体例子 来看看什么是最优化问题。
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相
等 的正方形以制成方形无盖水槽，问如何剪法使水槽 的容积最大？ 解：设剪去的正方形边长为x，由题意易知，此问 题的数学模型为，

ห้องสมุดไป่ตู้


2
f

X

x1xn
2 f X
x2x1
2 f X
x22
2 f X
x2 xn


2
f

X


xnx1


2
f

X


xnx2



2
f

X


xn2

例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
2.1 等值线
二维问题的目标函数 t f ( x1, x2 ) 间中的
表示三维空
曲面。在空间直角坐标系中，平面与曲面的交线在
平面上的投影曲线t为

f
(
x1 ,
x2
)
t C
取不同的值得到不同的投影曲线。每一条投影曲线 对应一个值，所以我们称此投影曲线为目标函数的 等值线或等高线。
当常数取不同的 值时，重复上面的讨论， 在平面上得到一族曲 线——等值线.
0.02x2 0.08x3 0.05100

x1

0
x2 0
x3 0
1.2最优化问题的数学模型
一般形式 min f (x1，x2， ，xn )，
s. t.
gi (x1，x2， hj (x1，x2，
，xn ) ，xn )

0， 0，
i j
1，2， 1，2，