最优化理论与方法概述 ppt课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
t f X0 tpT p t pT 2 f X0 tp p.
PPT课件
17
3、 多元函数的Taylor展开
多元函数Taylor展开式在最优化理论中十分重要。 许多方法及其收敛性的证明都是从它出发的。
定理：设 f : Rn R具1 有二阶连续偏导数。则：
g* f (x*) 0，G* 2 f (x*)半正定
PPT课件
24
5、凸集、凸函数和凸规划
凸集和凸函数在非线性规划的理论中具有重要作用，下面 给出凸集和凸函数的一些基本知识。
定义1 设 D Rn，若对D中任意两点 x(1)与 x(2)，连接 x(1)
与 x(2) 的线段仍属于D；换言之，对 x(1)，x(2)∈D，
配料
每磅配料中的营养含量
钙
蛋白质
纤维
石灰石 谷物 大豆粉
0.380 0.001 0.002
0.00
0.00
0.09
0.02
0.50 PPT课件
0.08
每磅成本（元）
0.0164 0.0463 0.1250 4
解:根据前面介绍的建模要素得出此问题的数学模型如下:
设 x1 x2 x3 是生产100磅混合饲料所须的石灰石、谷物、
2 f 0 x1x3
故Hesse阵为：
2 f x22
2,
2 f 2, x2x3
2 f x32Leabharlann 2 2 2 0 2 f X 2 2 2
0 2 2
PPT课件
16
下面几个公式是今后常用到的：
（1）f X bT X ，则 f X b. 2 f X 0nn
2 f X
x2x1
2 f X
x22
2 f X
x2 xn
2
f
X
xnx1
2
f
X
xnx2
2
f
X
xn2
PPT课件
15
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
，xn ) ，xn )
0， 0，
i j
1，2， 1，2，
，l， ，m (m
n)．
向量形式
min f ( X )，
s.
t.
G( X ) H ( X )
0， 0，
其中 X (x1, x2 , xn )
G(X ) [g1(X )， ，gl (X )]T，H (X ) [h1(X )， ，hm (X )]T
大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
00..338800xx11
0.001x2 0.001x2
0.002 0.002
x3 x3
0.012 0.008
100 100
p
f x0 f x0 T
p
1 2
pT2 f x0 p o(||
p ||2 )
f x f x0 f x0 T (x x0)
1 2
(
x
x0
)T
2
f
x0
(
x
x0
)
o(||
x
x0
||2
)
PPT课件
19
4、极小点及其判定条件
PPT课件
22
定理 2 (二阶充分条件) 若在 x*的某邻域内 f (x)有二阶连续偏导数且
g* =f (x*) 0 G* G(x*)=2 f (x*)正定， 则 x*为无约束优化问题的严格局部极小点。
证明：将 f (x)在 x*点用Taylor公式展开，并注意到 g* 0，有 f (x) f (x*) 1 (x x*)T G*(x x*) ( x x* 2 )。
第一章 最优化问题与凸分析基础
在日常生活中，无论做什么事情，总是有 多种方案可供选择，并且可能出现多种不 同的结果。我们在做这些事情的时候，总 是自觉不自觉的选择一种最优方案，以期 达到最优结果。这种追求最优方案以达到 最优结果的学科就是最优化。寻求最优方 案的方法就是最优化方法。这种方法的理 论基础就是最优化理论，而凸分析又是最 优化理论的基础之一。
最优化的求解过程。
x* 称为问题的最优点或最优解，f x* 称为最优值。
定义1：整体（全局）最优解：若x* D，对于一切 x D ，
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N (x*，) 使得对于
PPT课件
23
推论 若在 x*的某邻域内 f (x)有二阶连续偏导数且 g* =f (x*) 0 G* G(x*)=2 f (x*)负定，
则 x*为无约束优化问题的严格局部极大点。
定理 3 (二阶必要条件) 若 x*为 f (x)的局部极小点，且在 x*的某邻域内 f (x)有二阶 连续偏导数，则
PPT课件
1
1. 最优化问题
最优化问题：求一个一元函数或多元函数 的极值。 在微积分中，我们曾经接触过一些比较 简单的极值问题。下面通过具体例子来看 看什么是最优化问题。
PPT课件
2
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
的正方形以制成方形无盖水槽，问如何剪法使水槽 的容积最大？ 解：设剪去的正方形边长为x，由题意易知，此问 题的数学模型为，
0.09x2 0.50x3 0.22100
0.02x2 0.08x3 0.05100
x1
0
x 0 2
PPT课件
x3 0
5
1.2最优化问题的数学模型
一般形式 min f (x1，x2， ，xn )，
s. t.
gi (x1，x2， hj (x1，x2，
成立。
由 于 g 在 x* 的 某 邻 域 内 连 续 ， 故 存 在 0 ， 使
0, ，有 pT g(x* p) 0。所以，对 (0, )有
f (x* p) f (x*)。 这与 x*是 f 的局部极小点矛盾。
PPT课件
21
驻点可分为三种类型： 极小点、极大点和鞍点。
一切 x N (x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) {x | x x* , 0}
严格最优解：当 x x* ，有 f x* f x则称 x*为问题的
严格最优解。
PPT课件
8
局部最优解 f(X)
f X p f X f X T p 1 pT2 f X p 2
其中 X X p. 而0＜θ＜1
PPT课件
18
多元函数Taylor展开其他形式：
f x0 p f x0 f x0 T p o(|| p ||)
f x0
解：因为
f X
x1
2
x1
2
x2
f X
x2 2x2 2x1 2x3 3
f X
x3
2
x3
2
x2
则 又因为：
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
2 f x12
2,
2 f 2, x1x2
PPT课件
6
min f x 目标函数
s.t .
g j x 0 不等式约束
hi x 0 等式约束
称满足所有约束条件的向量 x为可行解，或可行点，全体
可行点的集合称为可行集，记为D 。
D {x | hi x 0, i 1, 2, m, g j x 0,
∈[0,1]恒有 x(1) +(1- ) x(2) ∈D
则称D为凸集。x
(1) +
(1-
) x(2)称为 x(1)和 x(2)的凸组合。
PPT课件
25
例
规定：欧式空间 Rn 是凸集，空集 是凸集，单点集
{x} 为凸集
PPT课件
26
例:证明集合 S {X | AX b} 是凸集。其中，A 为 mn矩阵，b为m维向量。
PPT课件
12
例 在坐标平面 x1，x2 上画出目标函数 f (x1，x2 ) x12 x22 的等值线． 解:因为当目标函数取常数时，曲线表示是以原点为 圆心，半径为的圆．因此等值线是一族以原点为圆 心的同心圆（如图所示）
PPT课件
13
2.2 n元函数的可微性与梯度
梯度：多元函数 f (x)关于 x 的一阶导数
平面上的投影曲线为
t
f ( x1, x2 )
t C
取不同的值得到不同的投影曲线。每一条投影曲线
对应一个值，所以我们称此投影曲线为目标函数的
等值线或等高线。
PPT课件
11
当常数取不同的值 时，重复上面的讨论， 在平面上得到一族曲 线——等值线.
等值线的形状完全由 曲面的形状所决定；反 之，由等高线的形状也 可以推测出曲面的形 状．
（2）f X 1 X T X ，则 f X X . 2 f X I (单位阵） 2
（3）f X 1 X TQX ，Q对称， 则 f X QX , 2 f X Q. 2
（4）若 t f X0 tp ，其中f：Rn R1. : R1 R1. 则：
对于一元连续可微函数( )，有如下最优性条件：
(i) （一阶必要条件）
若*为( )的局部极小点，则( *) 0；
(ii) （二阶充分条件）
若( *) 0，( *) 0，则*为( )的严格局部极小
点；
(iii) （二阶必要条件）
若*为( )的局部极小点，则( *) 0，( *) 0。
max (a 2x)2 x
PPT课件
3
例2.（混合饲料配合）设每天需要混合饲料的批量为 100磅，这份饲料必须含：至少0.8%而不超过 1.2%的钙;至少22%的蛋白质;至多5%的粗纤维。 假定主要配料包括石灰石、谷物、大豆粉。这些配 料的主要营养成分如下表所示。试以最低成本确定 满足动物所需营养的最优混合饲料。
PPT课件
20
定理 1 （一阶必要条件）
若 x*为 f (x)的局部极小点，且在 x*的某邻域内 f (x)具有
一阶连续偏导数，则
证明 反证法
g* f (x*) 0。
若 g* 0，则存在方向 p Rn（例如 p g*）使 pT g* 0。
由微分学中值定理，存在1 (0, )使得 f (x* p) f (x*) pT g(x* 1 p)
2
因为G*正定，故对p Rn有 pTG* p p 2，其中 0
为G*的最小特征值。 于是，
f (x) f (x*) [1 (1)] x x* 2，
2 当 x 充分接近 x* （但 x x* ）时，上式右端大于 0 ，故 f (x) f (x*)，即 x*为 f (x)的严格局部极小点。
整体最优解
PPT课件
9
1.3 最优化问题的分类
与时间的关系：静态问题，动态问题 是否有约束条件：有约束问题，无约束问题 函数类型：线性规划，非线性规划
PPT课件
10
2、梯度与Hesse矩阵
2.1 等值线
二维问题的目标函数 t f ( x1, x2 ) 表示三维空间中的 曲面。在空间直角坐标系中，平面与曲面的交线在
j 1, 2, p, x Rn } 若 hi ( x), g j ( x) 是连续函数，则D 是闭集。
PPT课件
7
在可行集中找一点 x*，使目标函数 f x在该点取最小值，即
满足：f x* min f x . s.t. gj x* 0. hi x 0的过程即为
f (x) ( f , f , f )T x1 x2 xn
PPT课件
14
Hesse 矩阵：多元函数 f (x) 关于 x 的二阶偏导
数矩阵
2
f
X
x12
2
f
X
f
X
2 f X
x1 x2
2
f
X
x1xn
PPT课件
17
3、 多元函数的Taylor展开
多元函数Taylor展开式在最优化理论中十分重要。 许多方法及其收敛性的证明都是从它出发的。
定理：设 f : Rn R具1 有二阶连续偏导数。则：
g* f (x*) 0，G* 2 f (x*)半正定
PPT课件
24
5、凸集、凸函数和凸规划
凸集和凸函数在非线性规划的理论中具有重要作用，下面 给出凸集和凸函数的一些基本知识。
定义1 设 D Rn，若对D中任意两点 x(1)与 x(2)，连接 x(1)
与 x(2) 的线段仍属于D；换言之，对 x(1)，x(2)∈D，
配料
每磅配料中的营养含量
钙
蛋白质
纤维
石灰石 谷物 大豆粉
0.380 0.001 0.002
0.00
0.00
0.09
0.02
0.50 PPT课件
0.08
每磅成本（元）
0.0164 0.0463 0.1250 4
解:根据前面介绍的建模要素得出此问题的数学模型如下:
设 x1 x2 x3 是生产100磅混合饲料所须的石灰石、谷物、
2 f 0 x1x3
故Hesse阵为：
2 f x22
2,
2 f 2, x2x3
2 f x32Leabharlann 2 2 2 0 2 f X 2 2 2
0 2 2
PPT课件
16
下面几个公式是今后常用到的：
（1）f X bT X ，则 f X b. 2 f X 0nn
2 f X
x2x1
2 f X
x22
2 f X
x2 xn
2
f
X
xnx1
2
f
X
xnx2
2
f
X
xn2
PPT课件
15
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
，xn ) ，xn )
0， 0，
i j
1，2， 1，2，
，l， ，m (m
n)．
向量形式
min f ( X )，
s.
t.
G( X ) H ( X )
0， 0，
其中 X (x1, x2 , xn )
G(X ) [g1(X )， ，gl (X )]T，H (X ) [h1(X )， ，hm (X )]T
大豆粉的量（磅）。
min Z 0.0164x1 0.0463x2 0.1250x3 s.t. x1 x2 x3 100
00..338800xx11
0.001x2 0.001x2
0.002 0.002
x3 x3
0.012 0.008
100 100
p
f x0 f x0 T
p
1 2
pT2 f x0 p o(||
p ||2 )
f x f x0 f x0 T (x x0)
1 2
(
x
x0
)T
2
f
x0
(
x
x0
)
o(||
x
x0
||2
)
PPT课件
19
4、极小点及其判定条件
PPT课件
22
定理 2 (二阶充分条件) 若在 x*的某邻域内 f (x)有二阶连续偏导数且
g* =f (x*) 0 G* G(x*)=2 f (x*)正定， 则 x*为无约束优化问题的严格局部极小点。
证明：将 f (x)在 x*点用Taylor公式展开，并注意到 g* 0，有 f (x) f (x*) 1 (x x*)T G*(x x*) ( x x* 2 )。
第一章 最优化问题与凸分析基础
在日常生活中，无论做什么事情，总是有 多种方案可供选择，并且可能出现多种不 同的结果。我们在做这些事情的时候，总 是自觉不自觉的选择一种最优方案，以期 达到最优结果。这种追求最优方案以达到 最优结果的学科就是最优化。寻求最优方 案的方法就是最优化方法。这种方法的理 论基础就是最优化理论，而凸分析又是最 优化理论的基础之一。
最优化的求解过程。
x* 称为问题的最优点或最优解，f x* 称为最优值。
定义1：整体（全局）最优解：若x* D，对于一切 x D ，
恒有 f x* f x 则称 x*是最优化问题的整体最优解。
定义2：局部最优解：若 x* D，存在某邻域 N (x*，) 使得对于
PPT课件
23
推论 若在 x*的某邻域内 f (x)有二阶连续偏导数且 g* =f (x*) 0 G* G(x*)=2 f (x*)负定，
则 x*为无约束优化问题的严格局部极大点。
定理 3 (二阶必要条件) 若 x*为 f (x)的局部极小点，且在 x*的某邻域内 f (x)有二阶 连续偏导数，则
PPT课件
1
1. 最优化问题
最优化问题：求一个一元函数或多元函数 的极值。 在微积分中，我们曾经接触过一些比较 简单的极值问题。下面通过具体例子来看 看什么是最优化问题。
PPT课件
2
1.1 最优化问题的例子
例1 对边长为a的正方形铁板，在四个角处剪去相等
的正方形以制成方形无盖水槽，问如何剪法使水槽 的容积最大？ 解：设剪去的正方形边长为x，由题意易知，此问 题的数学模型为，
0.09x2 0.50x3 0.22100
0.02x2 0.08x3 0.05100
x1
0
x 0 2
PPT课件
x3 0
5
1.2最优化问题的数学模型
一般形式 min f (x1，x2， ，xn )，
s. t.
gi (x1，x2， hj (x1，x2，
成立。
由 于 g 在 x* 的 某 邻 域 内 连 续 ， 故 存 在 0 ， 使
0, ，有 pT g(x* p) 0。所以，对 (0, )有
f (x* p) f (x*)。 这与 x*是 f 的局部极小点矛盾。
PPT课件
21
驻点可分为三种类型： 极小点、极大点和鞍点。
一切 x N (x* ) D ，恒有 f x* f x 则称 x *是最优化问题
的局部最优解。其中 N ( x* ) {x | x x* , 0}
严格最优解：当 x x* ，有 f x* f x则称 x*为问题的
严格最优解。
PPT课件
8
局部最优解 f(X)
f X p f X f X T p 1 pT2 f X p 2
其中 X X p. 而0＜θ＜1
PPT课件
18
多元函数Taylor展开其他形式：
f x0 p f x0 f x0 T p o(|| p ||)
f x0
解：因为
f X
x1
2
x1
2
x2
f X
x2 2x2 2x1 2x3 3
f X
x3
2
x3
2
x2
则 又因为：
f X 2x1 2x2, 2x2 2x1 2x3 3, 2x3 2x2 T
2 f x12
2,
2 f 2, x1x2
PPT课件
6
min f x 目标函数
s.t .
g j x 0 不等式约束
hi x 0 等式约束
称满足所有约束条件的向量 x为可行解，或可行点，全体
可行点的集合称为可行集，记为D 。
D {x | hi x 0, i 1, 2, m, g j x 0,
∈[0,1]恒有 x(1) +(1- ) x(2) ∈D
则称D为凸集。x
(1) +
(1-
) x(2)称为 x(1)和 x(2)的凸组合。
PPT课件
25
例
规定：欧式空间 Rn 是凸集，空集 是凸集，单点集
{x} 为凸集
PPT课件
26
例:证明集合 S {X | AX b} 是凸集。其中，A 为 mn矩阵，b为m维向量。
PPT课件
12
例 在坐标平面 x1，x2 上画出目标函数 f (x1，x2 ) x12 x22 的等值线． 解:因为当目标函数取常数时，曲线表示是以原点为 圆心，半径为的圆．因此等值线是一族以原点为圆 心的同心圆（如图所示）
PPT课件
13
2.2 n元函数的可微性与梯度
梯度：多元函数 f (x)关于 x 的一阶导数
平面上的投影曲线为
t
f ( x1, x2 )
t C
取不同的值得到不同的投影曲线。每一条投影曲线
对应一个值，所以我们称此投影曲线为目标函数的
等值线或等高线。
PPT课件
11
当常数取不同的值 时，重复上面的讨论， 在平面上得到一族曲 线——等值线.
等值线的形状完全由 曲面的形状所决定；反 之，由等高线的形状也 可以推测出曲面的形 状．
（2）f X 1 X T X ，则 f X X . 2 f X I (单位阵） 2
（3）f X 1 X TQX ，Q对称， 则 f X QX , 2 f X Q. 2
（4）若 t f X0 tp ，其中f：Rn R1. : R1 R1. 则：
对于一元连续可微函数( )，有如下最优性条件：
(i) （一阶必要条件）
若*为( )的局部极小点，则( *) 0；
(ii) （二阶充分条件）
若( *) 0，( *) 0，则*为( )的严格局部极小
点；
(iii) （二阶必要条件）
若*为( )的局部极小点，则( *) 0，( *) 0。
max (a 2x)2 x
PPT课件
3
例2.（混合饲料配合）设每天需要混合饲料的批量为 100磅，这份饲料必须含：至少0.8%而不超过 1.2%的钙;至少22%的蛋白质;至多5%的粗纤维。 假定主要配料包括石灰石、谷物、大豆粉。这些配 料的主要营养成分如下表所示。试以最低成本确定 满足动物所需营养的最优混合饲料。
PPT课件
20
定理 1 （一阶必要条件）
若 x*为 f (x)的局部极小点，且在 x*的某邻域内 f (x)具有
一阶连续偏导数，则
证明 反证法
g* f (x*) 0。
若 g* 0，则存在方向 p Rn（例如 p g*）使 pT g* 0。
由微分学中值定理，存在1 (0, )使得 f (x* p) f (x*) pT g(x* 1 p)
2
因为G*正定，故对p Rn有 pTG* p p 2，其中 0
为G*的最小特征值。 于是，
f (x) f (x*) [1 (1)] x x* 2，
2 当 x 充分接近 x* （但 x x* ）时，上式右端大于 0 ，故 f (x) f (x*)，即 x*为 f (x)的严格局部极小点。
整体最优解
PPT课件
9
1.3 最优化问题的分类
与时间的关系：静态问题，动态问题 是否有约束条件：有约束问题，无约束问题 函数类型：线性规划，非线性规划
PPT课件
10
2、梯度与Hesse矩阵
2.1 等值线
二维问题的目标函数 t f ( x1, x2 ) 表示三维空间中的 曲面。在空间直角坐标系中，平面与曲面的交线在
j 1, 2, p, x Rn } 若 hi ( x), g j ( x) 是连续函数，则D 是闭集。
PPT课件
7
在可行集中找一点 x*，使目标函数 f x在该点取最小值，即
满足：f x* min f x . s.t. gj x* 0. hi x 0的过程即为
f (x) ( f , f , f )T x1 x2 xn
PPT课件
14
Hesse 矩阵：多元函数 f (x) 关于 x 的二阶偏导
数矩阵
2
f
X
x12
2
f
X
f
X
2 f X
x1 x2
2
f
X
x1xn