最优化理论_第4章_1_无约束优化问题的最优性条件
合集下载
第四章约束问题的最优化方法
当limr(k) 0 k
则(x, r(k) ) f (x) , xk * x *
例： 用内点法求
min
f
(x)
x2 1
x2 2
s.t. g( x) 1 x1 0 的约束最优解。
解:
首先构造内点惩罚函数: (
x,
r)
x2 1
x2 2
rk
ln(x1
1)
用解析法求函数的极小值，运用极值条件：
二. 直接解法：
基本思想：合理选择初始点，确定搜索方向，以迭代公式 x(k+1)= x(k)+α(k)S(k)在可行域中寻优，经过若干次迭代，收敛至最优点。 适用范围：只能求解不等式约束优化问题的最优解。
基本要点：选取初始点、确定搜索方向及适当步长。
搜索原则：每次产生的迭代点必须满足可行性与适用性两个条件。 可行性：迭代点必须在约束条件所限制的可行域内，即满足
1
u1 gu (x)
② .(x, r(k) )
m
f (x) r(k)
1
u1 gu (x)
③ .(x, r (k) )
f (x)
m
r (k) u u 1
1 gu (x)
其中：gu (x) 0,u 1,2,...m
其中：gu (x) 0,u 1,2,...m
gu(x)0, u=1,2,…,p
适用性：当前迭代点的目标函数值较前一点是下降的，即满足 F(xk+1)<F(xk)
收敛条件：
• 边界点的收敛条件应该符合 K-T 条件；
• 内点的收敛条件为： xk1 xk 1
和
最优性条件是指优化问题
智能优化算法
如遗传算法、粒子群算法等，通过模 拟自然界中的优化现象，寻找全局最 优解。
05 数值计算方法和实现技术
梯度下降法、牛顿法等经典数值计算方法回顾
梯度下降法
一种迭代优化算法，用于求解机器学习和深度学习中的优化问题。通过沿着目 标函数梯度的反方向进行参数更新，逐步逼近最优解。
牛顿法
一种在实数域和复数域上近似求解方程的方法。使用函数切线的斜率来寻找方 程的根，具有收敛速度快、精度高等优点。但需要计算二阶导数，计算量较大。
迭代终止条件
设定合适的迭代终止条件，如梯度范数小于 给定阈值等。
约束非凸优化问题处理方法
罚函数法
将约束条件转化为罚函数项，加入到 目标函数中，从而将约束问题转化为 无约束问题求解。
乘子法
引入拉格朗日乘子，构造拉格朗日函 数，通过求解拉格朗日函数的极值点 得到原问题的最优解。
投影梯度法
在每次迭代中，将搜索方向投影到可 行域内，以保证迭代点始终满足约束 条件。
启发式搜索算法在求解复杂问题时应用
遗传算法
一种模拟生物进化过程的优化算法， 通过选择、交叉、变异等操作来搜索 最优解。适用于求解离散、非线性、 多峰等复杂优化问题。
模拟退火算法
一种基于物理退火过程的优化算法，通 过模拟高温物体降温过程来搜索全局最 优解。具有跳出局部最优解的能力，适 用于求解大规模组合优化问题。
优化问题数学模型
01
02
03
目标函数
描述优化问题的目标，通 常是一个关于决策变量的 函数，需要最大化或最小 化。
约束条件
对决策变量的限制条件， 包括等式约束和不等式约 束。
决策变量
在优化问题中需要确定的 未知量，通常是多维的。
最优化理论第四章约束问题最优性条件
定理4.2
设x* s, f ( x), g i ( x), (i I )在x*可微，g i ( x), (i I )在x *连续，
如果x*是问题 2 的局部最优解，则F0 G0 =。 （证明从略）
2.2 定理4.3 （Fritz，John条件）
* 设x* s，I i g i ( x* ) 0 ，f , g i (i I )在x*处可微，g （ i i I）在x 处连续，
第
四
章
约束问题的最优性 条件（P206）
min f(x) 约束优化： s.t. gi (x) 0, h ( x) 0, j
x Rn i 1,..., m j 1,..., l
s x gi ( x) 0, i 1,..., m; h j ( x), j 1,..., l
iI
①K-T条件
* 进一步条件，若g（ i I ）在 x 处可微，K-T条件为： i m （ f x*） - wi gi ( x* ) 0 ② i 1 ② * m n方程组 wi gi ( x ) 0, i 1,..., m ③ ③ ④ wi 0, i 1,..., m * 给定x ，验证是否符合K-T条件用① 应用 * x 未定，求解K-T点，求解② +③
2.4
定理4.5 （约束问题最优解的一阶充分条件）
问题（2）中，f 是凸函数，g （ ）是凹函数，s为可行域，x* s, i i 1,..., m I i gi ( x* ) 0 , f 和gi (i I )在点x*可微，gi (i I )在点x*连续，且在x*处 K - T 条件成立，则x*为全局最优解。 x 1， 0 为全局最优解（例子）
数学中的最优化理论
数学中的最优化理论最优化理论作为数学中一个重要的分支，其目的是寻找在给定条件下能够使某一函数取得最优值的变量取值。
最优化问题广泛应用于工程、经济、计算机科学等领域，对于提高效率、降低成本具有重要意义。
本文将对最优化理论的基本概念、常见方法和应用进行介绍。
一、最优化理论的基本概念最优化问题可以归结为如下形式：$$\min_{x \in D} f(x)$$其中，$D$是定义域，$f(x)$是目标函数。
最优化问题分为约束优化和无约束优化两类。
在约束优化问题中，目标函数的取值需要满足一定的条件。
无约束优化问题则没有这样的限制条件。
在求解最优化问题时，我们需要找到一个使目标函数值最小的变量取值。
这个变量取值被称为最优解，对应的目标函数值被称为最优值。
最优解的存在性和唯一性是最优化问题的重要性质，而最优化理论研究的就是如何找到最优解。
二、最优化问题的常见求解方法1. 数学分析方法数学分析方法主要通过对目标函数进行求导以及对约束条件进行分析，来得到最优解。
这种方法通常适用于目标函数和约束条件具有良好的可导性质的情况。
通过求解一阶导数为零的方程组，可以得到最优解的可能取值。
然后通过二阶导数的符号来判断这些取值是最大值还是最小值。
2. 梯度下降法梯度下降法是一种常用的优化方法，特别适用于目标函数为凸函数的情况。
其基本思想是通过不断朝着函数梯度的负方向迭代，直到找到最小值或达到预设的停止条件。
梯度下降法的优势在于可以处理大规模问题，并且不需要求解函数的导数。
然而，梯度下降法可能陷入局部最优解，因此在实际应用中需要谨慎选择初始点和调整学习率。
3. 线性规划法线性规划是一种特殊的最优化问题，其目标函数和约束条件均为线性函数。
线性规划问题具有良好的可解性，并且有高效的算法可以求解。
最著名的线性规划方法是单纯形法，它通过不断沿着可行解空间中的边界移动，寻找最优解。
此外，整数规划、二次规划等也是常见的最优化问题，各自有不同的求解方法。
最优化理论课程教学大纲
《最优化理论》课程教学大纲一、课程基本信息
二、课程目标及对毕业要求指标点的支撑
三、教学内容及进度安排
四、课程考核
五、教材及参考资料
教材：《最优化理论与算法（第2版）》,陈宝林著，清华大学出版社，2005年，ISBN：97873021137680
参考书：
1、《最优化方法》，孙文瑜、徐成贤、朱德通主编，高等教育出版社，2004年第一版,ISBN：9787040143751o
2、《最优化理论与方法》，袁亚湘，孙文瑜著，科技出版社，2010年（第二版），ISBN：9787030054135o
3、《最优化计算方法》，黄正海，苗新河著，科技出版社，2015年（第二版），ISBN：9787030433053o
六、教学条件
本课程属于基础理论与应用型课程，对实验条件要求不是很高。
学校实验大楼拥有的计算机软硬件资源，高性能计算机，投影仪等设备，基本能够完成所需的理论计算任务、数值模拟试验以及程序测试等。
需要使用多媒体教室授课，授课电脑安装了WindoWS7、
OffiCe2010、1ingo11Python>Mat1ab2015>Mathematica11>MathTyPe6.9以上版本的正版软件。
附录：各类考核评分标准表。
最优化计算方法(工程优化)第4章
f (x*) 0, 2 f x 正定，则 x 为 f (x) 的严格局部极小
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
点。
如果 2 f x 负定，则 x 为 f (x) 的严格局部极大点。
无约束优化的最优性条件----凸优化的一阶条件
定理(一阶充要条件)
设 f : Rn R 是凸函数且在 x 处连续可微，则 x 为 f (x)的全局极小点的充要条件是 f (x*) 0.
f (x p) f (x)+f (x)T p o( )
P是什么方向时，函数值 f (x p) 下降最快？也就是
p是什么方向时，f (x)T p 取得最小值？
f (x)T p f (x) p cos(f (x), p)
当 cos(f (x), p) 1 时，f (x)T p 最小，最小值为
令 f x 0, 即：
利用一阶条件 求驻点
利用二阶条件 判断驻点是否 是极小点
x12 1 0
x22
2x2
0
得到驻点： 1 1 1 1
x1
0 ,
x2
2 ,
x3
0
,
x4
2
.
无约束优化的最优性条件
函数 f x 的Hesse阵：
2
f
x
2x1
0
0
2
x2
2
利用二阶条件 判断驻点是否 是极小点
2 0
0 2
的行列式小于0；
x1, x4是鞍点；
2
f
x2
2 0
0
2
是正定矩阵；
x2 是极小点；
2
f
x3
2 0
0 2
是负定矩阵；
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的；
《最优化理论》课件
机器学习中的应用
介绍最优化理论在神经网络训练 中的作用。
工程优化中的应用
应用最优化理论优化机械设计和 自动化控制系统。
总结
通过本课程的学习，您掌握了最优化理论的基本知识和应用方法，为实际问 题的解决提供了有力工具和支持。期待您在未来能够更好地应用这些知识， 为创新和发展做出更大的贡献。
凸优化问题的定义
详细讲解凸优化问题的定义和常用求解方法。
对偶问题
讲解凸优化问题的对偶问题和应用案例。
其他优化问题
1
整数规划
讲解整数规划在实际问题中的应用及其求解方法。
2
半正定规划
介绍半正定规划的定义和求解方式。
3
非线性规划
学习非线性规划问题的求解方法和应用案例。
应用案例
Hale Waihona Puke 经济学中的应用讲解最优化理论在竞争市场模型 中的应用。
数学符号与常用概念
介绍数学符号的含义和常用概念，为后 续学习内容打下基础。
一元函数的最优化问题
讲解一元函数求极值的方法，如牛顿法 和梯度下降法等。
无约束优化问题
一维搜索法
介绍线性搜索和二分搜索等一维 搜索算法。
牛顿法
讲解牛顿法的动机和实现方式。
梯度下降法
详细介绍梯度下降法的原理和特 点。
共轭梯度法
《最优化理论》PPT课件
最优化理论是数学中一项重要的领域，涉及到许多实际问题的求解，如经济 学、机器学习和工程优化等。本课程将为您介绍最优化理论的基础知识和应 用案例，帮助您深入了解这个精彩的领域。
优化理论的基础知识
1
函数的极值
2
学习函数的最值概念和求解方法。
3
多元函数的最优化问题
最优化理论 第四章
...
?
x
2 n
? ?
由于 n元函数的偏导数有 n×n个，而偏导数得 值与求导次序无关，所以函数的二阶偏导矩阵是 对称矩阵。
例1： 一般二元二次函数
f ( X ) ? 1 X T AX ? B T X ? C ，求H(X)。
2
解：
H
(X)
?
?
2
f
(X)
?
?
2(1
XT
AX ) ?
?
2(BT
X)?
?
2C
1)2
代入泰勒展开式得简化的二次函数：
f ( X ) ? f ( X (1) ) ? [? f ( X (1) )]T ( X ? X (1) ) ?
1 (X ? X(1) )T ? 2 f (X(1) )(X ? X(1) ) 2 ? 3x2 ? 6 ? 6(x1 ? 1)2 ? 6x12 ? 12x1 ? 3x2
＝x
3 1
-
x 23+3
x12+3
x
2 2
-
9x1在
点X(1)=[1,1]T 简化成二次函数。
f ( X ) ? f ( X (k ) ) ? [? f ( X (k ) )]T ( X ? X (k ) ) ?
1 ( X ? X (k ) )T ? 2 f ( X (k ) )( X ? X (k ) ) 2
BT
X
?
????
b1 b2
?????x1
? x2 ? b1 x1 ? b2 x2
? ? 2 ( BT X ) ? ? 2 (b1 x1 ? b2 x2 ) ? 0
? 2C ? 0
?
H
约束优化问题的最优性条件
{
}
连续，若 x 是(NLP1)的局部最优解，则存在不全 为零的非负数 w0 , wi (i ∈ i ) ，使得
w0∇f ( x) − ∑ wi ∇gi ( x) = 0
i∈I
证明：参见陈宝林书 page 239
注：运用Fritz John 条件时，可能出现 w0 = 0 的情形。这时Fritz John 条件中实际上不包含 目标函数的任何数据，只是把起作用约束的梯 度组合成零向量。这样的条件，对于问题的解 的描述，没有多大价值。我们感兴趣的是
w0 ≠ 0 的情形，所以为了保证 w0 ≠ 0 ，还需
要对约束施加某种限制。这种限制条件通常称 为约束规格。在定理7.3中，如果增加起作用 约束的梯度线性无关的约束规格，则给出不等 式约束问题的著名的K-T条件。
定理7.8 (K-T 必要条件) 考虑约束问题(NLP) , x 为可行点，I = i gi ( x) = 0 ， f (x) 和 gi (x) (i ∈ I ) 在 x 处可微, gi (x) (i ∉ I ) 在 x 处连续, hj (j=1,…,l) 在 x 处连续可微。向量集
∂f = d T ∇f ( x ) ≥ 0 ∂d
(d
= 1)
即在极小点处的可行方向一定不是下降方向
n R 定理7.1 考虑约束极值问题 (NLP) , 设 S 是 中的非空集合，x ∈ S ， f (x) 在 x 处可微。如果 x
是局部最优解，则
F0 ∩ D = ∅
证明：参见陈宝林书 page236
定理7.5 设在问题（NLP1）中, f 是凸函数, gi(x)(i=1,2,…,m) 是凹函数，S为可行域，x ∈ S
I = i gi ( x) = 0 ， f (x) 和 gi (x) (i ∈ I )在 x 处可微,
第四章 无约束方法详解
[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：
第四章 非线性规划 山大刁在筠 运筹学讲义
第四章 非线性规划教学重点：凸规划及其性质，无约束最优化问题的最优性条件及最速下降法，约束最优化问题的最优性条件及简约梯度法。
教学难点：约束最优化问题的最优性条件。
教学课时：24学时主要教学环节的组织：在详细讲解各种算法的基础上，结合例题，给学生以具体的认识，再通过大量习题加以巩固，也可以应用软件包解决一些问题。
第一节 基本概念教学重点：非线性规划问题的引入，非线性方法概述。
教学难点：无。
教学课时：2学时主要教学环节的组织：通过具体问题引入非线性规划模型，在具体讲述非线性规划方法的求解难题。
1、非线性规划问题举例例1 曲线最优拟合问题已知某物体的温度ϕ 与时间t 之间有如下形式的经验函数关系：312c t c c t e φ=++ （*）其中1c ，2c ，3c 是待定参数。
现通过测试获得n 组ϕ与t 之间的实验数据),(i i t ϕ，i=1，2，…,n 。
试确定参数1c ，2c ，3c ，使理论曲线(*)尽可能地与n 个测试点),(i i t ϕ拟合。
∑=++-n 1i 221)]([ min 3i t c i i e t c c ϕ例 2 构件容积问题通过分析我们可以得到如下的规划模型：⎪⎪⎩⎪⎪⎨⎧≥≥=++++=0,0 2 ..)3/1( max 212121222211221x x S x x x x a x x t s x x a V ππππ基本概念设n T n R x x x ∈=),...,(1，R R q j x h p i x g x f n j i :,...,1),(;,...,1),();(==,如下的数学模型称为数学规划(Mathematical Programming, MP)：⎪⎩⎪⎨⎧===≤q j x h p i x g t s x f j i ,...,1,0)( ,...,1,0)( ..)( min约束集或可行域X x ∈∀ MP 的可行解或可行点MP 中目标函数和约束函数中至少有一个不是x 的线性函数，称(MP)为非线性规划令 T p x g x g x g ))(),...,(()(1=T p x h x h x h ))(),...,(()(1=，其中，q n p n R R h R R g :,:，那么(MP )可简记为⎪⎩⎪⎨⎧≤≤ 0)( 0 ..)( min x h g(x)t s x f 或者 )(min x f X x ∈ 当p=0,q=0时，称为无约束非线性规划或者无约束最优化问题。
最优化理论 第四章
n i 1
f
(X (k)) xi ( xi
x(k) i
)
1
2
n f ( X (k ) ) i, j1 xix j ( xi
xi(k ) )(x j
x
(k j
)
)
写成矩阵形式：
f ( X ) f ( X (k) ) [f ( X (k) )]T ( X X (k) ) 1 ( X X ) (k) T 2 f ( X (k) )(X X (k) ) 2
求函数
f
(x)
x2 1
x2 2
4x1
4
在点[3,2]T 的 梯度。
解：
f
f
(
x)
x1 f
2
x1 2 x2
4
x2
在点x(1)=[3,2]T处的梯度为：
f
( x(1) )
2x1 4
2 x2
x(1)
2 4
例： 试求目标函数 f x1, x2 3x12 4x1x2 x22 在点X 0 0,1T 处
阶主子式的值负、正相间。
q11 q12 q1n
q11 0
q11
q12 0
；…；
(1)n q21
q22
q21 q22
例：判定矩阵Q=
模就是函数变化率的最大值 ，负梯度方向函数值
下降最快。
x2
f(x0)
最速上升方向
x0
－f(x0)
上升方向
最速下降方向 下降方向
变化率为零的方向
O
x1
图2-2 梯度方向与等值线的关系
多元函数的梯度
f
x1
f
f
(
x0
最优化第四部分
无,且xk+1=xk,则缩短步长,仍从xk出发进行下一次轴向移动;若
无,且xk+1xk,则仍从xk出发用步长k进行下一次轴向移动.
最优化理论与方法 第四部分 直接搜索的数值解法
从xk+1出发的模式移动是指以1为步长沿加速方向:dk=xk+1–xk
移动一步,得到新的参考点y=xk+1+dk=2xk+1–xk , 然后 , 从新的参 考点y出发 , 仍以k为步长进行轴向移动.
所以第三次轴向移动结束,令 x3 y (3, 2)T .由于 f ( x3 ) f ( x2 ) ,
2 1 0.1 , 且 x3 x2 ,
因此，令 x3 x2 (2 , 1)T , 3 2 ,
取参考点 y x3 (2,1)T .
最优化理论与方法 第四部分 直接搜索的数值解法
二、Powell 法
本节介绍由Powell提出的一种求解无约束最优化问题
(4.1.1)的直接法. 它本质上是以正定二次函数为背景，以共 轭方向为基础的一种方法. 本节分别介绍原始Powell法和Powell法. 补充：共轭方向 设H为一正定对称矩阵，若有一组非零向量S1，S2，……，Sn
满足 量（方向）。 当H为单位矩阵时，有
由梯度法的分析知，此时点X1的梯度必与方向S0垂直，即有
f X S
1 T
0
0
（4-21）
和
f X 1 HX1 B
（4-22）
最优化理论与方法 第四部分 直接搜索的数值解法
从点X1开始沿另一下降方向S1作一维搜索，得 （4-23） X 2 X 1 S1
1
若欲使X2成为极小点，根据极值的必要条件，应有
第四章约束问题的最优化方法
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
函数的约束最优点 x* 。
外点法可以用来求解含不等式和等式约束的优化问题。
二. 惩罚函数的形式：
m
l
( x, r) f ( x) r max[0, gi ( x)]2 r [hj ( x)]2
i1
j1
• 惩罚因子rk 是递增的，rk1 a rk ，a为递增系数，a 1
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：min . (x, r1, r2 )
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
这种方法是1968年由美国学者A．V．Fiacco和 G．P．Mcormick提出的，把不等式约束引入数学模型中，为求多 维有约束非线性规划问题开创了一个新局面。
适用范围：求解等式约束优化问题和一般约束优化问题。
§4.2 内点惩罚函数法（障碍函数法）
一. 基本思想： 内点法将新目标函数 Φ( x , r ) 构筑在可行域 D 内，随着惩罚
六. 举例：盖板问题
设计一个箱形截面的盖板。 已知：长度 l0= 600cm，宽度 b = 60cm， h 侧板厚度 ts = 0.5cm，翼板厚度为 tf(cm)，高 度为 h(cm)，承受最大的单位载荷 q = 0.01Mpa。
tf ts
b
要求：在满足强度、刚度和稳定性等条件下，设计一个最轻结构。
f (x) r1G[gu (x)] r2 H[hv (x)]
无约束最优化问题
§ 2.2无约束最优化问题
引言
约束最优化问题：具有辅助函数和形态约束条件的优 化问题。 无约束最优化问题：没有任何限制条件的优化问题。 工程实践中大多数问题都是具有约束的优化问题。
但在优化方法的处理上可以将有约束优化问题 转化为无约束最优化问题，然后按无约束方法进行 处理。或者是将有约束优化部分转化为无约束优化 问题，即在远离极值点和约束边界处按无约束来处 理，当接近极值点和约束边界时，在按有约束的优 化问题来处理。 因此无约束优化方法是优化方法的基本组成部 分，也是优化设计中较常用的方法。
ห้องสมุดไป่ตู้
解题一般步骤
例
多元函数的梯度和对应矩阵
迭代法主要解决两个问题： 如何选择一个最有利的搜索方向 S( k ) 使目标函数沿此方向快速下降，且计算简便。
在搜索方向既定的前提下，如何确定沿此方向 迭代的最优步长 ( k )
无约束最优化方法可以分为两类：直接法和间接法。 直接法又称数值方法，它只需计算目标函数诸点的函 数数值，而不需求其导数，如坐标轮换法，单纯性法 等。 间接法又称解析法，是应用数学极值理论和解析方法， 首先计算出目标函数的一阶或一阶、二阶导数，然后 根据梯度及海赛矩阵提供的信息，构造各种算法，从 而间接地求出目标函数的最优解，如牛顿法、最速 下降法、共轭梯度法及变尺度法。
引言
约束最优化问题：具有辅助函数和形态约束条件的优 化问题。 无约束最优化问题：没有任何限制条件的优化问题。 工程实践中大多数问题都是具有约束的优化问题。
但在优化方法的处理上可以将有约束优化问题 转化为无约束最优化问题，然后按无约束方法进行 处理。或者是将有约束优化部分转化为无约束优化 问题，即在远离极值点和约束边界处按无约束来处 理，当接近极值点和约束边界时，在按有约束的优 化问题来处理。 因此无约束优化方法是优化方法的基本组成部 分，也是优化设计中较常用的方法。
ห้องสมุดไป่ตู้
解题一般步骤
例
多元函数的梯度和对应矩阵
迭代法主要解决两个问题： 如何选择一个最有利的搜索方向 S( k ) 使目标函数沿此方向快速下降，且计算简便。
在搜索方向既定的前提下，如何确定沿此方向 迭代的最优步长 ( k )
无约束最优化方法可以分为两类：直接法和间接法。 直接法又称数值方法，它只需计算目标函数诸点的函 数数值，而不需求其导数，如坐标轮换法，单纯性法 等。 间接法又称解析法，是应用数学极值理论和解析方法， 首先计算出目标函数的一阶或一阶、二阶导数，然后 根据梯度及海赛矩阵提供的信息，构造各种算法，从 而间接地求出目标函数的最优解，如牛顿法、最速 下降法、共轭梯度法及变尺度法。
最优性条件
可行下降方向
可行下降方向
Remark
无约束优化问题的最优性条件
无约束优化问题的最优性条件
无约束优化问题的最优性条件
无约束优化问题的最优性条件
无约束优化问题的最优性条件
无约束优化问题的最优性条件
Remark
无约束优化问题的最优性条件
无约束优化问题的最优性条件
无约束优化问题的最优性条件
不等式约束下的Kuhn-Tucker 条件
不等式约束下的Kuhn-Tucker 条件
不等式约束下的Kuhn-Tucker 条件
不等式约束下的Kuhn-Tucker 条件
不等式约束下的Kuhn-Tucker 条件
不等式约束下的Kuhn-Tucker 条件 Definition
满足K-T条件的点称为K-T点。
最优性条件
最优性条件
无约束最优化问题的最优性条件
（凸函数极值的最优性条件）
约束最优化问题的最优性条件
最优性条件
下降方向 Definition
下降方向
下降方向 Questions 下降方向的代数条件是什么？
下降方向 Theorem
Proof
下降方向
Proof
下降方向
2
f ( x) x
等式和不等式约束下的Kuhn-Tucker 条件 Theorem
等式和不等式约束下的Kuhn-Tucker 条件 Proof
(1)
等式和不等式约束下的Kuhn-Tucker 条件
(2)
(3)
等式和不等式约束下的Kuhn-Tucker 条件
等式和不等式约束下的Kuhn-Tucker 条件
等式和不等式约束下的Kuhn-Tucker 条件
无约束问题的最优性条件
一阶必要条件的表述
若$x^*$是无约束问题的局部最 优解，则$x^*$处的梯度$nabla f(x^*)=0$。这意味着在最优解处， 目标函数的梯度向量必须为零向 量。
几何解释
一阶必要条件可以理解为，在最 优解处，目标函数的等值面（或 曲线）与任意方向的切线（或切 面）都相切，即没有下降方向。
一阶充分条件
04 二阶最优性条件
二阶必要条件
二阶导数矩阵半正定
在最优解处，目标函数的二阶导数矩阵（即海森矩阵）必须是半正定 的，这意味着对于所有非零向量，海森矩阵与其的乘积至少为零。
梯度为零
同时，目标函数在最优解处的梯度必须为零，这是一阶必 要条件的补充。
约束条件
对于约束优化问题，还需要考虑约束条件的二阶影响。在最优 解处，积极约束的拉格朗日乘子应满足相应的二阶条件。
06 最优性条件的应用举例
线性规划的最优性条件
可行域
线性规划问题的可行域是由线性约束条 件所围成的凸多边形区域。
最优解
在可行域中，使目标函数达到最小 （或最大）值的可行解。
基本可行解
满足所有约束条件的解，且所有非基 变量都取值为0的解。
最优性条件
对于线性规划问题，当且仅当所有非 基变量对应的检验数都小于等于0时， 基本可行解才是最优解。
一阶充分条件的表述
若目标函数$f(x)$在$x^*$处可微，且存在某个正数$alpha$，使得对于所有满足$||d||=1$的 方向$d$，都有$nabla f(x^*)^Td ge alpha$，则$x^*$是无约束问题的严格局部最优解。
几何解释与意义
一阶充分条件表明，在最优解处，不仅梯度为零向量，而且目标函数在最优解附近具有“凸 性”，即对于任意方向$d$，目标函数在$x^*$处的方向导数都大于零。这保证了最优解的 唯一性和全局最优性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优化理论与方法
最优性条件和优化设计
哈尔滨工程大学 理学院 戴运桃 Email: peach0040@
1. 最优解的定义
* x [定义 1.1]设 D ，
* * x D f ( x ) f ( x ) x 若对任意的 ，都有 ，则称 为
优化问题的全局（整体）最优解（极小点） 。
* 2 f ( x ) 0 f ( x) 为半正定矩阵。 点，则 ，
n [定理 2.4] （二阶充分条件）设 f : R R 在开集 D 上二阶连
* 2 * f ( x ) f ( x ) 0 x 续可微，若 ， 为正定矩阵，则 D 是最
优化问题的严格局部极小点。
例 求函数
2）得到新点X（1）后再选择一个新的使函数值迅速下 降的方向及适当的步长，从X（1）点出发再跨出一步， 达到X（2）点，并依此类推，一步一步地向前探索并重 复数值计算，最终达到目标函数的最优点。
在中间过程中每一步的迭代形式为：
x k 1 x k k S k F ( x k 1 ) F ( x k ) k 0,1,2,…
，使得：
* * * f ( x ) f ( x ), x D U ( x ) x ， 则称 为最优化问题
的局部最优解（极小点）
* * * * f ( x ) f ( x ), x D U ( x ), x x x ， 则称 为最优化
问题的严格局部最优解（极小点） 。
2 4
由此知X1是函数的极小值点， X4是函数的极大值点，X2 和X3均为非极值点。
3、优化设计问题的基本解法
求解优化问题的基本解法有：解析法和数值法 解析法：即利用数学分析 ( 微分、变分等）的 方法，根据函数（泛函）极值的必要条件和充 分条件求出其最优解析解的求解方法 。在目 标函数比较简单时，求解还可以。 局限性：工程优化问题的目标函数和约束条件往 往比较复杂，有时甚至还无法用数学方程描述， 在这种情况下应用数学分析方法就会带来麻烦。
k i
2
f fk fk+1 f* o xk xk+1 x* (a) x
（2）函数值下降量 准则
f ( x ) f ( x ) 3
k 1 k
或
f ( x k 1 ) f ( x k ) f (x )
f fk fk+1 f* o
k
4
xk
xk+1 (b)
x*
x
（3）目标函数梯度准则
数值解法：这是一种数值近似计算方法，又称为数
值迭代方法。 它是根据目标函数的变化规律，以适当的步长沿着能 使目标函数值下降的方向，逐步向目标函数值的最优点进 行探索，逐步逼近到目标函数的最优点或直至达到最优点。 数值解法（迭代法）是优化设计问题的基本解法。
最优化方法是与近代电子计算机的发展紧密相联系 的，数值计算法比解析法更能适应电子计算机的工作特 点，因为数值计算的迭代方法具有以下特点： 是数值计算而不是数学分析方法； 具有简单的逻辑结构并能进行反复的同样的算术计算 最后得出的是逼近精确解的近似解。 这些特点正与计算机的工作特点相一致。
* * x D f ( x ) f ( x ) ，则 x x 若对任意的 ， ，都有 * x 称 为优化问题的严格全局（整体）最优解（极小
点） 。
* * x D x [定义 1.2]设 ，若存在 的一个 ( 0) 邻域
U (x* ) x | x x*
式中： X （ k ） —— 第 k 步迭代计算所得到的点，称 第k步迭代点，亦为第k步设计方案； a（k）——第k步迭代计算的步长； S（k）——第k步迭代计算的探索 方向。
用迭代法逐步逼近最 优点的探索过程.
2.迭代终止准则
（1）点距准则
x k 1 x k 1
或
xik 1 xik x
由极值的充分条件求函数的二阶导数矩阵，并判断其 正定性得
12 0 f (X ) 0 8 12 0 2 2 f (X ) 0 8 12 0 2 3 f (X ) 0 8
2 1
正定 不定 不定 负定
12 0 f (X ) 0 8
NOTE：极值点一定为驻点，但驻点不一定是极值点。
2.无约束问题的最优性条件
马鞍面：
2 x12 x2 f ( x1 , x2 ) 2 2 a b
f ( x1 , x2 ) ( 0, 0 ) 0
n f : R R 在开集 D 上二阶 [定理 2.3]（二阶必要性条件）设
* x 连续可微，若 D 是无约束最优化问题（*）的局部极小
对定义的几点说明： 显然，全局最优解也是局部最优解。反之不然。 本课讨论的求解最优解一般均指局部最优解。 人们在实际计算时往往关心的是全局最优解，但到目前为 止， 现有的在理论上成熟并且经过计算实践检验的算法， 只 能近似地求出局部最优解，而非全局最优解。 对于一般的寻求全局最优解的问题， 通常采用的做法是先求 出全部局部最优解， 然后选择最优值最小的那个解作为全局 最优解。 在很多实际应用中，求解局部最优解已经满足了问题的要 求。 仅当研究的问题具有某种凸性时，局部最优解才是全局最优 解.
1.求解步骤
数值迭代法的基本思路：是进行反复的数值计 算，寻求目标函数值不断下降的可行计算点，直到 最后获得足够精度的最优点。这种方法的求优过程 大致可归纳为以下步骤： 1）首先初选一个尽可能靠近最小点的初始点X（0）， 从X（0）出发按照一定的原则寻找可行方向和初始步长， 向前跨出一步达到X（1）点；
f ( X ) x x 3x 2x 9x1 4x2
3 1 3 2 2 1 2 2
的极值
解：由极值的必要条件
3 x12 6 x1 9 f ( X ) 2 0 3 x2 4 x2 4
解得以下4个驻点：
1 1 1 2 X 2 , X 2 3 3 3 3 4 X 2 , X 2 3
f ( x ) 5
k
采用哪种收敛准则，可视具体问题而定。可以取：
i 10 ~ 10 (i 1,,5)
2 5
上述准则都在一定程度上反映了逼近最优点的 程度，但都有一定的局限性。在实际应用中，可取 其中一种或多种同时满足来进行判定。
2.无约束问题的最优性条件
n f : R R 在开集 D 上连续可 [定理 2.1]（一阶必要条件）设
微，若 x D 是无约束最优化问题（*）的局部极小点，则
*
f ( x ) 0 。
*
定义：设 f : D R n , X *是D的内点，若
* 则称 X 为 f 的驻点。
f X *2 1 0.8 0.6 0.4 0.2 0 1 0.5 0 -0.5 -1 -1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 1
0.8
Rastrigin’s function
2 Ras( x) 20 x12 x2 10(cos 2 x1 cos 2 x2 )
最优性条件和优化设计
哈尔滨工程大学 理学院 戴运桃 Email: peach0040@
1. 最优解的定义
* x [定义 1.1]设 D ，
* * x D f ( x ) f ( x ) x 若对任意的 ，都有 ，则称 为
优化问题的全局（整体）最优解（极小点） 。
* 2 f ( x ) 0 f ( x) 为半正定矩阵。 点，则 ，
n [定理 2.4] （二阶充分条件）设 f : R R 在开集 D 上二阶连
* 2 * f ( x ) f ( x ) 0 x 续可微，若 ， 为正定矩阵，则 D 是最
优化问题的严格局部极小点。
例 求函数
2）得到新点X（1）后再选择一个新的使函数值迅速下 降的方向及适当的步长，从X（1）点出发再跨出一步， 达到X（2）点，并依此类推，一步一步地向前探索并重 复数值计算，最终达到目标函数的最优点。
在中间过程中每一步的迭代形式为：
x k 1 x k k S k F ( x k 1 ) F ( x k ) k 0,1,2,…
，使得：
* * * f ( x ) f ( x ), x D U ( x ) x ， 则称 为最优化问题
的局部最优解（极小点）
* * * * f ( x ) f ( x ), x D U ( x ), x x x ， 则称 为最优化
问题的严格局部最优解（极小点） 。
2 4
由此知X1是函数的极小值点， X4是函数的极大值点，X2 和X3均为非极值点。
3、优化设计问题的基本解法
求解优化问题的基本解法有：解析法和数值法 解析法：即利用数学分析 ( 微分、变分等）的 方法，根据函数（泛函）极值的必要条件和充 分条件求出其最优解析解的求解方法 。在目 标函数比较简单时，求解还可以。 局限性：工程优化问题的目标函数和约束条件往 往比较复杂，有时甚至还无法用数学方程描述， 在这种情况下应用数学分析方法就会带来麻烦。
k i
2
f fk fk+1 f* o xk xk+1 x* (a) x
（2）函数值下降量 准则
f ( x ) f ( x ) 3
k 1 k
或
f ( x k 1 ) f ( x k ) f (x )
f fk fk+1 f* o
k
4
xk
xk+1 (b)
x*
x
（3）目标函数梯度准则
数值解法：这是一种数值近似计算方法，又称为数
值迭代方法。 它是根据目标函数的变化规律，以适当的步长沿着能 使目标函数值下降的方向，逐步向目标函数值的最优点进 行探索，逐步逼近到目标函数的最优点或直至达到最优点。 数值解法（迭代法）是优化设计问题的基本解法。
最优化方法是与近代电子计算机的发展紧密相联系 的，数值计算法比解析法更能适应电子计算机的工作特 点，因为数值计算的迭代方法具有以下特点： 是数值计算而不是数学分析方法； 具有简单的逻辑结构并能进行反复的同样的算术计算 最后得出的是逼近精确解的近似解。 这些特点正与计算机的工作特点相一致。
* * x D f ( x ) f ( x ) ，则 x x 若对任意的 ， ，都有 * x 称 为优化问题的严格全局（整体）最优解（极小
点） 。
* * x D x [定义 1.2]设 ，若存在 的一个 ( 0) 邻域
U (x* ) x | x x*
式中： X （ k ） —— 第 k 步迭代计算所得到的点，称 第k步迭代点，亦为第k步设计方案； a（k）——第k步迭代计算的步长； S（k）——第k步迭代计算的探索 方向。
用迭代法逐步逼近最 优点的探索过程.
2.迭代终止准则
（1）点距准则
x k 1 x k 1
或
xik 1 xik x
由极值的充分条件求函数的二阶导数矩阵，并判断其 正定性得
12 0 f (X ) 0 8 12 0 2 2 f (X ) 0 8 12 0 2 3 f (X ) 0 8
2 1
正定 不定 不定 负定
12 0 f (X ) 0 8
NOTE：极值点一定为驻点，但驻点不一定是极值点。
2.无约束问题的最优性条件
马鞍面：
2 x12 x2 f ( x1 , x2 ) 2 2 a b
f ( x1 , x2 ) ( 0, 0 ) 0
n f : R R 在开集 D 上二阶 [定理 2.3]（二阶必要性条件）设
* x 连续可微，若 D 是无约束最优化问题（*）的局部极小
对定义的几点说明： 显然，全局最优解也是局部最优解。反之不然。 本课讨论的求解最优解一般均指局部最优解。 人们在实际计算时往往关心的是全局最优解，但到目前为 止， 现有的在理论上成熟并且经过计算实践检验的算法， 只 能近似地求出局部最优解，而非全局最优解。 对于一般的寻求全局最优解的问题， 通常采用的做法是先求 出全部局部最优解， 然后选择最优值最小的那个解作为全局 最优解。 在很多实际应用中，求解局部最优解已经满足了问题的要 求。 仅当研究的问题具有某种凸性时，局部最优解才是全局最优 解.
1.求解步骤
数值迭代法的基本思路：是进行反复的数值计 算，寻求目标函数值不断下降的可行计算点，直到 最后获得足够精度的最优点。这种方法的求优过程 大致可归纳为以下步骤： 1）首先初选一个尽可能靠近最小点的初始点X（0）， 从X（0）出发按照一定的原则寻找可行方向和初始步长， 向前跨出一步达到X（1）点；
f ( X ) x x 3x 2x 9x1 4x2
3 1 3 2 2 1 2 2
的极值
解：由极值的必要条件
3 x12 6 x1 9 f ( X ) 2 0 3 x2 4 x2 4
解得以下4个驻点：
1 1 1 2 X 2 , X 2 3 3 3 3 4 X 2 , X 2 3
f ( x ) 5
k
采用哪种收敛准则，可视具体问题而定。可以取：
i 10 ~ 10 (i 1,,5)
2 5
上述准则都在一定程度上反映了逼近最优点的 程度，但都有一定的局限性。在实际应用中，可取 其中一种或多种同时满足来进行判定。
2.无约束问题的最优性条件
n f : R R 在开集 D 上连续可 [定理 2.1]（一阶必要条件）设
微，若 x D 是无约束最优化问题（*）的局部极小点，则
*
f ( x ) 0 。
*
定义：设 f : D R n , X *是D的内点，若
* 则称 X 为 f 的驻点。
f X *2 1 0.8 0.6 0.4 0.2 0 1 0.5 0 -0.5 -1 -1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 1
0.8
Rastrigin’s function
2 Ras( x) 20 x12 x2 10(cos 2 x1 cos 2 x2 )