最优化原理与方法复习
最优化方法归纳总结
最优化方法归纳总结最优化方法归纳总结篇一：最优化方法综述最优化方法综述1.引论1.1应用介绍最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。
这类问题普遍存在。
例如，工程设计中怎样选择设计参数，使得设计方案满足设计要求，又能降低成本；资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益；生产评价安排中，选择怎样的计划方案才能提高产值和利润；原料配比问题中，怎样确定各种成分的比例，才能提高质量，降低成本；城建规划中，怎样安排工厂、机关、学校、商店、医院、住户和其他单位的合理布局，才能方便群众，有利于城市各行各业的发展；农田规划中，怎样安排各种农作物的合理布局，才能保持高产稳产，发挥地区优势；军事指挥中，怎样确定最佳作战方案，才能有效地消灭敌人，保存自己，有利于战争的全局；在人类活动的各个领域中，诸如此类，不胜枚举。
最优化这一数学分支，正是为这些问题的解决，提供理论基础和求解方法，它是一门应用广泛、实用性强的学科。
1.2优化的问题的基本概念工程设计问题一般都可以用数学模型来描述，即转化为数学模型。
优化设计的数学模型通常包括设计变量、目标函数和约束条件。
三个基本要素。
设计变量的个数决定了设计空间的维数。
确定设计变量的原则是：在满足设计基本要求的前提下，将那些对设计目标影响交大的而参数选为设计变量，而将那些对设计目标影响不大的参数作为设计变量，并根据具体情况，赋以定值，以减少设计变量的个数。
用来评价和追求最优化设计方案的函数就称为目标函数，目标函数的一般表达式为f?x??f?x1,x2,?xn?。
优化设计的目的，就是要求所选择的设计变量使目标函数达到最佳值。
所谓最佳值就是极大值或极小值。
在设计空间中，虽然有无数个设计点，即可能的设计方案，但是一般工程实际问题对设计变量的取值总是有一些限制的，这些限制条件显然是设计变量的函数，一般称之为优化设计问题的约束条件或约束函数。
最优化原理复习知识点
最优化原理复习知识点最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。
1.可微的定义设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，且D X ∈0。
若存在n 维向量L ，对于任意n 维向量P ，都有0)()(lim 000=--+→PP L X f P X f T P 则称)(X f 在0X 处可微。
设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，若存在D X ∈*及实数0>δ，使得)(),(**X X D X N X ≠?∈?δ都有)()(*X f X f ≤，则称*X 为)(X f 的局部极小点；若)()(*X f X f <，则称*X 为)(X f 的严格局部极小点。
若D X ∈?，都有)()(*X f X f ≤，则称*X 为)(X f 的全局极小点，若)()(*X f X f <，则称*X 为)(X f 的全局严格极小点。
凸集：设n R D ?，若对所有的D X X ∈21、，及]1,0[∈α，都有D X X ∈-+21)1(αα，则称D 为凸集。
凸函数：设1:R R D f n →?，D 是凸集，如果对于所有的D X X ∈21、，及]1,0[∈α，都有)()1()(])1([2121X f X f X X f αααα-+≤-+，则称)(X f 为D 上的凸函数。
局部极小点的判别：设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，具有连续的二阶偏导数。
若*X 是)(X f 的驻点，且)(*2X f ?是正定矩阵，则*X 是)(X f 的严格局部极小点。
物理意义基本思想就是在设计空间内选定一个初始点k X ，从该点出发，按照某一方向k S （该方向的确定原则是使函数值下降）前进一定的步长k α，得到一个使目标函数值有所下降的新设计点1+k X ，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点*X 。
最优化复习重点
1/ 2 0 ∴ ∇ f (x ) = 0 1/ 8
2 1 −1
∴ x 2 = x 1 − ∇ 2 f ( x 1 )−1 ∇f ( x 1 ) = [0,0]T
条件。 例 3 试写出下述问题的 K − T 条件。 min
2 2 f ( x ) = 3 x1 − 3 x1 x 2 + 2 x 2 2 2 x1 − 2 x1 + 2 x 2 + x 2 ≤ 3 2 s . t . x1 + 2 x 2 = 4 x 2 + 2 x2 ≥ 0
解：
1 T （1）基变量为 x 2 , x4 , x5 ，基本可行解为 x = ( 。 （2）因为变量 x1 的检验数 σ 1 = 2 > 0 ，所以不是最优单纯 ） 型表。 型表。
x1 − 2 2 2 2 x 2 x 3 x4 x5 0 2 1 0
障碍函数
ϕ ( x , µ ) = ( x1 − 2 x2 ) + 2 x2 + u
2
1
2 2 x2 + 6 − 3 x1
或
2 ϕ ( x , µ ) = ( x1 − 2 x2 )2 + 2 x2 − u ln( 2 x2 + 6 − 3 x1 )
将下面的线性规划问题化为标准型。 例5 将下面的线性规划问题化为标准型。
min z = 2 x1 + x 2 − 3 x 3 x1 + x 2 − 2 x 3 ≤ 4 2 x1 − x 3 ≥ 2 s .t . 2 x2 + x3 ≤ 5 x 1 , x 2 ≥ 0 , x 3 无无无 解： 令 x 3 = x 4 − x 5 . max z = −2 x1 − x2 + 3 x4 − 3 x5 x1 + x 2 − 2 x4 + 2 x5 + x6 = 4 2x − x + x − x = 2 1 4 5 7 s .t . 2 x 2 + x4 − x5 + x8 = 5 x1 , x 2 , x4 , x5 , x6 , x7 , x8 ≥ 0
最优化理论与方法复习要求2021
最优化理论与方法复习要求2021《最优化理论与方法》复习内容要求和题型一、复习内容要求1、最佳化问题及其分类，最优求解的有关概念，最佳化问题的算法的通常运算格式及其收敛性和暂停准则。
2、建立一个实际最优化问题的数学模型的思想和方法，包括线性规划、非线性规划、动态规划及多目标规划模型。
3、掌控单纯形法的理论依据、基本思想和最优性检验定理，娴熟用大m法和两阶段解线性规划问题，特别就是结构的新问题与原问题的求解的关系。
4、了解内点法的基本思想，掌握线性规划和0-1规划问题的计算机求解方法。
5、晓得化解特定线性规划问题的数学分析（不含分支定界法、隐枚举法、单上作业法和匈牙利法）的思想方法。
6、了解非线性规划问题及数学模型，了解非线性规划的相关概念及理论，知道非线性规划的最优性条件。
7、掌控一维搜寻的黄金分割法（0.618法）与fibonacci法，晓得二分法，特别注意这些算法的适用于条件。
8、掌握最速下降法、牛顿类算法、fr共轭梯度法的算法步骤，并熟练使用它们求解多维无约束非线性规划，特别注意这些算法的异同点及它们与一维优化的关系。
9、介绍惩罚函数法的算法思想，熟练掌握用内、外点法解多维约束非线性规划问题，特别注意它们的优劣点及适用于条件。
10、了解乘子法的算法思想，熟练掌握乘子法求解多维约束非线性规划问题，特别注意它与惩罚函数法的异同。
11、介绍动态规划的基本概念、最优性原理与基本方程，特别注意动态规划问题与静态规划问题（线性和非线性规划）的优劣及一些静态规划问题如何化成动态规划问题。
12、掌控动态规划的建模步骤，介绍逆发推数学分析和顺发推数学分析的优劣。
13、了解有效解、弱有效解等多目标规划问题的重要概念，注意与单目标规划问题解概念的区别。
14、掌控多目标规划的几种评价函数法：理想点法、线性平均值法和很大极小法，介绍分层排序法解层次多目标规划的解思路，可以用这种方法求解直观的层次多目标问题。
15、掌控多目标规划计算机解方法。
最优化原理和方法(试题+答案)
《最优化原理与算法》试卷（第一套）刘迟
一、填空题（每小题5分）
1.若()()⎪⎪⎭
⎫ ⎝⎛+⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛=212121312112)(x x x x x x x f ，则=∇)(x f ，=∇)(2x f .
2.设f 连续可微且0)(≠∇x f ，若向量d 满足 ，则它是f 在x 处的一个下降方向。
4. 设R R f n →:二次可微，则f 在x 处的牛顿方向为 .
5.举出一个具有二次终止性的无约束二次规划算法： .
参考答案
一、填空题
1. ⎪⎪⎭⎫ ⎝⎛++++3421242121x x x x ⎪⎪⎭
⎫ ⎝⎛4224 2. 0)(<∇d x f T
4. )()(1
2x f x f ∇∇--
5. 牛顿法、修正牛顿法等（写出一个即可）
第二套 叶正亮
1.拟牛顿法主要是为了解决牛顿法的什么不足？（3点即可）
A ，每次迭代不能保证下降，b ，起始点要求严格c ，迭代求不出方向d ，构造困难，计算复杂
2.求解多目标最优化问题的评价函数法包括（线性加权法，极大极小法，乘除法，理想点发，平方和加权法）
3.设{X k
}为由，求解D x →min f （x ）的算法A 产生的迭代序列，假设算法A 为下降算法，则对}3,2,1,0{ ，∈∀k ，恒有（ )1()(k k X f X f ≤+ ）。
最优化原理复习纲要
复习第一章 绪论一. 基本概念二. 知识点局部极小点、全局极小点、凸集、极点、极方向、凸函数Farkas Gordan 图解法、点与闭凸集的分离定理、引理、择一定理、凸函数的一阶、二阶充要条件.第四章 无约束最优化问题的一般结构方向导数、一维搜索、局部收敛与全局收敛、收敛速率、算法的二次终止性一. 基本概念4.1.4.一阶必要条件、二阶必要条件、二阶充分条件、定理、最速下降算法二. 知识点精确一维搜索、非精确一维搜索、单峰函数黄金分割法.第五章 一维搜索一. 基本概念二. 知识点共轭方向Newton Newton 方程、法算法、共轭梯度法、拟牛顿法的基本性质第六章 使用导数的最优化方法一. 基本概念二. 知识点KKT Lagrangian 下降方向、可行方向、凸规划、有效约束(起作用约束)、点、函数第八章 约束问题的最优性条件一. 基本概念二. 知识点KKT 一阶必要条件（条件）、二阶必要条件、二阶充分条件第十章 可行方向法知识点:Zoutendijk可行方向法、投影阵及其基本性质(外)罚函数、(内)罚函数、第十一章 乘子法一. 基本概念二. 知识点()(外)罚函数算法、内罚函数算法、罚函数法相关理论结果{}{}{}1111(1)(;)(;)(;);(2)()()();(3)()()().k k k k k k k k k k k k P x P xP x S x S xS x f x f x f x σσσ++++≤≥≤，即序列非减，即序列非增，即序列非减111100,min{(;}.)k k k k k k x xP x σσσσσ+++<<设和分别为取罚参数及时无约束问题的全局最优解，则下列不等式成立：。
最优化原理知识点
1.优化设计数学模型的三要素是什么？试写出其数学表达式。
2.常用的迭代终止准则有哪些？(1)点距准则 ||Xk+1-Xk||≤ε(2)值差准则 |f(Xk+1)-f(Xk)|≤ε(3)梯度准则 ||▽ f(Xk+1) ||≤ε3.设计的变量和设计空间的关系是什么？由n个设计变量x1,x2,…xn为坐标所组成的实空间称作设计空间。
4.梯度和方向导数的关系是什么？梯度▽ F(X) 是一个向量，梯度方向是函数具有最大变化率的方向（方向导数最大的方向）。
5.如何判断矩阵的正定性？若有HTHX>0，则称矩阵H是正定矩阵；矩阵A正定的条件是A的各阶主子式大于零。
6.为什么说正定二次函数在最优化理论中具有特殊意义？因为许多最优化理论和最优化方法都是根据正定二次函数提出并加以证明的,而且所有对正定二次函数适用并有效的最优化算法,经证明,对一般非线性函数也是适用和有效的。
7.什么是库恩-塔克条件？其几何意义又是什么？等式约束：不等式约束：8.为什么二次插值法的收敛速度要比黄金分割法快？而在相同τ下的实际精度没有黄金分割法高？9.试写出梯度法（最速下降法）的迭代算法公式，并简要叙述该算法的特点。
公式：方法特点：1）初始点可任选，每次迭代计算量小，存储量少，程序简短。
即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点；2）任意相邻两点的搜索方向是正交的，它的迭代路径为绕道逼近极小点。
当迭代点接近极小点时，步长变得很小，越走越慢。
梯度法只具有线性收敛速度。
10.梯度法计算速度慢的原因是什么？为什么一些好的算法第一步迭代都以负梯度作为搜索方向？在迭代点向函数极小点靠近的过程，走的是曲折的路线，形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。
11.牛顿方向如何得到？有何优点？12.共轭方向如何产生？有何优点？13.线性规划的基本解、基本可行解和最优解之间有什么关系？14.在解的转换中，如何保证目标函数值不仅下降，而且下降的最多？15.非线性约束最优化问题的求解方法有哪两类？各有什么特点？16.约束优化方法中的可行方向法产生可行方向应满足什么条件？试用文字描述并用公式表达。
《最优化方法》课程复习考试
《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
最优化原理与方法
1.2 经典极值问题
在微积分中函数的极值问题就是最简单的最优化问题。 例 1 ：对边长为 a 的正方形铁板，在四个角处剪去相等的正方形以制成方形无盖水
槽，问如何剪法使水槽的容积最大？ 解： x
f ( x) (a 2 * x) 2 * x f ( x) 2 * (a 2 * x) * (2) * x (a 2 * x) 2 (a 2 * x)(a(6 * x) 0
2h 4r 2rh 0 2r r 2 0 r 2 h 4 3 0
2 3
解得： r 3
, h 23
2 3
此时圆柱体的表面积是 6 2 3 3
2
以上都是微积分中典型的求极值问题。二次大战前，人们把优化狭隘地理解为，取 导数求极值，但是有些函数难以求导，或根本不可能求导，但又明显地具有极大值或极 小值，所以这种古典的极值理论或古典微分法就无能为力了。二次大战时，由于军事业 的需要，产生了运筹学，从而产生了解决多变量大型问题的新的最优化理论和方法，我 们把它称为近代最优化理论与方法，与此相对，我们把古典的极值理论或古典微分法就 称为经典最优化理论与方法。 二者之间的差别在于： 函数是否可微 变量个数的多少 带不带约束方程，特别是带不带不等式约束方程。 最优化是一门崭新的学科，有关的理论和方法还很不完善，有许多问题有待解决， 目前正处于迅速发展之中。
或 r 2h
4 3
h
0
这是一个具有约束条件的二个变量(r,H)的非线性最优化问题。 该问题可用拉格朗日乘子法求解。 首先构造 Lagrange 函数
L(r, h, ) 2rh 2r 2 (r 2 h 4 3)
分别对 r,h,λ求偏导数，并令其等于零。
《最优化方法》复习题(含答案)
附录5 《最优化方法》复习题1、设n n A R ⨯∈是对称矩阵，,n b R c R ∈∈，求1()2TT f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵．解 2(),()f x Ax b f x A ∇=+∇=．2、设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ϕ''． 解 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令()()()()()T TT Tdd f x f x H I d f x f x f x ∇∇=--∇∇∇， 其中I 为单位矩阵，证明方向()p H f x =-∇也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ∇<，从而()()()T T f x p f x H f x ∇=-∇∇()()()()()()()()T TTT T dd f x f x f x I f x d f x f x f x ∇∇=-∇--∇∇∇∇()()()0T T f x f x f x d =-∇∇+∇<，所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ⊆是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ∀≥∀∈的一切凸组合都属于S ．证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令11k i i i x x λ+==∑，其中,0,1,2,,1i i x S i k λ∈≥=+，且111k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈，结论成立），记111kii i k y x λλ=+=-∑，有111(1)k k k x y x λλ+++=-+，又1110,1,2,,,111kiii k k i k λλλλ=++≥==--∑，则由归纳假设知，y S ∈，而1k x S +∈，且S 是凸集，故x S ∈．5、设n R S ⊆为非空开凸集，R S f →:在S 上可微，证明：f 为S 上的凸函数的充要条件是2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．证明 必要性．设f 是S 上的凸函数，则12,x x S ∀∈及(0,1)λ∈，有2121((1))()(1)()f x x f x f x λλλλ+-≤+-，于是121121(())()()()f x x x f x f x f x λλ+--≤-，因S 为开集，f 在S 上可微，故令0λ+→，得12121()()()()T f x x x f x f x ∇-≤-，即2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈．充分性．若有2112112()()()(),,T f x f x f x x x x x S ≥+∇-∀∈， 则[0,1]λ∀∈，取12(1)x x x S λλ=+-∈，从而11()()()()T f x f x f x x x ≥+∇-，22()()()()T f x f x f x x x ≥+∇-，将上述两式分别乘以λ和1λ-后，相加得1212()(1)()()()((1))T f x f x f x f x x x x λλλλ+-≥+∇+--12()((1))f x f x x λλ==+-，所以f 为凸函数．6、证明：凸规划min ()x Sf x ∈的任意局部最优解必是全局最优解．证明 用反证法．设x S ∈为凸规划问题min ()x Sf x ∈的局部最优解，即存在x 的某个δ邻域()N x δ，使()(),()f x f x x N x S δ≤∀∈．若x 不是全局最优解，则存在x S ∈，使()()f x f x <．由于()f x 为S 上的凸函数，因此(0,1)λ∀∈，有((1))()(1)()()f x x f x f x f x λλλλ+-≤+-<．当λ充分接近1时，可使(1)()x x N x S δλλ+-∈，于是()((1))f x f x x λλ≤+-，矛盾．从而x 是全局最优解．7、设n R S ⊆为非空凸集，R S f →:是具有一阶连续偏导数的凸函数，证明：x 是问题min ()x Sf x ∈的最优解的充要条件是：()()0,T f x x x x S ∇-≥∀∈．证明 必要性．若x 为问题min ()x Sf x ∈的最优解．反设存在x S ∈，使得()()0T f x x x ∇-<，则d x x =-是函数()f x 在点x 处的下降方向，这与x 为问题min ()x Sf x ∈的最优解矛盾．故()()0,T f x x x x S ∇-≥∀∈．充分性．若()()0,T f x x x x S ∇-≥∀∈．反设存在x S ∈，使得()()f x f x <．(())()((1))()f x x x f x f x x f x λλλλλ+--+--=()(1)()()()()0((0,1)f x f x f x f x f x λλλλ+--≤=-<∀，因S 为凸集，f 在S 上可微，故令0λ+→，得()()()()0T f x x x f x f x ∇-≤-<，这与已知条件矛盾，故x 是问题min ()x Sf x ∈的最优解．8、设函数()f x 具有二阶连续偏导数，k x 是()f x 的极小点的第k 次近似，利用()f x 在点k x 处的二阶Taylor 展开式推导Newton 法的迭代公式为 211[()]()k k k k x x f x f x -+=-∇∇．证明 由于()f x 具有二阶连续偏导数，故21()()()()()()()()2T T k k k k k k f x x f x f x x x x x f x x x ϕ≈=+∇-+-∇-．且2()k f x ∇是对称矩阵，因此()x ϕ是二次函数．为求()x ϕ的极小点，可令()0x ϕ∇=，即2()()()0k k k f x f x x x ∇+∇-=，若2()k f x ∇正定，则上式解出的()x ϕ的平稳点就是()x ϕ的极小点，以它作为()f x 的极小点的第1k +次近似，记为1k x +，即211[()]()k k k k x x f x f x -+=-∇∇，这就得到了Newton 法的迭代公式.9、叙述常用优化算法的迭代公式．（1）0.618法的迭代公式：(1)(),().k k k k k k k k a b a a b a λτμτ=+--⎧⎨=+-⎩（2）Fibonacci 法的迭代公式：111(),(1,2,,1)()n k kk k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+⎧=+-⎪⎪=-⎨⎪=+-⎪⎩．（3）Newton 一维搜索法的迭代公式： 1()()k k k k t t t t ϕϕ+'=-''． （4）最速下降法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()()()()()T k k k k k Tk k f x f x x x f x f x Q f x +∇∇=-∇∇∇ （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-∇∇． （6）共轭方向法用于问题1min ()2TT f x x Qx b x c =++的迭代公式： 1()T k kk k k Tk kf x d x x d d Qd +∇=-． 10、已知线性规划：123123123123123min ()2;..360,2210,20,,,0.f x x x x s t x x x x x x x x x x x x =-+⎧⎪++≤⎪⎪-+≤⎨⎪+-≤⎪⎪≥⎩（1）用单纯形法求解该线性规划问题的最优解和最优值； （2）写出线性规划的对偶问题； （3）求解对偶问题的最优解和最优值．解 （1）引进变量456,,x x x ，将给定的线性规划问题化为标准形式：123123412351236126min ()2;..360,2210,20,,,,0.f x x x x s t x x x x x x x x x x x x x x x =-+⎧⎪+++=⎪⎪-++=⎨⎪+-+=⎪⎪≥⎩所给问题的最优解为(0,20,0)T x =，最优值为20f =-． （2）所给问题的对偶问题为：123123123123123max ()601020;..32,21,21,,,0.g y y y y s t y y y y y y y y y y y y =---⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩（1） （3）将上述问题化成如下等价问题：123123123123123min ()601020;..32,21,21,,,0.h y y y y s t y y y y y y y y y y y y =++⎧⎪---≤⎪⎪-+-≤-⎨⎪--+≤⎪⎪≥⎩引进变量456,,y y y ，将上述问题化为标准形式：123123412351236126min ()601020;..32,21,21,,,,0.h y y y y s t y y y y y y y y y y y y y y y =++⎧⎪---+=⎪⎪-+-+=-⎨⎪--++=⎪⎪≥⎩ （2）问题（2）的最优解为(0,0,1)T y =，最优值为20h =（最小值）． 问题（1）的最优解为(0,0,1)T y =，最优值为20g =-（最大值）．11、用0.618法求解 2min ()(3)t t ϕ=-，要求缩短后的区间长度不超过0.2，初始区间取[0,10]． 解 第一次迭代： 取11[,][0,10],0.2a b ε==． 确定最初试探点11,λμ分别为11110.382() 3.82a b a λ=+-=，11110.618() 6.18a b a μ=+-=．求目标函数值：21()(3.823)0.67ϕλ=-=，21()(6.183)10.11ϕμ=-=． 比较目标函数值：11()()ϕλϕμ<． 比较11 6.1800.2a με-=->=． 第二次迭代：212121210, 6.18, 3.82,()()0.67a a b μμλϕμϕλ========．2222220.382()0.382(6.180) 2.36,()(2.363)0.4a b a λϕλ=+-=-==-=．2222()(), 3.82a ϕλϕμμε<-=>．323232320, 3.82, 2.36,()()0.4a a b μμλϕμϕλ========．2333330.382()0.382(3.820) 1.46,()(1.463) 2.37a b a λϕλ=+-=-==-=．3333()(), 3.82 1.46b ϕλϕμλε>-=->． 第四次迭代：434343431.46, 3.82, 2.36,()()0.4a b b λλμϕλϕμ========．444440.618() 1.460.0.618(3.82 1.46) 2.918,()0.0067a b a μϕμ=+-=+-==． 4444()(), 3.82 2.36b ϕλϕμλε>-=->． 第五次迭代：545454542.36, 3.82, 2.918,()()0.0067a b b λλμϕλϕμ========．555550.618() 3.262,()0.0686a b a μϕμ=+-==． 5555()(), 3.262 2.36a ϕλϕμμε<-=->． 第六次迭代：656565652.36, 3.262, 2.918,()()0.0067a a b μμλϕμϕλ========．666660.382() 2.7045,()0.087a b a λϕλ=+-==．6666()(), 3.262 2.7045b ϕλϕμλε>-=->． 第七次迭代：767676762.7045, 3.262, 2.918,()()0.0067a b b λλμϕλϕμ========．777770.618() 3.049,()0.002a b a μϕμ=+-==． 7777()(),b ϕλϕμλε>->． 第八次迭代：878787872.918, 3.262, 3.049,()()0.002a b b λλμϕλϕμ========．888880.618() 3.131,()0.017a b a μϕμ=+-==． 8888()(),a ϕλϕμμε<->．989899982.918, 3.131, 3.049,()()0.002a a b μμλϕμϕλ========．999990.382() 2.999,()0.000001a b a λϕλ=+-==． 9999()(), 3.049 2.918a ϕλϕμμε<-=-<． 故993.0242x λμ+==．12、用最速下降法求解 22112212min ()2243f x x x x x x x =++--，取(0)(1,1)T x =，迭代两次．解 1212()(224,243)T f x x x x x ∇=+-+-， 将()f x 写成1()2TT f x x Qx b x =+的形式，则224,243Q b -⎛⎫⎛⎫== ⎪ ⎪-⎝⎭⎝⎭． 第一次迭代：(0)(0)(1)(0)(0)(0)(0)()()()()()T T f x f x xxf x f x Q f x ∇∇=-∇∇∇ 0(0,3)1013220131/4(0,3)243⎛⎫ ⎪⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭⎪⎪⎝⎭⎝⎭． 第二次迭代：(1)(1)(2)(1)(1)(1)(1)()()()()()T T f x f x xx f x f x Q f x ∇∇=-∇∇∇ 3/2(3/2,0)13/27/40223/21/401/4(3/2,0)240-⎛⎫- ⎪-⎛⎫⎛⎫⎛⎫⎝⎭=-= ⎪ ⎪ ⎪-⎛⎫⎛⎫⎝⎭⎝⎭⎝⎭- ⎪⎪⎝⎭⎝⎭． 13、用FR 共轭梯度法求解222123123123min ()()()()f x x x x x x x x x x =-++-++++-，取(0)11(,1,)22T x =，迭代两次．若给定0.01,ε=判定是否还需进行迭代计算． 解 222123121323()3()2()f x x x x x x x x x x =++-++，再写成1()2T f x x Gx =，622262226G --⎛⎫⎪=-- ⎪ ⎪--⎝⎭，()f x Gx ∇=．第一次迭代：(0)()(0,4,0)T f x ∇=，令(0)0()(0,4,0)T d f x =-∇=-，从(0)x 出发，沿0d 进行一维搜索，即求(0)200min ()21648f x d λλλλ≥+=-+的最优解，得(1)(0)0001/6,(1/2,1/3,1/2)T x x d λλ==+=．第一次迭代：(1)()(4/3,0,4/3)T f x ∇=．2(1)02(0)()29()f x f x α∇==∇， (1)100()(4/3,8/9,4/3)T d f x d α=-∇+=---．从(1)x 出发，沿1d 进行一维搜索，即求(1)10142362214181418min ()(,,)262233923392261423f x d λλλλλλλλ≥⎛⎫- ⎪--⎛⎫ ⎪⎪⎪+=------ ⎪ ⎪ ⎪-- ⎪⎝⎭ ⎪- ⎪⎝⎭的最优解，得(2)(1)1111/24/333,1/38/9(0,0,0)881/24/3T x x d λλ-⎛⎫⎛⎫ ⎪ ⎪==+=+-= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭．此时(2)(2)()(0,0,0),()00.01T f x f x ε∇=∇=<=．得问题的最优解为(0,0,0)T x =，无需再进行迭代计算．14、用坐标轮换法求解 2212112min ()242f x x x x x x =+--，取(0)(1,1)T x =，迭代一步．解 从点(0)(1,1)T x =出发，沿1(1,0)T e =进行一维搜索， 即求(0)210min ()43f x e λλλλ≥+=--的最优解，得(1)(0)0012,(3,1)T x x e λλ==+=．再从点(1)x 出发，沿2(0,1)T e =进行一维搜索， 即求(1)220min ()227f x e λλλλ≥+=--的最优解，得(2)(1)1121/2,(3,3/2)T x x e λλ==+=．15、用Powell 法求解2212112min ()3f x x x x x x =+--，取(0)(0,0)T x =，初始搜索方向组01(0,1),(1,0)T T d d ==，给定允许误差0.1ε=（迭代两次）． 解 第一次迭代：令(0)(0)(0,0)T y x ==，从点(0)y 出发沿0d 进行一维搜索，易得(1)(0)0000,(0,0)T y y d λλ==+=；接着从点(1)y 出发沿1d 进行一维搜索，得(2)(1)11133,(,0)22T y y d λλ==+=由此有加速方向 (2)(0)23(,0)2T d y y =-=．因为23/2d ε=>，所以要确定调整方向．由于 (0)(1)(2)9()0,()0,()4f y f y f y ===-，按（8.4.17）式有(1)(2)()(1)()()max{()()|0,1}j j f y f y f y f y j +-=-=，因此1m =，并且()(1)(1)(2)9()()()()4m m f y f y f y f y +-=-=． 又因(2)(0)(2)0f y y -=，故（8.4.18）式不成立．于是，不调整搜索方向组，并令(1)(2)3(,0)2T x y ==．第二次迭代：取(0)(1)3(,0)2T y x ==，从点(0)y 出发沿0d 作一维搜索，得(1)(0)000333,(,)424T y y d λλ==+=．接着从点(1)y 出发沿方向1d 作一维搜索，得(2)(1)1113153,(,)884Ty y d λλ==+=． 由此有加速方向(2)(0)233(,)84T d y y =-=．因为2d ε=>，所以要确定调整方向．因(0)(1)(2)945189(),(),()41664f y f y f y =-=-=-， 故按（8.4.17）式易知0m =，并且()(1)(0)(1)9()()()()16m m f y f y f y f y +-=-=． 由于(2)(0)45(2)16f y y -=-， 因此（8.4.18）式成立。
最优化原理与算法教学大纲
最优化原理与算法教学大纲第一章：优化原理
1.1优化原理概述
1.1.1优化原理的定义
1.1.2优化原理的基本思想
1.2无约束最优化原理
1.2.1无约束最优化的定义
1.2.2无约束最优化的基本原理
1.2.3无约束最优化的类型
1.3约束最优化原理
1.3.1约束最优化的定义
1.3.2约束最优化的基本原理
1.3.3约束最优化的类型
第二章：优化算法
2.1优化算法概述
2.1.1优化算法的定义
2.1.2优化算法的基本思想
2.2无约束最优化算法
2.2.1梯度下降法
2.2.2随机梯度下降法
2.2.3拟牛顿法
2.2.4动量法
2.2.5随机加权平均法
2.2.6贪心法
2.3约束最优化算法
2.3.1最小二乘法
2.3.2拉格朗日乘数法
2.3.3拉格朗日对偶形式法2.3.4快速拉格朗日方法
2.3.5牛顿法
2.3.6半牛顿法
第三章：优化算法实例分析3.1多元线性回归最小二乘法3.1.1线性拟合
3.1.2最小二乘法
3.1.3精确解求解
3.2线性规划牛顿法
3.2.1线性规划模型
3.2.2从拉格朗日函数构造出对偶形式3.2.3拉格朗日乘数法分析及牛顿法求解3.3梯度下降法
3.3.1梯度下降法概述
3.3.2单次梯度下降法分析
3.3.3批梯度下降法分析。
最优化原理与方法博弈的七个维度
最优化原理与方法博弈的七个维度
1. 目标函数：最优化原理和方法博弈都关注如何在一个预设的目标函数下寻求最好的结果。
2. 约束条件：优化问题和博弈问题都要考虑对预设条件的限制，比如时间、资源和技能等。
3. 参与者：博弈问题必须考虑在其中参与的人或团体，同时最优化问题也可能会受到参与者的影响。
4. 信息量：在博弈问题中，双方对对方的信息量会有很大的影响；在最优化问题中，需要从局部和全局两个层面收集和分析信息。
5. 多样性：在博弈问题中，参与者的多样性是一个重要因素；在最优化问题中，多样性的考虑可以帮助我们寻找最优解而不是受限于一个方面。
6. 主观性：博弈问题和最优化问题都能受到主观因素的影响，例如某些参与者可能会更偏向某个方案，或者某些因素可能会被高估或低估。
7. 时间尺度：博弈问题和最优化问题都能受到时间尺度的影响，比如在长期和短期内，某些方案可能更优。
优化原理与方法_复习提纲
《优化原理与方法》复习提纲
一、平时布置的作业及课本中的例题
二、基本概念
1.优化数学模型，三要素、设计空间、可行域，凸集、凸函数、凸规划的定
义、判别及性质；
2.无约束与有约束优化问题的最优性条件；局部、全局最优点判别；
3.优化迭代收敛速度、收敛阶概念，主要无约束优化算法的收敛阶、二次截
至性；
4.各线性规划、非线性规划算法的基本思想、主要特点、适用条件和迭代步
骤；
5.多目标优化的像空间、可达域、有效解，主要的多目标优化方法；
6.动态规划建模条件、贝尔曼最优性原理、逆序递推法；
7.遗传算法的基本思想，编码与解码，选择、交叉和变异等基本算子；
8.蚁群算法和粒子群算法的基本思想及算法特点；
9.人工神经元网络中输入层、输出层、隐含层概念，神经元基本结构，网络
结构与权重因子拟定、反演分析、训练学习。
最优化方法期末考试复习
最优化理论与方法知识点总结最优化理论与方法知识点总结 (1)一、最优化简介： (2)1.1最优化应用举例 (2)1.2基本概念 (2)1.3向量范数 (3)1.4矩阵范数 (3)1.5极限的定义 (3)1.6方向导数存在性和计算公式 (4)1.7梯度定义 (4)1.8海塞矩阵 (5)1.9泰勒展开式： (5)1.10凸集定义 (5)1.11凸集性质 (5)1.12凸函数定义 (6)1.13凸函数判断 (6)1.14矩阵正定与半正定判断 (6)1.15例题（判断矩阵是否正定） (7)1.16凸优化 (7)二、线性规划 (7)2.1线性规划数学模型的一般形式 (7)2.2解的基本定理 (7)2.3解的分类 (8)2.4图解法 (8)2.5例题（图解法） (8)2.6标准型的化法 (9)2.7例题（化为标准型） (9)2.8单纯形法 (10)2.9例题（单纯形法） (11)三、对偶线性规划 (13)3.1对偶问题 (13)3.2单纯形法解对偶问题 (13)3.3对偶单纯形法求解线性规划问题过程 (14)四、无约束优化 (14)4.1无约束优化概述 (14)4.2搜索区间的确定 (15)4.3区间消去法原理 (16)4.4黄金分割法 (17)4.5插值方法 (17)4.6常见的终止准则 (19)4.7最速下降法 (20)4.8牛顿类方法 (20)4.9例题（牛顿类方法） (21)一、最优化简介：1.1最优化应用举例具有广泛的实用性运输问题，车辆调度，员工安排，空运控制等工程设计，结构设计等资源分配，生产计划等通信：光网络、无线网络，ad hoc等.制造业：钢铁生产，车间调度等医药生产，化工处理等电子工程，集成电路VLSI etc.排版1.2基本概念目标函数和约束函数都是线性的，称之为线性规划问题，而有的模型中含有非线性函数，称之为非线性规划。
在线性与非线性规划中，满足约束条件的点称为可行点，全体可行点组成的集合称为可行集或可行域。
最优化原理与方法课后习题1
第一章、预备知识一、考虑二次函数()2211221223f X x x x x x x =++-+1) 写出它的矩阵—向量形式: ()f X =12TTQx x xb +2) 矩阵Q 是不是奇异的? 3) 证明: f(x)是正定的 4) f(x)是凸的吗? 5) 写出f(x)在点x =()2,1T处的支撑超平面(即切平面)方程解: 1) f(x)=xx x x x x2122212132+-++=⎪⎪⎭⎫ ⎝⎛x x 2121⎪⎪⎭⎫⎝⎛6222⎪⎪⎭⎫ ⎝⎛x x 21+11T-⎛⎫ ⎪⎝⎭⎪⎪⎭⎫ ⎝⎛x x 21 其中 x=⎪⎪⎭⎫ ⎝⎛x x 21 ,Q=⎪⎪⎭⎫ ⎝⎛6222, b=⎪⎪⎭⎫⎝⎛-11 2) 因为Q=⎪⎪⎭⎫ ⎝⎛6222,所以 |Q|=6222=8>0 即可知Q 是非奇异的3) 因为|2|>0, 6222=8>0 ,所以Q 是正定的,故f(x)是正定的4) 因为2()f x ∇=⎪⎪⎭⎫ ⎝⎛6222,所以|)(2x f ∇|=8>0,故推出)(2x f ∇是正定的, 即)(2x f ∇是凸的5) 因为)(x f ∇=2121(2x 2-1,261)x x x T+++,所以)(x f ∇=(5,11)所以 ()f x 在点x 处的切线方程为5(21-x )+11(12-x )=0 二、 求下列函数的梯度问题和Hesse 矩阵 1) ()f x =2x 12+xx x x x 23923121+++x x x 2322+2) ()f x =2212()21n l x x x x ++解: 1) )(x f ∇= (,94321x xx ++ 26321+++xx x, xx 219+))(2x f ∇=⎪⎪⎪⎭⎫ ⎝⎛019161914 2) )(x f ∇=(x x x x xx 112221221+++,x x x x x x112221221+++))(2x f ∇=⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛----------++++++++)()()()(2221212222212142221214222121222222121222212122221212212122x x x x x x x x x x x x x x x x x x x x xx x xx x x x x x x x 三、 设f(x)=xx x x x x x323223322122--+++,取点)1,1,1()1(Tx=.验证d )1(=(1,0,-1)是f(x)在点x )1(处的一个下降方向,并计算min >t f(x )1(+t d)1()证明: )(x f ∇=)124,123,x 2(233221-+-+x x x x T)5,4,2()(1Tx f =∇d )(1x f ∇=(1,0,-1)⎪⎪⎪⎭⎫ ⎝⎛542= -3<0所以d)1(是f(x)在x )1(处的一个下降方向f(x )1(+t d)1()=f((1+t,1,1-t))=433)1(1)1(221(222)1()1+-=----+++-+t t t t t t∇f(x )1(+t d)1()=6t-3=0 所以t=0.5>0所以0min >t f(x )1(+t d)1()=3*0.25-3*0.5+4=3.25四、设,,i i i a b c （j=1,2,….,n ）考虑问题Min f(x)=∑=nj jj xc 1s.t. b nj jjxa =∑=10≥xj(j=1,2,….,n)1) 写出其Kuhn Tuker 条件 2) 证明问题最优值是])([12112∑=nj j j b c a解：1）因),....,1(n j x j = 为目标函数的分母故0>x j所以λ*j （j=1,…,n ）都为0所以Kuhn Tuker 条件为 0)()(=∇+∇x h x f μ即 ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛---x c x c x c n n 2222211 +⎪⎪⎪⎪⎪⎭⎫ ⎝⎛a a a n 21μ=0 2）将ac xjjjμ=代入 h(x)=0 只有一点得221(nj b n j bμ==⇒=∑=故有ac ca x jj nj jjj b∑==1所以最优解是21211()n j j j b a c =⎡⎤⎢⎥⎢⎥⎣⎦∑.五、使用Kuhn Tuker 条件，求问题min f(x)=)2()1(2122--+x xs.t.,021212112≥≥=+=-x x x x x x 的Kuhn Tuker 点，并验证此点为问题的最优解 解：x=(1/2,3/2) 0≠ 故1λ*，λ*2=0 则 0)()()(2211=+∇+∇x x x f h h μμ 即0111142222121=⎪⎪⎭⎫⎝⎛+⎪⎪⎭⎫ ⎝⎛-+⎪⎪⎭⎫ ⎝⎛--μμx x ⇒120,1μμ==-而⎪⎪⎭⎫ ⎝⎛=∇2002)(2x f ()210g x *∇= ()220g x *∇= ()210h x *∇=()220h x *∇=,()()()()()()()22222211221122H x f x g x g x h x h x f x λλμμ***********=∇+∇+∇+∇+∇=∇(){}{}12121213|00|1020,22T T T x y h y h y y y y y y *⎧⎫⎛⎫=∇=∇==-+-=+-==⎨⎬⎪⎝⎭⎩⎭故08)(2>=∇x x f x T ,即其为最优解.第二章、无约束优化问题一、设f(x)为定义在区间[a,b]上的实值函数，x *是问题min{f(x)|a b x ≤≤}的最优解。
最优化理论与方法
最优化理论与方法最优化是指从数量上的角度，以尽量减少成本或增加收益为目标，按照科学的方法和原则，系统地求解给定条件下最好的决策。
其中最优化理论和最优化方法是实现最优化的根本。
1、最优化理论最优化理论是一门广泛的理论，包括最优化的基本原理、最优化目标的定义、最优化参数的表示、最优化的数值模型以及求解最优化模型的方法。
（1）最优化的基本原理：最优化就是找出满足限制条件下最好的解决问题的方法，它是实现经济效益最大化的手段。
因此，最优化的基本原理是：在给定的约束条件下，优化给定的目标函数，寻求其最优解。
（2）最优化目标的定义：最优化目标指的是用以表示被优化的性能的函数，有时只是一个函数，有时可以是多个组合的函数。
例如，机器学习中的损失函数；优化调度中的时间耗费或成本函数等。
（3）最优化参数的表示：最优化参数用于描述优化过程中的自由参数。
它们是寻求最优解的主角，可以有数量上的约束，也可以没有约束。
（4）最优化的数值模型：最优化的数值模型是特定场合下，根据实际问题和最优化原理，把目标函数和约束条件表示为数学模型的过程。
（5）求解最优化模型的方法：求解最优化模型的方法指的是对特定最优化模型求解最优解的方法，主要有迭代法、梯度下降法、拟牛顿法、单纯形法及类比应用等。
2、最优化方法最优化方法是指用数学方法、统计方法、计算机技术等实际工具，在满足给定条件的情况下，尽可能求得最优解的技术，它是实现最优化的有效手段。
常用的最优化方法有线性规划、非线性规划、动态规划、博弈论、贪心法等。
（1）线性规划：线性规划是指在一系列约束条件下，优化一系列线性函数的方法。
它的目标是找到一个可行的决策，使目标函数达到最优值，要求目标函数和约束条件都是线性的。
（2）非线性规划：非线性规划是指在一系列非线性约束条件下，优化非线性函数的方法。
它的特点是目标函数和约束条件可以是非线性的，可以通过分析非线性函数的定义域和最优解，找到最优化解。
（3）动态规划：动态规划是指在一系列约束条件下，优化某一函数的最优解的过程，其特点是无论多少步，最优解都是一致的，具有很强的计算和递推性。
最优化方法复习提纲
解： 惩罚函数
G(x, M) (x1 x2 )2 2x2 M[min{ 2x2 6 x1,0}]2
障碍函数
(x, )
( x1
x2
)2
2x2
u
2x2
1 6
x1
或
(x, ) (x1 x2 )2 2x2 uln(2x2 6 x1)
用内点法求解上例：
(x, ) (x1 x2 )2 2x2 uln(2x2 6 x1)
的最优解; 非线性最小二乘算法迭代公式.
8. 最优性条件： K-T条件. 9. 惩罚函数法： 外点法惩罚函数的构造，内点法
障碍函数的构造，内、外点法计算。
10. 线性规划： 建立线性规划模型，化标准型，基 本可行解的计算，单纯型算法计算.
11. 可行方向法：Zoutendijk可行方向法的算法分析。
0
2
0 1
0
2x2 0
1,2 0
(2,0)T 是 可 行 点 ， 代 入K T条 件 得
1 0
12 6
1
4
2
0
1
0
解得 12, 2 42, 所以(2,0)T 是K T点。
例4. 试 分 别 写 出 下 述 问 题惩的罚 函 数 及 障 碍 函 数 。 m in f ( x) ( x1 x2 )2 2x2 s.t. x1 2x2 6
记 ( ) f ( x1 d 1 ) (1 2 )2 4(1 8 )2
令 '() 4(1 2) 64(1 8) 0
17
1 130
x2
x1
1d 1
48 65
,
3T 65
例 2. 试用牛顿法解下述问题 min f ( x) x12 4x22
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最优化原理与方法复习第1章最优化问题的基本概念§最优化的概念最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。
§最优化问题的数学模型 1.最优化问题的一般形式?findx1,x2,?,xn?minf(x,x,?,x)?12 n? (x,x,?,x)?0u?1,2,?,pu12n??hv(x1,x2,?,xn)? 0v?1,2,?,q? 2.最优化问题的向量表达式?findX?minf(X)?? (X)?0??H(X)?0?式中：X?[x1,x2,?,xn]T G(X)?[g1(X),g2(X),?,gp(X)]TH(X)?[h1(X),h2(X),?,hp(X)]T 3.优化模型的三要素设计变量、约束条件、目标函数称为优化设计的三要素！设计空间：设计变量所确定的空间。
设计空间中的每一个点都代表一个设计方案。
§优化问题的分类按照优化模型中三要素的不同表现形式，优化问题有多种分类方法：1按照模型中是否存在约束条件，分为约束优化和无约束优化问题2按照目标函数和约束条件的性质分为线性优化和非线性优化问题3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章最优化问题的数学基础§n元函数的可微性与梯度一、可微与梯度的定义1.可微的定义设f(X)是定义在n维空间Rn的子集D上的n元实值函数，且X0?D。
若存在n维向量L，对于任意n维向量P，都有f(X0?P)?f(X0)?LTPlim?0 P?0P则称f(X)在X0处可微。
2.梯度设有函数F(X)，X?[x1,x2,?,xn]T，在其定义域内连续可导。
我们把F(X)在定义域内某点X处的所有一阶偏导数构成的列向量，定义为F(X)在点X处的梯度。
记为：??F?F?F?k?F(X)??,,?,? ?x ?x?x2n??1T梯度有3个性质：⑴函数在某点的梯度方向为函数过该点的等值线的法线方向；⑵函数值沿梯度方向增加最快，沿负梯度方向下降最快；⑶梯度描述的只是函数某点邻域内的局部信息。
§极小点及其判别条件一、相关概念 1.极小点与最优解设f(X)是定义在n维空间Rn的子集D上的n 元实值函数，若存在X*?D及实数??0，使得?X?N(X*,?)?D(X?X*)都有f(X*)?f(X)，则称X*为f(X)的局部极小点；若f(X*)?f(X)，则称X*为f(X)的严格局部极小点。
若?X?D，都有f(X*)?f(X)，则称X*为f(X)的全局极小点，若f(X*)?f(X)，则称X*为f(X)的全局严格极小点。
?findX?minf(X)?对最优化问题?而言(X)?0??H(X)?0?满足所有约束条件的向量X?[x1,x2,?,xn]T称为上述最优化问题的一个可行解，全体可行解组成的集合称为可行解集。
在可行解集中，满足：f(X*)?minf(X)的解称为优化问题的最优解。
2.凸集和凸函数凸集：设D?Rn，若对所有的X1、X2?D，及??[0,1]，都有?X1?(1??)X2?D，则称D为凸集。
凸函数：设f:D?Rn?R1，D是凸集，如果对于所有的X1、X2?D，及??[0,1]，都有f[?X1?(1??)X2]??f(X1)?(1??)f(X2)，则称f(X)为D上的凸函数。
二、局部极小点的判别条件驻点：设f(X)是定义在n维空间Rn的子集D上的n元实值函数，X*是D的内点，若?f(X*)?0，则称X*为f(X)的驻点。
局部极小点的判别：设f(X)是定义在n维空间Rn的子集D 上的n元实值函数，具有连续的二阶偏导数。
若X*是f(X)的驻点，且?2f(X*)是正定矩阵，则X*是f(X)的严格局部极小点。
三、全局极小点的判别 1.凸规划?minf(X)对于优化问题：? (X)?0i?1,2,?,pi?若f(X)、gi(X)都是凸函数，则称该优化问题为凸规划。
2.全局极小点的判别若优化问题为凸规划，则该优化问题的可行集为凸集，其任何局部最优解都是全局最优解。
第3章无约束优化方法§下降迭代算法及终止准则一、数值优化方法的基本思想?k基本思想就是在设计空间内选定一个初始点X，从该点出发，按照某一方向S前进一定的步长?k，得到一个使目标函数值有所下降的新设计点Xk?1，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点X*。
该思想可用下式表示：Xk?1?Xk??kSk 二、迭代计算的终止准则工程中常用的迭代终止准则有3种：⑴点距准则相邻两次迭代点之间的距离充分小时，迭代终止。
数学表达为：Xk?1?Xk?? ⑵函数下降量准则相邻两次迭代点的函数值之差充分小，迭代终止。
数学表达为：f(Xk?1)?f(Xk)??⑶梯度准则目标函数在迭代点处的梯度模充分小时，迭代终止。
数学表达为：?f(Xk?1)?? 三、算法的收敛速度对于某一确定的下降算法，其优劣如何评价？人们通常采用收敛速度来评价。
下面给出度量收敛速度的几个概念。
阶收敛设序列Xk收敛于解X*，若存在常数P?0及L、k0，使当k?k0时下式：Xk?1?X*?LXk?X* p??成立，则称Xk为P阶收敛。
2.线性收敛设序列Xk收敛于解X*，若存在常数k0、L及??(0,1)，使当k?k0时下式：Xk?1?X*?L?k ????成立，则称Xk 为线性收敛。
3.超线性收敛设序列Xk收敛于解X*，若任给??0都存在k0?0，使当k?k0时下式：Xk?1?X*??Xk?X* ??????成立，则称Xk为超线性收敛。
§一维最优化方法一、确定初始区间的进退法任选一个初始点x0和初始步长h，此可确定两点x1?x0和x2?x1?h，通过比较这两点函数值f(x1)、f(x2)的大小，来决定第三点x3的位置。
比较这三点函数值是否呈“高——低——高”排列特征，若是则找到了单峰区间，否则向前或后退继续寻求下一点。
进退法依据的基本公式：x1?x0 x2?x1?h x3?x2?h 具体步骤为：⑴任意选取初始点x0和恰当的初始步长h；⑵令x1?x0，取x2?x1?h，计算f(x1)、f(x2)；⑶若f(x1)?f(x2)，说明极小点在x2右侧，应加大步长向前搜索。
转⑷；若f(x1)?f(x2)，说明极小点在x1左侧，应以x1点为基准反向小步搜索。
转⑹；⑷大步向前搜索：令h?2h，取x3?x2?h，计算f(x3)；⑸若f(x2)?f(x3)，则f(x1)、f(x2)、f(x3)呈“高——低——高”排列，说明[x1,x3]即为所求的单峰区间；若f(x2)?f(x3)，说明极小点在x3右侧，应加大步长向前搜索。
此时要注意做变换：舍弃原x1点，以原x2点为新的x1点，原x3点为新的x2点。
转⑷，直至出现“高——低——高”排列，则单峰区间可得；⑹反向小步搜索：为了保证x3点计算公式的一致性，做变换：将1原x2点记为新x1点，原x1点记为新x2点，令h??h，取x3?x2?h，转⑸4例：用进退法确定函数f(x)?x2?6x?9的单峰区间[a，b]，设初始点x0?0，h?1。
解：①?x0?0②?x1?x0?0h?1 x2?x1?h?1f(x1)?9f(x2)?4③?f(x1)?f(x2) 说明极小点在x2点右侧，应加大步长向前搜索④令h?2h?2?1?2，取x3?x2?h?1?2?3 则f(x3)?0 ⑤?f(x2)?f(x3) 说明极小点在x3点右侧，应加大步长向前搜索舍弃原x1?0的点，令x1?1x2?3，则f(x1)?4f(x2)?0 令h?2h?2?2?4，取x3?x2?h?3?4?7 则f(x3)?16?f(x2)?0 f(x1)、f(x2)、f(x3)呈“高——低——高”排列?[x1,x3]为单峰区间，即区间[1，7]即为所求二、黄金分割法黄金分割法是基于区间消去思想的一维搜索方法，其搜索过程必须遵循以下的原则：⑴对称取点的原则：即所插入的两点在区间内位置对称；⑵插入点继承的原则：即插入的两点中有一个是上次缩减区间时的插入点；⑶等比收缩的原则：即每一次区间消去后，单峰区间的收缩率?保持不变。
设初始区间为[a，b]，则插入点的计算公式为：x1?a?(b?a) x2?a?(b?a) 黄金分割法的计算步骤如下：①给定初始区间[a，b]和收敛精度?；②给出中间插值点并计算其函数值：x1?a?(b?a)f(x1) x2?a?(b?a)f(x2)；③比较f(x1)、f(x2)，确定保留区间得到新的单峰区间[a，b]；④收敛性判别：计算区间[a，b]长度并与?比较，若b?a??，输出x*?否则转⑤；⑤在保留区间内继承一点、插入一点，转②。
例：使用黄金分割法求解优化问题：minf(x)?x2?2x，?3?x?5解：①x1?a?(b?a)??3??(5?3)?②x2?a?(b?a)??3??(5?3)?(a?b) 2??。
f(x1)? f(x2)? ③∵f(x2)?f(x1) ∴舍弃§牛顿法牛顿法分为基本牛顿法和阻尼牛顿法两种。
对于迭代式Xk?1kkkk?k?X??S，当取??1且搜索方向S??[?2f(Xk)]?1?f(Xk)时构成的寻优算法，称为求解无约束优化问题的基本牛顿法；?kk?1kkk?k为从Xk对于迭代式X?X??S，取搜索方向S??[?2f(Xk)]?1?f(Xk)，出发、沿牛顿方向做一维搜索获得的最优步长，所构成的寻优算法，称为求解无约束优化问题的阻尼牛顿法。
?k搜索方向S??[?2f(Xk)]?1?f(Xk)称为牛顿方向。
这里需要注意的是会求海塞阵的逆矩阵。
§变尺度法我们把具有Xk?1?Xk??kAk?f(Xk)迭代模式的寻优算法称为变尺度法。
其搜索方向表达式为：Sk??Ak?f(Xk)，称为拟牛顿方向，其中Ak称为变尺度矩阵。
在迭代开始的时候，A0?I；随着迭代过程的继续，Ak??[?2f(Xk)]?1?f(Xk)。
因此，变尺度法从梯度法出发，随着迭代过程的继续最终趋向于牛顿法。
§共轭梯度法一、共轭方向的概念设H为对称正定矩阵，若有两个n维向量S1和S2，满足S1T?H?S2?0，则称向量S1与S2关于矩阵H共轭，共轭向量的方向称为共轭方向。
若有一组非零向量S1，S2，?，Sn满足SiT?H?Sj?0(i?j)，则称这组向量关于矩阵H共轭。
对于n元正定二次函数，依次沿着一组共轭方向进行一维搜索，最多n次即可得到极值点。
二、共轭方向的形成对于函数f(X)?f(x1,x2,?,xn)?1TXHX?BTX?C 2沿任意方向S0在设计空间上任意做两条平行线，分别与目标函数等值线切于点X1、X2，令S1?X2?X1，则S0、S1关于矩阵H共轭。