最优化原理与方法复习

最优化原理与方法复习

第1章最优化问题的基本概念§最优化的概念最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。§最优化问题的数学模型 1.最优化问题的一般形式?findx1,x2,?,xn?minf(x,x,?,x)?12 n? (x,x,?,x)?0u?1,2,?,pu12n??hv(x1,x2,?,xn)? 0v?1,2,?,q? 2.最优化问题的向量表达式?findX?minf(X)?? (X)?0??H(X)?0?式中：X?[x1,x2,?,xn]T G(X)?[g1(X),g2(X),?,gp(X)]T

H(X)?[h1(X),h2(X),?,hp(X)]T 3.优化模型的三要素设计变量、约束条件、目标函数称为优化设计的三要素！设计空间：设计变量所确定的空间。设计空间中的每一个点都代表一个设计方

案。§优化问题的分类按照优化模型中三要素的不同表现形式，优化问题有多种分类方法：1按照模型中是否存在约束条件，分为约束优化和无约束优化问题2按照目标函数和约束条件的性质分为线性优化和非线性优化问题3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章最优化问题的数学基础§n元函数的可微性与梯度一、可微与梯度的定义1.可微的定义设f(X)是定义在n维空间Rn的子集D上的n元实值函数，且X0?D。若存在n维向量L，对于任意n维向量P，都有f(X0?P)?f(X0)?LTPlim?0 P?0P则称f(X)在X0处可微。 2.梯度设有函数F(X)，X?[x1,x2,?,xn]T，在其定义域内连续可导。我们把F(X)在定义域内某点X处的所有一阶偏导数构成的列向量，定义为F(X)在点X处的梯度。记

为：??F?F?F?k?F(X)??,,?,? ?x ?x?x2n??1T梯度有3个性质：⑴函数在某点的梯度方向为函数过该点的等值线的法线方向；⑵函数值沿梯度方向增加最快，沿负梯度方向下降最快；⑶梯度描述的只是函数某点邻域内的局部信息。§极小点及其判别条件一、相关概念 1.极小点与最优解设f(X)是定义在n维空间Rn的子集D上的n 元实值函数，若存在X*?D及实数??0，使得?X?N(X*,?)?D(X?X*)都有f(X*)?f(X)，则称X*为f(X)的局部极小点；若f(X*)?f(X)，则称X*为f(X)的严格局部极小点。若?X?D，都有f(X*)?f(X)，则称X*为f(X)的全局极小点，若f(X*)?f(X)，则称X*为f(X)的全局严格极小点。?findX?minf(X)?对最优化问题?而言(X)?0??H(X)?0?满足所有约束条件的向量X?[x1,x2,?,xn]T称为上述最优化问题的一个可行解，全体可行解组成的集合称为可行解集。在可行解集中，满足：

f(X*)?minf(X)的解称为优化问题的最优解。 2.凸集和凸函数凸集：设D?Rn，若对所有的X1、X2?D，及??[0,1]，都有?X1?(1??)X2?D，则称D为凸集。凸函数：设f:D?Rn?R1，D是凸集，如果对于所有的X1、X2?D，及??[0,1]，都有f[?X1?(1??)X2]??f(X1)?(1??)f(X2)，则称f(X)为D上的凸函数。二、局部极小点的判别条件驻点：设f(X)是定义在n维空间Rn的子集D上的n元实值函数，X*是D的内点，若?f(X*)?0，则称X*为f(X)的驻点。局部极小点的判别：设f(X)是定义在n维空间Rn的子集D 上的n元实值函数，具有连续的二阶偏导数。若X*是f(X)的驻点，且?2f(X*)是正定矩阵，则X*是f(X)的严格局部极小点。三、全局极小点的判别 1.凸规划?minf(X)对于优化问题：? (X)?0i?1,2,?,pi?若f(X)、gi(X)都是凸函数，则称该优化问题为凸规划。 2.全局极小点的判别若优化问题为凸规划，则该优化问题的可行集为凸集，其

任何局部最优解都是全局最优解。第3章无约束优化方法§下降迭代算法及终止准则一、数值优化方法的基本思想?k基本思想就是在设计空间内选定一个初始点X，从该点出发，按照某一方向S前进一定的步长?k，得到一个使目标函数值有所下降的新设计点Xk?1，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点X*。该思想可用下式表示：Xk?1?Xk??kSk 二、迭代计算的终止准则工程中常用的迭代终止准则有3种：⑴点距准则相邻两次迭代点之间的距离充分小时，迭代终止。数学表达为：Xk?1?Xk?? ⑵函数下降量准则相邻两次迭代点的函数值之差充分小，迭代终止。数学表达为：f(Xk?1)?f(Xk)??

⑶梯度准则目标函数在迭代点处的梯度模充分小时，迭代终止。数学表达为：?f(Xk?1)?? 三、算法的收敛速度对于某一确定的下降算法，其优劣如何评价？人们通常采用收敛速度来

评价。下面给出度量收敛速度的几个概念。阶收敛设序列Xk收敛于解X*，若存在常数P?0及L、k0，使当k?k0时下式：Xk?1?X*?LXk?X* p??成立，则称Xk为P阶收敛。 2.线性收敛设序列Xk收敛于解X*，若存在常数k0、L及??(0,1)，使当k?k0时下式：Xk?1?X*?L?k ????成立，则称Xk 为线性收敛。3.超线性收敛设序列Xk收敛于解X*，若任给??0都存在k0?0，使当k?k0时下式：Xk?1?X*??Xk?X* ??????成立，则称Xk为超线性收敛。§一维最优化方法一、确定初始区间的进退法任选一个初始点x0和初始步长h，此可确定两点x1?x0和x2?x1?h，通过比较这两点函数值f(x1)、f(x2)的大小，来决定第三点x3的位置。比较这三点函数值是否呈“高——低——高”排列特征，若是则找到了单峰区间，否则向前或后退继续寻求下一点。进退法依据的基本公式：x1?x0 x2?x1?h x3?x2?h 具体

步骤为：⑴任意选取初始点x0和恰当的初始步长h；⑵令x1?x0，取x2?x1?h，计算f(x1)、f(x2)；⑶若f(x1)?f(x2)，说明极小点在x2右侧，应加大步长向前搜索。转⑷；若f(x1)?f(x2)，说明极小点在x1左侧，应以x1点为基准反向小步搜索。转⑹；⑷大步向前搜索：令h?2h，取x3?x2?h，计算f(x3)；⑸若f(x2)?f(x3)，则f(x1)、f(x2)、f(x3)呈“高——低——高”排列，说明[x1,x3]即为所求的单峰区间；若f(x2)?f(x3)，说明极小点在x3右侧，应加大步长向前搜索。此时要注意做变换：舍弃原x1点，以原x2点为新的x1点，原x3点为新的x2点。转⑷，直至出现“高——低——高”排列，则单峰区间可得；⑹反向小步搜索：为了保证x3点计算公式的一致性，做变换：将1原x2点记为新x1点，原x1点记为新x2点，令h??h，取x3?x2?h，转⑸4例：用进退法确定函数f(x)?x2?6x?9的单峰区间[a，b]，设初始点x0?0，h?1。解：