优化方法复习word版

第1章 最优化问题的基本概念§1.1最优化的概念最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。

§1.2最优化问题的数学模型1.最优化问题的一般形式⎪⎪⎩⎪⎪⎨⎧===≤q v x x x h p u x x x g t s x x x f x x x find n v n u n n ,,2,10),,,(,,2,10),,,(..),,,(min ,,,21212121 2.最优化问题的向量表达式⎪⎪⎩⎪⎪⎨⎧=≤0)(0)(..)(min X H X G t s X f X find 式中：T n x x x X ],,,[21 =T p X g X g X g X G )](,),(),([)(21 =T p X h X h X h X H )](,),(),([)(21 =3.优化模型的三要素设计变量、约束条件、目标函数称为优化设计的三要素！设计空间：由设计变量所确定的空间。

设计空间中的每一个点都代表一个设计方案。

§1.3优化问题的分类按照优化模型中三要素的不同表现形式，优化问题有多种分类方法：1按照模型中是否存在约束条件，分为约束优化和无约束优化问题2按照目标函数和约束条件的性质分为线性优化和非线性优化问题3按照目标函数个数分为单目标优化和多目标优化问题4按照设计变量的性质不同分为连续变量优化和离散变量优化问题第2章 最优化问题的数学基础§2.1 n 元函数的可微性与梯度一、可微与梯度的定义1.可微的定义设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，且D X ∈0。

若存在n 维向量L ，对于任意n 维向量P ，都有0)()(lim 000=--+→PP L X f P X f T P 则称)(X f 在0X 处可微。

2.梯度设有函数)(X F ，T n x x x X ],,,[21 =，在其定义域内连续可导。

我们把)(X F 在定义域内某点X 处的所有一阶偏导数构成的列向量，定义为)(X F 在点X 处的梯度。

记为：Tn k x F x F x F X F ⎥⎦⎤⎢⎣⎡∂∂∂∂∂∂=∇,,,)(21 梯度有3个性质：⑴函数在某点的梯度方向为函数过该点的等值线的法线方向；⑵函数值沿梯度方向增加最快，沿负梯度方向下降最快；⑶梯度描述的只是函数某点邻域内的局部信息。

§2.2极小点及其判别条件一、相关概念1.极小点与最优解设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，若存在D X ∈*及实数0>δ，使得)(),(**X X D X N X ≠⋂∈∀δ都有)()(*X f X f ≤，则称*X 为)(X f 的局部极小点；若)()(*X f X f <，则称*X 为)(X f 的严格局部极小点。

若D X ∈∀，都有)()(*X f X f ≤，则称*X 为)(X f 的全局极小点，若)()(*X f X f <，则称*X 为)(X f 的全局严格极小点。

对最优化问题⎪⎪⎩⎪⎪⎨⎧=≤0)(0)(..)(min X H X G t s X f X find 而言 满足所有约束条件的向量T n x x x X ],,,[21 =称为上述最优化问题的一个可行解，全体可行解组成的集合称为可行解集。

在可行解集中，满足：)(min )(*X f X f =的解称为优化问题的最优解。

2.凸集和凸函数凸集：设n R D ⊂，若对所有的D X X ∈21、，及]1,0[∈α，都有D X X ∈-+21)1(αα，则称D 为凸集。

凸函数：设1:R R D f n →⊂，D 是凸集，如果对于所有的D X X ∈21、，及]1,0[∈α，都有)()1()(])1([2121X f X f X X f αααα-+≤-+，则称)(X f 为D 上的凸函数。

二、局部极小点的判别条件驻点：设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，*X 是D 的内点，若0)(*=∇X f ，则称*X 为)(X f 的驻点。

局部极小点的判别：设)(X f 是定义在n 维空间n R 的子集D 上的n 元实值函数，具有连续的二阶偏导数。

若*X 是)(X f 的驻点，且)(*2X f ∇是正定矩阵，则*X 是)(X f 的严格局部极小点。

三、全局极小点的判别1.凸规划对于优化问题：⎩⎨⎧=≤pi X g t s X f i ,,2,10)(..)(min 若)(X f 、)(X g i 都是凸函数，则称该优化问题为凸规划。

2.全局极小点的判别若优化问题为凸规划，则该优化问题的可行集为凸集，其任何局部最优解都是全局最优解。

（能否证明）第3章 无约束优化方法§3.1下降迭代算法及终止准则一、数值优化方法的基本思想 基本思想就是在设计空间内选定一个初始点kX ，从该点出发，按照某一方向k S （该方向的确定原则是使函数值下降）前进一定的步长k α，得到一个使目标函数值有所下降的新设计点1+k X ，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点*X 。

该思想可用下式表示：k k k k S X X α+=+1二、迭代计算的终止准则工程中常用的迭代终止准则有3种：⑴点距准则相邻两次迭代点之间的距离充分小时，迭代终止。

数学表达为：ε≤-+k k X X 1⑵函数下降量准则（值差准则）相邻两次迭代点的函数值之差充分小，迭代终止。

数学表达为：ε≤-+)()(1k k X f X f⑶梯度准则目标函数在迭代点处的梯度模充分小时，迭代终止。

数学表达为：ε≤∇+)(1k X f三、算法的收敛速度对于某一确定的下降算法，其优劣如何评价？人们通常采用收敛速度来评价。

下面给出度量收敛速度的几个概念。

1.P 阶收敛设序列{}k X 收敛于解*X ，若存在常数0≥P 及L 、0k ，使当0k k ≥时下式：pk k X X L X X **1-≤-+ 成立，则称{}k X 为P 阶收敛。

2.线性收敛设序列{}k X 收敛于解*X ，若存在常数0k 、L 及)1,0(∈θ，使当0k k ≥时下式：k k L X X θ≤-+*1成立，则称{}k X 为线性收敛。

3.超线性收敛设序列{}k X 收敛于解*X ，若任给0>β都存在00>k ，使当0k k ≥时下式：**1X X X X k k -≤-+β成立，则称{k X 为超线性收敛。

§3.2一维最优化方法一、确定初始区间的进退法任选一个初始点0x 和初始步长h ，由此可确定两点01x x =和h x x +=12，通过比较这两点函数值)(1x f 、)(2x f 的大小，来决定第三点3x 的位置。

比较这三点函数值是否呈“高——低——高”排列特征，若是则找到了单峰区间，否则向前或后退继续寻求下一点。

进退法依据的基本公式：01x x =h x x +=12h x x +=23具体步骤为：⑴任意选取初始点0x 和恰当的初始步长h ；⑵令01x x =，取h x x +=12，计算)(1x f 、)(2x f ；⑶若)()(21x f x f ≥，说明极小点在2x 右侧，应加大步长向前搜索。

转⑷；若)()(21x f x f <，说明极小点在1x 左侧，应以1x 点为基准反向小步搜索。

转⑹； ⑷大步向前搜索：令h h 2⇐，取h x x +=23，计算)(3x f ；⑸若)()(32x f x f <，则)(1x f 、)(2x f 、)(3x f 呈“高——低——高”排列，说明],[31x x 即为所求的单峰区间；若)()(32x f x f ≥，说明极小点在3x 右侧，应加大步长向前搜索。

此时要注意做变换：舍弃原1x 点，以原2x 点为新的1x 点，原3x 点为新的2x 点。

转⑷，直至出现“高——低——高”排列，则单峰区间可得；⑹反向小步搜索（要注意做变换）：为了保证3x 点计算公式的一致性，做变换：将原2x 点记为新1x 点，原1x 点记为新2x 点，令h h 41-⇐，取h x x +=23，转⑸ 例：用进退法确定函数96)(2+-=x x x f 的单峰区间[a ，b ]，设初始点00=x ，1=h 。

解：①100==h x ②4)(9)(10211201===+===∴x f x f h x x x x③)()(21x f x f >说明极小点在2x 点右侧，应加大步长向前搜索④令2122=⨯=⇐h h ，取32123=+=+=h x x 则0)(3=x f⑤)()(32x f x f >说明极小点在3x 点右侧，应加大步长向前搜索舍弃原01=x 的点，令3121==x x ，则0)(4)(21==x f x f令4222=⨯=⇐h h ，取74323=+=+=h x x 则0)(16)(23=>=x f x f)(1x f 、)(2x f 、)(3x f 呈“高——低——高”排列],[31x x ∴为单峰区间，即区间[1，7]即为所求二、黄金分割法黄金分割法是基于区间消去思想的一维搜索方法，其搜索过程必须遵循以下的原则：⑴对称取点的原则：即所插入的两点在区间内位置对称；⑵插入点继承的原则：即插入的两点中有一个是上次缩减区间时的插入点； ⑶等比收缩的原则：即每一次区间消去后，单峰区间的收缩率λ保持不变。

设初始区间为[a ，b]，则插入点的计算公式为：)(382.01a b a x -+=)(618.02a b a x -+=黄金分割法的计算步骤如下：①给定初始区间[a ，b]和收敛精度ε；②给出中间插值点并计算其函数值：)(382.01a b a x -+= )(1x f)(618.02a b a x -+= )(2x f ；③比较)(1x f 、)(2x f ，确定保留区间得到新的单峰区间[a ，b ]；④收敛性判别：计算区间[a ，b ]长度并与ε比较，若ε≤-a b ，输出)(21*b a x +=否则转⑤；⑤在保留区间内继承一点、插入一点，转②。

例：使用黄金分割法求解优化问题：2.0532)(m in 2=≤≤-+=εx x x x f ，。

解：①115.0)(056.0)35(382.03)(382.011==+⨯+-=-+=x f a b a x ②667.7)(944.1)35(618.03)(618.022==+⨯+-=-+=x f a b a x③∵)()(12x f x f > ∴舍弃（1.944，5]，保留[-3，1.944] ε>--)3(944.1；④继承原1x 点，即115.0)(056.022==x f x插入987.0)(111.1)3944.1(382.03)(382.011-=-=+⨯+-=-+=x f a b a x ∵)()(12x f x f > ∴舍弃（0.056，1.944]，保留[-3，0.056] ε>--)3(056.0； 继承原1x 点，即987.0)(111.122-=-=x f x插入306.0)(832.1)3056.0(382.03)(382.011-=-=+⨯+-=-+=x f a b a x ∵)()(12x f x f < ∴保留[-1.832，0.056] ε>--)832.1(056.0；继承原2x 点，即987.0)(111.111-=-=x f x插入888.0)(665.0)832.1056.0(618.0832.122-=-=+⨯+-=x f x ∵)()(12x f x f > ∴保留[-1.832，-0.665]如此迭代，到第8次，保留区为[-1.111,-0.940] ε<=---171.0)111.1(940.0 ∴999.0)(0255.1)940.0111.1(21**-=-=+-⨯=x f x§3.3梯度法一、基本思想对于迭代式kk k k S X X α+=+1，当取搜索方向)(k k X f S -∇= 时构成的寻优算法，称为求解无约束优化问题的梯度法。