零阶和一阶优化算法

本论文中用到的优化方法主要是零阶方法和一阶方法。

1 零阶优化方法（又称子问题逼近方法）该方法仅需要因变量的数值，而不需要其导数信息；因变量（目标函数及状态函数）首先通过最小二乘拟合值近似，而约束极小化问题用罚函数转换成无约束问题，极小化过程在近似的罚函数上进行迭代，直至获得解得收敛。

由于该方法建立在目标函数及状态变量的近似基础上，故需要一定量的初始设计变量数据。

初始数据可根据其它优化工具和方法直接生成，或随机生成。

方法的第一步把极小化约束问题用近似方法描述每一个因变量，即对目标函数，有ˆ()()ff X f X ε=+ 对状态变量，有ˆ()()ˆ()()ˆ()()g hw gX g X h X h X wX w X εεε=+=+=+ 具体的近似形式可取为有变量交叉项的全二次多项式。

如对目标函数， 0ˆn n ni i ij i j i i j f a a x b a x =++∑∑∑ 近似表达的实际形式(即表达式中的系数)随迭代过程而变。

一次迭代过程中，近似表达式中的系数i a ，ij b 由加权最小二乘技术确定。

如对目标函数，最小二乘技术可描述为对其误差范数取极小来获得，即:^2()()()1min ()n j j j j E f f αφ==-∑ 式中，()j φ=与设计变量J 相关的权系数；n α=现行设计集合数 权系数按下述方法之一确定：有较小目标函数的那些设计集合有较高的权系数(基于目标函数)； 接近最佳设计的设计集合有高权值(基于设计变量值)；可行设计集合权值高，而不可行设计集合权值低(基于可行性)；基于上述三类权值的综合：可取所有权值为1，即()1j φ=。

由上式知，需要一定量的设计集合来形成近似，否则需产生随机设计集合，即当2n n α<+时，生成随机设计集合；当2n n α≥+时，计算近似式（n 为设计变量维数）。

b ）极小化问题近似由上述对函数的近似化，约束极小化问题可重写为：^^^1^2^3min ()(1,2,3,...,)()(1,2,3,...,)()(1,2,3,...,)()(1,2,3,...,)i i i i i i i i i i i i f f X x x x i n g X g i m h h X i m w w X w i m αβγγ=≤≤=≤+=-≤=-≤≤+= 零阶方法采用罚函数将上述约束极小化问题转换成无约束优化问题，即 312^^^^01111min (,)[()()()()]m m m n i i k k i i i i i i F X p f f p X x G g H h W w =====++++∑∑∑∑式中，X 为施加设计变量约束的罚函数；G 、H 及W 为状态变量约束的罚函数；0f 为参考目标函数值（为取得一致单位而设）； 0f 为响应面函数(,)k F X p 的响应面参数；F(X, px)称为响应面函数，是随设计变量及响应面参}Cpx 而变化。

每个设计迭代中，采用一种系列无约束极小化技术(SUMT)来计算(,)k F X p 下标k 反映了在子问题求解过程中所实施的子迭代。

于是，为获得精确的收敛结果，响应面参数在数值上是增加的，即123...p p p <<<。

所有罚函数均采用由内伸张型。

如接近设计变量上限时，设计变量罚函数形式取为：1234/()()()/()()i i i i i c c x x x x x x X x c c x x x x x x εε⎧⎫+-<--⎪⎪=⎨⎬+-≥--⎪⎪⎩⎭当当式中，1c 、2c 、3c 及4c 为内部计算常数；ε为极小正数。

状态变量罚函数取类似形式。

如状态变量接近上限时，^^12^^34/()()()/()()i i i i i i i i i i i i i d d w w w w w w W w d d w w w w w w εε⎧⎫+-<--⎪⎪=⎨⎬⎪⎪+-≥--⎩⎭当当式中，1d 、2d 、3d 、4d 为内部计算常数。

采用SUMT 技术使无约束目标函数极小化，当设计迭代翔步时，即得:()()j j X X → ()()j j F F → ()j X对应于()j F 的设计变量列矢。

每一设计迭代中的最终步依据于下一个迭代均j+1中对设计变量列矢的确定。

设计矢量(1)j X +依据下述方程来确定：(1)()()(()j b j b X X c X X +=+- 式中，()b X 为最佳设计集合常值列矢;c 为内部选择参数，从 0.0～1.0变化，依据不可行解的数量而定。

C)收敛性子问题近似迭代直至达到收敛或发生终止。

这两个事件仅发生于当现行的设计集合数等于或超过逼近方程所需的数量时。

当下列情况同时发生时，认为达到收敛:当前设计集合妒)或前一个设计集合()j X 或最佳设计集(1)j X -)都是可行解；下列情况之一发生：()(1)()()()(1)()()1(1,2,3,...,)(1,2,3,...,)j j j b j j i j b i i i f f f f x x i n x x i n ττρρ---≤-≤-≤=-≤=（）（2）（3）（4）式中，τ、i ρ为目标函数及设计变量容差。

条件(1)、(2)对应目标函数的差；条件(3)、(4)对应设计变量差。

若上述四个条件不能实现，则发生下列条件之一时停止迭代：s s n N = s s n N = s n =子问题的迭代数:刀J 户顺序不可行设计集合数； =s N 最大设计迭代数;NS,--Jif}序不可行设计集合的最大数。

一阶优化方法a) 概述该方法计算并利用导数信息进行优化。

约束优化问题通过罚函数转换成无约束优化，对目标函数及状态变量的罚函数计算导数，形成设计空间中的搜索方向。

每个设计迭代中，实施最速下降及对偶方向搜索直至达到收敛。

每次迭代由多个子迭代组成，其中包括搜索方向及梯度计算。

换句话说，一个一阶设计优化迭代将需要几次计算循环。

对比子问题逼近方法，该方法需要更多的计算量而且更精确。

无约束目标函数可写为：31211110(,)()[()()()]m m m n x i g i h i w i i i i i f Q X q P x q P g P h P w f =====++++∑∑∑∑ 式中，Q 为无量纲无约束目标函数；x P 、g P 、h P 、w P 为用于受约束的设计和状态变量的罚函数;0f 为参考目标函数值，从现行设计集合组中选择。

对约束的满足受控于响应面参数q 。

外罚函数x P 用于设计变量，状态约束由扩张型内罚函数凡g P 、h P 、w P 描述。

例如，对由一个上限约束的状态变量，其罚函数写作(以i g 为例)：2()()i g i i i g P g g λα=+ 式中，λ为一较大整数，使得当违反约束时g P 很大，反之则很小。

其余罚函数有类似的形式。

当确定好搜索方向，如果将Q 写成两项之和，可更好地获得计算效益。

为此，定义：0()f f Q X f =及 3121111(,)()[()()()]m m m n p x i g i h i w i i i i i Q X q P x q P g P h P w =====+++∑∑∑∑则 (,)()(,f p Q X q Q X Q X q =+b)搜索方向对于每一个优化迭句，要设计一个搜索方向矢量()i d ，从而确定j+1步迭代的设计变量即为，(1)()(j j i j X X S d +=+搜索参数j S 对应于沿()i d 方向使Q 为最小值，拟合技术的组合来获得。

j S 的解由黄金分割律和一个局部二次j S 的范围限制于：m a x 0100j j S S S *≤≤ 式中，j S 为现行迭代中线性搜索的最大可能步长。

max S 为最大的线性步长(百分数)。

求解Q 最小值的关键在于搜索方向系列的生成以及响应面参数g 的调整： 对于初始迭代勿=0，搜索方向为无约束目标函数的负梯度，即:(0)(0)(0)(,)f p d Q x q d d =-∇=+ 式中q=1，且(0)(0)(0)()()f f p p d Q x d Q x =-∇=-∇及 显然，对初始迭代步搜索方法为最速下降法。

对后继迭代j>0，根据Polak-Ribiere 递推公式生成共扼方向，即：()()(1)1()(1)12(1)(,)[()(,)](,)j j j k j j j Tj j d Q x q r d Q x Q x q r Q x q -----=-∇+∇-∇=∇ 注意:当所有设计变量满足约束，即()0x j P x =，这意味着Q 能够由从p Q 提出因子，并且写作:()()(,)()(1,2,3,...,)j j i p p i i Q x q qQ x x x x i n =≤≤=当 若修正得当，q 能随迭代而变，且不破坏()j d 式的共扼性质，调整q 值提供了对状态变量约束的内部控制。

随着收敛的逼近，有必要的话，可推动约束接近它们的极限值。

一旦方程()j d 分成两个向量之和，这个调整就更为明显，即()()(j j j f p d d d =+ 式中，每一个方向分别有各自的递推关系:()()(11()()(1)1()()j j j f f j f j j j p p j p d Q x r d d Q x r d ----=-∇+=-∇+ 优化算法可能会置1j r -，迫使执行最速下降迭代，此类情况可能遇到属于下述情况之一：检测到病态情况；接近收敛时；临界状态变量满足约束而过于保守 梯度变量使用近似的算法计算，即：()()()()()()j j j i j j Q x x e Q x Q x x x +∆-∂=∂∆式中，1e ⎧=⎨⎩对应分量i 0对应其他分量。