数学规划法

i. 梯度投影法调参的具体过程
iii. 变尺度法
无约束优化的迭代公式为：x (k+1) = x(k)+ (k)H(k)P(k) 对最速下降法H(k)=I，P(k)取负梯度， (k)用一维搜索 对Newton法H(k)=[▽2f(x(k))]-1 ，P(k)取负梯度， (k)=1 最速下降法收敛太慢， Newton法收敛最快，但要计算二
III. 梯度投影法 Gradient projection method
• Rosen 的梯度投影法适用于目标函数为非线性、约束 条件为线性的结构优化设计。
• 一般结构优化设计问题，多取重量为目标函数，它是 设计变量的线性函数，约束条件是应力、位移、稳定， 均为设计变量的非线性函数。
• 如果引入倒数设计变量，并把约束条件经过显式线性 近似处理，则问题正好符合梯度投影法要求。
由此构成三种不同形式的可行方向 法。
II. 最佳矢量法 Optimum vector method
交替使用两种行进方向: 1. 当设计点不在约束边界上时, 采用最速下降法 ( Steepest descent method )或最速上升法 ( Steepest ascent method ) . P ( ) = - f ( X ( ) ) or P ( ) = f ( X ( ) ) X ( +1) = X ( ) - f ( X ( ) ) --- 最速下降 X ( +1) = X ( ) + f ( X ( ) ) --- 最速上升
拟Newton法保留了Newton法的快速收敛性，而又不直接 求二阶导数，受到了人们欢迎。
H(k)的产生采用迭代法逐步构成 先给定H(0)，一般取单位矩阵，则 H(1)= H(0)+E(0), H(2)= H(1)+E(1), H(3)= H(2)+E(2),…… 对于DFP算法
对于BFGS算法
3.4 可行方向法
基本算法：
• 给定初始点x(0)，令k=0；
• 计算▽f(x(k)) 若▽f(x(k)) ≤ ε成立，则x*=x(k)，停机， 否则转下一步；
• 求P(k) = -[▽2f(x(k))]-1▽f(x(k)) ；
• 调整设计x (k+1) ＝x (k)+ P(k) ，回第(2)步。
Newton法为二阶收敛，收敛较快是它最大优点，另外 Newton法与变量尺度无关，如果函数本身为二次函 数，则只要一次迭代即求得最优解。但Newton法对 初始点要求较高，一定要在很靠近最优点附近选取 最优点。同时Newton法要求二阶导数矩阵，工作量 较大，且要求该矩阵的逆，这就要求▽2f(x(k))是非奇 异的
I. 概述
结构优化的一般数学规划表达式： 寻找一组设计变量 X = ( X1 , X2, ……, Xn )T min f( X ) X E n s. t. g i (X) 0 i =1, m 设计变量的迭代公式 ----- X ( +1) = X ( ) + P ( ) 从 X ( ) 调参至 X ( +1) , 要求设计点可行, 并且目标函数还要下降, 即满足可用可行性条件: 1. 满足可用性条件 ( Usability condition ) f ( X ( ) )T p ( ) 0 2. 满足可行性条件 ( Feasibility condition ) g i (X ( ) + P ( ) ) 0
3.2 一维搜索方法
一维搜索方法是数学规划方法的一种基本方 法，也是其它优化方法的一种中间手段
i. 0.618法
0.618法的基本思想是通过 取试探点和进行函数值比较， 使包含极小点的搜索区间不 断缩短，从而各点可以看作 为极小点的近似。这类方法 仅需计算函数值，用途广泛， 尤其适用于非光滑函数形式。
或者 g i (X ( ) )T P ( ) 0
• 这两个条件的几何意义是: 目标 函数梯度向量和约束条件梯度向量 与方向向量之间的夹角均大于900. • 根据上述要求, 可以有三条路线 来完成调参:
1. 沿等重线(面)侧移； 2. 沿约束边界侧移－梯度投影 法( Gradient projection method )； 3. 沿可用可行方向 P 侧移－可 行方向法 ( Feasible directional method )。
为二次规划 如果设计变量只允许取整数，则称为整数规划 如果在目标函数和约束函数中包含具有随机性质的参数
则称为随机规划
III. 数学规划问题的求解
对于线性规划问题，单纯形法十分有效 无约束非线性规划问题
不利用梯度的算法：0.618法、单纯形法、Powell法和随机 搜索法 利用梯度的算法：最速下降法、共轭梯度法、牛顿法、拟牛 顿法 有约束非线性规划问题 转化法：内罚函数法、外罚函数法 直接法：可行方向法、最佳矢量法、梯度投影法 序列近似规划法：序列二次规划方法、序列线性规划方法
IV. 无约束优化问题的基本下降算法
原问题：
min f ( x ) x = { x1, x2, x3,……, xn}T (1) 求解其最优化的必要条件：
▽f(x*)=0
(2)
但是式(2)是一个非线性方程组，与求解原问题同样困难。
在数学规划法中，是用迭代下降的算法找到极小值点。 即先假定一个初始设计x(0),然后在第k次迭代 (k=0,1,2,…),用x(k+1)代替x(k)，要求x(k+1)比x(k)更接近最 优解。对于无约束优化问题，也就是要求目标函数有 所下降，即
因此，如果定义一个一元函数φ(): φ()=f(x (k)+ P(k) )
决定(k)方法就是估计φ的极小值，即φ()至少近似满足： φ’()=0
这个方程是一个非线性方程，要用到一维搜索方法才能 确定步长，因此一维搜索对于提高下降算法非常重 要。
一维搜索算法
• 0.618法 • Newton法 • 割线法 • 抛物线法 • 三次插值法
阶导数并要求求逆，工作量大，有时还会碰到不可克 服的困难。
因此人们想若H(k)的选取不需要计算二阶导数矩阵和求逆， 而又能逼近[▽2f(x(k))]-1 ，那么所确定的算法可能会类 似于Newton法收敛很快。基于这种想法，发展了一种 拟Newton法。 H(k)构造方法不同，有不同的拟Newton 法，其中DFP算法就是这类算法中最为著名的。
确定搜索方向的算法
• 最速下降法 • Newton法 • 共轭梯度法 • 拟Newton法（变尺度法） • Powell法
Ｖ. 停止迭代准则
• 梯度的长度已经充分小，即 ｜▽f(x(k))｜≤ ε, ε>0
它意味最优化必要条件已经以足够的精度得到满足。 • 前后两次迭代所得的设计点之间的距离小于指定的小量ε • 前后两次迭代目标函数值下降的相对值已经足够小 • 工程结构优化时常采用固定的迭代次数作为停止迭代准则
ii. 插值法
插值法是一类重要的一维搜索方法。其基本思想是在搜索区间中 不断用低次（通常不超过三次）多项式来近似目标函数，并逐渐 用插值多项式的极小点来逼近一维搜索问题。当函数具体比较好 的解析性质时，插值法比直接方法效果更好。
一点二次插值法（牛顿法）
二点二次插值法I
二点二次插值法II（割线法）
结构优化设计
南京航空航天大学 飞机设计技术研究所
第三章 数学规划法
3.1 数学规划问题的分类及解法
I. 数学规划问题的一般提法是：
寻找一组设计变量变 X = { X1, X2, X3,……, Xn}T 使得 f ( x ) min
s. t. g i ( X ) 0 ge(X)= 0
i = 1,2, ……, m e = 1, 2, ……, n
f(x (k)+ P(k) )- f(x(k))≈ ▽Tf(x(k)) P(k) <0 由于是正标量，所以：
▽Tf(x(k)) P(k) <0 或者 -▽Tf(x(k)) P(k) >0 这说明搜索方向应该和目标函数负梯度方向夹角小于90，这样的方向称之 为下山方向。
基本的下降算法：
1) 令k=0,给定初始解x(0)； 2) *求搜索方向P(k),使▽Tf(x(k)) P(k) <0； 3) *求搜索步长(k)，要求f(x (k)+ (k)P(k) )=min f(x (k)+
讨论：
1) 在前后两次迭代过程中，搜索方向是相互正交的，z 这是因为在一维搜索中x (k+1) ＝x (k)- (k)▽f(x(k))， 而(k) 是由φ’()=0求得，即 φ’() =-▽f(x (k)- (k)▽f(x(k)))▽f(x(k)) =-▽f(x(k))▽f(x(k))=0 由此可见，最速下降法走的是“之”字形
2) 最速下降法是一阶线性收敛，收敛速度较慢。
3) 最速下降法与变量长度有关，即与变量尺度关系很 大。
4) 最速下降法迭代过程简单，不受初始点位置限制。 因此虽然该方法有收敛慢，依赖于变量的尺度等缺 点，但这些缺点往往在最优点附近表现得才明显。
ii. Newton法
• 从Newton法迭代公式的推导过程可知，对任何二次 函数，用Newton法求极小点，只需迭代一次（如果 该二次函数有极小点存在的话）
其中, X ----设计变量 f ( x ) ----目标函数 g i ( X ) 和 g e ( X ) ---- 约束条件
II. 数学规划问题的分类
(1) 按约束的有无，可分为： 无约束最优化问题 有约束最优化问题 准无约束最优化问题
(2) 按目标函数和约束函数是否为线性，可分为：
线性规划 非线性规划 如果目标函数与约束函数都是凸函数，则称为凸规划 如果目标函数是二次函数而约束函数是一次函数，则称
P(k) ) 4) 修改x (k+1) = x(k)+ (k)P(k) 5) 检查收敛原则，不满足时令k=k+1,返回2)；满足则