数学规划法资料

ii. 插值法
插值法是一类重要的一维搜索方法。其基本思想 是在搜索区间中不断用低次（通常不超过三次） 多项式来近似目标函数，并逐渐用插值多项式的 极小点来逼近一维搜索问题。当函数具体比较好 的解析性质时，插值法比直接方法效果更好。
一点二次插值法（牛顿法）
二点二次插值法I
二点二次插值法II（割线法）
一维搜索确定步长
步长(k)的决定方式常常是使目标函数在x (k+1) 点上达到 沿P(k)方向最小，即要求：
f (x ( k ) ( k ) P ( k ) ) min f (x ( k ) P ( k ) )
0
因此，如果定义一个一元函数φ(): φ()=f(x (k)+ P(k) ) 决定(k)方法就是估计φ的极小值，即φ()至少近似满足： φ’()=0 这个方程是一个非线性方程，要用到一维搜索方法才能 确定步长，因此一维搜索对于提高下降算法非常重 要。
不同搜索方法比较
连续性 收敛性 适用范围
最优点在所选 区间中 靠近最优点 靠近最优点 靠近最优点
0.618法
牛顿法
二点二次插值法
0阶
2阶 1阶
0.618
2 1.618
割线法
1阶
1.618
3.3 确定搜索方向的算法

i. 最速下降法
前面已经知道，目标函数沿负梯度方向下降最快，因此 取负梯度方向为搜索方向，即： P(k) = -▽f(x(k)) x (k+1) ＝x (k)- ▽f(x(k)) 基本算法： 给定初始点x(0)，令k=0； 计算▽f(x(k)) 若▽f(x(k)) ≤ ε成立，则x*=x(k)，停机， 否则转下一步； 求P(k) = -▽f(x(k)) ，求 (k)=min f(x (k)- ▽f(x(k)))； 调整设计x (k+1) ＝x (k)- ▽f(x(k))，回第(2)步。
一维搜索算法 0.618法 Newton法 割线法 抛物线法 三次插值法

确定搜索方向的算法 最速下降法 Newton法 共轭梯度法 拟Newton法（变尺度法） Powell法

Ｖ. 停止迭代准则
梯度的长度已经充分小，即 ｜▽f(x(k))｜≤ ε, ε>0 它意味最优化必要条件已经以足够的精度得到满足。 前后两次迭代所得的设计点之间的距离小于指定的小 量ε 前后两次迭代目标函数值下降的相对值已经足够小 工程结构优化时常采用固定的迭代次数作为停止迭代 准则
结构优化设计
南京航空航天大学 飞机设计技术研究所
第三章 数学规划法
3.1 数学规划问题的分类及解法
I. 数学规划问题的一般提法是：
寻找一组设计变量变 X = { X1, X2, X3,……, Xn}T 使得 f ( x ) min s. t. g i ( X ) 0 i = 1,2, ……, m ge(X)= 0 e = 1, 2, ……, n 其中, X ----设计变量 f ( x ) ----目标函数 g i ( X ) 和 g e ( X ) ---- 约束条件

3.2 一维搜索方法
一维搜索方法是数学规划方法的一种基本 方法，也是其它优化方法的一种中间手 段
i. 0.618法
0.618法的基本思想 是通过取试探点和进 行函数值比较，使包 含极小点的搜索区间 不断缩短，从而各点 可以看作为极小点的 近似。这类方法仅需 计算函数值，用途广 泛，尤其适用于非光 滑函数形式。
IV. 无约束优化问题的基本下降算法
原问题： min f ( x ) x = { x1, x2, x3,……, xn}T (1) 求解其最优化的必要条件： ▽f(x*)=0 (2) 但是式(2)是一个非线性方程组，与求解原问题同样困难。 在数学规划法中，是用迭代下降的算法找到极小值点。 即先假定一个初始设计x(0),然后在第k次迭代 (k=0,1,2,…),用x(k+1)代替x(k)，要求x(k+1)比x(k)更接近最 优解。对于无约束优化问题，也就是要求目标函数有 所下降，即 f(x(k+1))< f(x(k))
III. 数学规划问题的求解
对于线性规划问题，单纯形法十分有效 无约束非线性规划问题 不利用梯度的算法：0.618法、单纯形法、Powell法和随机搜 索法 利用梯度的算法：最速下降法、共轭梯度法、牛顿法、拟牛 顿法 有约束非线性规划问题 转化法：内罚函数法、外罚函数法 直接法：可行方向法、最佳矢量法、梯度投影法 序列近似规划法：序列二次规划方法、序列线性规划方法
在数学规划中，一般迭代格式可以写成： x (k+1) = x (k)+ P(k) , --- 步长( Step length )，正标量 P(k) --- 方向向量( Directional vector )
因此目标函数的下降要求可以改写成： f(x (k)+ P(k) )< f(x(k)) 如果函数f(x)在x(k)是一次可微的，则对足够下小的有： f(x (k)+ P(k) )- f(x(k))≈ ▽Tf(x(k)) P(k) <0 由于是正标量，所以： ▽Tf(x(k)) P(k) <0 或者 -▽Tf(x(k)) P(k) >0 这说明搜索方向应该和目标函数负梯度方向夹角小于90， 这样的方向称之为下山方向。
II. 数学规划问题的分类
(1) 按约束的有无，可分为： 无约束最优化问题
有约束最优化问题
准无约束最优化问题
(2) 按目标函数和约束函数是否为线性，可分为：
线性规划
非线性规划 如果目标函数与约束函数都是凸函数，则称为凸规划
如果目标函数是二次函数而约束函数规划 如果在目标函数和约束函数中包含具有随机性质的参数 则称为随机规划
基本的下降算法：
1) 2) 3) 4) 5)
令k=0,给定初始解x(0)； *求搜索方向P(k),使▽Tf(x(k)) P(k) <0； *求搜索步长(k)，要求f(x (k)+ (k)P(k) )=min f(x (k)+ P(k) ) 修改x (k+1) = x(k)+ (k)P(k) 检查收敛原则，不满足时令k=k+1,返回2)；满足则 停机。