可行方向法梯度投影法
结构设计优化方法简介
结构设计优化方法简介1．简单解法当优化问题的变量较少时，可用下列简单解法。
（1）图解法。
在设计空间中作出可行域和目标函数等值面，再从图形上找出既在可行域内（或其边界内），又使目标函数值最小的设计点的位置。
（2）解析法。
当问题比较简单时，可用解析法求解。
2．准则法准则法是从工程和力学观点出发，提出结构达到优化设计时应满足的某些准则（如同步失效准则、满应力准则、能量准则等），然后用迭代的方法求出满足这些准则的解。
该方法的主要特点是收敛快，重分析次数与设计变量数目无直接关系，计算量不大，但适用有局限性，主要适用于结构布局及几何形状已定的情况。
尽管准则法有它的缺点，但从工程应用的角度来看，它比较方便，习惯上易于接受，优点仍是主要的。
最简单的准则法有同步失效准则法和满应力准则法。
（1）同步失效准则法。
其基本思想可概括为：在荷载作用下，能使所有可能发生的破坏模式同时实现的结构是最优的结构。
同步失效准则设计有许多明显的缺点。
由于要用解析表达式进行代数运算，同步失效设计只能用来处理非常简单的元件优化；当约束数大于设计变量数时，必须设法确定那些破坏模式应当同时发生才给出最优设计，这通常是一件十分困难的工作；当约束数和设计变量数相等时，并不能保证这样求得的解是最优解。
（2）满应力准则法。
该法认为充分发挥材料强度的潜力，可以算是结构优化的一个标志，以杆件满应力作为优化设计的准则。
这一方法在杆件系统如桁架的优化设计中用得较多。
在此基础上又发展了与射线步结合的齿行法以及框架等复杂结构的满应力设计。
3．数学规划法将结构优化问题归纳为一个数学规划问题，然后用数学规划法来求解。
结构优化中常用的数学规划方法是非线性规划，有时也用线性规划，特殊情况可能用到动态规划、几何规划、整数规划或随机规划等。
（1）线性规划。
当目标函数和约束方程都是设计变量的线性函数时，称为线性规划问题。
该类问题的解法比较成熟，其中常用的解法是单纯形法。
（2）非线性规划。
（运筹学与控制论专业优秀论文）一类最优化问题的算法设计
知识水坝为您提供优质论文
承诺书
本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立 进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本 论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明 确方式标明。
本人授权南京航空航天大学可以有权保留送交论文的复印件，允 许论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其他复制手段保存论文。
1.3 本文的主要内容
本文主要研究一类具有特殊形式的最优化问题，求解这一类最优化问题的全 局最优解，并应用到求解互补问题上。虽然目前已经有很多算法，但是我们考虑 到本最优化问题的约束条件是特殊的，因此可以利用约束条件的特殊性构造更为 简单有效的算法。
本文提出了一类新的函数，将它定义为半正定函数。利用这类函数将原问题； 分别转化为无约束最优化和含等式约束的最优化问，并分别设计了算法，进行了 数值实验，验证了算法的有效性。为了给出问题的全局最优解，我们又研究了算 法子问题的全局最优化算法，利用填充函数法来求解子问题。这样就保证了前面 设计的算法可以求得问题的全局最优解。最后，针对约束最优化问题（P），提出 了拟填充函数的概念，构造了一类拟填充函数并设计了算法。具体内容如下：
In this article we propose a new type of function, which is called a semi-positive function. We use this function to make another function, then we can turn the original problem into another one. We give algorithms and numerical results. Then we investigate the sub-problem. Also we propose the definition of quasi-filled function. We propose a quasi-filled function and design algorithm. It mainly contains the following six chapters:
梯度投影法
m
l
∑ ∑ 常用罚函数有 p( x ) = min 2 (0, gi ( x )) + h j 2 ( x ).
i=1
j=1
罚函数法：
Step1 取初始点 x (0) ，初始罚因子 σ 1 > 0 ，增长因子 β > 1 ，允许
则 x* 是（EOP）的严格局部最优解．
例1.3 用K-T法求解最优化问题：
⎪⎧min ⎪⎩⎨ s.t.
f ( x) = x12 − 3 x2 − x22 , h( x) = x2 = 0.
§2 罚函数法
考虑一般约束最优化问题
(GOP )
⎧min f ( x ),
⎪ ⎨s.t.
gi ( x ) ≥ 0, i = 1,2,L , m ,
转Step2．
δ k +1 = βδ k , k = k + 1,
定理3.1 如果（IOP）的最优解存在，{ x (k ) } 是用障碍函数法求解 （IOP）产生的点列，则 { x (k ) } 的任一极限点 x 是（IOP）的最优解．
例3.1 用障碍函数法求解最优化问题：
⎧min ⎨ ⎩ s.t.
例1.1 设有最优化问题：
⎧min ⎪ ⎪ s.t. ⎪⎪ ⎨ ⎪ ⎪ ⎪ ⎪⎩
f ( x) = −3 x12 − x22 − 2 x32 , g1( x) = − x1 + x2 ≥ 0, g2 ( x) = x1 ≥ 0, g3 ( x) = x2 ≥ 0, g4 ( x) = x3 ≥ 0, h1( x) = x12 + x22 + x32 − 3 = 0,
梯度投影法
梯度投影法的基本思想为: 当迭代点在可行域内部时，取该点 处的负梯皮方向为可行下降方向；当迭代点在可行域边界上 时，取该点处负梯度方向在可行域边界上的投影产生一个可行 下降方向(见图9.2.1)．
基本概念 投影矩阵
梯度投影法
为投影矩阵, p 称为 x 在 V 上的投影.
由行满秩矩阵产生投影矩阵 则
VM { x | x M T y, y Rm }, (1) MT的列向量生成的子空间为：
(2) M的零空间为： VN=
(3) VN VM .
基本概念 由行满秩矩阵产生投影矩阵
梯度投影法
幂等对称阵
性质
梯度投影法
基本原理 可行下降方向的构造—定理9.2.2和定理9.2.3
如果M为空，即迭代点在可行域内部时，负梯度方向 为可行下降方向； 如果M非空，即迭代点在某些约束的边界上时，该点处的负梯度 在 M 的零空间上的投影为可行下降方向．
提出问题
梯度投影法
目标函数的最速下降方向是负梯度方向．但是，在有约束 情况下，沿最速下降方向移动可能导致非可行点． 措施：对负梯度进行投影，使得目标函数值不仅改进， 同时又保持迭代点的可行性．
梯度投影法(Gradient Projection Method)
简介
梯度投影法
梯度投影法是1960年由Rosen提出，并由Goldfarb和Lapidus 于1968年加以改进.
基本原理
梯度投影法
定理9.2.3
x是K-T点； 或可以构造新的投影矩阵以便求得可行下降方向．
梯度投影法
基本原理 一维搜索
同Zoutendijk法中的一维搜索，即
算法步骤 Step1 Step2 Step3 Step4 Step5
最优化理论课程教学大纲
《最优化理论》课程教学大纲一、课程基本信息
二、课程目标及对毕业要求指标点的支撑
三、教学内容及进度安排
四、课程考核
五、教材及参考资料
教材：《最优化理论与算法（第2版）》,陈宝林著，清华大学出版社，2005年，ISBN：97873021137680
参考书：
1、《最优化方法》，孙文瑜、徐成贤、朱德通主编，高等教育出版社，2004年第一版,ISBN：9787040143751o
2、《最优化理论与方法》，袁亚湘，孙文瑜著，科技出版社，2010年（第二版），ISBN：9787030054135o
3、《最优化计算方法》，黄正海，苗新河著，科技出版社，2015年（第二版），ISBN：9787030433053o
六、教学条件
本课程属于基础理论与应用型课程，对实验条件要求不是很高。
学校实验大楼拥有的计算机软硬件资源，高性能计算机，投影仪等设备，基本能够完成所需的理论计算任务、数值模拟试验以及程序测试等。
需要使用多媒体教室授课，授课电脑安装了WindoWS7、
OffiCe2010、1ingo11Python>Mat1ab2015>Mathematica11>MathTyPe6.9以上版本的正版软件。
附录：各类考核评分标准表。
《梯度投影法》课件
投影向量的更新
投影向量的更新是梯度投影法中的重要步骤，用 于逐步逼近最优解。
更新投影向量的方法包括梯度下降法、牛顿法等 。
投影向量的更新过程需要满足一定的收敛条件， 以确保算法的收敛性和稳定性。
PART 03
梯度投影法的实现步骤
REPORTING
初始化参数
参数设置
在开始时，需要设定一个初始点，以 及一个初始的投影方向。
。
对大规模问题效率较低
对于大规模优化问题，梯度投影法的 计算复杂度较高，可能需要较长时间
才能得到结果。
未来研究方向与展望
要点一
改进算法
针对梯度投影法的局限性，研究改进算法以提高其性能和 适用范围。
要点二
扩展应用领域
将梯度投影法应用于更多类型的问题，如非线性规划、多 目标优化等。
未来研究方向与展望
《梯度投影法》ppt 课件
REPORTING
• 引言 • 梯度投影法的基本原理 • 梯度投影法的实现步骤 • 梯度投影法的优化策略 • 梯度投影法的应用实例 • 结论与展望
目录
PART 01
引言
REPORTING
梯度投影法的定义
01
梯度投影法是一种优化算法，通过迭代的方式寻找函数的最小 值点。
梯度投影法的优势与局限性
• 稳定性：梯度投影法在迭代过程 中表现出良好的稳定性，不易陷 入局部最优。
梯度投影法的优势与局限性
对初始点敏感
梯度投影法对初始点的选择较为敏感 ，如果初始点选择不当，可能导致算
法收敛到非全局最优解。
对约束条件要求高
该方法要求约束条件严格满足，否则 可能导致算法收敛失败或得到无效解
通用性
梯度投影法适用于各种类 型的函数优化问题，具有 广泛的适用范围。
工程设计优化重点(仅供参考)
根据老师最后一节课画的重点，考试总共有两种题。
一种是道40-50分的答题，另外一种是计算题。
看来看去，总体感受是难题看不会，简单题稍微看一下也不难。
个人觉得对着老师画的重点去看几个例题，过应该是没问题吧。
1.大题（40-50分）
涉及内容：
对综合优化基本思想的认识，铁路的投资模型，铁路的运营模型以及模型的约束条件。
可参考的复习资料：
王柢教授写的书《工程决策中的综合优化-以铁路为例》
老师上课用的ppt
2.具体计算
涉及内容：
最优化问题的求解方法
①用直接搜索法求解无约束非线性函数极值问题
②无约束问题的梯度解法
③罚函数法——将有约束的优化问题化成无约束的优化问题
④有约束最优化问题
可参考的复习资料：
天津大学解可新写的《最优化方法》老师上课的PPT。
feasible direction methods
下降容许方向的进一步确定
- )Td最小的方向 在所有的可行方向中 找一个使得▽f(x
- )Td 意即：min ▽f(x
(即:使得f下降最多)
s.t. A’d≥0 பைடு நூலகம்d=0
(1)求一个下降容许方向就转化为一个子问题的求解，
而这个子问题是一个线性规划问题，可调用单纯形法求解.
(2)这个子问题得到的将是一个无界解,需对这个问题加以
6
知A’d≥0,Cd=0
充分性
- +td) ≥b,E( x 即A( x +td)=e - +td)=e 首先,显然对t>0,E( x 再证A( x +td) ≥b 一方面显然对t>0, A’( x +td) ≥b’ 要证存在一个小正数，对 t(0, ), 使得 x +td仍在可行域内
则非0向量d为从点 x 出发的容许方向的充要条件： A’d≥0,Ed=0 Proof (必要性) 设非0向量d为从点x 出发的容许方向, x +td仍在可行域内,
-
则由容许方向的定义知：存在一个小正数，
对 t(0, ),即A( x +td) ≥b,E( x +td)=e -+td) ≥b’,E( x 即A’( x +td)=e, 但由A’x =b’,E x=e
3
基本迭代格式： (i)从容许点x(0)开始迭代，设已迭带到x(k) (ii)在x(k)处用某种方法确定一个下降容许方向d(k) (iii)在d(k)方向上寻找一个新的迭带点x(k+1)=x(k)+tkd(k), 使得x(k+1)是容许点且f(x(k+1))<f(x(k)) (iv)判断终止？ (v)置k：=k+1，转(ii) 可行方向法就是一种沿着下降容许方向搜索 并保持新的迭带点为容许点的迭代算法。
最优化：可行方向法概要
x是问题(13.1) 的KKT点
由上面的分析, 我们有下列结论：
定理13.1.1 设x D, d是线性规划问题 (13.2)的解 , 则 (1) 若f ( x ) T d 0, 即d 0, 则x是问题 (13.1)的KKT点; (2) 若f ( x )T d 0, 即f ( x )T d 0, 则d是函数 f在可行 点x处的一个下降可行方向 .
情形2 ： i I \ I ( x ), 但a d 0
T i
显然, 对任意的t 0, 我们有 aiT ( x td ) aiT x taiT d bi , i I \ I ( x )
情形3 ： i I \ I ( x ), 但a d 0.
若要使 bi aiT x t , T ai d bi aiT x T t min T i I \ I ( x ), ai d ai d
由定理13.1.1知, 当(13.2)的解d 0时, x不是KKT点, 我们 需计算新的可行点 : x x td D 其中t由线性搜索产生的步长
2.线性搜索—计算步长
为确保 x x td D 关于t的计算, 我们考虑三种情形 :
情形1 ：i I ( x )及 j E ,
min s.t. f ( x ) T d aiT d 0, i I ( x ) aT j d 0, j E || d || 1
(13.2)
确保目标函数有界
约束 || d || 1也可写成如 || d || 1等其它有界形式
设(13.2)的最优解为d , 则f ( x ) d 0.
最优化可行方向法
最优化可行方向法最优化问题是数学中的一类重要问题，目标在于找到使得目标函数取得最大或最小值的变量取值。
可行方向法是一种常用的最优化算法，它通过在每个迭代步骤中确定一个可行方向，并将变量值沿该方向进行调整，逐步逼近最优解。
可行方向法的核心思想是从当前解的邻域中选择一个可以改进目标函数的方向。
具体而言，它通过计算目标函数的梯度（或是次梯度）来确定一个可行方向，并沿该方向对解进行调整。
这个过程可以反复迭代，直到满足终止条件为止。
在可行方向法中，选择合适的可行方向是一个关键问题。
一种常用的方法是梯度下降法，它使用目标函数的梯度方向作为可行方向，以减小目标函数的值。
另一种常用的方法是牛顿法，它使用目标函数的海森矩阵（Hessian Matrix）作为可行方向，以更快地逼近最优解。
可行方向法的具体步骤如下：1.初始化变量的取值。
2.计算目标函数在当前解的梯度或次梯度。
3.判断是否满足终止条件。
如果满足，结束迭代，输出当前解；否则，继续下面的步骤。
5.根据可行方向，计算变量的调整量。
6.更新变量的取值。
7.转到步骤2可行方向法的收敛性分析是一个重要的研究课题。
对于一般的最优化问题，如果目标函数是Lipschitz连续可微的，并且可行解集是非空、有界的，则可行方向法在有限步后可以找到一个近似最优解。
但对于非凸问题或非平滑问题，可行方向法的收敛性可能会有所不同。
除了梯度下降法和牛顿法外，可行方向法还有其他的变种，如共轭梯度法、拟牛顿法等。
这些方法在选择可行方向和调整变量值的方式上有所差别，但其基本思想仍然是寻找使目标函数得以改进的方向。
在实际应用中，可行方向法通常结合其他算法一起使用，以充分发挥各种算法的优势。
例如，可以使用可行方向法寻找一个大致的最优解，然后再使用更精确的算法对该解进行优化。
总之，可行方向法是一种重要的最优化方法，它通过选择合适的可行方向来逼近最优解。
尽管不同的变种方法有所差异，但它们的核心思想都是通过迭代调整变量值来逐步逼近最优解。
第七章 可行方向法
−1 −2 ∴ λmax = min , = 1 −1 −2
进行一维搜索, 进行一维搜索 解
min
0≤ λ ≤1
f ( x 1 + λ d 1 ) = 2λ 2 − 6λ + 6
2 1 1 1
得步 长 λ 1 = 1
1 所以 x = x + λ d = 1 同样,进行第二次迭代 进行第二次迭代: 同样 进行第二次迭代
Cd k = 0 ，即约束条件
C ( x k + td k ) = Cx k + tCd k = Cx k = e
总是成立。 总是成立。
设在点 x k 处有 A1 x k = b1 , A2 x k > b2 , 其中 A A = 1 ,b = A2 b1 b 2
则约束条件 A ( x k + td k ) ≥ b 可以改写为
A1 ( x k + td k ) b1 ≥ k k A2 ( x + td ) b2
因为 A1 x k = b1 , A1 d k ≥ 0 , t ≥ 0，所以不等式约束 A1 ( x k + td k ) ≥ b1自然成立。 自然成立。
( 5 ) 利用（ *）式计算 t max ，求解一维搜索问题 利用（
min s .t . f ( x k + td k ) 0 ≤ t ≤ t max
解 得 极 小 值 点 t k ， 令 x k + 1 = x k + t k d k 。 令 k := k + 1， 返 回 （2） 。
例
用 Zoutendijk 方 法 解 ： min
(2)
《最优化方法》课程教学大纲
最优化方法》课程教学大纲课程编号：100004英文名称：Optimizatio n Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3. 课程目的（1 ）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法;（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。
4. 学分与学时学分2,学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）.谢政、李建平、汤泽滢主编.国防科技大学出版社.2003年.孙（第一版）参考文瑜、徐成贤、朱德通主编.高等教育出版社.2004年（2）《最优化方法》书目：（第一版）.胡适耕、施保昌主编.华中理工大学出版社.2000年（1）《最优化原理》（2）《运筹学》》（修订版）.《运筹学》教材编写组主编.清华大学出版社.1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%形式有：考勤、课堂测验、作业完成情况（2）考试成绩占80%形式有：笔试（开卷）。
9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。
二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1 ）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；5）最优化的基本术语。
基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。
最优化方法 第三章(可行方向法)
又 f ( x k )T d * * 0,
d * 是可行下降方向。
改进方法具有全局收敛性。
一、Zoutendijk法
Frank Wolfe 方法 min f ( x )
给定线性规划问题
Ax b s .t . x0
f ( x k )T d k 0 gi ( x k )T d k 0 , i I ( x k )
1 di 1, i 1, 2,
,n
������ = 0 , 则 ������ ������ 处不存在可行下降方向 , ������ ������ 已是 ������−������ 点. 有例子表明上述方法不一定收敛到 ������−������ 点，即总有������ < 0 .
如果可行点为内点， 可取������ = −������������(������ )计算。
一、Zoutendijk法 非线性约束模型的可行方向确定方法
min s.t.
z f ( x )T d z 0 gi ( x) d z 0, i I
T
一、Zoutendijk法 线性约束模型的可行方向
min f ( x ) Ax b s .t . Cx e
紧约束
A1 b1 定理 设 x D ，在点 x 处有 A1 x b1 , A2 x b2 , 其中A , b ， A2 b2 则非零向量 d 是 x 处的可行方向的充分必要条件是
定理 设 f ( x )可微， x k D, 如果y k 是上述线性规划的最优解,则有
(1) 当f ( x k )T ( y k x k ) 0时 , 则x k 是(1)的K -T点；
12可行方向法
a i d 0 , i I ( x )； f ( x ) d 0
T
则 d 是可行下降方向
.
可行方向法思路：
从当前迭代点 x 出发，沿着可行下降方 ˆ x , 使得 向 d 搜索，
得到一个新的可行点
ˆ f (x) f (x)
问题：可行下降方向d不唯一，怎么选择？ －－－－选择目标函数值下降最快的方向
(k )
D,d
(k )
是x
(k )
处的可行下降方向，令
x x
(k )
d
(k )
考虑约束条件
T T
d
(k )
是问题 ( 1 )或 ( 2 )或 ( 3 )的解
bi a i d
T (k )
a i x bi a i x a i x bi a i x
T T
(k )
0, 0,
定理 1
.
线性化可行方向
件是
设 x D , 则 d 为 x 处的可行方向的充要条 a i d 0, i E ;
T T
a i d 0 , i I ( x ).
定义 2
设 x D , 若 d 是 x 处的可行方向，又是 .
x 处的下降
方向，则称 d 是 x 处的可行下降方向
若 d 满足 a i d 0, i E ;
T
a 3 x b3 x1 0,
T
a 4 x b4 x 2 0,
T
取初始点 x
(1 )
( 0 ,0 ) .
T
二、投影梯度法 无约束问题最速下降法：任取一点，若其梯度不为0，则沿 负梯度方向前进，总可以找到一个新的使函数值下降的点。 对约束问题，若再沿负梯度方向前进，可能是不可行的； 解决方法：把负梯度方向投影到可行方向上去！ 1.投影矩阵
投影梯度算法
投影梯度算法简介投影梯度算法（Projected Gradient Descent）是一种优化算法，用于求解带约束的最优化问题。
在许多现实生活中的问题中，我们往往需要在满足一定约束条件下寻找最优解。
投影梯度算法通过使用梯度下降的思想，结合约束条件，有效地求解了这类优化问题。
梯度下降法回顾在介绍投影梯度算法之前，我们先简要回顾一下梯度下降法（Gradient Descent）。
梯度下降法是一种常用的无约束最优化算法，用于求解无约束最优化问题。
该算法通过不断迭代，逐步更新参数值，使目标函数逐渐收敛到最小值。
梯度下降法的基本思想是：在每一步迭代中，计算目标函数在当前参数值处的梯度（即变化率），然后朝着梯度的反方向更新参数值。
这样不断迭代，直到达到预定的停止条件。
有约束优化问题在实际问题中，很多时候我们需要在一定的约束条件下求解最优化问题。
例如，在飞机的设计过程中，我们可能需要在一定的约束条件下寻找满足最低油耗的最优翼型。
这时，梯度下降法就无法直接应用了，因为我们需要在保证翼型满足一定约束条件的前提下进行优化。
投影梯度算法原理投影梯度算法是一种在有约束条件下求解最优化问题的方法。
其核心思想是将每一步迭代的参数值投影回可行域内，以保证约束条件的满足。
算法步骤如下： 1. 初始化参数值。
2. 计算目标函数在当前参数值处的梯度。
3. 更新参数值，使其朝着梯度的反方向更新。
4. 将更新后的参数值投影回可行域内。
5. 判断是否达到停止条件，若是则停止迭代，否则返回步骤2。
在每一步迭代中，投影梯度算法通过将参数值投影回可行域内，确保约束条件的满足。
这样，在每一次参数的更新中，算法都能够找到满足约束条件的最优解。
适用场景投影梯度算法在许多实际问题中有着广泛的应用。
以下是几个适用场景的例子：1. 图像恢复在图像恢复领域，我们经常需要恢复出原始图像，但是由于图像受到噪声等因素的影响，我们只能观测到图像的一部分信息。
iSIGHT中优化算法分类
iSIGHT中优化方法种类iSIGHT里面的优化方法大致可分为三类：1 数值优化方法数值优化方法通常假设设计空间是单峰值的，凸性的，连续的。
iSIGHT中有以下几种：（1）外点罚函数法（EP）：外点罚函数法被广泛应用于约束优化问题。
此方法非常很可靠，通常能够在有最小值的情况下，相对容易地找到真正的目标值。
外点罚函数法可以通过使罚函数的值达到无穷值，把设计变量从不可行域拉回到可行域里，从而达到目标值。
（2）广义简约梯度法（LSGRG2）：通常用广义简约梯度算法来解决非线性约束问题。
此算法同其他有效约束优化一样，可以在某方向微小位移下保持约束的有效性。
（3）广义虎克定律直接搜索法：此方法适用于在初始设计点周围的设计空间进行局部寻优。
它不要求目标函数的连续性。
因为算法不必求导，函数不需要是可微的。
另外，还提供收敛系数（rho），用来预计目标函数方程的数目，从而确保收敛性。
（4）可行方向法（CONMIN）：可行方向法是一个直接数值优化方法，它可以直接在非线性的设计空间进行搜索。
它可以在搜索空间的某个方向上不断寻求最优解。
用数学方程描述如下：Design i = Design i-1 + A * Search Direction i方程中，i表示循环变量，A表示在某个空间搜索时决定的常数。
它的优点就是在保持解的可行性下降低了目标函数值。
这种方法可以快速地达到目标值并可以处理不等式约束。
缺点是目前还不能解决包含等式约束的优化问题。
（5）混合整型优化法（MOST）：混合整型优化法首先假定优化问题的设计变量是连续的，并用序列二次规划法得到一个初始的优化解。
如果所有的设计变量是实型的，则优化过程停止。
否则，如果一些设计变量为整型或是离散型，那么这个初始优化解不能满足这些限制条件，需要对每一个非实型参数寻找一个设计点，该点满足非实型参数的限制条件。
这些限制条件被作为新的约束条件加入优化过程，重新优化产生一个新的优化解，迭代依次进行。
最优化各算法介绍
最速下降法：算法简单，每次迭代计算量小，占用内存量小，即使从一个不好的初始点出发，往往也能收敛到局部极小点。
沿负梯度方向函数值下降很快的特点，容易使认为这一定是最理想的搜索方向，然而事实证明，梯度法的收敛速度并不快．特别是对于等值线（面）具有狭长深谷形状的函数，收敛速度更慢。
其原因是由于每次迭代后下一次搜索方向总是与前一次搜索方向相互垂直，如此继续下去就产生所谓的锯齿现象。
从直观上看，在远离极小点的地方每次迭代可能使目标函数有较大的下降，但是在接近极小点的地方，由于锯齿现象，从而导致每次迭代行进距离缩短，因而收敛速度不快.牛顿法：基本思想：利用目标函数的一个二次函数去近似一个目标函数，然后精确的求出这个二次函数的极小点，从而该极小点近似为原目标函数的一个局部极小点。
优点 1. 当目标函数是正定二次函数时，Newton 法具有二次终止性。
2. 当目标函数的梯度和Hesse 矩阵易求时，并且能对初始点给出较好估计时，建议使用牛顿法为宜。
缺点：1. Hesse 矩阵可能为奇异矩阵，处理办法有：改为梯度方向搜索。
共轭梯度法：优点：收敛速度优于最速下降法，存贮量小，计算简单.适合于优化变量数目较多的中等规模优化问题.缺点：变度量法：较好的收敛速度，不计算Hesse 矩阵1．对称秩1 修正公式的缺点（1）要求( ) ( ) ( ) ( ) ( ) 0 k k k T k y B s s − ≠0（2）不能保证B ( k ) 正定性的传递2．BFGS 算法与DFP 算法的对比对正定二次函数效果相同，对一般可微函数效果可能不同。
1） BFGS 算法的收敛性、数值计算效率优于DFP 算法；（2） BFGS 算法要解线性方程组，而DFP 算法不需要。
基本性质：有效集法：算法思想：依据凸二次规划问题的性质2，通过求解等式约束的凸二次规划问题，可能得到原凸二次规划问题的最优解。
有效集法就是通过求解一系列等式约束凸二次规划问题，获取一般凸二次规划问题解的方法。
最优化理论与算法 第12章 可行方向法
怎样确定k ?k的取值原则有两点： 第一，保持迭代点x(k) kd (k)的可行性；
第二，使目标函数值尽可能减小。
根据上述原则,可以通过求解下列一维搜索问题来确
定步长：
min f (x(k) d k )
s.t. A(x(k) d k ) b
E(x(k) d k ) e
(12.1.15)
0
2020/12/20
最优化理论
2
Ch12 可行方向法
1 Zoutendijk可行方向法 2 Rosen梯度投影法 3 Frank-Wolfe法 4 既约梯度法
2020/12/20
最优化理论
3
1. Zoutendijk可行方向法
2.1 线性约束情形
考虑NLP问题 min f (x)
s.t Ax b (12.1.1) Ex e
(12.1.7)
2020/12/20
最优化理论
7
1. Zoutendijk可行方向法
(12.1.6)和(12.1.7)即
A(xˆ d ) b (12.1.8)
又由Ed 0及Exˆ e可知
E(xˆ d ) e (12.1.9)
由上可知,xˆ d是可行点.因此d是xˆ处的可行方向.
于是,如果非零向量d同时满足 f (xˆ)T d 0, A1d 0, Ed 0
2020/12/20
最优化理论
9
1. Zoutendijk可行方向法
Th12.1.2考虑问题(12.1.1),设x是可行解，在点x处有
A1x b1, A2x b2,其中
A
A1 A2
,
b
b1 b2
则x为KKT点的充要条件是问题(12.1.10)的目标函数
许金伟-可行方向法
（1）如果 0，那么 x 是KT 点； （2）如果 0，不妨设i <0,那么先从A1去掉i所对应 的行，得到新的 A1 ,然后令 ~ ~ _ ~ ~ T ~ ~ T ~ ~ A 1 M 1 ， P I M ( M M ) M , d P f ( x ), E 那么，d 是下降可行方向。
其中f ( x), gi ( x)是连续可微的函数
可行方向法
基本概念
有效约束：起到限制性作用的约束； 可行方向：当前点 xk 是在可行域内的点，沿d方向迭代后的新的 点 xk 1
xk d 也是可行域内的点，则搜索方向成为可
行方向； 可行下降方向：使目标函数下降的可行方向，称为可行下降方向。
I ( xk ) {i | gi ( xk ) 0}.
k 若 I ( xk ) 且 f ( x ) 1 ，停算，得到近似极小点
xk
；否则，
k 若 I ( xk ) ，但 f ( x ) 1 ，则取搜索方向dk f ( xk ) ，转步
4。反之，若 I ( xk ) ，转步2. 步2 步3 步4 求解线性规划问题，得最优解dk 和最优值 zk . 若 zk 2 ，停算，输出 xk 作为近似极小点；否则，以 dk 作 首先由式（3）计算，然后做一维搜索
为搜索方向，转步4.
min f ( xk dk )
s.t .
0
—
求得最优解 k 。 步5 置 xk 1 xk k dk , k k 1, 转步1.
目录
基本思想
Zoutendijk可行方向法
线性约束下的可行方向法 非线性约束下的可行方向法 梯度投影法 简约梯度法