《哈尔滨工业大学》-公开课件 全文免费

梯度投影法
解析搜索法：梯度投影法
解析搜索法：梯度投影法
解析搜索法：梯度投影法
解析搜索法：梯度投影法
4.3 简约梯度法
——4.3.1 线性约束简约梯度法——
• 简约梯度法的基本思想：
1 约束优化问题→无约束优化问题 2 引进无约束优化问题的梯度法的思想进行迭代
既保持有约束条件的可行方向特性，又有目标函数下降的特性 方法上—简约梯度法在线性约束时类似于线性优化问题的单纯形法。
改进措施：
( 1 ）给出最优解 的估计范围，即给出
使
( 2 ）给出产生（ O , 1 ）区间内均匀分布的伪随机数的方法。 通常一般计算机的软件中都给有产生（ O , l ）区间内均匀分布的 伪随机数的程序。
算法 1
—随机点的总数； — 实验的可行点总数； —最小解未作改变的次数； M， N ， N1—给定的正数； 最 优 解—最小解 N次 不 变 ，则认为求出了最优解； 无可行解—如产生 N1 ，个随机点仍无可行点，则认为问题无可行解。
（二）复合型法的组成 1 初始复合型的形成 2 检验收敛条件 3 调优搜索
复合型：n维空间中定点数P大于的（n+1）个点的多面体称为复合型。 例如：一维空间：二维空间：四边形，三维空间：五面体。 当单纯形各定点之间的距离相等时，则称为正规单纯形。
二维空间：
三维空间：
一）初始复合型的形成 1 初步形成初始复合型
• 简约梯度法
线性约束简约梯度法 广义简约梯度法
线性约束简约梯度法
1）线性约束优化模型的标准形式 线性约束优化模型的标准形式；
线性约束优化模型的一般形式；
(1-1)
(1-2)
需要把一般形式改写成标准形式
一般形式改写成标准形式的方法；
1当
时，引入一个松弛变量
，使
2当
时，引入一个松弛变量
，使
（3）当
3 从中找出满足约束条件的可用试验点。
4 求出使得目标函数最小的试验最优解。
4.7.2 随机试验法
随机试验法是用随机方法生产试验点，再从试验点中选出满足约束条件的点， 进而求出最优点的一种方法。
设问题为
则首先用随机方法生产试验点
，然后从中找出满足约束条件
的点
，并求出使得
成立的最优解 。 缺点：因选点过程计算量较大，所以当问题的维数很大时计算量是非常大的。
若
，则沿方向
从
出发作一维搜索求出 x0
，用 x0 代替 再计算下去．这样做可以加速收敛速度。相应地得算法。
4.7.2 复合型法
4.7.2 复合型法
复合型：n维空间中定点数P大于的（n+1）个点的多面体称为复合型。 （一）复合型法的基本思路
在可用域内构成复合型，对复合型各顶点的目标函数值进行比较， 丢掉其中最坏点，代替以能够改善目标函数的、满足约束条件的新 的点构成一个新的复合型顶点，逐步逼近极小值点。
有约束优化问题
非线性优化问题
（目标函数—非线性）
线性优化问题
（目标函数—线性） （约 束—线性）
非线性约束优化问题
（目标函数—非线性） （约 束—非线性）
线性约束优化问题
（目标函数—非线性） （约 束—线 性）
K-K-T条件的几何意义
（1）K-K-T条件
定义：
K-K-T条件
线性无关
（梯度条件） （约束条件）
直接试验法的基本思路： 问题：
1 设定试验域 2 生产试验点 3 从中找出满足约束条件的可用试验点。
4
求出使得目标函数最小的试验最优解。
解题方法： 分批选点，第一批布点稀一些，占满全域，从中挑出较好的试验点， 再围绕这些点作出新的较小的试验域，较密布点。
（1）设定试验域
新的较小的试验域，较密布点
起作用的约束
线性条件下 将每一个函数在 处对函数 进行taylor展开，取一次近四，则；
（1）如果
或
，则搜索方向是下降方向。
（2）如果 在可行域内，
，则总可取步长
，得
，
使 仍在可行域内，即任意搜索方向是可行方向。
（3）如果 在边界上，
，则对某个步长 ，则
来说，如果 在可行域内，故可行的。
（4）如果(3)的情况下，
b）如果s个点的中心 ，可用, 但 遇到 点不可用。
把 点沿着 方向缩小一半， 变成可用点为止。
定义： 二）检验收敛条件
三）调优搜索
反射 延伸 收缩 压缩
1.反射: 若 不可用，重新形成初始复合型。若可用点 则求反射点。
2.延伸: 反射成功的前提下，既：
若 否则以
， 则以 代替
代替
3 .收缩：反射失败的前提下进行，既： 时
可用试验点
4.7.1 网格法
网格法： 在试验域内打上网格，以各网格点作为试验点。 网格既可以是等间距的，也可以是不等间距 如；既可以正交，也可以斜交。 等间距网格公式如下：
将区间
分成 等分（i= l , 2 ， … … ， N ) ，
则各网格点的 坐标为：
（1）设定试验算各网格点的 坐标，生产试验点。
1. 网格法 2. 随机试验法 4.7.2 复合型法
直接搜索法的特点：
第一，对目标函数和约束函数不必附加可解析性的条件，对于目标函数而言， 甚至不要求具有显式表达式，只需要在所计算的点处提供函数值；
第二，对于约束变量可以取离散值，比如整数值，或取某些特殊值O或 1 ； 第三，在通常情况下，这些算法能够求解全局最优点。
，或
则 位于
在
点的切平面上，只有 为线性时， 才是可行点。
线性条件下
非线性条件下
搜索方向需要满足的条件： 目标函数下降的条件： 约束条件：
线性约束条件下
约束条件
搜索方向需要满足的条件：
目标函数下降的条件： 约束条件：
可行方向法
二次规划
解析搜索法：可行方向法
线性约束问题的Zoutendijk可行方向法
二次规划：不等式约束问题的有效集法
二次规划：不等式约束问题的有效集法
二次规划：不等式约束问题的有效集法
二次规划：不等式约束问题的有效集法
二次规划：其它算法简介
4.4 可行方向法
约束优化问题： （1）搜索方向；受约束条件的限制。 （2）迭代步长；受约束条件的限制。
（一）基本概念： 1 起作用的约束：起到限制性作用的约束。 2 可行方向：点 在可行域内的点， 方向迭代后的新的点 也是可行域内的点，则搜索方向 称为可行方向。 3 可行下降方向：使目标函数下降的可行方向，称为可行下降方向。
(2-2)
两种常用的形式
0
如果 太小，则会给问题的求解带来很大困难。 利用序列无约束极小化方法（SUMT）
4.6 非线性规划的序列逼近法
一般非线性规划
逼近
1 序列线性规划法(SLP) 2 序列二次规划法
已知数学规划问题 √线性规划的单纯形法 √二次规划法 √梯度投影法
4.7 非线性规划的直接搜索法
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
非线性约束问题的Zoutendijk可行方向法
-z≤0
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
时，引入两个变量之差代替原变量，即； (1-3)
（4）当 （5）当
时，引入一个变量替换原变量，即； 时，引入一个变量替换原变量，即；
(1-4) (1-5)
例：
非标准形式
标准形式
简约梯度法 2）约束优化问题的无约束化
线性约束优化模型的标准形式；
的秩为
假定 为
矩阵
总可以取出
矩阵 使
的秩为 非奇异。
(2-1)
解析搜索法：可行方向法
起作用约束可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
解析搜索法：可行方向法
Topkis – Veinott 全约束可行方向法
解析搜索法：可行方向法
4.非线性结构优化
4.5 梯度投影法
解析搜索法：梯度投影法
投影矩阵的基本概念
解析搜索法：梯度投影法
解析搜索法：梯度投影法
算法 2
在算法1中，
不变，这不利于对 进一步估计，
且经过计算后会逐渐对 有一个更准确的估计，此时的区间运算值 也应逐步靠近，若使算法 1 中计算到第 N1 步
的结果作为 的新的估计值
且对每一个变
量估计一个区间长度 ，令
算法 2
算法3 ( 随机方向法)
随机方向法: 把前 N1 次找出的最优点 x 与再作 N1 次后求出的 比较，
时，先以 替换 以后再收缩。
4.压缩:
时，既反射失败， 收缩也失败时；（ 不动）
(a) 利用直接试验法进行一次布点较稀的搜索，在近似最优 试验点附近选P个可用点作为初始复合型顶点。
(b) 由一个可用点 出发，用随机试验法产生其他P-1个顶点。
初始复合型顶点应满足约束条件。 （2）初始复合型的修正
1 检查初始复合型的P个顶点，假定s个点可用点。 2 求s个点的中心。
a）如果s个点的中心 ，不可用。 找出最好的顶点（目标函数最小） ， 和 为端点超立方体中重 新投点。
（松弛互补条件） （非负条件） （正则条件或约束规格）
处没有起作用的约束（可行域内部 处起作用的约束 处起作用的约束
没有约束限制）
搜索方向满足；
，即；
与
夹角；
夹角；
二次规划：最优性条件
二次规划：等式约束问题
二次规划：等式约束问题
二次规划：等式约束问题
二次规划：等式约束问题
二次规划：不等式约束问题的有效集法