现代优化算法.pdf
邻域的概念
1.3 邻域概念在组合优化中，距离的概念通常不再适用，但是在一点附近搜索另一个下降的点仍然是组合优化数值求解的基本思想。
因此，需要重新定义邻域的概念。
定义1.3:对于组合优化问题,上的一个映射:称为一个邻域映射,其中表示的所有子集合组成的集合, 称为的邻域,称为的一个邻居。
例1.7：例1.2已给出TSP的一种数学模型，由模型，可以定义它的一种邻域为：，为一个正整数。
这个邻域定义使得最多有位置的值可以发生变化，的邻居有个。
例1.8：TSP问题解的另一种表示法为：。
文献中定义它的邻域映射为，即中的两个元素进行对换，中共包含的个邻居。
如四个城市的TSP问题，当时，。
类似的定义，可以推广定义，它的邻域映射是对中的个元素按一定的规则互换。
例1.9：背包问题：该问题解的另一种表示法为：，表示装包的排列顺序。
通过排列顺序以容量约束判别装进包的物品及目标值。
由该法定义的邻域可以同上例有相同的结构。
定义1.4：若满足：，其中，则称为在上的局部（local）最小（最大）解。
若，，则称为在上的全局（global）最小（最大）解。
就一维变量为例，定义域为区间中的整数点，像图1.1一样，如果采用如下邻域定义，目标值如图1.1，则为的局部最优（最小）点，而点既不是的局部最大值也不是局部最小。
O1 2 3 4 5 6 7 8 9 10图1.1在求解最小目标值点时，传统的优化算法是以一个初始点出发，在邻域中寻找目标值更小的点，最后达到一个无法再下降的点。
如图1.1，若以为起点按传统的优化方法搜索最小值点，则搜索到而停止，搜索到局部最优（最小）点，这种方法可能造成最终解的非全局最优性。
现代优化算法所要解决的一个问题就是求解全局最优解。
1.4 启发式算法启发式算法(heuristic algorithm)是相对于最有算法提出的。
一个问题的最优算法求得该问题每个实例的最优解。
启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间、占用空间等）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度不一定事先可以预计。
最优化潮流算法综述
min f (u, x)
u
s.t.g (u , x) 0 h(u , x) 0
其中， f 为目标函数， u 为控制变量， x 为状态变量。 g 式为等式约束条件。最优潮流是经过优化的潮流 分布，所以它一定要满足基本的潮流方程，此即等 式约束的由来。 h 式为不等式约束条件。最优潮流包括了系统运行 的安全性及电能质量，而且可调控制变量本身也有 一定的容许调节范围，因此，在计算中要对控制变 量以及通过潮流计算才能得到的其它量（状态变量 及函数变量）的取值加以限制，由此产生了不等式 约束条件。 目标函数 f 及等式、不等式约束 g 及 h 中的大部分 约束都是变量的非线性函数，也就是说，电力系统 的最优潮流计算是一个典型的有约束非线性规划 问题。 首先介绍简化梯度算法。这个算法是最优潮流 问题被提出以后，能够成功地求解较大规模的最优 潮流问题并被广泛采用的第一个算法，直至现在， 它仍被看成一种较为成功地算法而被广泛引用。简 化梯度法是以极坐标形式的牛顿潮流算法作为基 础的，其等式及不等式约束如前介绍。 当仅有等式约束条件时，可以引用经典的拉格 朗日乘子法，将原来的有约束最优化问题转变成无 约束最优化问题。然后再求导，通过联立求解方程 组的方法可求得此非线性规划问题的最优解。但是 通常由于方程式数目众多及其非线性性质，使得联 立求解的计算量相当巨大，甚至有时还相当困难， 采用更为实用的迭代下降法。这种方法的基本思想 是，从一个初始点开始，确定一个搜索方向，沿着
华中科技大学电力系统分析课程论文（HUST Paper）
最优化潮流算法综述
张军龙
（华中科技大学电气与电子工程学院，硕 1101 班，M201171108）
摘要：电力系统的最优潮流是一个典型的非线性优化问题，且由于约束的复杂性使得其计算复杂，难度较大。虽然人们已经 提出了许多种方法，并且在部分场合有所应用，但是要大规模实用化，满足电力系统的运行要求还有不少问题要解决。本文 总结了国内外关于电力系统最优潮流算法的研究现状，对最优潮流计算的经典算法，现代算法以及其它算法进行了介绍，同 时还对最优潮流的各种算法进行了分析比较。并提出了针对当前发展趋势，算法的潜在研究方向。 关键词：最优潮流 简化梯度法 牛顿法 内点法 解耦法 遗传算法 模拟退火算法。
现代智能优化算法的研究综述
过程与一般 组合优 化问题之 间的相似性 ， 是基 于 Ｍ ｕｃ ａ ｏ 代求解 ｅｔＣ ｒ 迭 ｌ 策略 的一种 随机优 化算法 。Ｓ Ａ算法 的基 本思想 是从一 给定初始解 开 始 ， 邻域 中随机 产生另一个解 ， 在 接受准则允许 目标函数在有 限范围 内
的一大飞跃 。
１ 蚁群算法（ ｎ ｏ ｎ ｐ ｍｉ ｏ ， Ｃ ） ． ４ Ａ ｔ ｌ ｙＯ ｆ ｚ ｎ Ａ Ｏ Ｃｏ ｉ ｍｉ 人『 蚁群算 法 ［ 是受到对真实蚁群行 为的研究的启发 ， 由意大利学 者 Ｍ．ｏｉ 等人 于 １９ 年首 先提 出的 ， Ｄ ｒｏ ｇ ９１ 它是一种 基于蚁群 的模 拟进化 算法 ， 属于 随机搜 索算法 。研究学者在研究 过程中发现 ， 蚂蚁个体之 间 是通过 一种称 之为外 激素（ｈ ｒｍｏｅ的物质进 行信息 传递 ， 而能相 ｐ ｅｏ ｎ ） 从 互协作 ， 完成 复杂的任务 。蚂蚁在运动过程 中 ， 能够在它所经过 的路径 上 留下该 种物质 ， 而且蚂蚁 在运动过 程中能够感 知这种物质 的存在及 其强度 ， 以此指 导 自己的运动方 向， 并 蚂蚁倾 向于朝着该物质强度高 的 方 向移动 。蚂蚁个体 之间就是通过这种信 息的交流达到搜索食物 的 目 的 。蚁群 算法正是模 拟 了这 样的优化机 制 ， 即通 过个体之 问的信息交 流与相互协作最终找到最优解 。 １５ ．粒子群优化算法（ａ ｉｌＳ ａｍ ｐｉ ｚｔ ｎ Ｐ Ｏ） Ｐ ｒｃｅ ｗ ｒ ｏ ｔ ａｉ ，Ｓ ｔ ｍｉ ｏ 粒子群优化算法 是一种进化算 法 ， 最早是 由Ｋ ｎ ｅ 与 Ｅ ｅ ａ 于 ｅｎ ｙ ｂ ｒ ｒ ｈ ｔ １ ９ 年提出的 。最早 的Ｐ Ｏ ９５ Ｓ 是模拟 鸟群 觅食行 为而发展起来 的一种基 于群体协 作 的随机 搜索算 法 。Ｐ Ｏ Ｓ 是模 拟鸟群 的捕食 行为 ， 一群鸟 让 在 空间里 自由飞翔 觅食 ， 每个鸟都能记住它 曾经飞 过最高的位置 ， 然后 就随机的靠近那个位 置 ， 不同的鸟之间可 以互相交 流 ， 它们都尽量靠近 整个 鸟群 中曾经 飞过 的ቤተ መጻሕፍቲ ባይዱ高点 ， 这样 ， 经过一段时 间就 可以找到近似 的 最 高点 。Ｐ Ｏ后来经 过多次 的改进 ， Ｓ 去除 了原来 算法 中一些无 关的或
几种常见的优化算法
⼏种常见的优化算法⼏种常见的优化算法：参考：我们每个⼈都会在我们的⽣活或者⼯作中遇到各种各样的最优化问题，⽐如每个企业和个⼈都要考虑的⼀个问题“在⼀定成本下，如何使利润最⼤化”等。
最优化⽅法是⼀种数学⽅法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某⼀(或某些)指标达到最优的⼀些学科的总称。
随着学习的深⼊，博主越来越发现最优化⽅法的重要性，学习和⼯作中遇到的⼤多问题都可以建模成⼀种最优化模型进⾏求解，⽐如我们现在学习的机器学习算法，⼤部分的机器学习算法的本质都是建⽴优化模型，通过最优化⽅法对⽬标函数（或损失函数）进⾏优化，从⽽训练出最好的模型。
常见的最优化⽅法有梯度下降法、⽜顿法和拟⽜顿法、共轭梯度法等等。
1. 梯度下降法（Gradient Descent）梯度下降法是最早最简单，也是最为常⽤的最优化⽅法。
梯度下降法实现简单，当⽬标函数是凸函数时，梯度下降法的解是全局解。
⼀般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。
梯度下降法的优化思想是⽤当前位置负梯度⽅向作为搜索⽅向，因为该⽅向为当前位置的最快下降⽅向，所以也被称为是”最速下降法“。
最速下降法越接近⽬标值，步长越⼩，前进越慢。
梯度下降法的搜索迭代⽰意图如下图所⽰：梯度下降法的缺点： （1）靠近极⼩值时收敛速度减慢，如下图所⽰； （2）直线搜索时可能会产⽣⼀些问题； （3）可能会“之字形”地下降。
从上图可以看出，梯度下降法在接近最优解的区域收敛速度明显变慢，利⽤梯度下降法求解需要很多次的迭代。
在机器学习中，基于基本的梯度下降法发展了两种梯度下降⽅法，分别为随机梯度下降法和批量梯度下降法。
⽐如对⼀个线性回归（Linear Logistics）模型，假设下⾯的h(x)是要拟合的函数，J(theta)为损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。
其中m是训练集的样本个数，n是特征的个数。
经典优化算法
甲/件 乙/件 现在材料与设备能力
钢材/kg
8
5
3500
铁材/kg
设备能力/台时 单位产品的利润/元
6
4 80
4
5 125
1800
2800 ---
线性规划-MATLAB实现
数学模型为 max ������(������) = 80������1 + 125������2 8������1 + 5������2 ≤ 3500 6������1 + 4������2 ≤ 1800 s. t. 4������1 + 5������2 ≤ 2800 ������1 , ������2 ≥ 0
说求解0-1整数规划只要在求解整数规划
的基础上加上对变量最小约束为0，最大 值约束为1就行了。
0-1整数规划-Matlab实现
过时语句 bintprog
f=[7 5 9 6 3];
A=[56,20,54,42,15;1,4,1,0,0;-1,-2,0,-1,-2];
b=[100;4;-2];
[x,fval,flag]=bintprog(f,A,b)
线性规划-MATLAB实现
转换成linprog的最小格式 min ������ ������ = −80������1 − 125������2 8������1 + 5������2 ≤ 3500 6������1 + 4������2 ≤ 1800 s. t. 4������1 + 5������2 ≤ 2800 ������1 , ������2 ≥ 0
4. 内点法 5. ……
工具求解
Matlab语法
旅行商问题TSP的现代优化算法研究
总第174期2008年第12期舰船电子工程Ship Electronic Enginee ring Vol.28No.12114 旅行商问题(TSP)的现代优化算法研究3蔡晨晓 漆宇星(南京理工大学自动化学院 南京 210094)摘 要 TSP (Traveling Salesma n Problem)旅行商问题是一类典型的NP 完全问题,遗传算法是解决NP 问题的一种较理想的方法。
通过介绍基本遗传算法的基本原理;针对TSP 问题,给出遗传算法在选择算子、交叉算子和变异算子等方面的编码实现。
并就TS P 问题的一个具体城市算例,进行了计算验证。
在此基础上,对交叉算子和变异算子提出了改进,大量的计算数据验证了改进方法的有效性。
关键词 TSP ;遗传算法中图分类号 TP301.6Modern Opt i mization of Traveling Sales m an ProblemCai Chenxiao Qi Yuxing(Institute of Automa tio n ,Nanjing Univer sity of Science and Technology ,Nanjing 210094)Abs tra ct TS P (Tra veling Salesman Problem)is a kind of typical NP p roblem s.G A (G e netic Algorithm)is a better metho d for N P problems.The paper presnet s the basic principles of t he G A ,and int roduct s coding in t he selection operator ,crossover operator and mutation operator a bout ge netic algorithm for the specific TSP.The calcula tio n is ve rifie d for TSP problem on a specific city exa mple.And on t he basis ,the imp rove ments is proposed for selection operator ,c ro ssove r opera 2tor and m utation ope rator ,a nd a lar ge number of calculations ve rifie d improve eff ective ness of the met hod.Ke y w ords tra veling salesman problem ,genetic algorithm Class N umber TP301.61 引言旅行商问题(TSP )是组合优化问题中典型的N P 完全问题[1～4],关于TSP 的完全有效的算法目前在作者能及范围内尚未找到,这促使人们长期以来不断地探索并积累了大量的算法。
最优化问题-寻找最优解
第一章绪论1.1 问题的提出人们在做任何一件事情（工作）时，总是希望在可能（现有）的条件下，从众多可能方案中选择一个方案，使事情（工作）的结果最能满足自己的心愿，或者说使结果的目标值与自己的期望值最为符合。
这个方案就可以称为最优方案，而这个选择最优方案的行为或过程就是一个最优化的过程。
正是人类活动中无数这种寻找最优方案的过程，形成了最优化与最优控制理论与方法产生的基础。
例如，古代人类在生产和生活活动中经过无数次摸索认识到，在使用同样数量和质量材料的条件下，圆截面的容器比其他任何截面的容器能够盛放的谷物都要多，而且容器的强度也最大。
也就是说，人们认识到了圆截面容器是各种截面容器中的最优容器。
古代人类这种寻找最优方案的例子比比皆是，如北半球朝南的房屋冬暖夏凉可以获得最舒适的居住条件、农作物生长过程中在某些最佳时机灌溉可以显著增产，等等。
人类进入现代社会以后，生产和社会活动的规模不断扩大，复杂性日益增加，这就意味着完成一项工作或进行一项活动可以选择的方案数量也急剧增加，从中寻找最优方案几乎已经是进行任何一件工作所必须面对的问题。
例如，工厂在安排生产计划时，首先要考虑在现有原材料、设备、人力等资源条件下，如何安排生产，使产品的产值最高，或产生的利润最大；又如，在多级火箭发射过程中，如何控制燃料的燃烧速率，从而用火箭所载的有限燃料使火箭达到最大升空速度；再如，在城市交通管理中，如何控制和引导车辆的流向，尽量减少各个交叉路口的阻塞和等待时间、提高各条道路的车辆通行速度，在现有道路条件下取得最大的道路通行能力。
随着人类对自然界认识的不断深入，寻找最优逐渐从下意识的、缺乏系统性的行为发展到目的明确的有意识活动，并在数学工具日渐完善的基础上，对各种寻找最优的活动进行数学描述和分析，指导寻优活动更有效地进行，从而形成了最优化理论与方法这一应用数学理论分支。
采用现代数学工具，很多最优化问题，尤其是工程领域的最优化问题都可以得到明确的描述。
智能优化算法
智能优化算法摘要优化问题一直是科学和工程研究领域的热点问题。
传统的优化方法在处理大维数、多模态等复杂问题上存在很多不足，因此有必要研究和探讨新的优化算法。
国内外许多研究学者因此提出了多种智能优化算法。
本文首先提出智能优化算法的研究背景以及意义，然后介绍了智能优化算法及混合智能优化算法的研究现状，最后针对智能优化的某些局限性给出了自己的一些看法与评价。
一、智能优化算法研究的背景与意义最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找到最优方案。
它广泛应用于农业、工业、国防、工程、交通、化工、等众多领域，并在资源分配、工程设计、生产计划安排、城建规划等领域中产生了巨大的经济效益和社会效益。
同时，优化在材料科学、控制论、结构力学、环境科学、生命科学等其他科学研究领域也有广泛应用。
国内外的应用实践表明，在同样的条件下，优化处理技术对系统效率的提高、资源的合理利用、能耗的降低及经济效益的提高等均有显著的效果，且效果随着处理对象规模和复杂度的增加而更加显著。
由于生产和科学研究突飞猛进地发展，特别是电子计算机日益广泛应用，使最优化问题的研究不仅成为一种迫切需要，而且有了求解的有力工具，因此最优化理论和算法迅速发展起来，同时社会对各种工程问题优化算法的需求也越来越迫切。
目前，基于严格机理模型的开放式方程建模与优化被认为是国际上主流技术。
各大科研机构和工程公司纷纷投入大量的人力物力财力对系统的建模与优化进行细致深入的研究，意图取得突破性的进展。
然而，基于严格机理模型所得到的优化命题通常具有方程数多、非线性强、变量维数高等特点，这使得相关变量的存储、计算及命题的求解都相当困难．优化问题不仅工业界存在，国民经济的各个领域中也存在着相当多的涉及因数多、影响广、难度高和规模大的优化命题，如运输中的最优调度、生产流程的最优排产、资源的最优分配、农作物的合理布局、工程的最优设计以及国土的最优开发等等，所有这些问题的解决也必须有一个相当有效的优化工具来进行求解。
思易特公司_Isight_04_优化算法
16
大纲
� � � � �
参数的概念 优化算法概述 数值优化算法 全局优化算法 多目标优化算法
17
Isight 现代设计工具: Optimization
作用 Isight 设计工具
优化算法 Optimization Algorithms
� 对于构造好的优化问题（设计变量、目标函数
Y OU CA N TRY, BUT S TAYINSIDE THE FENCES
G. N. Vanderplaats
�目 标：找寻最高点 � 设计变量：经度和纬度 �约 束：围栏范围内
3
THE OPTIMIZATION PROCESS 优化概念：逐步改进的过程
S3 X2 S2 X1 S1
设计变量 :
10 ≤ Beam Height ≤ 80 mm 10 ≤ Flange Width ≤ 50 mm
�
约束 :
Stress ≤ 16 MPa
�
目标 :
最小化质量 (最小化面积)
解 解:: Beam Beam Height Height = = 38.4 38.4 Flange Flange Width Width = = 22.7 22.7 Stress = = 16 16 Stress Area = Area = 233.4 233.4
12
ObjectiveAndPenalty参数
�
ObjectiveAndPenalty = Objective + Penalty
� ObjectiveAndPenalty = 0.45 + 10.0036 = 10.4536
�
以ObjectiveAndPenalty的值为依据，计算 feasibility参数
最优化基础理论与方法
最优化基础理论与⽅法⽬录1．最优化的概念与分类 (2)2. 最优化问题的求解⽅法 (3)2.1线性规划求解 (3)2.1.1线性规划模型 (3)2.1.2线性规划求解⽅法 (3)2.1.3 线性规划算法未来研究⽅向 (3)2.2⾮线性规划求解 (4)2.2.1⼀维搜索 (4)2.2.2⽆约束法 (4)2.2.3约束法 (4)2.2.4凸规划 (5)2.2.5⼆次规划 (5)2.2.6⾮线性规划算法未来研究⽅向 (5)2.3组合规划求解⽅法 (5)2.3.1 整数规划 (5)2.3.2 ⽹络流规划 (7)2.4多⽬标规划求解⽅法 (7)2.4.1 基于⼀个单⽬标问题的⽅法 (7)2.4.2 基于多个单⽬标问题的⽅法 (8)2.4.3多⽬标规划未来的研究⽅向 (8)2.5动态规划算法 (8)2.5.1 逆推解法 (8)2.5.2 顺推解法 (9)2.5.3 动态规划算法的优点及研究⽅向 (9)2.6 全局优化算法 (9)2.6.1 外逼近与割平⾯算法 (9)2.6.2 凹性割⽅法 (9)2.6.3 分⽀定界法 (9)2.6.4 全局优化的研究⽅向 (9)2.7随机规划 (9)2.7.1 期望值算法 (10)2.7.2 机会约束算法 (10)2.7.3 相关机会规划算法 (10)2.7.4 智能优化 (10)2.8 最优化软件介绍 (11)3 最优化算法在电⼒系统中的应⽤及发展趋势 (12)3.1 电⼒系统的安全经济调度问题 (12)3.1.1电⼒系统的安全经济调度问题的介绍 (12)3.1.2电⼒系统的安全经济调度问题优化算法的发展趋势 (12)2. 最优化问题的求解⽅法最优化⽅法是近⼏⼗年形成的，它主要运⽤数学⽅法研究各种优化问题的优化途径及⽅案，为决策者提供科学决策的依据。
最优化⽅法的主要研究对象是各种有组织系统的管理问题及其⽣产经营活动。
最优化⽅法的⽬的在于针对所研究的系统，求得⼀个合理运⽤⼈⼒、物⼒和财⼒的最佳⽅案，发挥和提⾼系统的效能及效益，最终达到系统的最优⽬标。
最优化方法第2章
第2章 无约束优化计算的基本原理(Fundamental principle ofnon-constrained optimization computation )无约束优化问题 Δmin f (X )注：ma 是目标函数(objective function)x f (X )min(f (X ))=−*X 是f (X )的一个局部极小(值)点(local minimal point)Δ>*f (X )f (X )（*X (X )∀∈Ω开邻域(open neighborhood)）*X 是f (X )的一个全局最小(值)点(global minimal point)Δ*f (X )f (X )≥（n X R ∀∈）§2.1最优性条件(Optimality conditions )一、必要条件对于一元可微函数()f x 在极小值点*x 有*()0′=f x ，类似的对多元函数有： 定理2-1-1 连续可微，)(X f *X 极小点⇒0)(*=∇X f ⇒≠∇0)(*X f 取)()()()()(****λλλo p X f X f p X f X f p T +∇+=+⇒−∇=2*****()()()()()()(T )f X f X f X o f X f X o λλλ=−∇⋅∇+=−∇+λ⇒当0>λ且充分小，有***()()()()*X p X f X p f X λλ+∈Ω⇒+≥可行域内 ⇒22**()()()00()0o f X o f X λλλλ−∇+≥⇒≤∇≤→⇒与∇矛盾*()0f X ≠注：①*X 是的驻点(stationary point))(X f Δ0)(*=∇X f②对满足3312)x x =−在0(0,0)T X =定理2-1-2 二阶连续可微, )(X f *X 是极小点⇒, 半正定(semi-definite)0)(*=∇X f )(*2X f ∇⇒)(X f 二阶连续可微可微⇒)(X f ⇒0)(*=∇X f )(*2X f ∇非半正定⇒, 0p ∃≠∋0)(*2<∇p X f p T ⇒)()(**X f p X f =+λ)()()()(22*2*22λλλo X f <o p X f p T ++∇+⇒λ充分小，有与)()(**X f p X f <+λ⇒*X 极小点矛盾。
现代优化算法简介PPT课件
混合优化算法
将传统优化算法与启发式 优化算法相结合，以提高 效率和精度。
02
常见优化算法介绍
梯度下降法
总结词
基本、直观、易实现
详细描述
梯度下降法是最基础的优化算法之一，它通过不断沿着函数梯度的反方向进行 搜索，以寻找最小值点。由于其简单直观且易于实现，梯度下降法在许多领域 都有广泛应用。
牛顿法
优化算法的重要性
优化算法是解决复杂问题的关键，能 够提高效率和精度，降低成本和风险 。
随着大数据和人工智能的快速发展， 优化算法在解决实际问题中扮演着越 来越重要的角色。
现代优化算法的发展历程
01
02
03
传统的优化算法
如梯度下降法、牛顿法等， 适用于简单问题。
启发式优化算法
如遗传算法、模拟退火算 法等，适用于复杂问题。
多目标优化问题
总结词
多目标优化问题是指同时追求多个目标函数 的优化问题，如多目标决策、多目标规划等 。
详细描述
多目标优化问题需要同时考虑多个相互冲突 的目标函数，找到一个平衡的解。现代优化 算法如遗传算法、粒子群算法等在多目标优 化问题中广泛应用，能够找到一组非支配解
，满足不同目标的权衡和折衷。
04
指算法在处理大规模数据集时的性能表现。
详细描述
随着数据规模的增大，算法的可扩展性变得越来越重 要。现代优化算法需要能够高效地处理大规模数据集 ，同时保持较高的计算效率和精度。这需要算法设计 时充分考虑计算资源的利用和优化。
算法的理论支撑
总结词
指算法的理论基础和数学证明。
详细描述
现代优化算法需要有坚实的理论基础 和数学证明，以确保其有效性和正确 性。这需要算法设计者具备深厚的数 学功底和理论素养，以确保算法的可 靠性和稳定性。
最优化潮流算法综述
早在 1920 年出现的经济负荷调度，以及 20 世 纪 20 年代在电力系统功率调度开始使用的等耗量 微增率准则 EICC（Equal Incremental Cost Criteria） 总结中就涉及了最优化潮流的相关问题。等耗量微 增率准则至今在一些商用 OPF 中仍有应用。 而现代 的经济调度可以视为 OPF 问题的简化， 它们都是优 化问题，最终实现目标函数的最小化。经济调度一 般考虑发电机有功的分配，同时考虑的约束多仅为 潮流功率方程等式的约束。20 世纪 60 年代初法国 学者 Carpentier 介绍了一种以非线性规划方法来解 决经济分配问题的方法，首次引入了电压约束和其 它运行约束，提出了由于目标函数和约束条件不同 而构成应用范围不同的最优潮流数学模型，这也即 是最优潮流问题的最初模型。随后的大量学者，在 此基础上，从改善算法的收敛性能，提高计算速度
0 引言
随着我国电网和工业化的快速发展，对电力系 统运行的稳定性，经济性和可靠性的要求越来越 高。这就需要对系统运行进行优化，也就是说，从 所有可行潮流解中挑选出性能指标（主要包括系统 总的燃料消耗量、系统总的网损等）最佳的一个方 案，这就是最优潮流要解决的问题。所谓最优潮流 [1] ，就是当系统的结构参数及负荷情况给定时，通 过控制变量的优选，所找到的能满足所有指定的约 束条件，并使系统的某一个性能指标或目标函数达 到最优时的潮流分布。由于最优潮流是同时考虑网 络的安全性和经济性的分析方法，因此在电力系统 的安全运行、经济调度、电网规划、复杂电力系统 的可靠性分析、传输阻塞的经济控制等方面得到了 日益广泛的应用。
这个方向移动一步，使目标函数有所下降，然后再 由这个新的点开始，再重复进行上述步骤，直到所 求解满足收敛判据为止。而在很多情况下，最优潮 流的不等式约束条件很多。按性质将其分为控制变 量不等式约束和函数不等式约束。对第一种情况， 若控制变量超过其限值时，则该越界的控制变量就 被强制在相应的界上，即使得目标函数能进一步的 减小。而对于函数不等式约束无法采用和控制变量 不等式约束相同的办法来处理，通常采用罚函数的 方法。罚函数的基本思路是将约束条件引入原来的 目标函数而形成一个新的函数将原来有约束最优 化问题的求解转化成一系列无约束最优化问题的 [2] 求解 。最优潮流的这种算法原理比较简单，存储 需求小，程序设计也比较简便。但是这种算法存在 很多缺点：在计算过程中会出现锯齿现象，收敛性 较差，尤其是在接近最优点附近收敛速度很慢；每 次迭代都要重新计算潮流， 计算量很大， 耗时较多； 另外，采用罚函数处理不等式时，罚因子数值的选 取对算法的收敛速度影响很大等等。现在对这种方 法用于最优潮流的研究己经很少。 最优潮流作为一个非线性规划问题，可以利用 非线性规划的各种方法来求解，更由于结合了电力 系统的固有物理特性，在变量的划分、等式及不等 式约束条件的处理、有功与无功的分解、变量修正 方向的决定、甚至基本潮流计算方法的选择等等方 面，都可以有各种不同的方案。采用非线性规划的 方法，也有很多不同的算法，其中的最优潮流牛顿 算法，是得到了广泛认可并予以优选的一种算法。 牛顿法是另一种求无约束极值的方法。它是一 种直接求解Kuhn—Tucker等式寻优的方法。以牛顿 法为基础的最优潮流用以实现系统无功的优化的 方法被公认为是牛顿OPF算法实用化的重大飞跃。 该法以Lagrange乘子法处理等式约束，以惩罚函数 法处理违约的变量不等式约束。将电力系统的稀疏 [3] 性和牛顿法结合起来，可以大大减小计算量 。牛 顿法的难点在于，在迭代的过程中，中间变量是不 满足潮流方程的。这样，就会在每一个迭代步变量 修正后，无法判断不等式约束是否越界。而如果无 法确定那些越界的不等式就无法形成罚函数，而且 引入的罚函数对Hessian阵的部分对角元素有影响， 会明显改变计算结果。因此对违约不等式约束的处 理，在牛顿法中多采用试验迭代处理，对违约变量 进行修正。牛顿法另一个难题是：对应控制变量的
iSIGHT优化算法
1054Optimization TechniquesThis chapter provides information related to iSIGHT’s optimization techniques. Theinformation is divided into the following sections:“Introduction,” on page106 introduces iSIGHT’s optimization techniques.“Internal Formulation,” on page107 shows how iSIGHT approaches optimization.“Selecting an Optimization Technique,” on page112 lists all availableoptimization techniques in iSIGHT, divides them into subcategories, and definesthem.“Optimization Strategies,” on page121 outlines strategies that can be used to select optimization plans.“Optimization Tuning Parameters,” on page124 lists the basic and advanced tuning parameters for each iSIGHT optimization technique.“Numerical Optimization Techniques,” on page147 provides an in-depth look at various methods of direct and penalty numerical optimization techniques.Technique advantages and disadvantages are also discussed.“Exploratory Techniques,” on page175 discusses Adaptive Simulated Annealing and Multi-Island Genetic Algorithm optimization techniques.“Expert System Techniques,” on page178 provides a detailed look at iSIGHT’s expert system technique, Directed Heuristic Search (DHS), and discusses how itallows the user to set defined directions.“Optimization Plan Advisor,” on page190 provides details on how theOptimization Plan Advisor selects an optimization technique for a problem.“Supplemental References,” on page195 provides a listing of additionalreferences.106Chapter 4 Optimization TechniquesIntroductionThis chapter describes in detail the optimization techniques that iSIGHT uses, and howthey can be combined to conform to various optimization strategies. After you havechosen the optimization techniques that will best suit your needs, proceed to theOptimization chapter of the iSIGHT User’s Guide. This book provides instructions oncreating or modifying optimization plans. If you are a new user, it is recommended thatyou understand the basics of optimization plans and techniques before working withthe advanced features. Also covered in the iSIGHT User’s Guide are the various waysto control your optimization plan (e.g., executing tasks, stopping one task, stopping alltasks).Approximation models can be utilized during the optimization process to decreaseprocessing cost by minimizing the number of exact analyses. Approximation modelsare defined using the Approximations dialog box, or by loading a description file withpredefined models. Approximation models do not have to be initialized if they are usedinside an optimization Step. The optimizer will check and initialize the models, ifnecessary. For additional information on using approximation with optimization, seeChapter8 “Approximation Techniques”, or refer to the iSIGHT User’s Guide.iSIGHT combines the best features of existing exploitive and exploratory optimizationtechniques to supplement your knowledge about a given design problem. Exploitationis a feature of numerical optimization. It is the immediate focusing of the optimizer ona local region of the parameter space. All runs of the simulation codes are concentratedin this region with the intent of moving to better design points in the immediatevicinity. Exploration avoids focusing on a local region, but evaluates designsthroughout the parameter space in search of the global optimum.Domain-independent optimization techniques typically fall under three classes:numerical optimization techniques, exploratory techniques, and expert systems. Thetechniques described in this chapter are divided into these three categories.This chapter also provides information about optimization techniques including theirpurpose, their internal operations, and advantages and disadvantages of the techniques.For instructions on selecting a technique using the iSIGHT graphical user interface,refer to the iSIGHT User’s Guide.Internal Formulation 107Internal FormulationDifferent optimization packages use different mathematical formulas to achieveresults. The formulas shown below demonstrate how iSIGHT approaches optimization. The following are the key aspects to this formulation:All problems are internally converted to a single, weighted minimization problem.More than one iSIGHT parameter can make up the objective. Each individual objective has a weight multiplier to support objective prioritization, and a scale factor for normalization. If the goal of an individual objective parameter is maximization, then the weight multiplier gets an internal negative sign.If your optimization technique is a penalty-based technique, then the minimizationproblem is the same as described above with a penalty term added.Objective :MinimizeSubject to :Equality Constraints:Inequality Constraints:Design Variables: for integer and realor iSIGHT Input Parameter member of set S for discrete parametersWhere :SF = scale factor with a default of 1.0W = weight a default of 1.0W i SF i ---------i ∑F i ×x ()h k x ()T et arg –()W k SF k---------0k 1=;=×…K ,W j SF j---------LB g j x ()–()×0≤W j SF j ---------g j x ()UB –()×0j 1…L ,,=;≤LB SF -------iSIGHTInputParameter SF ------------------------------------------------------------------------------UB SF-------≤≤108Chapter 4 Optimization TechniquesThe penalty term is as follows:base + multiplier * summation of (constraint violation ** violation exponent)The default values for these parametesr are: 10.0 for penalty base, 1000.0 forpenalty multiplier, and 2 for the violation exponent. These defaults can beoverridden with Tcl API procedures discussed in the iSIGHT MDOL ReferenceGuide.All equality constraints, h(x), have a bandwidth of+-DeltaForEqualityConstraintViolation. This bandwidth allows a specified rangewithin which the constraint is not considered violated. The default bandwidth is.00001, and applies to all equality constraints. You can override this default withthe API procedure api_SetDeltaForEqualityConstraintViolation.All inequality constraints, g(x), are considered to be nonlinear. This setting cannot be overridden. If an iSIGHT output parameter has a lower and upper bound, thissetting is converted into two inequality constraints of the preceding form. Similarto the objective, each constraint can have a weight factor and scale factor.iSIGHT design variables, x, can be of type real, integer, or discrete. If the type is real or integer, the value must lie within user-specified lower and upper bounds. Ifno lower and upper bound is specified, the default value of 1E15 is used. Thisdefault can be overridden though the Parameters dialog box, or through the MDOLdescription file.There is one default bound for each optimization plan, and a common global(default) bound value (1E15). During the execution of an optimization plan, theplan's bound value overrides the common value. When no optimization plan isused, the default common value is used.The significance of the default bound is that, from the optimization techniquespoint of view, iSIGHT treats each design variable as if it has both a lower andupper bound. If the type is discrete, iSIGHT expects that the value of the variablewill always be one of the values provided in the user-supplied constraint set.Internally, iSIGHT will have a lower bound of 0, and an upper bound of n-1, wheren is the number of allowed values. The set of values can be supplied through theinterface, or through the API procedures api_SetInputConstraintAllowedValuesand api_AddInputConstraintAllowedValues. The optimization technique controlsthe values of the design variables, and iSIGHT expects the technique to insure thatthey are never allowed to violate their bounds.Internal Formulation109 To demonstrate the use of iSIGHT’s internal formulation, some simple modifications to the beamSimple.desc file can be made.Note:This description file can be found in the following location, depending on your operating system:UNIX and Linux:$(ISIGHT_HOME)/examples/doc_examplesWindows NT/2000/XP:$(ISIGHT_HOME)/examples_NT/doc_examplesMore information on this example can be found in the iSIGHT MDOL Reference Guide.For illustrative purposes, there are two objectives in this problem:minimize Deflectionminimize MassThe calculations shown in the following sections were done using the following values as parameters:BeamHeight = 40.0FlangeWidth = 40.0WebThickness = 1.0FlangeThichness = 1.0After executing a single run from Task Manager, the corresponding output values can be obtained:Mass = 118.0Deflection = 0.14286Stress = 21.82929110Chapter 4 Optimization TechniquesObjective FunctionAll optimization problems in iSIGHT are internally converted to a single, weightedminimization problem. More than one iSIGHT parameter can make up the objective.Each objective has a weight multiplier to support objective prioritization, and a scalefactor for normalization. If the goal of an individual objective parameter ismaximization, then the weight multiplier gets and internal negative sign.Hence, the calculation of the objective function in this example is the following:(Mass)*(Objective Weight)/(Objective Scale Factor) + (Deflection)*(ObjectiveWeight)/(Objective Scale Factor)Substituting the values for this problem, we get:(118.0)*(0.0078)/(1.0) + (0.14286)*(169.49)/(1.0) = 25.13158Penalty FunctionThe Penalty Function value is always computed by iSIGHT for constraint violations.The calculation of the penalty term is as follows:base + multiplier * (constraint violation violation exponent)Constraint violations are computed in one the following manners:For the Upper Bound (UB): For the Lower Bound (LB): For the Equality Constraint:(Value - UB)(UB Constraint Weight)UB Constraint Scale Factor(Value - LB)(LB Constraint Weight)LB Constraint Scale Factor(Value - Target)(Equality Constraint Weight) Equality Constraint Scale FactorInternal Formulation 111In iSIGHT, the default values of the base, multiplier, and violation exponent are as follows:Base = 10.0Multiplier = 1.0Exponent = 2Constraint Scale Factor = 1.0 Constraint Weight = 1.0In the following example, you want to maximize a displacement output variable, but it must be less than 16.0. Suppose the current displacement calculated is 30.5. Also assume that you set our UB Constraint weight to 3.0, and the UB Constraint Scale Factor to 10.0. The equations would appear as follows:ObjectiveAndPenalty FunctionThe ObjectiveAndPenalty variable in iSIGHT is then just the sum of the Objective function value and the Penalty term. In this example, the ObjectiveAndPenalty variable would have the following value:25.13138 + 33990.645 = 34015.777It is the value of this variable that is used to set the value of the Feasibility variable in iSIGHT. Recall that the Feasibility variable in iSIGHT is what alerts you to feasible versus non-feasible runs. For more information on feasibility, see “iSIGHT Supplied Variables,” on page 101.Penalty = 10.0 + 1.0 * (30.5 - 16.0) * 3.010.02112Chapter 4 Optimization TechniquesSelecting an Optimization TechniqueThis section provides instructions that explain how to select an optimization plan. Akey part of this process is selecting an optimization technique. It provides an overviewof the techniques available in iSIGHT, and provides examples of which techniques youmay want to select based on certain types of design problems.Note:The following is intended to provide general information and guidelines.However, it is highly recommended that you experiment with several techniques, andcombinations of techniques, to find the best solution.Optimization Technique CategoriesThe optimization techniques in iSIGHT can be divided into three main categories:Numerical Optimization TechniquesExploratory TechniquesExpert System TechniquesThe techniques which fall under these three categories are outlined in the followingsections, and are defined in “Optimization Technique Descriptions,” on page114.Numerical Optimization TechniquesNumerical optimization techniques generally assume the parameter space is unimodal,convex, and continuous. The techniques including in iSIGHT are:ADS-based TechniquesExterior Penalty (page115)Modified Method of Feasible Directions (page116)Sequential Linear Programming (page117)Generalized Reduced Gradient - LSGRG2 (page115)Hooke-Jeeves Direct Search Method (page115)Selecting an Optimization Technique113 Method of Feasible Directions - CONMIN (page115)Mixed Integer Optimization - MOST (page116)Sequential Quadratic Programming - DONLP (page117)Sequential Quadratic Programming - NLPQL (page117)Successive Approximation Method (page117)The numerical optimization techniques can be further divided into the following two categories:direct methodspenalty methodsDirect methods deal with constraints directly during the numerical search process. Penalty methods add a penalty term to the objective function to convert a constrained problem to an unconstrained problem.Direct Methods Penalty MethodsGeneralized Reduced Gradient - LSGRG2Exterior PenaltyMethod of Feasible Directions - CONMIN Hooke-Jeeves Direct SearchMixed Integer Optimization - MOSTModified Method of Feasible Directions - ADSSequential Linear Programming - ADSSequential Quadratic Programming - DONLPSequential Quadratic Programming - NLPQLSuccessive Approximation MethodExploratory TechniquesExploratory techniques avoid focusing only on a local region. They generally evaluate designs throughout the parameter space in search of the global optimum. The techniques included in iSIGHT are:Adaptive Simulated Annealing (page114)Multi-Island Genetic Algorithm (page116)114Chapter 4 Optimization TechniquesExpert System TechniquesExpert system techniques follow user defined directions on what to change, how tochange it, and when to change it. The technique including in iSIGHT is DirectedHeuristic Search (DHS) (page114).Optimization Technique DescriptionsThe following sections contain brief descriptions of each technique available iniSIGHT.Adaptive Simulated AnnealingThe Adaptive Simulated Annealing (ASA) algorithm is very well suited for solvinghighly non-linear problems with short running analysis codes, when finding the globaloptimum is more important than a quick improvement of the design.This technique distinguishes between different local optima. It can be used to obtain asolution with a minimal cost, from a problem which potentially has a great number ofsolutions.Directed Heuristic SearchDHS focuses only on the parameters that directly affect the solution in the desiredmanner. It does this using information you provide in a Dependency Table. You canindividually describe each parameter and its characteristics in the Dependency Table.Describing each parameter gives DHS the ability to know how to move each parameterin a way that is consistent with its order of magnitude, and with its influence on thedesired output. With DHS, it is easy to review the logs to understand why certaindecisions were made.Selecting an Optimization Technique115 Exterior PenaltyThis technique is widely used for constrained optimization. It is usually reliable, and has a relatively good chance of finding true optimum, if local minimums exist. The Exterior Penalty method approaches the optimum from infeasible region, becoming feasible in the limit as the penalty parameter approaches ∞(γp→∞). Generalized Reduced Gradient - LSGRG2This technique uses generalized reduced gradient algorithm for solving constrained non-linear optimization problems. The algorithm uses a search direction such that any active constraints remain precisely active for some small move in that direction. Hooke-Jeeves Direct Search MethodThis technique begins with a starting guess and searches for a local minimum. It does not require the objective function to be continuous. Because the algorithm does not use derivatives, the function does not need to be differentiable. Also, this technique has a convergence parameter, rho, which lets you determine the number of function evaluations needed for the greatest probability of convergence.Method of Feasible Directions - CONMINThis technique is a direct numerical optimization technique that attempts to deal directly with the nonlinearity of the search space. It iteratively finds a search direction and performs a one dimensional search along this direction. Mathematically, this can be expressed as follows:Design i = Design i-1 + A * Search Direction iIn this equation, i is the iteration, and A is a constant determined during the one dimensional search.The emphasis is to reduce the objective while maintaining a feasible design. This technique rapidly obtains an optimum design and handles inequality constraints. The technique currently does not support equality constraints.116Chapter 4 Optimization TechniquesMixed Integer Optimization - MOSTThis technique first solves the given design problem as if it were a purely continuousproblem, using sequential quadratic programming to locate an initial peak. If all designvariables are real, optimization stops here. Otherwise, the technique will branch out tothe nearest points that satisfy the integer or discrete value limits of one non-realparameter, for each such parameter. Those limits are added as new constraints, and thetechnique re-optimizes, yielding a new set of peaks from which to branch. As theoptimization progresses, the technique focuses on the values of successive non-realparameters, until all limits are satisfied.Modified Method of Feasible DirectionsThis technique is a direct numerical optimization technique used to solve constrainedoptimization problems. It rapidly obtains an optimum design, handles inequality andequality constraints, and satisfies constraints with high precision at the optimum.Multi-Island Genetic AlgorithmIn the Multi-Island Genetic Algorithm, as with other genetic algorithms, each designpoint is perceived as an individual with a certain value of fitness, based on the value ofobjective function and constraint penalty. An individual with a better value of objectivefunction and penalty has a higher fitness value.The main feature of Multi-Island Genetic Algorithm that distinguishes it fromtraditional genetic algorithms is the fact that each population of individuals is dividedinto several sub-populations called “islands.” All traditional genetic operations areperformed separately on each sub-population. Some individuals are then selected fromeach island and migrated to different islands periodically. This operation is called“migration.” Two parameters control the migration process: migration interval, whichis the number of generations between each migration, and migration rate, which is thepercentage of individuals migrated from each island at the time of migration.Selecting an Optimization Technique117 Sequential Linear ProgrammingThis technique uses a sequence of linear sub-optimizations to solve constrained optimization problems. It is easily coded, and applicable to many practical engineering design problems.Sequential Quadratic Programming - DONLPThis technique uses a slightly modified version of the Pantoja-Mayne update for the Hessian of the Lagrangian, variable scaling, and an improved armijo-type stepsize algorithm. With this technique, bounds on the variables are treated in a projected gradient-like fashion.Sequential Quadratic Programming - NLPQLThis technique assumes that objective function and constraints are continuously differentiable. The idea is to generate a sequence of quadratic programming subproblems, obtained by a quadratic approximation of the Lagrangian function, and a linearization of the constraints. Second order information is updated by aquasi-Newton formula, and the method is stabilized by an additional line search. Successive Approximation MethodThis technique lets you specify a nonlinear problem as a linearized problem. It is a general program which uses a Simplex Algorithm in addition to sparse matrix methods for linearized problems. If one of the variables is declared an integer, the simplex algorithm is iterated with a branch and bound algorithm until the desired optimal solution is found. The Successive Approximation Method is based on the LP-SOLVE technique developed by M. Berkalaar and J.J. Dirks.Optimization Technique SelectionTable5-1 on page119, suggests some of the optimization techniques you may want to try based on certain characteristics of your design problem. Table5-2 on page120, suggests some of the optimization techniques you may want to try, based on certain characteristics of the optimization technique.118Chapter 4 Optimization TechniquesThe following abbreviations are used in the tables:Note : In the tables, similar techniques are represented by the same abbreviation/column. That is, the MMFD column represents the Modified Method of Feasible Directions techniques - ADS and the Method of Feasible Directions -CONMIN. The SQP column represents both DONLP and NLPQL versions of sequential quadratic programming.Optimization MethodsAbbreviation Modified Method of Feasible Directions - ADSMethod of Feasible Directions - CONMINMMFDSequential Linear Programming - ADSSLP Sequential Quadratic Programming - DONLPSequential Quadratic Programming - NLPQLSQP Hooke-Jeeves Direct Search MethodHJ Successive Approximation MethodSAM Directed Heuristic Search (DHS)DHS Multi-Island Genetic AlgorithmGA Mixed Integer Optimization - MOSTMOST Generalized Reduced Gradient - LSGRG2 LSGRG2Selecting an Optimization Technique 119* This is only true for NLPQL. DONLP does not handle user-supplied gradients.** Although the application may require some or all variables to be integer or discrete, the task process must be able to evaluate arbitrary real-valued design points.Table 5-1. Selecting Optimization Techniques Based on Problem Characteristics ProblemCharacteristicsPen Meth MMFD SLP SQP HJ SAM DHS GA Sim.Annl.MOST LSGRG2Only realvariablesx x x x x x x x x x**x Handles unmixedor mixedparameters oftypes real, integer,and discretex x x x x x Highly nonlinearoptimizationproblemx x x Disjointed designspaces (relativeminimum)x x x Large number ofdesign variables(over 20)x x x x x x Large number ofdesign constraints(over 1000)x x x x Long runningsimcodes/analysis(expensivefunctionevaluations)x x x x x Availability ofuser-suppliedgradients x x x x*x x120Chapter 4 Optimization TechniquesTable 5-2. Selecting Optimization Techniques Based on Technique CharacteristicsTechnique Characteristics MMFD SQP HJ SAM DHS GA SimulatedAnnealingMOST LSGRG2Does not requirethe objectivefunction to becontinuousx x x x xHandlesinequality andequalityconstraintsx*x x x x x x x xFormulationbased onKuhn-Tuckeroptimalityconditionsx x xSearches from aset of designsrather than asingle designx x**Used probabilisticrulesx xGets betteranswers at thebeginningxDoes not assumeparameterindependencex x x xDoes not need touse finitedifferencesx x x xOptimization Strategies121* This is only true for the Modified Method of Feasible Directions - ADS. The Method of Feasible Directions - CONMIN does not handle equality constraints.** First finds an initial peak from a single design, then searches a set of designs derived from that peak.Optimization StrategiesYou can specify a single optimization technique or a sequence of techniques, for a particular design optimization run. iSIGHT searches the design space by virtue of the behavior of the techniques, guided and bounded by any design variables and any constraints specified. Upon completion of an optimization run, you can switch techniques by either selecting another plan created with different techniques, or by modifying the current plan to apply a different optimization technique.Optimization plans with more than one technique can use strategies for combining the multiple optimization techniques. The following sections defines six optimization strategies.TechniqueCharacteristics MMFD SQP HJ SAM DHS GA Simulated Annealing MOST LSGRG2Not sensitive todesign variablevalues withdifferent orders ofmagnitudex x x Is easy tounderstandx Can be configuredso it searches in acontrolled, orderlyfashion xTable 5-2. Selecting Optimization Techniques Based on Technique Characteristics (cont.)122Chapter 4 Optimization TechniquesIn theory and in practice, a combination of techniques usually reflects an optimizationstrategy to perform one or more of the following objectives:“Coarse-to-Fine Search” on this page“Establish Feasibility, Then Search Feasible Region” on this page“Exploitation and Exploration,” on page123“Complementary Landscape Assumptions,” on page123“Procedural Formulation,” on page123“Rule-Driven,” on page124These multiple-technique optimization strategies are important to understand, and canserve as guidelines for those new to the iSIGHT optimization environment, or todesign engineers who are not optimization experts.Coarse-to-Fine SearchThe coarse-to-fine search strategy typically involves using the same optimizationtechnique more than once. For example, you may have defined a plan using theSequential Quadratic Programming technique twice, with the first instance calledSQP1 and the second instance called SQP2. The first instance, SQP1, may have a largefinite difference Step size, while the second instance, SQP2, may have a small finitedifference Step size.Advanced iSIGHT users may extend the coarse-to-fine search plan further bymodifying the number of design variables and constraints used in the search process,through the use of plan prologues and epilogues.Establish Feasibility, Then Search FeasibleRegionSome optimization techniques are most effective when started in the feasible region ofthe design space, while others are most effective when started in the infeasible region.If you are uncertain whether the initial design point is feasible or not, then anoptimization plan consisting of a penalty method, followed by a direct method,provides a general way to handle any problem.Optimization Strategies123 Advanced iSIGHT users can enhance the prologue at the optimization plan level so that the penalty technique is only invoked if the design is infeasible.Exploitation and ExplorationNumerical techniques are exploitive, and quickly climb to a local optimum. An optimization plan consisting of an exploitive technique followed by an explorative technique, such as a Multi-Island Genetic Algorithm or Adaptive Simulated Annealing, then followed up with another exploitive technique, serves a particular purpose. This strategy can quickly climb to a local optimum, explore for a promising region of the design space, then exploit.Advanced iSIGHT users can define a control section to allow the exploitive and explorative techniques to loop between each other.Complementary Landscape AssumptionsEach optimization technique makes assumptions about the underlying landscape in terms of continuity and modality. In general, numerical optimization assumes a continuous, unimodal design space. On the other hand, exploratory techniques work with mixed discrete and real parameters in a discontinuous space.If you are not sure of the underlying landscape, or if the landscape contains both discontinuities and integers, then you should develop a plan composed of optimization techniques from both categories.Procedural FormulationMany designers approach a design optimization problem by conducting a series of iterative, trial-and-error problem formulations to find a solution. Typically, the designer will vary a set of design variables and, depending on the outcome, change the problem formulation then run another optimization. This process is continued until a satisfactory answer is reached.If the series of formulations becomes somewhat repetitive and predictable, then the advanced iSIGHT user can automate this process by programming the formulation and。
现代机械优化设计
二、不同优化算法方法对结果的影响...................................................................... 18 三、单级直齿圆柱齿轮减速器的参数优化.............................................................. 19
一、一维优化方法
1.1 格 点法
1.1.1 基本思想 在搜索区间中插入 n 个等分点， 将搜索区间划为 n+1 个子区间， 然后计算比 较 n 个点的函数值，取 min{ f ( xi )}( xi = 1,2, , n) ，然后取以最小点 xi 为中心的相 邻两区间为新的搜索区间，用相同方法进行新的一轮搜索，直到达到要求的 ε 为 止。 1.1.2 算法特点 格点法是一种极为简单的一维搜索方法，搜索区间的的缩短率为 λ =
1.2 二 次插值法（抛物线法）
1.2.1 基本思想 二次插值的基本思想是利用目标函数在不同三点的函数值构成一个与原函 数 f ( x) 相近似的二次多项式 p ( x) ， 以函数 p ( x) 的极值点 x* p 作为目标函数 f ( x ) 的 近似极值点。 由于二次多项式函数的图形是抛物线， 所以它又称为抛物线插值法。 1.2.2 算法特点
模拟退火算法简介：原理+实例
模拟退火算法(Simulated Annealing)主要内容◆算法原理◆算法应用◆作业现代智能优化算法，主要用于求解较为复杂的优化问题。
与确定性算法相比，其特点如下：第一，目标函数与约束函数不需要连续、可微，只需提供计算点处的函数值即可；第二，约束变量可取离散值；第三，通常情况下，这些算法能求得全局最优解。
现代智能优化算法，包括禁忌搜索，模拟退火、遗传算法等，这些算法涉及生物进化、人工智能、数学和物理学、神经系统和统计力学等概念，都是以一定的直观基础构造的算法，统称为启发式算法。
启发式算法的兴起，与计算复杂性理论的形成有密切的联系，当人们不满足常规算法求解复杂问题时，现代智能优化算法开始起作用。
现代智能优化算法，自20世纪80年代初兴起，至今发展迅速，其与人工智能、计算机科学和运筹学融合，促进了复杂优化问题的分析和解决。
模拟退火算法（Simulated Annealing, SA）是一种通用的随机搜索算法，是局部搜索算法的扩展。
最早于1953年由Metropolis提出，K irkpatric等在1983年将其成功用于组合优化问题的求解。
算法的目的：解决NP复杂性问题；克服优化过程陷入局部极小；克服初值依赖性。
一、算法原理启发：物质总是趋于最低的能态。
如：水往低处流；电子向最低能级的轨道排布。
结论：最低能态是最稳定的状态。
物质会“自动”地趋于最低能态。
猜想：物质趋于最低能态与优化问题求最小值之间有相似性，能否设计一种用于求函数最小值的算法，就像物质“自动”地趋于最低能态？退火，俗称固体降温。
先把固体加热至足够高的温度，使固体中所有的粒子处于无序的状态（随机排列，此时具有最高的熵值）；然后将温度缓缓降低，固体冷却，粒子渐渐有序（熵值下降，以低能状态排列）。
原则上，只要温度上升得足够高，冷却过程足够慢，则所有粒子最终会处于最低能态（此时具有最低的熵值）。
模拟退火算法就是将退火过程中系统熵值类比为优化问题的目标函数值来达到优化问题寻优的一种算法。
运筹学的优化算法
29
再对（P1） x1 1 （1，9/4）分枝：
x2
（P3） x2 2 （P4） x2 3
P4
43 2
1
P1 P3
0
1
P2
2
3
4
x1
30
（P1）两个子问题： （P3）Max Z=4x1+3x2
s.t. 3x1+4x2 12 4x1+2x2 9 x1,x2 0 ,x1 1, x2是抽 象模型——数学模型。
3
运筹学包含的分支
数学规划（线性规划、整数规划、 目标规划、动态规划、网络规划等） 图论与网络流 决策分析
4
运筹学包含的分支
排队论 可靠性数学理论 库存论 对策论 搜索论 计算机模拟等
5
数学建模竞赛中的算法(1)
93A 非线性交调的频率设计: 拟合、规划 93B 足球队排名次: 矩阵论、图论、层次分析法、
s.t. 3x1+4x2 12 4x1+2x2 9 x1,x2 0 ， x1 1 ，整数
用单纯形法可解得相应的（P1）的最优 解（1，9/4） Z=10(3/4)
28
（P2）Max Z=4x1+3x2 s.t. 3x1+4x2 12 4x1+2x2 9 x1,x2 0 ， x1 2 ，整数
整数规划 94A 逢山开路: 图论、插值、动态规划 94B 锁具装箱问题: 图论、组合数学 95A 飞行管理问题 : 非线性规划、线性规划 95B 天车与冶炼炉的作业调度: 非线性规划、动态
规划、层次分析法、PETRI方法、图论方法、排队 论方法 96A 最优捕鱼策略：微分方程、积分、非线性规划
序优化方法
序优化流程总结
• • • • • • • Step 1:从设计空间Θ中随机选出N个设计; Step 2: 用户定义g值和k值; Step 3: 采用粗略模型评估设计; Step 4: 估计噪声水平和问题类型; Step 5: 计算满足 Pr{|G∩S|≥k} ≥ 0.95的s值; Step 6: 选择 top-s观测设计; Step 7: OO 理论保证了至少有k个“足够好”的设计以很高 的概率存在于选择子集S中; • Step 8:精确评估选择子集S中ｓ个设计，选出最好的设计. • 通常节省至少一个数量级的计算量. • 可以快速扫描出一些 “足够好”的设计, 容易和其它优化 方法结合.
x (h)
x (i)
向量序优化（续）
• g, k , s值, 噪声水平, 和问题类型之间的关系也 列成表格 [Zhao, Ho, Jia 2005].
飞机引擎
• 关键性部件,昂贵, 故障, 拆卸修理.
维修系统
wait workshop Part 1 Engine Arrives Random arrival
• 并行计算
• 使用简化模型, 多模型，合作搜索等
序优化的问题
• “序”在 最好的1% 里不一定在最优“值”的 1%里 • 实际性能不等于 (模型性能 + i.i.d. noise) • 大小为1010的搜索空间的1%里仍与最优的 距离为108
有约束序优化(COO)
• 基于仿真的约束: E[Ji(θ)]≤0
True performance
General(1) Neutral
General(2)
Flat
Jmin Ordered design index
s值的确定
• 给定g, k, 噪声水平, 和问题类型, s值可以查表计 算 [LauHo1997], s.t. Pr{|G∩S|≥k} ≥ 0.95。