华中科技大学工程优化设计-启发式方法

启发式方法
三。模拟退火算法（Simulated Annealing）
T1 T2
区域１
区域２
区域３
降低温度，第二次稳态点以较大概率落入上次稳态区域中 较低的子区域．
启发式方法
模拟退火算法（Simulated Annealing）
算法： 1.置t=0, T=T0,xc=x0,计算f(xc); 2.置steady=FALSE; 3.选1个邻域点，xn=generate(xc); 4. 如果f(xc)>f(xn), xc=xn; 否则，如果 random(0,1)<exp{-(f(xn)-f(xc))/T} xc=xn; 5. 如果抽样稳定准则不满足，转（3）； 6. 否则，steady=TRUE; 7.退温 T=g(T,t),换代t=t+1; 8. 如果退火结束准则不满足，转（2）； 9.否则，输出xc,f(xc)，结束。 -x/T
物质表面 状态 X3
能量f(X)小
温度下降足够慢时,X1,X2,X3为稳定状态.它们是对应温度的稳态能量状态.
启发式方法
退火过程
能量f(X)大
物质表面 状态 X1
物质表面 状态 X2
物质表面 状态 X3
能量f(X)小
温度下降过快时,X1,X2,X3为非稳定状态.它们不是对应温度的稳态能量状态. 特别是X3,还夹杂着前面X2与X1的表面特性,因为有些地方的能量还没有充分释放.
T=20
T=5
0.269
0.329
0.256 0.243
0.269 0.221 0.117 0.016
0.232
0.181 0.002
2.378
2.254 1.55
T=0.5 0.865
当T充分小时,以较大的概率处于小的能量状态!!!
启发式方法
退火过程
能量f(X)大
物质表面 状态 X1
物质表面 状态 X2
随机定位
（b)交换（Swap） 412735896 -> 412537896 (c)逆序（Inverse） 412735896 -> 698537214
启发式方法
算法分析：
遗传算法
1.随着种群X的变化，个体在X中可能重复，但总个数n 不变，这说明有些个体被彻底淘汰了。 2.如果优良个体被淘汰，会影响收敛。
虽然这些方向是下降更多，但因为已搜索过，回避它们！！！
局部最优解
更好的局部最优解
启发式方法
算法：
禁忌搜索算法（Taboo Search）
1。给定算法参数，随机产生初始解，置禁忌表(Tabu-list)为空；
2。如果收敛准则(stop crtiterion)满足，结束并输出结果。
3。由当前解产生邻域解，确定候选解集合(Candidates)及对应目标值；
p
p
5. 如果 i ，结束，输出x1, f(x1)。
6. 否则， 设 ai xi 3i , bi xi 3i ,转（2）。
启发式方法
随机实验法（Monte-Carlo方法） 算法分析： 1.邻域大小变化。 2.邻域（解范围）逐渐缩小，邻域位置跳动。 3.基于整体分布状况，选择新邻域位置。
算法思想：对于一当前点，确定其邻域集合。在邻域 集合中选一点,如果该点更好，将当前点移至此点，否 则，仍然以一定的概率将当前点转移到此(较差)点。
xn
xc
当温度较小时,分子集合处于最小能量状态概率增大! Pr(E=E(r))=e[-E(r)/kT]/Z
E=1
E=2
E=3
E=4
稳态能量
3.精英策略是将10%的顶级优良个体直接放入下一代种 群中，不参加交叉和变异操作。
4.这样，GA以概率1收敛。
启发式方法
五。禁忌搜索算法（Taboo Search）
算法思想：在下山法中，搜索方向规则较为单一，容 易陷入局部最优解，或来回循环。方向选择规则的多 样化，有利于克服这一问题。 与SA算法中随机的、自动跳出局部解的做法不同，TS 算法有限地记录已搜索过的路径或局部最优解，进一 步的搜索主动地回避这些搜索方向或局部最优解，使 更多的不同的解得到搜索。
4. 如果f(xc)>f(xn), xc=xn;转（3）。
5. 否则，local=TRUE，t=t+1;
6. 如果 f(xc)<fmax,则 xmax=xc,fmax=f(xc)； 7.如果t<MAX,转(2)。 8.否则，输出xmax,fmax，结束。 搜索出MAX个局部最优解， 取其中最优点。
邻域定义方法： 1.连续空间的邻域：以欧氏距离定义。 2.离散空间的邻域：以变换规则定义。
启发式方法
二。下山法 算法思想：对于一当前点，确定其邻域集合。如果邻 域集合中有更好的点，将当前点移至此点，否则，当 前点为局部最优点。
xn xc
启发式方法
算法： 1.置t=0, xmax=x0, fmax=∞; 2.置local=FALSE, 随机取xc,计算f(xc); 下山法
3.选p个邻域点，取最小点xn;
义，SA和上山法还要初值。 2.邻域的使用实际上隐含着对f(x)连续性的假设。但基于离散变量的组合优化不满 足这种假设。也就是说，x相邻并不一定有f(x)相近。这样，邻域搜索和MonteCarlo法中范围缩小法就失效。 3.不用邻域，优化迭代中换代采样问题怎样解决？（a)下一代采样点的生成；（b) 怎样继承前面搜索的成果，或保持好的采样点？（c)怎样实现采样的多样性？ 4.从物种进化过程中适者生存、优胜劣汰规律得到启发，设计采样方法：（a)生成： 下一代由上一代生成；（b)下一代保持上一代（父母）的部分特征，具有继承性； (c)下一代由两个上一代个体生成，不同于父母，同时可能随机地发生异化。
启发式方法
一。随机实验法（Monte-Carlo方法） 基本思想 在可行区域中随机地N个点，又在N点中取p个较 小目标值的点，这p个点所处的区域作为逼近最优解一个新 的、缩小了的范围。如此下去，使此范围不断缩小。
启发式方法
算法： 随机实验法（Monte-Carlo方法）
1.置初始D=[a1,b1]×[a2,b2] ×…×[an,bn]；
启发式方法
模拟退火算法（Simulated Annealing） 算法分析：
1.邻域结构。
2.基于概率的转移方向控制。 3.可以回弹。 4.著名的全局解求法。 5.计算量较大。
启发式方法
四。遗传算法（Genetic Algorithms）
算法思想：1.前三算法都有邻域结构定义要求，其中Monte-Carlo法由距离定
2.生成随机数rik和点：xik=ai+rik(bi-ai),满足g(xk)≤0, k=1,2,…,N. 3. 计算f(xk), k=1,2,3,…,N. 按f(xk)从小到大排列xk. 取前p个xk， k=1,2,…,p.
4. 计算
xi
1 p
j 2 1/ 2 1 x , i 1 , 2 ,..., n ; { ( x x ) i i i i } p j j 1 j 1
工程优化设计
内容提要
• • • • • • • • • • 工程优化问题建模 优化数学理论 一维搜索方法 无约束问题直接搜索方法 无约束问题间接接搜索方法 约束问题直接搜索方法 线性规划与二次规划问题求解 约束问题间接搜索方法 启发式算法 优化软件系统
启发式方法
启发式方法: 从其他事物发展变化规律中受到启发，模仿它们 变化过程，将它们的变化规则引入优化搜索过程中。 典型的方法有： 1. Tabu搜索法 2. 模拟退火方法 3. 遗传算法 4. 人工神ild1 = 412735896 ＝xchild2
按照从小到大 补填所缺码数
6/1与5/3 出现重复，暂不填
算法要素：
3.交叉：（c)Non-ABEL法,
遗传算法（Genetic Algorithms）
xchild1[i]=x1[x2[i]]; xchild2[i]=x2[x1[i]]
三。模拟退火算法（Simulated Annealing）
T1
区域１
区域２
区域３
由于区域１较大且整体较低，第一次稳态点以较大概率落入 此区域．该区域称为稳态区域.
启发式方法
三。模拟退火算法（Simulated Annealing）
T1 T2
区域１
区域２
区域３
如果第一退火时间不够长，第一次稳态点落入整体最优区域的概率较小 , 落入次优区域的概率增大.
算法要素：
遗传算法（Genetic Algorithms）
1.编码：设计变量用数字串表示,如二进制 10110001，十进制 98015687。
2.选择：比例选择策略，适配值大个体生存概率高.令 ai f ( xk ) / f ( xk )
k 1 k 1
i
n
di a0=0 a1 a2
for(int i=1; i<=|S|; i++) { p=random(0,1); If ai-1<p<=ai, select xi; }
ai-1
ai
an=1
f(xi)越大，di越大，p落入[ai-1,ai] 的可能性就越大。
算法要素：
3.交叉：（a)一点交叉法
遗传算法（Genetic Algorithms）
启发式方法
算法：
遗传算法（Genetic Algorithms）
1.随机产生一组初始个体（设计变量值xi）构成初始种群X={x1,x2,…,xm}， 计算适配值（f(x), 或p(f(x))）. 2.判断算法收敛准则是否满足，若满足，输出结果，结束。 3.根据适配值大小，选择复制种群中若干个体S={x1,x2,…,xk} X, 即 S=select(X);