6_现代优化计算方法

i
,N
S.5 以概率 pi 从 pop (k) 中随机选一些染色体构成一个新群体（其中 可以重复选 pop (k) 中的元素） newpop(k+1)= { popi(k) , i=1,2,· · · ,N }
§6.4
三. 算法的基本步骤：
遗传优化算法
S.6 通过交配，按交配概率 pc 得到一个有 N 个染色体的交配群体 crosspop (k+1)； S.7 以一个较小的变异概率 pm ，使得一个染色体的基因发生变异， 形成变异群体mutpop (k+1) ； S.8 令 k= k+1 和 popi(k) = mutpop (k+1) ，返回S.3； S.9 终止计算，输出最优结果。
§6.3
模拟退火优化算法
温度 t 下，分子停留在某一状态 r 满 足 Bolztmann 概率分布：
P E E (r )


1 E (r ) exp z (t ) kt
其中： E(r) ——状态r的能量 k ——常数 E ——分子能量的一个随机变量 z(t) ——概率分布的标准化因子 D0 ——最低能量状态的个数 D ——状态空间中状态的个数
通过分别交换基因，实现了交配，得到了4个新个体N1’、 N2’、 N3’和N4’ 。 若对某个个体（例如N2’ ）进行基因变异（1→0），可得N2”: 0 0 1 0 0 0 0 1 (=3)
遗传算法的4个组成部分：
编码和解码、适应函数、遗传算子和控制参数
§6.4
三. 算法的基本步骤：
遗传优化算法
模拟退火算法（Simulated annealing）
遗传算法（Genetic algorithms） 神经网络优化算法（Neural networks optimization）
混合优化算法（Hybrid optimization）
§6.2
计算复杂性和启发式算法
一.计算复杂性
由于计算时间和存储空间的局限，某些算法在实践中不一定能得到解
§6.4
遗传优化算法
四. 算法实现的几个技术问题 —— 编码和解码
编码——由设计空间向编码空间的映射。将设计解用字符串表示的 过程。编码的选择是影响算法性能和效率的重要因素。
解码——由编码空间向设计空间的映射。
§6.4
遗传优化算法
四. 算法实现的几个技术问题 —— 编码和解码
连续变量x，在给定区间[a,b]的二进制编码策略（长度为l）：
Ei E j exp random 0,1 kt
若新状态 j 的能量满足条件，则被用 来替代原状态 i。 高温下，接受能量差较大的新状态； 低温下，只接受能量差较小的新状态。
基本思想：
由某一较高的初始温度开始，利用上式在解域内随机搜索采 样，随着温度不断降低，使系统的能量达到最低状态，即相当于 能量函数的全局最优解。
§6.3
模拟退火优化算法
—— 状态接受函数
四.算法实现的几个技术问题
基本要求 1. 2. 在某个退火温度tk下，接受目标函数值下降的候选解的概率要大； 随着退火温度的下降，使接受目标函数值下降的候选解的概率越 来越大，且当退火温度接近于0时，概率接近于1，即只能接受目 标函数值下降的候选解。 一般形式
也可以不断变化（变比率下降）。α 接近于1，温度下降得缓慢。
此法简单易行，使用较多； 2.
k tk 1 t0 k 1, K
，式中t0为初始温度；K为算法温度下
降的规定总次数
§6.3
四. 小结 优点 ：
• • •
模拟退火优化算法
可防止陷入局部最小点，获得全局最优解的可能性大； 对初始点的稳定性好； 无需求导，算法通用易实现。
二进制编码表示： 一个解（个体的染色体） 适应函数（个体的表 现型） f (x1,x2)
N1： 1 0 1 1
N2： 1 1 0 1 N3： 1 0 0 0
0 0 1 1
1 1 1 0 1 1 0 1
14
27 21
N4： 0Baidu Nhomakorabea1 1 0
0 1 0 1
11
§6.4
二. 基本思想：
例6-1
遗传优化算法
择部分染色体继续进行结合，直至
最终找到最好的解。
遗传基因：字符串的每一位数
编
群
码： 把解用字符串表示
体： 个体的集合
§6.4
二. 基本思想：
遗传优化算法
例6-1 用遗传算法求min f (x1,x2)= x1 + x2 ，当x1和x2为整数时的整数解，且
0 x1和x2 15
解：若用4位二进制编码表示一个设计变量 xi，则一个 解(x1, x2)需用8位
§6.3
模拟退火优化算法
—— 退温函数 updat(tk)
三. 算法实现的几个技术问题
退温慢，候选解数目多 >> 获得高质量解的概率大 >> 计算时间长 退温快 >> 计算效率提高 >> 不能保证收敛到全局最优解
常用的退温函数 ： 1.
tk 1 tk , (k >0), 其中 0 1 ，其大小可以固定（同比率下降）
第六章
现代优化计算方法
§6.1 引言
§6.2 计算复杂性和启发式算法的概念
§6.3 模拟退火优化算法
§6.4 遗传优化算法 §6.5 神经网络优化算法
§6.1
常规优化算法 Powell法、梯度法
引言
随机方向搜索法、复合形法、惩罚函数法 启发式算法 适于求解高非线性、多约束、多极值问题 —— 现代优化计算方法：
§6.3
三.算法基本步骤：
模拟退火优化算法
设求解优化问题
min.
f x x Rn
S.1 任选一个初始解（初始状态） x(0) ， 并令 k=0 ， x(k) =x(0) 和 tk= t0（初始退火温度t0应取较高的值），计算 f (x(k))； S.2 在温度tk下做下面循环： S.2.1 在当前的tk下随机产生新状态（候选解）x’=genete (x(k)) 内 S.2.2 计算 f (x’) 值和 Δf = f (x’)－f (x(k)) 外 循 循 环 S.2.3 若Δf<0 则令 x(k) =x’，转 S.3 ；否则执行下一步 环 S.2.4 若 状态接受函数 min{1,exp(-Δf /tk)}>random(0,1) ，则令x(k) =x’，转 S.3 ；否则转 S.2.1 S.3 若满足算法收敛（退火结束）准则，则转 S.4 ；否则令下一循 环的退火温度 tk+1= updat(tk) （退温函数）和 k=k+1，转向 S.2 ； S.4 终止计算，输出结果，即取 x* =x’ 和 f (x*)= f (x’)。
x a a1 ba ba a2 2 2 2 al ba 2l
其中，二进制编码的长度为l，a1,a2,· · · ,al 取0或1，二进制码与实际 变量的最大误差为(b-a ) / 2l 例：求max f (x)=1-x2，x∈[0,1]。假设对解的误差要求为1/16,则可 采用4个二进制编码（即l＝4），b-a=1，对照上式，有：
若以这4个个体为群体，按求解的要求，适应函数值小的染色体的
生存概率较大，则能竞争上的是N1、 N3和N4点，其交配方式如下： N4： 0 1 1 0 N1： 1 0 1 1 N4： 0 1 1 0 N3： 1 0 0 0 0 1 0 1 0 0 1 1 0 1 0 1 1 1 0 1 交配 交配 N1’： 0 1 1 1 N2’： 1 0 1 0 N3’： 0 1 0 0 N4’： 1 0 1 0 0 1 1 1 = 14 0 0 0 1 = 11 0 1 0 1 = 9 1 1 0 1 = 23
（3）当染色体结合时，双亲的遗传基因的结合使得子女保持父母的
特征。 （4）当染色体结合后，随机的变异会造成子代与父代的不同。
§6.4
二. 基本思想：
遗传优化算法
遗传算法在求解优化问题时首 先对求解空间的各个解进行编码。 在寻优过程中，通过对染色体（解 的编码，个体）进行结合（基因遗 传、变异和交配），不断产生新的 解，进而根据适应函数在新解中选
Ei E j exp random 0,1 kt
min{1,exp(-Δf /tk)}
§6.3
模拟退火优化算法
—— 初始温度
三. 算法实现的几个技术问题
初温的选择方法： （初温大 >> 获得高质量解的概率大 >> 计算时间长） 1. 均匀抽样一组状态，以各状态目标函数值的方差为初温t0 ； 2. 随机产生一组状态，确定两状态的目标函数差值
§6.3
一. 物理背景：
模拟退火优化算法
固体退火的物理过程和统计性质：
（1）加温：随温度升高，粒子能量增高，与平衡位置的距离增大
（2）等温：温度升至熔解温度，固体的规则性被打破，成为液体， 粒子可以自由运动和重新排序，消除系统中原先存在的非均匀状态 （3）冷却：随着温度的下降，粒子能量减弱，运动减小粒子最终 进入平衡态，固化为具有最小能量的晶体
算法的复杂性 算法的求解方法造成（例：求二阶导数）
问题的复杂性 问题本身求解的复杂造成 求解问题的规模（维数）n 对复杂性的影响
§6.2
计算复杂性和启发式算法
二.启发式算法
是相对于有严格数学背景的数学规划优化算法提出的。
有严格数学背景——梯度法、坐标轮换法、Powell法 是基于直观或经验构造的算法，在可接受的花费（指计算时间和 空间）内寻找最好的解，但不能保证所得的解就是最优解，以及 此解与最优解的近似程度。 通过揭示和模拟自然现象和过程，并综合数学、物理学、生物进 化、人工智能、神经科学和统计学等所构造的算法。也称构造型 算法、智能优化算法。
§6.3
三.算法基本步骤：
内循环终止条件
模拟退火优化算法
1. 规定产生有限个候选解 ；
2. 在连续若干步候选解的目标函数值变化很小：
3. 目标函数值的均值已相当稳定。 外循环终止条件 1. 设置一个终止温度 te； 2. 规定外循环的最大迭代次数kmax： 3. 算法在每个tk值搜索到的最优解的值在若干次迭代内已 保持不变。
缺点 ：
• 为使获得全局最优解的可能性大，则所需花费的计算时 间相对较长。
§6.4
一. 背景：
遗传优化算法
依据生物进化论中的“适者生存”规律而提出：
生物进化基本循环图
§6.4
一. 背景：
遗传优化算法
遗传算法的主要生物进化特征体现在：
（1）进化发生在解的编码（染色体）上。优化问题通过编码来研究。 （2）自然选择规律决定哪些染色体产生超过平均数的后代。遗传算 法通过优化目标构造适应函数以达到好的染色体超过平均数的后代。
分子停留在某种能量状态的概率 与温度成反比
随着温度 t 不断降低，分子停留在 低能量状态的概率不断增大
物理退火
优化设计
E（r）
E（rmin）
f（x）
f （x*）
相同温度下，分子停留在低能量状 态的概率要更大
§6.3
二. 基本思想：
模拟退火优化算法
状态 迁移准则（ Metropolis 抽样稳定性条件）：
f max max f ( x ( j ) ) j 1, 2, , N min f ( x ( j ) ) j 1, 2, , N
然后根据差值，利用一定的函数产生初温，如取
t0 K fmax
或
t0
f max ln( p)
式中：K —— 一个充分大的数，可取K＝10，20，100，· · · 等试验值； p——初始接受概率。
§6.3
模拟退火优化算法
—— 新状态产生函数 genete (x(k))
四.算法实现的几个技术问题
基本要求：应保证所产生的候选解可以遍及整个解域。
一般形式：
xi' xi( k ) i 1, 2,
, n)
η为摄动幅度系数；ε为服从某种随机分布的变动量 例：已知各变量的变动范围 取
xiL xi xiU i 1, 2,
,n
, n)
xi' xi( k )
1 U ( xi xiL )(2r 1) i 1, 2, K
式中：r —— [0,1] 之间均匀分布的伪随机数 K ——区域缩减系数，取K≥1 α ——分布系数，取正奇数1，3，5，7等
S.1 选择优化问题求解的一种编码；
S.2 随机产生N个染色体的初始群体{ pop(k) , k=0 } ；
S.3 对群体中的每个染色体popi(k)计算适应函数 f i=fitness(popi(k))
S.4 若满足终止规则，则转向S.9，否则计算概率
pi fi
f
i 1
N
i 1, 2,