模拟退火算法和遗传算法

10.1.1 模拟退火算法的基本原理
Metropolis准则（1953）——以概率接受新状态 若在温度T，当前状态i → 新状态j 若Ej<Ei，则接受 j 为当前状态； 否则，若概率 p=exp[-(Ej-Ei)/kBT] 大于[0,1)区间的 随机数，则仍接受状态 j 为当前状态；若不成立则 保留状态 i 为当前状态。
定义 一步转移概率：
p i,j(n 1 ) PX r (n ){ jX (n 1 ) i}
n步转移概率：
p i(,n j)PX r(n { )j X (0 )i}
若解空间有限，称马尔可夫链为有限状态； 若 n Z,p i,j(n)p i,j(n 1 )，称马尔可夫链为时齐的。
10.1.3 模拟退火算法的计算步骤及收敛性
在同一个温度，分子停留在能量小的状态的概Leabharlann Baidu比 停留在能量大的状态的概率要大。
10.1.1 模拟退火算法的基本原理
数学表述 若|D|为状态空间D中状态的个数，D0是具有最低能 量的状态集合： 当温度很高时，每个状态概率基本相同，接近平均 值1/|D|； 状态空间存在超过两个不同能量时，具有最低能量 状态的概率超出平均值1/|D| ； 当温度趋于0时，分子停留在最低能量状态的概率 趋于1。
10.1.2 组合优化
组合优化的一个实例(S, f )，其中S是解空间，f是目标函数. 在求最小值时，要求找出一个解iopt S,使得 f (iopt) f (i),iS 在求最大值时，要求找到一个解iopt S,使得 f (iopt) f (i),iS 无论是求最大值还是最小值，都称iopt为全局最优解。
温度Tk为一确定值时，两个解i, jS的转移概率定义为
Gij (Tk )Aij (Tk ),
pij(k) pij(Tk) 1 Gil(Tk)Ail(Tk), lS li
当i j 当i j
其中，Gij (Tk )称为从i到j的产生概率，Aij (Tk )称为接受概率.
模拟退火算法对应了一个马尔可夫链 模拟退火算法：新状态接受概率仅依赖于新状态和 当前状态，并由温度加以控制。 若固定每一温度，算法均计算马氏链的变化直至平 稳分布，然后下降温度，则称为时齐算法； 若无需各温度下算法均达到平稳分布，但温度需按 一定速率下降，则称为非时齐算法。
分析收敛性
10.1.3 模拟退火算法的计算步骤及收敛性
p
1
0
-(Ej-Ei)/kT
10.1.1 模拟退火算法的基本原理
模拟退火算法的基本思想 将一个优化问题比拟成一个金属物体，将优化问题 的目标函数比拟成物体的能量，问题的解比拟成物 体的状态，问题的最优解比拟成能量最低的状态， 然后模拟金属物体的退火过程，从一个足够高的温 度开始，逐渐降低温度，使物体分子从高能量状态 缓慢的过渡到低能量状态，直至获得能量最小的理 想状态为止，从而得到优化问题的全局最优解。
10.1.2 组合优化
设(S, f )是组合优化问题的一个实例，N是一个邻域结构， i S.如果f (i) f ( j)对所有的j Si成立，则称i是最小 化问题 min f (i),i S 的局部最优解. 设(S, f )是组合优化问题的一个实例，N是一个邻域结构， 如果对每一个i S，只要i是关于N为局部最优的，就有 i也一定是整体最优的，则称N是恰当的.
模拟退火过程是从一个状态（解）到另一个状态 （解）不断地随机游动，我们称这种游动为变换。
从邻域Si中选出某个解j的方法称为解的产生机制. 从当前解变换到下一个解的过程称为转移，它由产 生机制的应用和接受准则的应用两部分组成。
10.1.3 模拟退火算法的计算步骤及收敛性
设(S, f )是组合优化问题的一个实例.在模拟退火算法中，当
10.1.3 模拟退火算法的计算步骤及收敛性
定义
令{s1,s2,}为所有状态构成的 间解 ，空 X(k)为k时刻状态变量的取值。 随机序{列 X(k)}称为马尔可夫链n，Z若，满足 Pr{X(n) j X(0)i0,X(1)i1,,X(n1)i} Pr{X(n) j X(n1)i}
10.1.3 模拟退火算法的计算步骤及收敛性 马尔科夫链
模拟退火算法及模型
物理退火过程
物理退火过程 什么是退火： 退火是指将固体加热到足够高的温度，使分子呈随 机排列状态，然后逐步降温使之冷却，最后分子以 低能状态排列，达到某种稳定状态。
模拟退火算法及模型
物理退火过程
物理退火过程 加温过程——增强粒子的热运动，消除系统原先可 能存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系 统，系统状态的自发变化总是朝自由能减少的方向 进行，当自由能达到最小时，系统达到平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统 能量逐渐下降，从而得到低能的晶体结构。
10.1.2 组合优化 相似性比较
10.1.3 模拟退火算法的计算步骤及收敛性
基本步骤
给定初温t=t0，随机产生初始状态s=s0，令k=0； Repeat Repeat 产生新状态sj=Genete(s)； if min{1,exp[-(C(sj)-C(s))/tk]}>=randrom[0,1] s=sj; Until 抽样稳定准则满足； 退温tk+1=update(tk)并令k=k+1； Until 算法终止准则满足； 输出算法搜索结果。
10.1.1 模拟退火算法的基本原理 物理退火过程
数学表述 在温度T，分子停留在状态r满足Boltzmann概率分 布
P{E
E(r)}
1 Z(T)
exp
E(r) kBT
E表示分子能量的一机 个变 随量， E(r)表示状态 r的能量，
kB 0为Boltzman常 n 数。Z(T)为概率分布的标准子 化： 因
Z(T)
exp sD
E(s) kBT
10.1.1 模拟退火算法的基本原理
数学表述 在同一个温度T，选定两个能量E1<E2，有
P { E E 1 } P { E E 2 } Z ( 1 T )e x k E B p T 1 1 e x E 2 k p B T E 1