模拟退火算法和遗传算法

模拟退火算法及模型 物理退火过程
算法的提出
模拟退火算法最早的思想由Metropolis等（1953） 提出，1983年Kirkpatrick等将其应用于组合优化。
算法的目的
解决NP复杂性问题； 克服优化过程陷入局部极小；
克服初值依赖性。
模拟退火算法及模型 物理退火过程
物理退火过程
什么是退火：
10.1.3 模拟退火算法的计算步骤及收敛性
模拟退火算法对应了一个马尔可夫链
模拟退火算法：新状态接受概率仅依赖于新状态和 当前状态，并由温度加以控制。 若固定每一温度，算法均计算马氏链的变化直至平 稳分布，然后下降温度，则称为时齐算法；
10.1.2 组合优化
设( S , f )是组合优化问题的一个实例，N 是一个邻域结构， i S .如果f (i ) f ( j )对所有的j Si 成立，则称i 是最小 化问题 min f (i ), i S 的局部最优解. 设( S , f )是组合优化问题的一个实例，N 是一个邻域结构， 如果对每一个i S，只要i 是关于N 为局部最优的，就有 i也一定是整体最优的，则称N 是恰当的.
在同一个温度，分子停留在能量小的状态的概率比 停留在能量大的状态的概率要大。
10.1.1 模拟退火算法的基本原理
数学表述
若|D|为状态空间D中状态的个数，D0是具有最低能 量的状态集合：
当温度很高时，每个状态概率基本相同，接近平均 值1/|D|； 状态空间存在超过两个不同能量时，具有最低能量 状态的概率超出平均值1/|D| ； 当温度趋于0时，分子停留在最低能量状态的概率 趋于1。
10.1.1 模拟退火算法的基本原理
Metropolis准则（1953）——以概率接受新状态
若在温度T，当前状态i → 新状态j 若Ej<Ei，则接受 j 为当前状态； 否则，若概率 p=exp[-(Ej-Ei)/kBT] 大于[0,1)区间的 随机数，则仍接受状态 j 为当前状态；若不成立则 保留状态 i 为当前状态。
退火是指将固体加热到足够高的温度，使分子呈随 机排列状态，然后逐步降温使之冷却，最后分子以 低能状态排列，达到某种稳定状态。
模拟退火算法及模型 物理退火过程
物理退火过程
加温过程——增强粒子的热运动，消除系统原先可 能存在的非均匀态；
等温过程——对于与环境换热而温度不变的封闭系 统，系统状态的自发变化总是朝自由能减少的方向 进行，当自由能达到最小时，系统达到平衡态；
10.1.2 组合优化
相似性比较
组合优化问题 解 最优解 金属物体 粒子状态 能量最低的状态
设定初温
Metropolis抽样过程 控制参数的下降 目标函数
熔解过程
等温过程 冷却 能量
10.1.3 模拟退火算法的计算步骤及收敛性
基本步骤

给定初温t=t0，随机产生初始状态s=s0，令k=0； Repeat Repeat 产生新状态sj=Genete(s)； if min{1,exp[-(C(sj)-C(s))/tk]}>=randrom[0,1] s=sj; Until 抽样稳定准则满足； 退温tk+1=update(tk)并令k=k+1；
10.1.3 模拟退火算法的计算步骤及收敛性 马尔科夫链
定义
一步转移概率：
pi, j (n 1) Pr{X (n) j X (n 1) i}
i}
若解空间有限，称马尔可夫链为有限状态；
若 n Z , pi, j (n) pi, j (n 1) ，称马尔可夫链为时齐的。
p
1 0
-(Ej-Ei)/kT
10.1.1 模拟退火算法的基本原理
模拟退火算法的基本思想
将一个优化问题比拟成一个金属物体，将优化问题 的目标函数比拟成物体的能量，问题的解比拟成物 体的状态，问题的最优解比拟成能量最低的状态， 然后模拟金属物体的退火过程，从一个足够高的温 度开始，逐渐降低温度，使物体分子从高能量状态 缓慢的过渡到低能量状态，直至获得能量最小的理 想状态为止，从而得到优化问题的全局最优解。
10.1.2 组合优化
组合优化的一个实例( S , f )，其中S 是解空间，f 是目标函数. 在求最小值时，要求找出一个解iopt S , 使得 f (iopt ) f (i ), i S 在求最大值时，要求找到一个解iopt S , 使得 f (iopt ) f (i ), i S 无论是求最大值还是最小值，都称iopt为全局最优解。
Until 算法终止准则满足；
输出算法搜索结果。
10.1.3 模拟退火算法的计算步骤及收敛性
定义
令 {s1 , s2 , }为所有状态构成的解空 间， X (k )为k时刻状态变量的取值。 随机序列{ X (k )} 称为马尔可夫链，若 n Z ，满足 P r{X (n) j X (0) i0 , X (1) i1 ,, X (n 1) i} P r{X (n) j X (n 1) i}
10.1.1 模拟退火算法的基本原理
数学表述
在同一个温度T，选定两个能量E1<E2，有
E1 E2 E1 1 P{E E1} P{E E2 } exp 1 exp Z (T ) k BT k BT
冷却过程——使粒子热运动减弱并渐趋有序，系统 能量逐渐下降，从而得到低能的晶体结构。
10.1.1 模拟退火算法的基本原理 物理退火过程
数学表述
在温度T，分子停留在状态r满足Boltzmann概率分 布
E (r ) 1 P{E E (r )} exp Z (T ) k T B E 表示分子能量的一个随 机变量，E (r )表示状态r的能量， k B 0为Boltzmann 常数。Z (T )为概率分布的标准化因 子： E ( s) Z (T ) exp k T sD B