模拟退火算法和遗传算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
10.1.3 模拟退火算法的计算步骤及收敛性 马尔科夫链
定义
一步转移概率:
pi, j (n 1) Pr{X (n) j X (n 1) i}
n步转移概率:
pi(,nj) Pr{X (n) j X (0) i}
若解空间有限,称马尔可夫链为有限状态;
若 n Z , pi, j (n) pi, j (n 1) ,称马尔可夫链为时齐的。
10.1.2 组合优化
组合优化的一个实例( S , f ),其中S 是解空间,f 是目标函数. 在求最小值时,要求找出一个解iopt S , 使得 f (iopt ) f (i ), i S 在求最大值时,要求找到一个解iopt S , 使得 f (iopt ) f (i ), i S 无论是求最大值还是最小值,都称iopt为全局最优解。
10.1.1 模拟退火算法的基本原理
Metropolis准则(1953)——以概率接受新状态
若在温度T,当前状态i → 新状态j 若Ej<Ei,则接受 j 为当前状态; 否则,若概率 p=exp[-(Ej-Ei)/kBT] 大于[0,1)区间的 随机数,则仍接受状态 j 为当前状态;若不成立则 保留状态 i 为当前状态。
10.1.2 组合优化
相似性比较
组合优化问题 解 最优解 金属物体 粒子状态 能量最低的状态
设定初温
Metropolis抽样过程 控制参数的下降 目标函数
熔解过程
等温过程 冷却 能量
10.1.3 模拟退火算法的计算步骤及收敛性
基本步骤
给定初温t=t0,随机产生初始状态s=s0,令k=0; Repeat Repeat 产生新状态sj=Genete(s); if min{1,exp[-(C(sj)-C(s))/tk]}>=randrom[0,1] s=sj; Until 抽样稳定准则满足; 退温tk+1=update(tk)并令k=k+1;
退火是指将固体加热到足够高的温度,使分子呈随 机排列状态,然后逐步降温使之冷却,最后分子以 低能状态排列,达到某种稳定状态。
模拟退火算法及模型 物理退火过程
物理退火过程
加温过程——增强粒子的热运动,消除系统原先可 能存在的非均匀态;
等温过程——对于与环境换热而温度不变的封闭系 统,系统状态的自发变化总是朝自由能减少的方向 进行,当自由能达到最小时,系统达到平衡态;
冷却过程——使粒子热运动减弱并渐趋有序,系统 能量逐渐下降,从而得到低能的晶体结构。
10.1.1 模拟退火算法的基本原理 物理退火过程
数学表述
在温度T,分子停留在状态r满足Boltzmann概率分 布
E (r ) 1 P{E E (r )} exp Z (T ) k T B E 表示分子能量的一个随 机变量,E (r )表示状态r的能量, k B 0为Boltzmann 常数。Z (T )为概率分布的标准化因 子: E ( s) Z (T ) exp k T sD B
模拟退火算法及模型 物理退火过程
算法的提出
模拟退火算法最早的思想由Metropolis等(1953) 提出,1983年Kirkpatrick等将其Байду номын сангаас用于组合优化。
算法的目的
解决NP复杂性问题; 克服优化过程陷入局部极小;
克服初值依赖性。
模拟退火算法及模型 物理退火过程
物理退火过程
什么是退火:
10.1.2 组合优化
设( S , f )是组合优化问题的一个实例,N 是一个邻域结构, i S .如果f (i ) f ( j )对所有的j Si 成立,则称i 是最小 化问题 min f (i ), i S 的局部最优解. 设( S , f )是组合优化问题的一个实例,N 是一个邻域结构, 如果对每一个i S,只要i 是关于N 为局部最优的,就有 i也一定是整体最优的,则称N 是恰当的.
Until 算法终止准则满足;
输出算法搜索结果。
10.1.3 模拟退火算法的计算步骤及收敛性
定义
令 {s1 , s2 , }为所有状态构成的解空 间, X (k )为k时刻状态变量的取值。 随机序列{ X (k )} 称为马尔可夫链,若 n Z ,满足 P r{X (n) j X (0) i0 , X (1) i1 ,, X (n 1) i} P r{X (n) j X (n 1) i}
10.1.1 模拟退火算法的基本原理
数学表述
在同一个温度T,选定两个能量E1<E2,有
E1 E2 E1 1 P{E E1} P{E E2 } exp 1 exp Z (T ) k BT k BT
10.1.3 模拟退火算法的计算步骤及收敛性
模拟退火算法对应了一个马尔可夫链
模拟退火算法:新状态接受概率仅依赖于新状态和 当前状态,并由温度加以控制。 若固定每一温度,算法均计算马氏链的变化直至平 稳分布,然后下降温度,则称为时齐算法;
在同一个温度,分子停留在能量小的状态的概率比 停留在能量大的状态的概率要大。
10.1.1 模拟退火算法的基本原理
数学表述
若|D|为状态空间D中状态的个数,D0是具有最低能 量的状态集合:
当温度很高时,每个状态概率基本相同,接近平均 值1/|D|; 状态空间存在超过两个不同能量时,具有最低能量 状态的概率超出平均值1/|D| ; 当温度趋于0时,分子停留在最低能量状态的概率 趋于1。
p
1 0
-(Ej-Ei)/kT
10.1.1 模拟退火算法的基本原理
模拟退火算法的基本思想
将一个优化问题比拟成一个金属物体,将优化问题 的目标函数比拟成物体的能量,问题的解比拟成物 体的状态,问题的最优解比拟成能量最低的状态, 然后模拟金属物体的退火过程,从一个足够高的温 度开始,逐渐降低温度,使物体分子从高能量状态 缓慢的过渡到低能量状态,直至获得能量最小的理 想状态为止,从而得到优化问题的全局最优解。