现代优化算法(chwu)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
城市数 计算 时间 24 1 sec 25 24 sec 26 10 min 27 4.3 hour 28 4.9 day 29 136.5 day 30 10.8 year 31 325 year
11
12.1 模拟退火算法
(Simulated Annealing Algorithm)
算法的提出 模拟退火算法最早的思想由Metropolis等（1953）提出， 1983年Kirkpatrick等将其应用于组合优化。 算法的目的
15
物理退火过程
数学表述 在同一个温度T，选定两个能量E1<E2，有
E1 1 P{E E1} P{E E2 } exp k T Z (T ) B E2 E1 1 exp k BT
>0
<1
常用的现代优化算法
模拟退火算法Simulated Annealing，简称SA 遗传算法Genetic Algorithm，简称GA 禁忌搜索算法 Tabu Search，简称TS 神经网络算法Neural Network Algorithm，简称NNA 粒子群算法 Particle Swarm Optimization，简称PSO 差分进化算法 Differential Evolution，简称DE
9
搜索示例：TSP问题
典型问题——旅行商问题（Traveling salesman problem, TSP） 12
1 2
给定n个城市和两两 城市之间的距离，要
求确定一条经过各城
市当且仅当一次的最 短路线。
1
8
3 2
3
10
4
10
TSP的搜索的困难
其可能的路径条数随着城市数 目n成指数增长，如，5个城市 对应12条路径；10个城市对应 181440条路径；100个城市对 计算复杂度：指数灾难 应4.6663X10155条路径。
z
则 A, B 两点的直角坐标分别为
A( R cos x1 cos y1 , R sin x1 cos y1 , R sin y1 ) ， B( R cos x2 cos y2 , R sin x2 cos y2 , R sin y2 ) ，
O x1
y1
x
其中 R 6370为地球半径。 A, B 两点的实际距离 OA OB y d R arccos ， OA OB 化简得
即：p大于[0,1)区间的随机数，则仍接受状态 j 为当 前状态；否则保留状态 i 为当前状态。
19
物理退火过程 Metropolis准则（1953）——以概率接受新状态
p=exp[-(Ej-Ei)/kBT]
在高温下，可接受与当前状态能量差较大的新状态 （恶化解）； 在低温下，只接受与当前状态能量差较小的新状态。 模拟退火算法能够从局部最优 的“陷阱”中跳出，最终有可 能求得问题的全局最优解。
在同一个温度，分子停留在能量小的状态的概率比停 留在能量大的状态的概率要大。
16
能量最低状态
非能量最低状态
物理退火过程
数学表述
若|D|为状态空间D中状态的个数，D0是具有最低能量的状态集 合： 2、状态空间存在超过两个不同能量时，具有最低能量状态的 概率超出平均值1/|D| ；
1、当温度很高时，每个状态概率基本相同，接近平均值1/|D|； .
d R arccos[cos( x1 x2 )cos y1 cos y2 sin y1 sin y2 ].
26
算法描述(解空间与目标函数)
（1）解空间 解空间 S 可表为{1,2,,101,102}的所有固定起点和终点的循环排列集合， 即
S {( 1 ,, 102 ) | 1 1, ( 2 ,, 101 )为{2,3,,101}的循环排列, 102 102}
18
物理退火过程
Metropolis准则（1953）——以概率接受新状态
若在温度T，当前状态i →新状态j，系统能量从 E(i)→E(j)，系统由状态i → j的接受概率P：
1, if E ( j ) E ( i ), P E ( j ) E ( i ) e KT , if E ( j ) E ( i ).
20
组合优化与物理退火的相似性
相似性比较
组合优化问题 解 金属物体 粒子状态
最优解
设定初温 Metropolis抽样过程 控制参数的下降
能量最低的状态
熔解过程 等温过程 冷却
目标函数
能量
21
SAA算法描述
22
在模拟退火算法中应注意以下问题
（1）理论上，降温过程要足够缓慢，要使得在每一 温度下达到热平衡。但在计算机实现中，如果降温速 度过缓，所得到的解的性能会较为令人满意，但是算 法会太慢，相对于简单的搜索算法丌具有明显优势。 如果降温速度过快，很可能最终得丌到全局最优解。 因此使用时要综合考虑解的性能和算法速度，在两者 之间采取一种折衷。
3、当温度趋于0时，分子停在最低能量状态概率趋于1。
T
lim
e
jD
E(i ) KT E( j) KT
e
1 |D|
lim
T 0
e
jD
E ( i ) Emin KT E ( j ) Emin KT
e
1 , 若i Dmin , | Dmin | 0, 其它.
D ( d ij )102102 ，其中 d ij 表示表示 i , j 两点的距离， i , j 1,2,,102 ，这里 D 为实
对称矩阵。则问题是求一个从点 1 出发，走遍所有中间点，到达点 102 的一 个最短路径。
25
问题分析
上面问题中给定的是地理坐标 （经度和纬度） 必须求两点间的实际距离。 ， 设 A, B 两点的地理坐标分别为 ( x1 , y1 )， ( x2 , y2 ) ，过 A, B 两点的大圆的劣弧长 即为两点的实际距离。以地心为坐标原点 O ，以赤道平面为 XOY 平面，以 0 度经线圈所在的平面为 XOZ 平面建立三维直角坐标系。
24
案例讲解
已知敌方100个目标的经度、纬度 我方有一个基地，经度和纬度为(70,40)。假设我方飞 机的速度为1000公里/小时。我方派一架飞机从基地 出发，侦察完敌方所有目标，再返回原来的基地。在 敌方每一目标点的侦察时间不计，求该架飞机所花费 的时间（假设我方飞机巡航时间可以充分长）。
这是一个旅行商问题。给我方基地编号为 1，目标依次编号为 2，3，…， 101，最后我方基地再重复编号为 102（这样便于程序中计算） 。距离矩阵
待解决的问题 连续性问题，以微积分为基础，规模较小 传统的评价方法 算法收敛性、收敛速度
2
最优化问题(Optimization Problem)
最优化问题:
Minimize f ( x) f ( x1 , x2 , , xn ) subject to x ( x1 , x2 , , xn ) S X
特点： • 基于客观世界中的一些自然现象；
• 建立在计算机迭代计算的基础上；
• 具有普适性，可解决实际应用问题。
6
现代优化算法
待解决的问题 离散性、连续的、不确定性、大规模 现代的优化方法 启发式算法（heuristic algorithm） 追求满意（近似解）
实用性强（解决实际工程问题）
解决NP复杂性问题；
克服优化过程陷入局部极小； 克服初值依赖性。
12
物理退火过程
什么是退火：
退火是指将固体加热到足够高的温度，使分子呈随机 排列状态，然后逐步降温使之冷却，最后分子以低能 状态排列，固体达到某种稳定状态。
13
物理退火过程
物理退火过程
加温过程——增强粒子的热运动，消除系统原先可能 存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系统， 系统状态的自发变化总是朝自由能减少的 方向进行，当自由能达到最小时，系统达到 平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统能量 逐渐下降，从而得到低能的晶体结构。
NP问题的另一个定义是，可以在多项式的时间里猜出一 个解的问题。 所有的P类问题都是NP问题。
NP-C：同时满足下面两个条件的问题就是NPC问题:
首先，它是一个NP问题； 然后，所有的NP问题都可以约化到它。 Hamilton回路、TSP NP-hard：满足NPC问题的第二条，不满足第一条。
5
现代优化算法
现在优化算法概论 模拟退火算法(SA) 遗传算法(GA)
优化模型
Min(或Max) z f ( x ), x ( x1 , x n )T 实际问题中 的优化模型 s.t. g i ( x ) 0, i 1, 2, m
x~决策变量 数学规划 线性规划(LP) 二次规划(QP) 非线性规划(NLP) f(x)~目标函数 连续规划 0-1整数规划 一般整数规划 纯整数规划(PIP) 混合整数规划(MIP) gi(x)0~约束条件
4
P问题：如果一个问题可以找到一个能在多项式的时
间里解决它的算法，那么这个问题就属于P问题。也就是 说它的计算复杂度是一个多项式。我们通常用的O(n), O(logn), O(n^a)等等类似的都是这类问题。
n个数中的最大值、冒泡排序、插入排序
NP问题：可以在多项式的时间里验证一个解的问题。
ຫໍສະໝຸດ Baidu代的评价方法 算法复杂性
7
现代优化算法的特点
它们的共同特点：都是从任一解出发，按照 某种机制，以一定的概率在整个求解空间中探索 最优解。由于它们可以把搜索空间扩展到整个问 题空间，因而具有全局优化性能。
8
现代优化算法
特点：
1)不依赖于初始条件； 2)不与求解空间有紧密关系,对解域无可微或连续的要求; 容易实现，求解稳健。 3)但收敛速度慢，能获得全局最优；适合于求解空间不 知的情况。 4)SA、GA可应用于大规模、多峰多态函数、含离散变 量等全局优化问题；求解速度和质量远超过常规方法。
14
物理退火过程
数学表述 在温度T，分子停留在状态r满足Boltzmann概率分布
E (r ) 1 P { E E ( r )} exp Z (T ) k BT E 表示分子能量的一个随机变量，E ( r )表示状态r的能量， k B 0为Boltzmann常数。Z (T )为概率分布的标准化因子： E ( s) Z (T ) exp k BT sD
23
（2）要确定在每一温度下状态转换的结束准则。实际操作 可以考虑当连续 m 次的转换过程没有使状态发生变化时结束该 温度下的状态转换。最终温度的确定可以提前定为一个较小的 值Te ，戒连续几个温度下转换过程没有使状态发生变化算法就 结束。
（3） 选择初始温度和确定某个可行解的邻域的方法 也要恰当。
组合优化问题(Combinatorial Optimization Problem ) : 最优化问题中的解空间X或S由离散集合构成。其中很 多问题是NP完全(Nondeterministic Polynomial Completeness)问题.
3
习惯上，将优化算法分为两类：局部优化算法 和全局性优化算法。 前者可以称为经典优化算法，已经得到了人们 广泛深入的研究。目前，运筹学（确定论方法） 主要包括这些方面的内容，线性规划、整数规 划、0–1规划、非线性规划、排队论、决策论。 后者习惯上称为现代优化算法，是20世纪80年 代兴起的新型全局性优化算法，主要包括禁忌 搜索、模拟退火、遗传算法等，其主要应用对 象是优化问题中的难解问题，即NP–hard问题。
其中Emin min E ( j )且Dmin { i | E ( i ) Emin }
jD
xi Smin
Pi* 1
17
物理退火过程
Metropolis准则（1953）——以概率接受新状态 固体在恒定温度下达到热平衡的过程可以用Monte Carlo 方法（计算机随机模拟方法）加以模拟，虽然该方法简 单，但必须大量采样才能得到比较精确的结果，计算量 很大。
11
12.1 模拟退火算法
(Simulated Annealing Algorithm)
算法的提出 模拟退火算法最早的思想由Metropolis等（1953）提出， 1983年Kirkpatrick等将其应用于组合优化。 算法的目的
15
物理退火过程
数学表述 在同一个温度T，选定两个能量E1<E2，有
E1 1 P{E E1} P{E E2 } exp k T Z (T ) B E2 E1 1 exp k BT
>0
<1
常用的现代优化算法
模拟退火算法Simulated Annealing，简称SA 遗传算法Genetic Algorithm，简称GA 禁忌搜索算法 Tabu Search，简称TS 神经网络算法Neural Network Algorithm，简称NNA 粒子群算法 Particle Swarm Optimization，简称PSO 差分进化算法 Differential Evolution，简称DE
9
搜索示例：TSP问题
典型问题——旅行商问题（Traveling salesman problem, TSP） 12
1 2
给定n个城市和两两 城市之间的距离，要
求确定一条经过各城
市当且仅当一次的最 短路线。
1
8
3 2
3
10
4
10
TSP的搜索的困难
其可能的路径条数随着城市数 目n成指数增长，如，5个城市 对应12条路径；10个城市对应 181440条路径；100个城市对 计算复杂度：指数灾难 应4.6663X10155条路径。
z
则 A, B 两点的直角坐标分别为
A( R cos x1 cos y1 , R sin x1 cos y1 , R sin y1 ) ， B( R cos x2 cos y2 , R sin x2 cos y2 , R sin y2 ) ，
O x1
y1
x
其中 R 6370为地球半径。 A, B 两点的实际距离 OA OB y d R arccos ， OA OB 化简得
即：p大于[0,1)区间的随机数，则仍接受状态 j 为当 前状态；否则保留状态 i 为当前状态。
19
物理退火过程 Metropolis准则（1953）——以概率接受新状态
p=exp[-(Ej-Ei)/kBT]
在高温下，可接受与当前状态能量差较大的新状态 （恶化解）； 在低温下，只接受与当前状态能量差较小的新状态。 模拟退火算法能够从局部最优 的“陷阱”中跳出，最终有可 能求得问题的全局最优解。
在同一个温度，分子停留在能量小的状态的概率比停 留在能量大的状态的概率要大。
16
能量最低状态
非能量最低状态
物理退火过程
数学表述
若|D|为状态空间D中状态的个数，D0是具有最低能量的状态集 合： 2、状态空间存在超过两个不同能量时，具有最低能量状态的 概率超出平均值1/|D| ；
1、当温度很高时，每个状态概率基本相同，接近平均值1/|D|； .
d R arccos[cos( x1 x2 )cos y1 cos y2 sin y1 sin y2 ].
26
算法描述(解空间与目标函数)
（1）解空间 解空间 S 可表为{1,2,,101,102}的所有固定起点和终点的循环排列集合， 即
S {( 1 ,, 102 ) | 1 1, ( 2 ,, 101 )为{2,3,,101}的循环排列, 102 102}
18
物理退火过程
Metropolis准则（1953）——以概率接受新状态
若在温度T，当前状态i →新状态j，系统能量从 E(i)→E(j)，系统由状态i → j的接受概率P：
1, if E ( j ) E ( i ), P E ( j ) E ( i ) e KT , if E ( j ) E ( i ).
20
组合优化与物理退火的相似性
相似性比较
组合优化问题 解 金属物体 粒子状态
最优解
设定初温 Metropolis抽样过程 控制参数的下降
能量最低的状态
熔解过程 等温过程 冷却
目标函数
能量
21
SAA算法描述
22
在模拟退火算法中应注意以下问题
（1）理论上，降温过程要足够缓慢，要使得在每一 温度下达到热平衡。但在计算机实现中，如果降温速 度过缓，所得到的解的性能会较为令人满意，但是算 法会太慢，相对于简单的搜索算法丌具有明显优势。 如果降温速度过快，很可能最终得丌到全局最优解。 因此使用时要综合考虑解的性能和算法速度，在两者 之间采取一种折衷。
3、当温度趋于0时，分子停在最低能量状态概率趋于1。
T
lim
e
jD
E(i ) KT E( j) KT
e
1 |D|
lim
T 0
e
jD
E ( i ) Emin KT E ( j ) Emin KT
e
1 , 若i Dmin , | Dmin | 0, 其它.
D ( d ij )102102 ，其中 d ij 表示表示 i , j 两点的距离， i , j 1,2,,102 ，这里 D 为实
对称矩阵。则问题是求一个从点 1 出发，走遍所有中间点，到达点 102 的一 个最短路径。
25
问题分析
上面问题中给定的是地理坐标 （经度和纬度） 必须求两点间的实际距离。 ， 设 A, B 两点的地理坐标分别为 ( x1 , y1 )， ( x2 , y2 ) ，过 A, B 两点的大圆的劣弧长 即为两点的实际距离。以地心为坐标原点 O ，以赤道平面为 XOY 平面，以 0 度经线圈所在的平面为 XOZ 平面建立三维直角坐标系。
24
案例讲解
已知敌方100个目标的经度、纬度 我方有一个基地，经度和纬度为(70,40)。假设我方飞 机的速度为1000公里/小时。我方派一架飞机从基地 出发，侦察完敌方所有目标，再返回原来的基地。在 敌方每一目标点的侦察时间不计，求该架飞机所花费 的时间（假设我方飞机巡航时间可以充分长）。
这是一个旅行商问题。给我方基地编号为 1，目标依次编号为 2，3，…， 101，最后我方基地再重复编号为 102（这样便于程序中计算） 。距离矩阵
待解决的问题 连续性问题，以微积分为基础，规模较小 传统的评价方法 算法收敛性、收敛速度
2
最优化问题(Optimization Problem)
最优化问题:
Minimize f ( x) f ( x1 , x2 , , xn ) subject to x ( x1 , x2 , , xn ) S X
特点： • 基于客观世界中的一些自然现象；
• 建立在计算机迭代计算的基础上；
• 具有普适性，可解决实际应用问题。
6
现代优化算法
待解决的问题 离散性、连续的、不确定性、大规模 现代的优化方法 启发式算法（heuristic algorithm） 追求满意（近似解）
实用性强（解决实际工程问题）
解决NP复杂性问题；
克服优化过程陷入局部极小； 克服初值依赖性。
12
物理退火过程
什么是退火：
退火是指将固体加热到足够高的温度，使分子呈随机 排列状态，然后逐步降温使之冷却，最后分子以低能 状态排列，固体达到某种稳定状态。
13
物理退火过程
物理退火过程
加温过程——增强粒子的热运动，消除系统原先可能 存在的非均匀态； 等温过程——对于与环境换热而温度不变的封闭系统， 系统状态的自发变化总是朝自由能减少的 方向进行，当自由能达到最小时，系统达到 平衡态； 冷却过程——使粒子热运动减弱并渐趋有序，系统能量 逐渐下降，从而得到低能的晶体结构。
NP问题的另一个定义是，可以在多项式的时间里猜出一 个解的问题。 所有的P类问题都是NP问题。
NP-C：同时满足下面两个条件的问题就是NPC问题:
首先，它是一个NP问题； 然后，所有的NP问题都可以约化到它。 Hamilton回路、TSP NP-hard：满足NPC问题的第二条，不满足第一条。
5
现代优化算法
现在优化算法概论 模拟退火算法(SA) 遗传算法(GA)
优化模型
Min(或Max) z f ( x ), x ( x1 , x n )T 实际问题中 的优化模型 s.t. g i ( x ) 0, i 1, 2, m
x~决策变量 数学规划 线性规划(LP) 二次规划(QP) 非线性规划(NLP) f(x)~目标函数 连续规划 0-1整数规划 一般整数规划 纯整数规划(PIP) 混合整数规划(MIP) gi(x)0~约束条件
4
P问题：如果一个问题可以找到一个能在多项式的时
间里解决它的算法，那么这个问题就属于P问题。也就是 说它的计算复杂度是一个多项式。我们通常用的O(n), O(logn), O(n^a)等等类似的都是这类问题。
n个数中的最大值、冒泡排序、插入排序
NP问题：可以在多项式的时间里验证一个解的问题。
ຫໍສະໝຸດ Baidu代的评价方法 算法复杂性
7
现代优化算法的特点
它们的共同特点：都是从任一解出发，按照 某种机制，以一定的概率在整个求解空间中探索 最优解。由于它们可以把搜索空间扩展到整个问 题空间，因而具有全局优化性能。
8
现代优化算法
特点：
1)不依赖于初始条件； 2)不与求解空间有紧密关系,对解域无可微或连续的要求; 容易实现，求解稳健。 3)但收敛速度慢，能获得全局最优；适合于求解空间不 知的情况。 4)SA、GA可应用于大规模、多峰多态函数、含离散变 量等全局优化问题；求解速度和质量远超过常规方法。
14
物理退火过程
数学表述 在温度T，分子停留在状态r满足Boltzmann概率分布
E (r ) 1 P { E E ( r )} exp Z (T ) k BT E 表示分子能量的一个随机变量，E ( r )表示状态r的能量， k B 0为Boltzmann常数。Z (T )为概率分布的标准化因子： E ( s) Z (T ) exp k BT sD
23
（2）要确定在每一温度下状态转换的结束准则。实际操作 可以考虑当连续 m 次的转换过程没有使状态发生变化时结束该 温度下的状态转换。最终温度的确定可以提前定为一个较小的 值Te ，戒连续几个温度下转换过程没有使状态发生变化算法就 结束。
（3） 选择初始温度和确定某个可行解的邻域的方法 也要恰当。
组合优化问题(Combinatorial Optimization Problem ) : 最优化问题中的解空间X或S由离散集合构成。其中很 多问题是NP完全(Nondeterministic Polynomial Completeness)问题.
3
习惯上，将优化算法分为两类：局部优化算法 和全局性优化算法。 前者可以称为经典优化算法，已经得到了人们 广泛深入的研究。目前，运筹学（确定论方法） 主要包括这些方面的内容，线性规划、整数规 划、0–1规划、非线性规划、排队论、决策论。 后者习惯上称为现代优化算法，是20世纪80年 代兴起的新型全局性优化算法，主要包括禁忌 搜索、模拟退火、遗传算法等，其主要应用对 象是优化问题中的难解问题，即NP–hard问题。
其中Emin min E ( j )且Dmin { i | E ( i ) Emin }
jD
xi Smin
Pi* 1
17
物理退火过程
Metropolis准则（1953）——以概率接受新状态 固体在恒定温度下达到热平衡的过程可以用Monte Carlo 方法（计算机随机模拟方法）加以模拟，虽然该方法简 单，但必须大量采样才能得到比较精确的结果，计算量 很大。