启发式优化算法介绍
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
科学领域
物理、化学、生态学 医学、计算机科学等 1993年，Jones等 用多目标遗传算法 进行分子结构分析
6
非线性电路与系统研究中心
3. 研究意义
汉诺塔问题：和尚搬盘子 天神梵天的三条规则： 每次只能移动一个盘子； 盘子只能在三根柱子上 来回移动，不能放在他 处； 在移动过程中，三根柱 子上的盘子必须始终保 持大盘在下，小盘在上。
3. 模拟退火算法
模拟退火（simulated annealing）算法的思想最早是由 Metropolis等人在1953年提出。 1982年，Kirkpatrick等人将其运用在求组合最优化的问题 上。 金属物体在加热到一定的温度后，再徐徐冷却使之凝固成规 整晶体的热力学过程。在温度最低时，系统能量趋于最小值。 根据热力学定律，在温度为T的情况下，能量改变所表现的 几率如下： -ΔE
需要移动盘子的次数为：
2 -1=18446744073709551615
8
64
非线性电路与系统研究中心
3.Baidu Nhomakorabea研究意义
假定每秒移动一次，一年有31536000秒，则僧侣们 一刻不停地来回搬动，也需要花费大约5849亿年的 时间。 假定计算机以每秒1000万个盘子的速度进行搬迁， 则需要花费大约58490年的时间。 理论上可以计算的问题，实际上并不一定能行，这 属于算法复杂性方面的研究内容。
15
非线性电路与系统研究中心
1. 贪婪算法
在算法的每个阶段，都作出在当时看上去最好的决 策，以获得最大的“好处”，换言之，就是在每一 个决策过程中都要尽可能的“贪”， 直到算法中 的某一步不能继续前进时，算法才停止。 在算法的过程中，“贪”的决策一旦作出，就不可 再更改，作出“贪”的决策的依据称为贪婪准则。 局部搜索的缺点就是太贪婪地对某一个局部区域以 及其邻域搜索，导致一叶障目，不见泰山。
之五： 杨-米尔斯(Yang-Mills)存在性和质量缺口
之六： 纳维叶-斯托克斯(Navier-Stokes)方程的存在性与光滑性 之七： 贝赫(Birch)和斯维讷通-戴尔(Swinnerton-Dyer)猜想
11
非线性电路与系统研究中心
3. 研究意义
P=?NP （P-NP问题）
P=NP
之初始位臵与速度。 （2）依据fitness function计算出其fitness value以作为判 断每一个Particle之好坏。 （3）找出每一个Particle 到目前为止的搜寻过程中最佳 解，这个最佳解称之为Pbest。 （4）找出所有群体中的最佳解，此最佳解称之为Gbest。 （5）根据速度与位臵公式更新每一Particle的速度与位 臵。 （6）返回步骤2继续执行，直到获得一个令人满意的结 果或符合终止条件为止。
27
非线性电路与系统研究中心
5. 粒子群优化算法
每个寻优的问题解都被想像成一条鱼，也称为 “Particle”。 所有的Particle都有一个fitness function以判断目 前的位臵之好坏， 每一个Particle具有记忆性，能记得所搜寻到最佳 位臵。 每一个Particle还有一个速度以决定飞行的距离与 方向。
17
非线性电路与系统研究中心
2. 禁忌搜索算法
Glover在1986年提出禁忌搜索的概念，进而形成一 套完整的算法。 为了找到“全局最优解”，就不应该执着于某一个 特定的区域。 禁忌搜索就是对于找到的一部分局部最优解，有意 识地避开它（但不是完全隔绝），从而获得更多的 搜索区间。
18
非线性电路与系统研究中心
3
非线性电路与系统研究中心
2. 应用领域
4
非线性电路与系统研究中心
2. 应用领域
工程领域 1998年，Mason等 采用MINSGA算法， 实现了星座的优化 设计。 目标： 最小化卫星个数 最大化不间断全 球覆盖百分比
并与公开发表的结果对 比验证算法的优化性能
5
非线性电路与系统研究中心
2. 应用领域
28
非线性电路与系统研究中心
速度与位置更新
vid (t 1) vid (t ) c1 rand () ( pid xid (t )) c2 rand () ( pgd xid (t ))
xi (t 1) xi (t ) vi (t )
Vi =Vi1,Vi 2 ,...,Vid
26
达到最大循环次数
输出最短路径及其长度
结束 非线性电路与系统研究中心
5. 粒子群优化算法
生物社会学家E.O.Wilson指出：“至少从理论上， 在搜索食物过程中群体中个体成员可以得益于所有 其他成员的发现和先前的经历。当食物源不可预测 地零星分布时，这种协作带来的优势是决定性的， 远大于对食物的竞争带来的劣势。”
9
非线性电路与系统研究中心
3. 研究意义
P（polynominal）所有可以在多项式时间内用确定 算法求解的优化问题的集合，简称多项式问题。 判定问题（decision problem）如果一个问题的每 一个实例只有“是”或“否”两种答案。 NP（nondeterministic polynominal）是指可以在多 项式时间里验证一个解的判定问题的集合。
接收概率：
1 p( X i X j ) ( F ( X i ) F ( X j )) / T e
20
, F(X j ) F(Xi ) , F(X j ) F(Xi )
非线性电路与系统研究中心
3. 模拟退火算法
算法的实现步骤 （1）随机产生一个初始解X0，给定初始温度Tmax。 （2）若在该温度下达到内循环终止条件，则转到步骤（3） 否则，从当前解Xi的邻域中产生一个新解Xj ， 若F(Xj) ≤ F(Xi) ,则F(Xi) = F(Xj) ；否则，以概率 ( F ( Xi ) F ( X j ))/ Tk e random 0, 1 接收新解。 （3）降温，Tk+1= dTk；k=k+1，若满足终止条件，算法结束 否则，转步骤（2）。
轨迹更新: ij (t n) (1 ) ij (t ) ij (t , t n)
预见度:
ij = 1/dij
更新每个蚂蚁的个体禁忌表
表示残留信息的相对重要程度
信息量更新
ij
表示预见度的相对重要程度 信息素的挥发因子
表示第K只蚂蚁在本次循环中留在路径ij上的信息量
P
NP
现在的估计
现在的估计
如果 P NP ，则指数灾难无法避免。
12
非线性电路与系统研究中心
报告内容
1
启发式优化算法研究背景
2
启发式优化算法简介
3 4
应用实例
13
非线性电路与系统研究中心
二.启发式优化算法简介
1.贪婪算法 2.禁忌搜索算法 3.模拟退火算法
4.蚁群优化算法 5.粒子群优化算法
10
非线性电路与系统研究中心
3. 研究意义
千禧年数学难题（2000-5-24，美国的克雷(Clay)数学研究 所，在巴黎法兰西学院宣布每一个悬赏一百万美元）
http://www.claymath.org/millennium
之一： P (多项式算法)问题对NP (非多项式算法)问题，即P=NP？ 之二： 霍奇(Hodge)猜想 之三： 庞加莱(Poincare)猜想 之四： 黎曼(Riemann)假设
7
非线性电路与系统研究中心
3. 研究意义
当n=64时，移动次数=？花费时间=？ h(n)=2h(n-1)+1 2 =2(2h(n-2)+1)+1=2 h(n-2)+2+1 3 2 =2 h(n-3)+2 +2+1 …… n n-1 2 =2 h(0)+2 +…+2 +2+1 n-1 2 n =2 +…+2 +2+1=2 -1
16
非线性电路与系统研究中心
2. 禁忌搜索算法
一群兔子去寻找世界上最高的山峰 兔子们找到了泰山，它们之中的一只 就会留守在这里，其他的会有意识地 避开泰山。这就是禁忌搜索中“禁忌 表（tabu list）”的含义。 那只留在泰山的兔子一定时间后重新 回到找最高峰的大军，这个归队时间， 在禁忌搜索里面叫做“禁忌长度 （tabu length）”； 如果在搜索的过程中，兔子们找到的 地方全是华北平原等比较低的地方， 就可以不顾及有没有兔子留守，都把 泰山重新考虑进来，这就叫“特赦准 则（aspiration criterion）”。
非线性电路与系统研究中心
启发式优化算法介绍
报告人: 张成芬
报告内容
一
启发式优化算法研究背景
二
启发式优化算法简介
三 4
应用实例
1
非线性电路与系统研究中心
一.启发式优化算法研究背景
1.概念 2.应用领域
3.研究意义
2
非线性电路与系统研究中心
1. 概念
启发式算法（heuristic algorithm）定义1 一种 基于直观或经验构造的算法，在可接受的耗费 （指计算时间、占用空间等）下给出待解决优化 问题每一实例的一个可行解，该可行解与最优解 的偏离程度未必可事先估计。 启发式算法定义2 启发式算法是一种技术，该技 术使得能在可接受的计算费用内去寻找尽可能好 的解，但不一定能保证所得解的可行性和最优性， 甚至在多数情况下，无法描述所得解与最优解的 近似程度。
25
非线性电路与系统研究中心
4. 蚁群优化算法
开始
[ ij ( t )] [ij ] if j allowed k pij (t ) jallowed [ ij (t )] [ij ] 0 otherwise
初始化
N c N c +1
对每只蚂蚁按概率移到下一顶点
21
非线性电路与系统研究中心
4. 蚁群优化算法
A
C
22
非线性电路与系统研究中心
4. 蚁群优化算法
A C
23
非线性电路与系统研究中心
4. 蚁群优化算法
C
A
24
非线性电路与系统研究中心
4. 蚁群优化算法
意大利学者M.Dorigo于1991年，在他的博士论文中首次系统 地提出了一种基于蚂蚁种群的新型优化算法—蚂蚁算法（ant colony algorithms）。 人工蚁群和自然界蚁群的区别在于，人工蚁群有一定的记忆 能力。另外，人工蚁群在选择下一条路径的时候，是按一定 的算法规律有意识地寻找最短路径。 每个连接上的信息素痕迹的浓度会自动逐渐挥发，信息素痕 迹的挥发过程主要用于避免算法太快地向局部最优区域集中。
Xi =Xi1,Xi 2 ,...,Xid
Study Factor
pi x(t)
Here I am!
My best position
局部 最优解 运动向量
全局 最优解
pg
速度向量
x(t+1)
The best position of team
v
29
非线性电路与系统研究中心
5. 粒子群优化算法
（1）将群族做初始化，以随机的方式求出每一Particle
30
非线性电路与系统研究中心
6. 遗传算法 生物进化过程是一个自然， 并行，稳健的优化过程，这 一优化过程的目的在于使生 命体达到适应环境的最佳结 构与效果，而生物种群通过 “优胜劣汰”及遗传变异来 达到进化（优化）目的的。
进化过程 优化过程
31
非线性电路与系统研究中心
6. 遗传算法
遗传算法(Genetic Algorithm)是由美国的J.Holland教授于 1975年在他的专著《Adaptation in Natural and Artificial Systems》中首先提出的。 基本遗传算法的构成要素 （1）染色体的编码（产生初始群体） （2）适应度函数 （3）遗传算子（选择、交叉、变异) （4）运行参数
6.遗传算法
7.非支配排序遗传算法
14
非线性电路与系统研究中心
1. 贪婪算法 有一个顾客拿一张面 值100元的钞票在超市 买了5元钱的商品，收 银员需找给他95元零 钱，售货员在找零钱 时可有多种选择。为 使找的零钱数目最少。 收银员通常凭直觉采 用的方法，就是一种 典型的贪婪算法 （greedy method）。
P ΔE = exp kT
k是Boltzmann’s Constant。
19
非线性电路与系统研究中心
3. 模拟退火算法
固体退火概念与优化问题的对应关系
固体退火 金属物体 状态 能量 温度T 能量最低的状态 某一温度下趋于热平衡的过程 模拟退火算法 优化问题 解 目标函数 控制参数t 最优解 产生新解-判断-接受/舍弃
物理、化学、生态学 医学、计算机科学等 1993年，Jones等 用多目标遗传算法 进行分子结构分析
6
非线性电路与系统研究中心
3. 研究意义
汉诺塔问题：和尚搬盘子 天神梵天的三条规则： 每次只能移动一个盘子； 盘子只能在三根柱子上 来回移动，不能放在他 处； 在移动过程中，三根柱 子上的盘子必须始终保 持大盘在下，小盘在上。
3. 模拟退火算法
模拟退火（simulated annealing）算法的思想最早是由 Metropolis等人在1953年提出。 1982年，Kirkpatrick等人将其运用在求组合最优化的问题 上。 金属物体在加热到一定的温度后，再徐徐冷却使之凝固成规 整晶体的热力学过程。在温度最低时，系统能量趋于最小值。 根据热力学定律，在温度为T的情况下，能量改变所表现的 几率如下： -ΔE
需要移动盘子的次数为：
2 -1=18446744073709551615
8
64
非线性电路与系统研究中心
3.Baidu Nhomakorabea研究意义
假定每秒移动一次，一年有31536000秒，则僧侣们 一刻不停地来回搬动，也需要花费大约5849亿年的 时间。 假定计算机以每秒1000万个盘子的速度进行搬迁， 则需要花费大约58490年的时间。 理论上可以计算的问题，实际上并不一定能行，这 属于算法复杂性方面的研究内容。
15
非线性电路与系统研究中心
1. 贪婪算法
在算法的每个阶段，都作出在当时看上去最好的决 策，以获得最大的“好处”，换言之，就是在每一 个决策过程中都要尽可能的“贪”， 直到算法中 的某一步不能继续前进时，算法才停止。 在算法的过程中，“贪”的决策一旦作出，就不可 再更改，作出“贪”的决策的依据称为贪婪准则。 局部搜索的缺点就是太贪婪地对某一个局部区域以 及其邻域搜索，导致一叶障目，不见泰山。
之五： 杨-米尔斯(Yang-Mills)存在性和质量缺口
之六： 纳维叶-斯托克斯(Navier-Stokes)方程的存在性与光滑性 之七： 贝赫(Birch)和斯维讷通-戴尔(Swinnerton-Dyer)猜想
11
非线性电路与系统研究中心
3. 研究意义
P=?NP （P-NP问题）
P=NP
之初始位臵与速度。 （2）依据fitness function计算出其fitness value以作为判 断每一个Particle之好坏。 （3）找出每一个Particle 到目前为止的搜寻过程中最佳 解，这个最佳解称之为Pbest。 （4）找出所有群体中的最佳解，此最佳解称之为Gbest。 （5）根据速度与位臵公式更新每一Particle的速度与位 臵。 （6）返回步骤2继续执行，直到获得一个令人满意的结 果或符合终止条件为止。
27
非线性电路与系统研究中心
5. 粒子群优化算法
每个寻优的问题解都被想像成一条鱼，也称为 “Particle”。 所有的Particle都有一个fitness function以判断目 前的位臵之好坏， 每一个Particle具有记忆性，能记得所搜寻到最佳 位臵。 每一个Particle还有一个速度以决定飞行的距离与 方向。
17
非线性电路与系统研究中心
2. 禁忌搜索算法
Glover在1986年提出禁忌搜索的概念，进而形成一 套完整的算法。 为了找到“全局最优解”，就不应该执着于某一个 特定的区域。 禁忌搜索就是对于找到的一部分局部最优解，有意 识地避开它（但不是完全隔绝），从而获得更多的 搜索区间。
18
非线性电路与系统研究中心
3
非线性电路与系统研究中心
2. 应用领域
4
非线性电路与系统研究中心
2. 应用领域
工程领域 1998年，Mason等 采用MINSGA算法， 实现了星座的优化 设计。 目标： 最小化卫星个数 最大化不间断全 球覆盖百分比
并与公开发表的结果对 比验证算法的优化性能
5
非线性电路与系统研究中心
2. 应用领域
28
非线性电路与系统研究中心
速度与位置更新
vid (t 1) vid (t ) c1 rand () ( pid xid (t )) c2 rand () ( pgd xid (t ))
xi (t 1) xi (t ) vi (t )
Vi =Vi1,Vi 2 ,...,Vid
26
达到最大循环次数
输出最短路径及其长度
结束 非线性电路与系统研究中心
5. 粒子群优化算法
生物社会学家E.O.Wilson指出：“至少从理论上， 在搜索食物过程中群体中个体成员可以得益于所有 其他成员的发现和先前的经历。当食物源不可预测 地零星分布时，这种协作带来的优势是决定性的， 远大于对食物的竞争带来的劣势。”
9
非线性电路与系统研究中心
3. 研究意义
P（polynominal）所有可以在多项式时间内用确定 算法求解的优化问题的集合，简称多项式问题。 判定问题（decision problem）如果一个问题的每 一个实例只有“是”或“否”两种答案。 NP（nondeterministic polynominal）是指可以在多 项式时间里验证一个解的判定问题的集合。
接收概率：
1 p( X i X j ) ( F ( X i ) F ( X j )) / T e
20
, F(X j ) F(Xi ) , F(X j ) F(Xi )
非线性电路与系统研究中心
3. 模拟退火算法
算法的实现步骤 （1）随机产生一个初始解X0，给定初始温度Tmax。 （2）若在该温度下达到内循环终止条件，则转到步骤（3） 否则，从当前解Xi的邻域中产生一个新解Xj ， 若F(Xj) ≤ F(Xi) ,则F(Xi) = F(Xj) ；否则，以概率 ( F ( Xi ) F ( X j ))/ Tk e random 0, 1 接收新解。 （3）降温，Tk+1= dTk；k=k+1，若满足终止条件，算法结束 否则，转步骤（2）。
轨迹更新: ij (t n) (1 ) ij (t ) ij (t , t n)
预见度:
ij = 1/dij
更新每个蚂蚁的个体禁忌表
表示残留信息的相对重要程度
信息量更新
ij
表示预见度的相对重要程度 信息素的挥发因子
表示第K只蚂蚁在本次循环中留在路径ij上的信息量
P
NP
现在的估计
现在的估计
如果 P NP ，则指数灾难无法避免。
12
非线性电路与系统研究中心
报告内容
1
启发式优化算法研究背景
2
启发式优化算法简介
3 4
应用实例
13
非线性电路与系统研究中心
二.启发式优化算法简介
1.贪婪算法 2.禁忌搜索算法 3.模拟退火算法
4.蚁群优化算法 5.粒子群优化算法
10
非线性电路与系统研究中心
3. 研究意义
千禧年数学难题（2000-5-24，美国的克雷(Clay)数学研究 所，在巴黎法兰西学院宣布每一个悬赏一百万美元）
http://www.claymath.org/millennium
之一： P (多项式算法)问题对NP (非多项式算法)问题，即P=NP？ 之二： 霍奇(Hodge)猜想 之三： 庞加莱(Poincare)猜想 之四： 黎曼(Riemann)假设
7
非线性电路与系统研究中心
3. 研究意义
当n=64时，移动次数=？花费时间=？ h(n)=2h(n-1)+1 2 =2(2h(n-2)+1)+1=2 h(n-2)+2+1 3 2 =2 h(n-3)+2 +2+1 …… n n-1 2 =2 h(0)+2 +…+2 +2+1 n-1 2 n =2 +…+2 +2+1=2 -1
16
非线性电路与系统研究中心
2. 禁忌搜索算法
一群兔子去寻找世界上最高的山峰 兔子们找到了泰山，它们之中的一只 就会留守在这里，其他的会有意识地 避开泰山。这就是禁忌搜索中“禁忌 表（tabu list）”的含义。 那只留在泰山的兔子一定时间后重新 回到找最高峰的大军，这个归队时间， 在禁忌搜索里面叫做“禁忌长度 （tabu length）”； 如果在搜索的过程中，兔子们找到的 地方全是华北平原等比较低的地方， 就可以不顾及有没有兔子留守，都把 泰山重新考虑进来，这就叫“特赦准 则（aspiration criterion）”。
非线性电路与系统研究中心
启发式优化算法介绍
报告人: 张成芬
报告内容
一
启发式优化算法研究背景
二
启发式优化算法简介
三 4
应用实例
1
非线性电路与系统研究中心
一.启发式优化算法研究背景
1.概念 2.应用领域
3.研究意义
2
非线性电路与系统研究中心
1. 概念
启发式算法（heuristic algorithm）定义1 一种 基于直观或经验构造的算法，在可接受的耗费 （指计算时间、占用空间等）下给出待解决优化 问题每一实例的一个可行解，该可行解与最优解 的偏离程度未必可事先估计。 启发式算法定义2 启发式算法是一种技术，该技 术使得能在可接受的计算费用内去寻找尽可能好 的解，但不一定能保证所得解的可行性和最优性， 甚至在多数情况下，无法描述所得解与最优解的 近似程度。
25
非线性电路与系统研究中心
4. 蚁群优化算法
开始
[ ij ( t )] [ij ] if j allowed k pij (t ) jallowed [ ij (t )] [ij ] 0 otherwise
初始化
N c N c +1
对每只蚂蚁按概率移到下一顶点
21
非线性电路与系统研究中心
4. 蚁群优化算法
A
C
22
非线性电路与系统研究中心
4. 蚁群优化算法
A C
23
非线性电路与系统研究中心
4. 蚁群优化算法
C
A
24
非线性电路与系统研究中心
4. 蚁群优化算法
意大利学者M.Dorigo于1991年，在他的博士论文中首次系统 地提出了一种基于蚂蚁种群的新型优化算法—蚂蚁算法（ant colony algorithms）。 人工蚁群和自然界蚁群的区别在于，人工蚁群有一定的记忆 能力。另外，人工蚁群在选择下一条路径的时候，是按一定 的算法规律有意识地寻找最短路径。 每个连接上的信息素痕迹的浓度会自动逐渐挥发，信息素痕 迹的挥发过程主要用于避免算法太快地向局部最优区域集中。
Xi =Xi1,Xi 2 ,...,Xid
Study Factor
pi x(t)
Here I am!
My best position
局部 最优解 运动向量
全局 最优解
pg
速度向量
x(t+1)
The best position of team
v
29
非线性电路与系统研究中心
5. 粒子群优化算法
（1）将群族做初始化，以随机的方式求出每一Particle
30
非线性电路与系统研究中心
6. 遗传算法 生物进化过程是一个自然， 并行，稳健的优化过程，这 一优化过程的目的在于使生 命体达到适应环境的最佳结 构与效果，而生物种群通过 “优胜劣汰”及遗传变异来 达到进化（优化）目的的。
进化过程 优化过程
31
非线性电路与系统研究中心
6. 遗传算法
遗传算法(Genetic Algorithm)是由美国的J.Holland教授于 1975年在他的专著《Adaptation in Natural and Artificial Systems》中首先提出的。 基本遗传算法的构成要素 （1）染色体的编码（产生初始群体） （2）适应度函数 （3）遗传算子（选择、交叉、变异) （4）运行参数
6.遗传算法
7.非支配排序遗传算法
14
非线性电路与系统研究中心
1. 贪婪算法 有一个顾客拿一张面 值100元的钞票在超市 买了5元钱的商品，收 银员需找给他95元零 钱，售货员在找零钱 时可有多种选择。为 使找的零钱数目最少。 收银员通常凭直觉采 用的方法，就是一种 典型的贪婪算法 （greedy method）。
P ΔE = exp kT
k是Boltzmann’s Constant。
19
非线性电路与系统研究中心
3. 模拟退火算法
固体退火概念与优化问题的对应关系
固体退火 金属物体 状态 能量 温度T 能量最低的状态 某一温度下趋于热平衡的过程 模拟退火算法 优化问题 解 目标函数 控制参数t 最优解 产生新解-判断-接受/舍弃