广义邻域搜索算法及其统一结构

智能优化计算
7.1 广义邻域搜索算法
7.1.2 广义邻域算法
Genetic Algorithm (GA,1975)
Hopfield Neural Network
(HNN,1982)
Simulated Annealing
(SA,1983)
Tabu Search
(TS,1986)
Ant Colony Optimization
算法操作的研究 随着人们对算法机制与功能和自然更深入的理解与 研究，模拟自然科学思想来实现优化的算法操作研 究会得到进一步的发展。
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.2 应用研究概述
函数优化 生产调度 控制工程 机器学习和模式识别 工艺设计 组合优化 神经网络设计 工业设备设计
7.3.1 算法混合的方式
并行
同步式并行：主过程（算法A）和子过程（其它算法） 为主仆关系，各子算法的搜索过程相互独立，可以
采纳不同的搜索策略，
但与主过程的通信必须保 算法1
算法3
持同步；
算法A
算法2
算法n
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.1 算法混合的方式
并行
异步式并行：各子过程通过共享存储器彼此无关地
智能优化计算
7.4 优化算法的性能评价体系
综合指标
离线优化 在线优化
基于上述三个性能指标，加权组合：
E mEm s Es f E f m,s , f 满足m s f 1
综合性能指标越小表明算法的综合性能越好，以此 作为实际应用时选择算法的一个标准。
智能优化计算
邻域函数的设计 决定了邻域结构和邻域解的产生方式； 算法对问题解的不同描述方式，使解空间的优化曲 面形状和解的分布有所差异，会直接影响邻域函数 的设计，进而影响算法的搜索行为。 在确定邻域结构后，当前状态邻域中候选解的产生 方式既可以是确定性的，也可以是随机性的。
智能优化计算
7.2 广义邻域搜索算法的要素
智能优化计算
7.2 广义邻域搜索算法的要素
算法终止准则的设计 决定算法最终的优化性能； 应兼顾算法的优化质量和搜索效率等多方面性能， 或根据问题需要着重强调算法的某方面性能，采用 与算法性能指标相关的近似收敛准则。
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.1 算法混合的方式
单一算法与混合算法 依赖于单一邻域结构的搜索算法一般难以实现高效 的优化，基于混合邻域结构的搜索算法日益受到重 视。 混合算法已经成为一些学术会议专门的研讨方向。
7.5.1 理论研究概述 7.5.2 应用研究概述 7.5.3 发展性研究
智能优化计算
7.1 广义邻域搜索算法
7.1.1 传统邻域算法
传统邻域算法的优化流程 从一个初始解 x 出发，利用状态发生器持续地
在解 x 的邻域中搜索比它好的解，若能找到如此的 解，就以之替代解 x 成为新的当前解，然后重复上 述过程；否则结束搜索过程，以当前解作为最终解。
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.2 统一优化结构
问题分解和预处理以及子问题的综合过程 体现了优化过程在空间层次上的分解，通过问题分 解，可降低求解复杂性，有利于提高优化效率；
整体解的进一步NS优化 这是对从“问题分解”到“综合处理”的手段所造 成的全局优化质量降低的一个补充。
鲁棒性指标 离线初值鲁棒性指标（波动率）：
E f 1,off line

ca c* c*
100%
E f 2,off line STDEV(ci* )
其中，ca为算法多次运行所得的平均值，ci*为算法第 i次运行得到的最优值，STDEV()为均方差。
波动率越小说明鲁棒性越强。
智能优化计算
智能优化计算
7.1 广义邻域搜索算法
7.1.2 广义邻域算法
定义 模拟退火、禁忌搜索、遗传算法、模糊优化、
基于规则的启发式算法，以及基于它们的各种混合 算法，都是对传统邻域搜索算法的改进和变型。
将上述通过不同途径而构成的改进算法统称为 广义邻域搜索算法。
这些算法在优化流程上呈现出很大的共性。
智能优化计算
算法n
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.1 算法混合的方式
镶嵌
一种算法作为另一种算法的一个优化操作或用作搜
索性能的评价器； 鉴于各种算法优化机制的差异， 步骤1
进而克服单一算法早熟和陷入
步骤m
算法2
局部极值；
关键：子算法与嵌入点的选择。 步骤n
算法1
智能优化计算
7.3 广义邻域搜索算法的一般结构
智能优化计算
第七章 广义邻域搜索算法 及其统一结构
智能优化计算
7.1 广义邻域搜索算法
7.1.1 传统邻域算法 7.1.2 广义邻域算法
7.2 广义邻域搜索算法的要素 7.3 广义邻域搜索算法的统一结构
7.3.1 算法混合的方式 7.3.2 统一优化结构
7.4 优化算法的性能评价指标 7.5 广义邻域搜索算法研究进展
(ACO,1992)
Particle Swarm Optimization (PSO,1995)
智能优化计算
7.2 广义邻域搜索算法的要素
搜索机制的选择 是构造算法框架和实现优化的关键； 局部优化算法——基于局部优化的贪婪机制，如梯 度下降法、爬山法等； 全局优化算法——基于概率分布的优化机制，如GA、 SA等； 自学习算法——基于系统动态演化的优化机制，如 混沌搜索、神经网络优化等。
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.2 统一优化结构
整体流程
智能优化计算
7.4 优化算法的性能评价体系
优化性能指标 离线最优性能指标：
Em,off
line

cb c* c*
100 %
其中，cb为算法多次运行所得的最佳优化值，c*为问 题的最优解，若最优解未知，可用已知最佳优化值
智能优化计算
7.2 广义邻域搜索算法的要素
搜索方式的选择 决定优化的结构，即每代有多少解参与优化； 并行搜索：以多点同时或交叉优化，计算和储存量 较大，如GA、ACO、PSO等； 串行搜索：始终只有一个当前状态，处理简单，效 率较差，如SA、TS等。
智能优化计算
7.2 广义邻域搜索算法的要素
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.3 发展性研究
主要研究方向 （4）针对搜索全局性、快速性和鲁棒性，发展新的 优化机制和优化操作，尤其是基于算法统一框架发 展高效的混合优化算法； （5）利用并行计算机技术，发展并行或分布式优化 算法； （6）分析处理优化问题中的关键因素，降低问题的 难度；
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.3 发展性研究
主要研究方向 （1）归纳总结已有的分散成果，建立邻域算法的统 一结构体系和理论研究体系； （2）寻求新的数学工具和分析方法，建立算法复杂 性、收敛性和鲁棒性的分析研究理论； （3）基于数学和计算机进行研究，尤其是算法的比 较研究，提供控制参数选取得理论指导和规律性结 论，提出搜索进入局部极小的合理判断准则；
7.4 优化算法的性能评价体系
鲁棒性指标 在线初值鲁棒性指标：
E f 1,online
Fra Baidu bibliotek
ca (k) c* c*
100%
E f 2,online STDEV(ci* (k ))
其中，ca (k)为算法运行第k代所得的平均值， ci*(k) 为算法第i次运行在第k代得到的最优值。
用来衡量算法对随机初值和操作的动态依赖程度。
状态更新方式的设计 指以何种策略在新旧状态中确定新的当前状态，是 决定算法整体优化性能的关键步骤之一。 基于确定性的状态更新方式——难以穿越大的能量 障碍，容易陷入局部极小； 基于随机性的状态更新方式——能够取得较好地全 局优化性能。
智能优化计算
7.2 广义邻域搜索算法的要素
控制参数的修改准则和方式的设计 须以一定的准则和方式进行修改以适应算法性能的 动态变化； 参数的修改幅度必须使算法性能的动态变化具有一 定的平衡性，以实现算法行为在不同参数下的良好 过渡。
智能优化计算
7.1 广义邻域搜索算法
7.1.1 传统邻域算法
特点 （1）通用易实现，只要设计好状态发生器（邻域函 数），就能求解组合或函数优化； （2）算法性能对邻域函数和初始值具有依赖性，邻 域函数和初始值选取不同，算法最终的性能将会有 差异； （3）算法的局部优化特性，没有跳出局部极值的能 力。
对算法的关键参数做某种调节,引导搜索进程在集中 搜 索 （ intensification ） 和 分 散 搜 索 (diversification)之间转换。经验表明,参数选择对 算法性能有着极其重要的影响,而这类算法中关于最 优参数没有一般理论的指导。
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.2 应用研究概述
物流配送系统 航空系统 智能交通 码头运输 人力资源 电路设计 旅游资源配置 无线通讯网络
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.2 应用研究概述
程序优化 能源配置 网络资源优化 铁路开行方案 学校排课 证券投资组合 防空部署 其他
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.1 算法混合的方式
主要结构类型 串行 镶嵌 并行 混合
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.1 算法混合的方式
串行
最简单；
利用一种算法的搜索结果作为另一种算法的起点依
次对问题进行优化；
算法1
关键：确定算法的转换时机。
算法2
Es

I aT0 Imax
100 %
其中，Ia为算法多次运行所得的满足终止条件时的迭 代步数平均值， Imax为给定的最大迭代步数阈值， T0为算法一步迭代的平均计算时间。
搜索率Es用以衡量算法对问题解的搜索快慢程度， 在Imax固定情况下， Es越小说明算法收敛速度越快。
智能优化计算
7.4 优化算法的性能评价体系
7.1 广义邻域搜索算法
7.1.2 广义邻域算法
广义邻域算法的工作流程 算法从若干初始解出发，在算法参数控制下由
当前状态的邻域中产生出若干个候选解，并以某种 策略在当前解和候选解中确定新的当前状态。伴随 控制参数的调节，重复执行上述搜索过程，直至满 足算法的终止准则，结束搜索过程并输出优化结果。
算法1
算法3
算法A
算法2
算法n
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.2 统一优化结构
单一邻域搜索流程 将各种单一广义邻域搜索算法进行统一模块化描述， 包括构成广义邻域搜索流程的所有关键步骤；
进程层次串行组合邻域搜索（SNSA） 体现了优化过程在进程层次上的分解，是在进程层 次上对各种混合算法的统一描述；
代替。
值越小意味着优化性能越好。
智能优化计算
7.4 优化算法的性能评价体系
优化性能指标 在线最优性能指标：
Em,online

cb (k) c* c*
100 %
其中，cb(k)为算法运行第k代的最佳优化值。 值越小意味着算法的优化性能越好。
智能优化计算
7.4 优化算法的性能评价体系
时间性能指标
7.5 广义邻域搜索算法研究进展
7.5.1 理论研究概述
收敛性与鲁棒性研究 模式定理（遗传算法） 马尔科夫链（模拟退火、禁忌搜索、遗传算法等） 目前对算法严格的理论研究均基于简单的理想模型， 研究成果与实际算法实施仍有距离。
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.1 理论研究概述
算法参数的选择研究 目前尚无确定最优参数的一般方法，在求解实际问 题时主要凭经验选取算法参数。
进行优化，与主过程的通信不受其他子过程的限制，
其可靠性有所提高；
算法1
算法3
算法A
算法2
算法n
智能优化计算
7.3 广义邻域搜索算法的一般结构
7.3.1 算法混合的方式
并行
网络结构：各算法分别在独立的存储器上执行独立
的搜索，算法间的通信是通过网络相互传递的；
关键：问题分解与综合以及
进程间的通信问题。
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.3 发展性研究
主要研究方向 （7）拓展算法的应用领域，总结算法的适用域； （8）研制算法软件和硬件，注重开放性设计以便算 法不断扩充与综合。
智能优化计算
7.5 广义邻域搜索算法研究进展
7.5.4 提升算法全局搜索能力的途径
算法参数的改进