智能优化算法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这些方法在二次世界大战后，被运用到了经 济等诸多领域。
传统最优化的解法
1、选择一个初始解 该解必须是一个可行解。
2、判断停止准则是否满足 一般为最优性条件。如单纯型方法是最下一行
的值均为非负。
3、向改进方向移动 由于采用迭代方法，当不满足停止条件时，
需要不断修改当前解。
传统最优化的解法的缺陷
1、单点运算方式，一个初始解出发，迭代只 对一个点进行计算，无法并行计算、多核计算。
组合优化问题
义域为解空间，即自变量的各种可能取值，记为 ={s1,s2,…,sn}，C(si)为状态si对应的目标函数值，组
合优化(极小值)是寻求 中，使得目标函数C(si)最小 的状态si*即最优解。
常表现为排序、分类、筛选等问题，如
TSP(traveling salesman problem 旅行商问题，最短距 离的Hamilton问题)、
(5)粒子群算法：随机产生初始粒子群，随机选择初始 移动方向
伪随机数Pseudo Random Number Generator(RNG)
2、产生方法 (1)乘同余法：
Sk+1=mod(ASk, m) 当位数为L时，取模m=2L，S0为奇数，A=4t+1(t为 正整数)时，可得到长度为2L-2的随机整数。 如L=6时，M=64，A=4*3+1=13，S0=1，则 {1,13, mod(13*13,64)，……}
智能优化方法的历史
1972年、E.N.洛伦兹(MIT)、chaos(混沌)，原意是混乱、 无序，在现代非线性理论中，混沌是泛指在确定体系 中出现的貌似无规则的、类随机的运动。
(1)随机性：类似随机变量的杂乱表现；
(2)遍历性。不重复地历经一定范围内的所有状态；
(3)规律性：混沌是由确定性的迭代式产生。
1995年、Kenedy、Eberhart、Particle Swarm Optimization(粒子群优化)，模拟鸟群、渔群集 体觅食迁徙中，个体与群体协调一致的机理， 群过群体最优化方向、个体最优方法和惯性方 向协调来实现最优化。
1999年、Linhares、Predatory Search(捕食搜 索)，模拟猛兽捕食中大范围搜索(大步确定大体 范围)和局部蹲守(小碎步寻优)的特点，通过设 置全避搜索和局部搜索间变换的阈值，来协调 两种不同的搜索方式，从而实现对全局搜索与 局部搜索的兼顾。
智能优化算法
杨圣洪 ysh@ 346260267(qq)
绪论----最优化的历史
微积分中函数极值，最早的无约束函数优化。
拉格朗日乘子法是最早的约束优化方法。
二战时运筹学(Operation Research)，解决受 多个约束条件限制时，目标函数值的最大化(最 小化).
其方法有线性规划(单纯型法)、动态规划、 博弈论、排队论、存储论等，
伪随机数Pseudo Random Number Generator(RNG)
2、产生方法 (1)乘同余法： Sk+1=mod(ASk, m) (A2=)混4t+合1同( 同余上法)，：mSko+d1=(Cm,oMd)(=A1S，k+长C，度m为)2L当的m随=2机L，整S数0奇。， (之3)间0-1的均随匀机分均布匀：分随布机。数序列{Sk+1}，则{xk=Sk/M}为0-1
1977年、Glover、Tabu Search(禁忌搜索算法)： 将记忆功能引入到最优解的搜索过程中，通过 设置禁忌区阻止搜索过程中的重复，这在图论 中最短路径的disjktra算法等都用过，从而大大 提高寻优过程的搜索效率。
智能优化方法的历史
197X年、Jerne、Artificial immune System(人 工免疫系统)。通过进化学习辨别危险的外部物 体(细菌、病毒等)和体内自身的细胞(或分子)， 通过从不同种类的抗体中，构造处理外部物体 的方法或物质。具有并行、分布、自适应性、 学习、识别、记忆和特征提取能力。
参考书
(1)汪定传等 智能优化方法 高教社 研材 电子版 (2)黄友锐 智能优化算法及其应用 国防工业出版社
图书馆有借
(3)王凌
智能优化算法及其应用 清华大学出版社 有电子版
(4)梁艳春 群智能优化算法理论与应用 网上有买 (5)周明 遗传算法原理及应用 国防社
有电子版
(6)史峰等 matlab智能优化算法30个案例分析
2、计算的效率优先, 如TSP问题，本身是一个 NP完全问题，更关注算效率，而非最优解。
3、传统方法计算终止可能得到的解,连可行解 都不是。但问题要求达到限定迭代次数后就停 机，希望此时得到的解是比较优化的解。
4、优化计算中的数据可能不精确，初始解可 能不是可行解，甚至远离可行解。数据可能是 随机变量、模糊集合。
199X年、Dorigo、Ant Colony Optimization(蚁 群算法)，模拟蚂蚁群体利用信息素来实现路径 优化的机理，通过忘记路径将信息素的变化来 解决离散数据的最优化(函数是离散的，约束条 件也是离散的，称为组合优化问题，如TSP、01背包问题、生产调度问题等)。
智能优化方法的历史
学习智能优化方法的策略
3、不提倡刻意去追求理论成果 不是一门严谨的学科，是一门实验学科，最好利用
matlab去做实验。 4、算法性能的测算是一项要下真功夫的工作
算法性能的评价标准是大量不同规划的例题，必须 喜欢编程，喜欢在计算机上工作，后面将介绍组合优 化的常见问题、连续优化的常见问题。
网上题库中的例题、文献中的例题。优于文献中报 道的性能指标。
智能优化方法的历史
1982年、Feynman、按照量子力学原理建造新的计算 机，1985年oxford的Deutsh利用量子态的相干叠加性 可实现并行的量子计算，1995年Grover提出了Grover 算法，可用于解决TSP问题，但现在仍有相当的难度。
1982年、Hopfiled在前人的基础上，在前人青工式神 经元模型(MP)、多层感知机、自适应线性单元模型及 自适应理论ART，引入能量函数的概念，研究网络的 动力学特性，并用电子线路设计出相应的网络，使得 BP可用于联想记忆和优化计算，后人在此基础上提出 了PDP理论、多层向前网络的BP算法，成为比较好的 学习算法，用于控制工程、机器学习、信号处理、模 式识别和经济领域。但最近几年好像又不热了。
2、算法改进有很大的创新空间
只给基本的计算思想和步骤，提高计算性能的细节方 面有很大的创新空间。中国发论文，对前人或牛人经 典算法的改进，是最多也是最容易的！
中国只需要改进型创新，不需要真正的原创的创新， 因为中国杂志的审稿人就是这类型。
退火三函数、遗传选择、交叉与变异算子……
需要对待解决的问题有全面的了解，对各智能算法非 常熟练，我们上这门课的目标是解决后面这个问题。
用于模式识别、信息安全、智能优化、机器 学习、数据挖掘、自动控制、故障诊断等领域。
1999年、Hunt、Clone(克隆选择算法)，只有识 别抗原的细胞的能进行clone扩增，同时克隆产 生的细胞又高频变异，满足生物的多样性要求， 使之具有爬山的能力，全局搜索呀！。
智能优化方法的历史
1983年、Kirkpatrick、Simulated Annealing(模 拟退火算法)。热力学中退火使金属原子达到能 量最低状态的机制，按Boltzmann方程计算状态 向量间的转移概率，来引导搜索，从而使算法 具有很好的全局搜索能力。
智能优化方法的历史
2000年、Passino、Bacteria Foraging (细菌觅食算法)。 模拟大肠杆菌的觅食过程。(1)寻找可能存在食物源的 区域；(2)决定是否进入此区域；(3)在所选定的区域中 寻找食物源；(4)消耗掉一定的量的食物后，决定是否 继续在此区域寻找食物或迁移到另一个更理想的区域。 电网电力预测、电压控制、多Agent系统和车间调度。
SP(scheduling problem 加工调度问题 Flow-show、 job-shop)、
0-1KP(knapsack problem背包问题)、
BPP(bin packing problem)、
GCP(graph coloring problem 图着色问题)、
CP(clustering problem 聚类问题)
北航
伪随机数Pseudo Random Number Generator(RNG)
1、用途
(1)遗传算法：随机产生初始种群，用旋转法选择个 体、选择交叉点，选择变异点。
(2)禁忌搜索：随机选择初始解，选择多阶段禁忌搜索 的初始解。
(3)模拟退火：随机选择领域解，按概率作转移决定。
(4)蚊群算法：随机产生初始蚁群。
智能优化方法的历史
1975年、Holland、Genetic Algorithms(遗传算 法)：模仿生物种群中优胜劣汰适者生成机制， 通过种群中优势个体的繁殖进化来实现优化。 通过选择、交叉、变异来寻优，常用于非线性 最优化和复杂的组优化或整数规划问题、管道 优化设计(网络流)、通风网络的设计、飞机外形 设计、图像处理、VL移动,限制了跳出局部最优的能 力,都使得目标函数降低，即不具备“爬山”能 力,没有全局搜索能力.
3、停止条件只是局部最优性的条件, 只有当解 的可行域凸集、目标函数凸函数时才全局最优。
4、目标函数、约束函数必须连续可微，甚至 还要高阶可微
一些新现象
1、目标函数与约束条件不连续，可能离散， 可能含有规则、条件和逻辑关系。
5、主要性能指标 (1)达优率：多次从不同随机种子出发的计算中，达到 最优解的次数或百分比。
(2)计算速度：迭代次数 (3)计算大规模问题的能力。
智能优化方法的分类
1、函数优化：对象在一定区间内的连续变量。
2、组合优化：解空间的离散状态，如TSP
函数优化的经典问题
n为元R函n上数的f(有x1,界x2子,…集,x，n)，函x数1,x值2,…也,是xn实是数实，数函，数其优定化义是域求S 函数f(x1,x2,…,xn)在定义域S中的最小值。 算法的性能比较，通常是基于一些称为Benchmark(基 准测试)典型问题展开的。
1989年、Moscato、Memetic(文化算法)，meme(文化 基因)表示存在于人脑中可以传递给他人的信息模式， 是人们进行文化或思想交流时传播的信息单元。 Memetic是指模拟meme的复制、传播和进化的理论， 是局部启发式搜索与交叉算子的结合体，适合于多指 令的并行计算和分布计算系统(parallel genetic algorithms)，也是我比较感兴趣的问题，研究人脑本 身的机制用于电脑。
伪随机数Pseudo Random Number Generator(RNG)
2、产生方法 (1)乘同余法： Sk+1=mod(ASk, m)
当位数为L时，取模m=2L，S0为奇数，A=4t+1(t为 正整数)时，可得到长度为2L-2的随机整数。 (2)混合同余法 Smko+1d=(mC,oMd()A=1S，k+可C，得m到)长当度m为=22LL，的S随0奇机，整A数=。4t+1( 同上)， 如L=6时，M=64，A=4*3+1=13，S0=1，C=5，则 {1,mod(13*1+5,64)=18,mod(13*18+5,64，……)
介于确定性和随机性之间，混沌具有丰富的时空动态， 系统的演变可导致吸引子的转移，遍历性可作为搜索 过程中避免陷入局部极小化的陷阱，可爬山。
相空间、混沌运动、分形和分维、不动点、吸引子、 奇异吸引子、分叉和分叉点、周期解、初值敏感性。
学习智能优化方法的策略
1、要解决实际问题。
尽管智能优化算法，对各类复杂的优化总是有很强 的适应性，当解决你在研究中遇到的具体问题时，可 能有一定的难度，因为同一个问题可能多种智能优化 方法，需要一定的智慧。
matlab可产生更加复杂的随机数
计算复杂性
1、概念
时间复杂性T(n)，空间复杂性S(n)，只考虑前者
将求解问题的关键操作，算法执行基本操作的次数 为时间复杂性，若该次数是n多项式，则称该算法为多 项式算法，否则为指数算法。
2、P类问题：具有多项时间求解算法的问题类。
2、判定问题：一个问题的每个实例，只有“是”或“否” 两种回答。
传统最优化的解法
1、选择一个初始解 该解必须是一个可行解。
2、判断停止准则是否满足 一般为最优性条件。如单纯型方法是最下一行
的值均为非负。
3、向改进方向移动 由于采用迭代方法，当不满足停止条件时，
需要不断修改当前解。
传统最优化的解法的缺陷
1、单点运算方式，一个初始解出发，迭代只 对一个点进行计算，无法并行计算、多核计算。
组合优化问题
义域为解空间，即自变量的各种可能取值，记为 ={s1,s2,…,sn}，C(si)为状态si对应的目标函数值，组
合优化(极小值)是寻求 中，使得目标函数C(si)最小 的状态si*即最优解。
常表现为排序、分类、筛选等问题，如
TSP(traveling salesman problem 旅行商问题，最短距 离的Hamilton问题)、
(5)粒子群算法：随机产生初始粒子群，随机选择初始 移动方向
伪随机数Pseudo Random Number Generator(RNG)
2、产生方法 (1)乘同余法：
Sk+1=mod(ASk, m) 当位数为L时，取模m=2L，S0为奇数，A=4t+1(t为 正整数)时，可得到长度为2L-2的随机整数。 如L=6时，M=64，A=4*3+1=13，S0=1，则 {1,13, mod(13*13,64)，……}
智能优化方法的历史
1972年、E.N.洛伦兹(MIT)、chaos(混沌)，原意是混乱、 无序，在现代非线性理论中，混沌是泛指在确定体系 中出现的貌似无规则的、类随机的运动。
(1)随机性：类似随机变量的杂乱表现；
(2)遍历性。不重复地历经一定范围内的所有状态；
(3)规律性：混沌是由确定性的迭代式产生。
1995年、Kenedy、Eberhart、Particle Swarm Optimization(粒子群优化)，模拟鸟群、渔群集 体觅食迁徙中，个体与群体协调一致的机理， 群过群体最优化方向、个体最优方法和惯性方 向协调来实现最优化。
1999年、Linhares、Predatory Search(捕食搜 索)，模拟猛兽捕食中大范围搜索(大步确定大体 范围)和局部蹲守(小碎步寻优)的特点，通过设 置全避搜索和局部搜索间变换的阈值，来协调 两种不同的搜索方式，从而实现对全局搜索与 局部搜索的兼顾。
智能优化算法
杨圣洪 ysh@ 346260267(qq)
绪论----最优化的历史
微积分中函数极值，最早的无约束函数优化。
拉格朗日乘子法是最早的约束优化方法。
二战时运筹学(Operation Research)，解决受 多个约束条件限制时，目标函数值的最大化(最 小化).
其方法有线性规划(单纯型法)、动态规划、 博弈论、排队论、存储论等，
伪随机数Pseudo Random Number Generator(RNG)
2、产生方法 (1)乘同余法： Sk+1=mod(ASk, m) (A2=)混4t+合1同( 同余上法)，：mSko+d1=(Cm,oMd)(=A1S，k+长C，度m为)2L当的m随=2机L，整S数0奇。， (之3)间0-1的均随匀机分均布匀：分随布机。数序列{Sk+1}，则{xk=Sk/M}为0-1
1977年、Glover、Tabu Search(禁忌搜索算法)： 将记忆功能引入到最优解的搜索过程中，通过 设置禁忌区阻止搜索过程中的重复，这在图论 中最短路径的disjktra算法等都用过，从而大大 提高寻优过程的搜索效率。
智能优化方法的历史
197X年、Jerne、Artificial immune System(人 工免疫系统)。通过进化学习辨别危险的外部物 体(细菌、病毒等)和体内自身的细胞(或分子)， 通过从不同种类的抗体中，构造处理外部物体 的方法或物质。具有并行、分布、自适应性、 学习、识别、记忆和特征提取能力。
参考书
(1)汪定传等 智能优化方法 高教社 研材 电子版 (2)黄友锐 智能优化算法及其应用 国防工业出版社
图书馆有借
(3)王凌
智能优化算法及其应用 清华大学出版社 有电子版
(4)梁艳春 群智能优化算法理论与应用 网上有买 (5)周明 遗传算法原理及应用 国防社
有电子版
(6)史峰等 matlab智能优化算法30个案例分析
2、计算的效率优先, 如TSP问题，本身是一个 NP完全问题，更关注算效率，而非最优解。
3、传统方法计算终止可能得到的解,连可行解 都不是。但问题要求达到限定迭代次数后就停 机，希望此时得到的解是比较优化的解。
4、优化计算中的数据可能不精确，初始解可 能不是可行解，甚至远离可行解。数据可能是 随机变量、模糊集合。
199X年、Dorigo、Ant Colony Optimization(蚁 群算法)，模拟蚂蚁群体利用信息素来实现路径 优化的机理，通过忘记路径将信息素的变化来 解决离散数据的最优化(函数是离散的，约束条 件也是离散的，称为组合优化问题，如TSP、01背包问题、生产调度问题等)。
智能优化方法的历史
学习智能优化方法的策略
3、不提倡刻意去追求理论成果 不是一门严谨的学科，是一门实验学科，最好利用
matlab去做实验。 4、算法性能的测算是一项要下真功夫的工作
算法性能的评价标准是大量不同规划的例题，必须 喜欢编程，喜欢在计算机上工作，后面将介绍组合优 化的常见问题、连续优化的常见问题。
网上题库中的例题、文献中的例题。优于文献中报 道的性能指标。
智能优化方法的历史
1982年、Feynman、按照量子力学原理建造新的计算 机，1985年oxford的Deutsh利用量子态的相干叠加性 可实现并行的量子计算，1995年Grover提出了Grover 算法，可用于解决TSP问题，但现在仍有相当的难度。
1982年、Hopfiled在前人的基础上，在前人青工式神 经元模型(MP)、多层感知机、自适应线性单元模型及 自适应理论ART，引入能量函数的概念，研究网络的 动力学特性，并用电子线路设计出相应的网络，使得 BP可用于联想记忆和优化计算，后人在此基础上提出 了PDP理论、多层向前网络的BP算法，成为比较好的 学习算法，用于控制工程、机器学习、信号处理、模 式识别和经济领域。但最近几年好像又不热了。
2、算法改进有很大的创新空间
只给基本的计算思想和步骤，提高计算性能的细节方 面有很大的创新空间。中国发论文，对前人或牛人经 典算法的改进，是最多也是最容易的！
中国只需要改进型创新，不需要真正的原创的创新， 因为中国杂志的审稿人就是这类型。
退火三函数、遗传选择、交叉与变异算子……
需要对待解决的问题有全面的了解，对各智能算法非 常熟练，我们上这门课的目标是解决后面这个问题。
用于模式识别、信息安全、智能优化、机器 学习、数据挖掘、自动控制、故障诊断等领域。
1999年、Hunt、Clone(克隆选择算法)，只有识 别抗原的细胞的能进行clone扩增，同时克隆产 生的细胞又高频变异，满足生物的多样性要求， 使之具有爬山的能力，全局搜索呀！。
智能优化方法的历史
1983年、Kirkpatrick、Simulated Annealing(模 拟退火算法)。热力学中退火使金属原子达到能 量最低状态的机制，按Boltzmann方程计算状态 向量间的转移概率，来引导搜索，从而使算法 具有很好的全局搜索能力。
智能优化方法的历史
2000年、Passino、Bacteria Foraging (细菌觅食算法)。 模拟大肠杆菌的觅食过程。(1)寻找可能存在食物源的 区域；(2)决定是否进入此区域；(3)在所选定的区域中 寻找食物源；(4)消耗掉一定的量的食物后，决定是否 继续在此区域寻找食物或迁移到另一个更理想的区域。 电网电力预测、电压控制、多Agent系统和车间调度。
SP(scheduling problem 加工调度问题 Flow-show、 job-shop)、
0-1KP(knapsack problem背包问题)、
BPP(bin packing problem)、
GCP(graph coloring problem 图着色问题)、
CP(clustering problem 聚类问题)
北航
伪随机数Pseudo Random Number Generator(RNG)
1、用途
(1)遗传算法：随机产生初始种群，用旋转法选择个 体、选择交叉点，选择变异点。
(2)禁忌搜索：随机选择初始解，选择多阶段禁忌搜索 的初始解。
(3)模拟退火：随机选择领域解，按概率作转移决定。
(4)蚊群算法：随机产生初始蚁群。
智能优化方法的历史
1975年、Holland、Genetic Algorithms(遗传算 法)：模仿生物种群中优胜劣汰适者生成机制， 通过种群中优势个体的繁殖进化来实现优化。 通过选择、交叉、变异来寻优，常用于非线性 最优化和复杂的组优化或整数规划问题、管道 优化设计(网络流)、通风网络的设计、飞机外形 设计、图像处理、VL移动,限制了跳出局部最优的能 力,都使得目标函数降低，即不具备“爬山”能 力,没有全局搜索能力.
3、停止条件只是局部最优性的条件, 只有当解 的可行域凸集、目标函数凸函数时才全局最优。
4、目标函数、约束函数必须连续可微，甚至 还要高阶可微
一些新现象
1、目标函数与约束条件不连续，可能离散， 可能含有规则、条件和逻辑关系。
5、主要性能指标 (1)达优率：多次从不同随机种子出发的计算中，达到 最优解的次数或百分比。
(2)计算速度：迭代次数 (3)计算大规模问题的能力。
智能优化方法的分类
1、函数优化：对象在一定区间内的连续变量。
2、组合优化：解空间的离散状态，如TSP
函数优化的经典问题
n为元R函n上数的f(有x1,界x2子,…集,x，n)，函x数1,x值2,…也,是xn实是数实，数函，数其优定化义是域求S 函数f(x1,x2,…,xn)在定义域S中的最小值。 算法的性能比较，通常是基于一些称为Benchmark(基 准测试)典型问题展开的。
1989年、Moscato、Memetic(文化算法)，meme(文化 基因)表示存在于人脑中可以传递给他人的信息模式， 是人们进行文化或思想交流时传播的信息单元。 Memetic是指模拟meme的复制、传播和进化的理论， 是局部启发式搜索与交叉算子的结合体，适合于多指 令的并行计算和分布计算系统(parallel genetic algorithms)，也是我比较感兴趣的问题，研究人脑本 身的机制用于电脑。
伪随机数Pseudo Random Number Generator(RNG)
2、产生方法 (1)乘同余法： Sk+1=mod(ASk, m)
当位数为L时，取模m=2L，S0为奇数，A=4t+1(t为 正整数)时，可得到长度为2L-2的随机整数。 (2)混合同余法 Smko+1d=(mC,oMd()A=1S，k+可C，得m到)长当度m为=22LL，的S随0奇机，整A数=。4t+1( 同上)， 如L=6时，M=64，A=4*3+1=13，S0=1，C=5，则 {1,mod(13*1+5,64)=18,mod(13*18+5,64，……)
介于确定性和随机性之间，混沌具有丰富的时空动态， 系统的演变可导致吸引子的转移，遍历性可作为搜索 过程中避免陷入局部极小化的陷阱，可爬山。
相空间、混沌运动、分形和分维、不动点、吸引子、 奇异吸引子、分叉和分叉点、周期解、初值敏感性。
学习智能优化方法的策略
1、要解决实际问题。
尽管智能优化算法，对各类复杂的优化总是有很强 的适应性，当解决你在研究中遇到的具体问题时，可 能有一定的难度，因为同一个问题可能多种智能优化 方法，需要一定的智慧。
matlab可产生更加复杂的随机数
计算复杂性
1、概念
时间复杂性T(n)，空间复杂性S(n)，只考虑前者
将求解问题的关键操作，算法执行基本操作的次数 为时间复杂性，若该次数是n多项式，则称该算法为多 项式算法，否则为指数算法。
2、P类问题：具有多项时间求解算法的问题类。
2、判定问题：一个问题的每个实例，只有“是”或“否” 两种回答。