智能计算方法-part1

L n( n 1) log 2 | P|
假设每一个数据(距离)的绝对值都有上界K
L n( n 1) log 2 | P| n( n 1)(1 log 2 K )
TSP输入长度是n的多项式函数,枚举法的基本计算总次数 为n!.
35
1.5 计算复杂性的概念
1.5.1 多项式时间算法 例 构造算法将n个自然数从小到大排列起来
18
(2). 组合优化问题的典型例子
旅行商问题(TSP-Traveling Salesman Problem) 背包问题(knapsack problem) 装箱问题(Bin Packing) 作业调度问题（job-shop scheduling problem) 图着色问题（graph coloring problem) 指派问题（assignment problem) 集覆盖问题（set-covering problem）
19
旅行商问题 (TSP-Traveling Salesman Problem) 一名推销员准备前往n个城市推销产品，每两个城市i和j之 间的距离为dij. 如何为他(她)设计一条最短的旅行路线 (从驻地出发，经过每个城市恰好一次，最后返回驻地)？ 这一问题的研究历史十分悠久，通常称之为旅行商问题. TSP还可细分为对称和非对称距离两大类问题。当dij＝ dji,，称为对称距离TSP，否则称为非对称距离TSP。
20
中国邮递员问题(CPP-Chinese Postman Problem) 一名邮递员负责投递某个街区的邮件. 如何为他(她)设计 一条最短的投递路线(从邮局出发，经过投递区内每条街道 至少一次，最后返回邮局)？由于这一问题是我国管梅谷教 授1960年首先提出的，所以国际上称之为中国邮递员问题.
约束式1保证每行至少被一列覆盖； 约束式2是完整性约束。
29
30
1.4 优化算法及其分分类
优化算法其实就是一种搜索过程或规则，它是基于某种思想和机制，通 过一定途径或规则来得到满足用户要求的问题的解。 根据优化机制与行为，优化算法可分为：经典算法、构造型算法、改进 型算法、基于系统动态演化的算法和混合型算法等。 (1)经典算法：线性规划、动态规划、整数规划等运筹学中的传统算法。 (2)构造型算法：针对具体求解问题的特点而设计的方法； (3)改进型算法(又称邻域搜索算法)：从任一解出发，对其邻域大不断搜 索和当前解的替换来实现优化。根据搜索行为，又可分为局部搜索法和指 导性搜索法。 局部搜索法。以局部优化策略在当前解的邻域中贪婪搜索，如只接受 优于当前解的状态作为下一当前解的爬山法。 指导性搜索法。利用一些指导规则来指导整个解空间中优良解的探 索，如：SA、GA、EP、ES、TS等。 (4)基于系统动态演化的算法：将优化过程转化为系统动态的演化过程， 基于系统动态的演化来实现优化，如ANN和CS等； 31
函数f1 是一个三维连续的单峰二次函数，在（0，0，0）点处有一 个全局极小值0，常用此函数测试遗传算法的收敛速度.
12
min f 2
{100 ( x
i 1
n
2 i
x i 1 ) 2 (1 x i ) 2 } i 1, 2 ,... n
2 . 048 x i 2 . 048
33
1.5 计算复杂性的概念 1.5.1 多项式时间算法
构造算法的目的是能够解决问题（或至少是问题某个 子类）的所有实例而不单单是某一个实例
问题（Problem）是需要回答的一般性提问，通常含有若干个满 足一定条件的参数. 问题通过下面的描述给定：（1）描述所有 参数的特性，（2）描述答案所满足的条件. 问题中的参数赋予了具体值的例子称为实例(instance).
1.5.1 多项式时间算法
x a s 2 s a s 1 2 s 1 a1 2 a 0
的系数来表示，其中，
x的二进制数的位数不超过 log 2 x 1 如TSP:二进制输入长度总量不超过
as 0， ai {0,1}, i 0,1, , s.
P {d ij | d ij 0}
s.t.

x 1, i 1 ij
n j 1 ij
n
j 1,2, , n, i 1,2, , n,
非线性整数规划(NIP) 纯整数规划(PIP) 混合整数规划(MIP) 特例：0-1规划
28
x 1,
xij {0,1}.
集覆盖问题（set-covering problem）
要将n个物品装入许多箱子（最多n个箱子）。每个物品有重量（Ｗ i>0）,每个箱子有重量限制（Ci>0）。问题是寻找最优的将物品分配到 箱子的方案，从而使每个箱子中物品的重量之和不超过其限制，而使用 的箱子数量最少。
Yi=1表示箱子i被装入物品，反之表示箱子i空着；xij＝１表示物品j放入箱子 i，反之表示物品j放入箱子i。
15
min f 5
1 0.002
j 1 25
1 j ( x i a ij ) 6
i 1 2
65.536 x i 65.536, i 1,2 0 16 32 32 16 16 0 16 32 32 16 [a ij ] 32 32 32 32 32 16 16 32 32 32 32
离散事件的最
优编排、分组、次序或筛选等. 这类问题可用数学模型描述为：
min f ( x ) s.t. g ( x ) 0, x D,
其中D表示
有限个点组成的集合(定义域)
, f为目标函数,F={x|xD,
g(x)0}为可行域
优化问题三要素: (D, f, F)
17
一般来说，组合优化问题通常带有大量的局部极值 点，往往是不可微的、不连续的、多维的、有约束 条件的、高度非线性的NP完全（难）问题。因此， 精确地求解组合优化问题的全局最优解的“有效”算 法一般是不存在的。
函数f2是一个经典的单峰病态非凸函数，其全局极小值点位于 xi=(1,1,….1)处，全局极小值为0，难以最小化.该函数可以用 于测试算法能否克服和防止进化中的“早熟”现象.
13
min f 3 xi
i 1
5
5.12 xi 5.12 i 1,2,...5
函数f3 中的[xi]表示取不大于xi的最大整数，该函数是由整数 阈值的求和得到，因而使f3成为一个平台型的不连续函数，它 在5维空间中有一个极小值-30，在xi位于[-5.12,-5]， i=1,2,..5内都能达到极小值.
3
1.2 优化问题的定义
4
5
1.3 最优化问题的分类
函数优化问题和组合优化问题 函数优化的对象是一定区间内的连续变量; 组合优化的对象则是解空间中的离散状态。
6
优化分类结构树
7
1.3.1 函数优化问题
8
9
10
11
min f 1 x i2
i 1
3
5.12 x i 5.12 i 1,2
函数f5是具有25个稀疏尖峰的多极值函数,有一个全局极小值 0.998位于(-32，-32)处，寻找该函数的全局最优点较困难.
16
1.3.2 组合优化问题 (1).组合优化 – 定义
定义： 所谓组合(最)优化 (Combinatorial Optimization) 又称离散优化 （Discrete Optimization），它是通过数学方法去寻找
21
0-1背包问题(knapsack problem)
给定n个容积分别为ai，价值分别为ci的物品.设有一个容积为b的背包， 如何以最大的价值装包？
max s .t .

a
i
n
i1
ci xi

xi bi
x i { 0 , 1} i 1 , 2 ,... n
22
装箱问题(Biblioteka Baiduin Packing)
23
图着色问题（graph coloring problem)
对于n个顶点的无环图G，要求对其各个顶点进行着色，使 得任意相邻的顶点都有不同的颜色，且所使用颜色种类最 少。
24
调度问题（scheduling problem)
25
调度问题（scheduling problem)
26
约束机器排序问题（capacitated scheduling problem)
（5）混合型算法。指上述各算法从结构或操作上相混合而产生的各类算 法。 优化算法还可从别的角度进行分类，如确定性算法和不确定性算法， 局部优化算法和全局优化算法等。
32
1.5 计算复杂性的概念 1.5.1 多项式时间算法
对于组合优化问题，我们关心的一般不是最优 解的存在性和唯一性，而是如何找到有效的算 法求得一个最优解. 那么如何衡量算法的优劣、 有效与无效呢？ 完全枚举法可以求得最优解,但枚举时间有时不可能接受 ATSP: (n-1)!枚举(TOUR,周游或环游) 设计算机每秒进行100亿次枚举,需 30! / 10e+10 > 2.65e+22 (秒) 即 2.65e+22 / (365*24*60*60) > 8.4e+13 (年)
14
max
f 4 0 .5
sin
2
x 2 y 2 0 .5
[1 0 . 001 ( x 2 y 2 ] 2 100 . 0 x , y 100 . 0
函数f4是由J. G. Schaffer首先提出的，它只有一个位于（0，0） 点处的全局极大值1.在最大值周围有一圈脊，它们的取值均为 0.990284，在距离全局极大值点约3.14范围内的隆起部分有无数 个局部极大值点.由于此函数的强烈振荡性质和它的全局最优点被 这些次优点所包围的特性，在优化求解时，很容易停滞在这些局 部极大值点处，而陷于局部最优，以致很难找到全局最优解.
衡量一个算法的好坏通常是用算法中的加、减、乘、 除和比较等基本运算的总次数（计算时间）C（I）同 实例I在计算机计算时的二进制输入数据(输入规模/长 度d（I）)的大小关系来度量. 计算模型
C(I) = f(d(I)) : 该函数关系称为算法的计算复杂性（度）
34
1.5 计算复杂性的概念
对于一个正整数x，二进制表示是以
智能计算
Intelligent Computing
1
第 1 章
1. 智能优化方法简介 2. 最优化问题的定义 3. 最优化问题的分类 4. 优化算法及其分类 5. 计算复杂性的概念 6. NP、NP-C和NP-hard概念 7. 遗传算法解题例子
概 论
2
1.1 智能优化方法简介
20世纪80年代以来 ，一些新型优化算法 ，如禁忌搜索(T S)、 模拟退火(SA)、遗传算法(GA)、进化规划(EP)、进化策略 (ES)、人工神经网络(ANN)、蚁群算法(ACO)、粒子群优化 (PSO)等,通过模拟和揭示某些自然现象过程而得到发展， 其思想和内容涉及数学、物理学、生物进化、人工智能、 神经科学和统计力学等方面，为解决复杂问题提供了新的 思路和手段。它们的兴起与计算复杂性理论的形成有密切 联系，因经典优化算法在求解复杂问题时，得不到十分满 意的结果，于是这些方法便开始体现出优势，且在许多领 域得到了成功应用。在优化领域中，由于这些算法构造的 直观性与自然机理，因而通常被称作智能优化方法。
算法 输入自然数a(1),a(2),…,a(n). for (i=1;i<n;i++) for (j=i+1;j<=n;j++) if (a(i)>a(j)){ k=a(i);a(i)=a(j);a(j)=k; }
基本运算的总次数(最坏情形）：2n(n-1)=O(n2)
比较： （n-1)+(n-2)+…+1=n(n-1)/2 赋值： 3{(n-1)+(n-2)+…+1}=3n(n-1)/2
27
组合优化问题例子
指派问题(Assignment Problem) 一家公司经理准备安排N名员工去完成N项任务，每人一项. 由 于各员工的特点不同，不同的员工去完成同一项任务时所获得 的回报是不同的. 如何分配工作方案可以使总回报最大？
max i 1 j 1 wij xij
n n
线性整数规划(LIP)