智能优化方法

4. 研究方法上的特点
•计算比较:
与最优化方法比较 与已有启发式算法比较 随机产生大量例子,自己比较 •比较内容: 达优率,相对误差,计算时间, 存贮需求,解大问题的能力,..
6.5.3 禁忌搜索
(Tabu Search)
一。导言
1. 禁忌搜索的产生
• 1977年F.Glover提出,主要用于组 合优化,
6.5 智能优化方法
AI Based Optimization Methods
主要内容
6.5.1 智能算法导言
6.5.2 遗传算法（ＧＡ）
6.5.3 禁忌搜索（ＴＳ）
6.5.4 模拟退火（ＳＡ）
6.5.5 人工神经网络在优化中的 应用（ＡＮＮ）
6.5.1 智能算法导言
一。传统优化方法的基本步骤：
当f(x)相差无几,如1000,998,994,… 取 F(x)=f(x)-fmin+a a随t减小---初期分散性好,末期收敛性好
3. 选择策略
a. 截集法 ----取前K个最好的个体,扩展为N个. ----太粗略,不能优中选优; ----计算简单.
b. 排序法
•对N个个体按好坏排序; •定义最好的个体的选择概率为q , p( 1 ) q p( 2 ) q( 1 q ) ...
三。算法步骤: Step1. 选初始点, x X
令 x* x ,T , k 0
Step2. 若S( x ) T , stop; else k k 1;
若K NG, stop;
Step3. 若sk ( x ) Opt { s( x ), s S ( x ) T }, 令x sk ( x );
五。计算举例:
由七层不同材料构成的一种 绝缘体,应如何排列层次顺序 可使性能最好?
移动为一对两两交换, T size=3.
初始顺序:2-5-7-3-4-6-1, C(x)=10. 迭代0:
参见:<遗传算法与工程设计>,玄光南等,科学出版社 ,pp84-88
----实向量表达的交叉. I. 取P1和P2的凸组合
E X ( 1 )Y
*分散性不好
II. 取P1的前k位和P2的后n-k位
*对约束问题,会导致不可行解
b. 变异的变形 ----自然码 I. 任取一对元素进行交换, II. 取二交叉点,分为三段,交换 ----实向量 I. 取
适当选取f(s,t),可使 E(s,t)随t增加.
四。基本GA的变形
1. 基因表达方式
a. 自然码表示----用于排序,调度问题; 例: 5城市TSP问题: 3-2-1-5-4 表示走过城市的顺序
x1 b. 实向量表达方式 x 2 X xn
2. 符合函数
步骤： 选初始解
判断停止条件
向改进点移动
１. 选初始解
2. 停止准则
LP: 检验数为正; NLP:
f ( x ) 0
|| f ( x ) || 2 f(x)0
3.向改进点移动
LP: 转轴变换;
NLP: • 选一个移动方向:
负梯度方向,牛顿方向,共轭梯度方向
• 确定移动步长:
线性搜索,黄金分割, . . .
二。传统优化方法特点与缺陷：
1. 一个初始点----运算只对一个点进行; 2. 向改进方向移动 ----不能跳出局部最优解; 3. 只有在凸集凸函数条件下才能找 到全局最优解;
4. 模型必须是连续可微,甚至是二
阶可微;
三。实际对新优化方法的要求： 1. 实际中希望模型的描述方法更宽松
2. 禁忌表(Tabu list) T
• 阻止搜索过程循环,记录前若干次 的移动,禁止这些移动在近期返回; T表:
1 2 3 4 5 前一次移动 前二次移动 … … …
Tabu size
3. 渴望水平函数/破禁水平 (Aspiration level function)
• 若 A( s , x ) C( s( x )) , 则s(x)不受 Tabu表的限制,即 s T , 仍可取:
2. 1977年Glover提出Tabu Search
设禁搜索----有记忆功能 ----用TABU表封锁搜索过的区域
3. 1983年Kirkpatrick提出成熟的 模拟退火方法
----模拟物理的退火过程
目标<=>能量函数, 在退火过程中达到最小
4. 80年代重新兴起的ANN,用于优化
五。研究应用的前景与局限性:
2. 概形理论
----在GA中概形中个体数变化的规则;
概形定理:在第t代以概率Pc和Pm做
交叉和变异,符合函数比为f(s,t)的 概形s,在第t+1代的期望个体数为
Pcl( s ) 1 P( s ,t ) Pm k( s ) E( s ,t 1 ) 1 n 1 f ( s ,t ) N ( s ,t )
例: 配料问题
min C X s.t .AX b X 0
T
若有数量折扣?
2. 计算效率
LP--指数算法 3. 不一定要找最优解 4. 希望方法能模糊
四。智能优化方法的产生与发展： 1. 1975年Holland提出GA
----随机实验法----模拟生物遗传机制 一点-->多点(种群)-->遗传-->可并行计算
p( j ) q( 1 q ) j 1
•归一化:
P( j ) q ( 1 q ) q q N 1 (1 q )
j 1
----计算简洁,可控性好
4. 遗传算子
a. 交叉的变形
----自然码, 原交叉会产生不可行解. I. 部分映射交叉法PMX, II. 顺序交叉OX, III.基于位置的交叉, IV.基于顺序的交叉, V. 循环交叉CX, VI. 启发式交叉, … …
三。Holland的概形理论
1. 概形的基本概念
•概形----某些位取确定位而其它位 不确定的一类个体的总称;
•概形长度----l(s),从第一个确定位 到最后一个确定位之间的距离;
•概形阶数----k(s),概形中确定位的 个数;
s : * * 0 * * *1 l( s ) 4 k( s ) 2
• 特点:计算速度快,可解大型问题
2. 主要思想
------避免算法在局部循环
• 只进不退的原则:用Tabu锁住退路;
• 不以局部最优为停止条件; • 模仿了人的记忆功能--Tabu表,频数表
二。禁忌搜索的基本概念
1. 问题描述 min C( x ) n s.t .x X R
• X是Rn上的一个离散空间; 定义:对于一个变量x,通过一步移 动s达到的点的集合,称为邻域 移动, S ( x ) { s( x ) | x X }
P1 0 1 1 0 1
P2 1 1 0 1 0
P1 0 1 0 1 0
P2 1 1 1 0 1
• 一般, P1用比例法选, P2随机选. b. 变异 mutation • 随机选一位: 0 -> 1; 1 -> 0
6. 停止准则
• 达到最大代数停止.
计算实例:
max f ( x ) x 60 x 900 x 100
3 2
f ( x ) 3x 120 x 900 0
2
X 1 30,
X 2 10
用5位二进制表达(0 ~ 32)
j 编码 1 10011 2 00101 3 11010 4 10101 5 01110 x 19 5 26 21 14 F(x) 2399 3255 516 1801 3684 Pj 0.206 0.227 0.044 0.155 0.317
6.5.2 遗传算法
(Genetic Algorithm) 一。导言 1. 遗传算法的产生
• • 1975年Holland提出, 第一本书: “Adaptation in Natural and Artificial Systems”
•
GA以前的工作:
随机算法 ----随机产生点,迭代,无遗传机制. 网格试验法 ----不断细化网格,找最优解.
X i X i X i X i [ a ,b ]
五。应用举例----机器布置问题
1. 描述
n台机器要布置在n个位置,机器i,j间 物流为fij. 运价Cij,位置i,j间距离为dij. 问:如何布置?
2. 一般0-1规划
1 机器i放在位置j xij elswenku.baidu.com 0
min xij xkl f ik Cik d jl
l
k
j
i
x x
j
i
ij
1 1
可用二次0-1 规划求解.
ij
3. 把问题变为排序问题 位置: 1 2 … n 机器: 3 4 … 1
P( i ) j 表示机器I排在位置j上
min y f ijCij d p( i ) p( j )
4. GA求解 符合函数: F ( x ) ky ln y
Step4. 若C( sL ( x )) A( s , x ),且sL T , 令A( s , x ) C( sL ( x )), x sL ( x ); Step5. 若C( x ) c( x* ), x* x; Step6. Update T list, goto Step2.
可变容量法(单纯形法则) ----每次替换掉一个最差点.
2. 遗传学的基本思想
• 优胜劣汰,子代继承父代的特征
• 定向育种 ----产生一个大的种群; ----根据需要的特征选种; ----用选出的种子繁殖下一代 ----经过若干代后得到具有以 上特征的品种.
3. 遗传算法的基本要素与构成
• 基本思想: 根据问题的目标确定一 个符合函数,按符合函数的好坏对种 群进行选择,繁殖,经若干代后,获得最 好的种群和个体.
x
k 1
s( x )
4. 移动规则
• 若 sk ( x ) Opt { s( x ), s S ( x ) T } , 令 x = sk(x)
即在不被禁忌的邻域中挑最优移动.
5. 选择规则
• 若 C( x ) C( x* ) , 令 x* = x
6. 停止规则
• 最大迭代次数
• 要素: 种群大小; 基因表达方式; 选择策略; 遗传算子; 停止准则.
• 流程:
开始 产生初始种群
停止? 计算符合函数 选择 产生下一代
输出 结束
二。Holland的最初的遗传算法 1. 种群大小
• • N: 每代中个体的个数; 一般来说,越大越好.
2. 基因表达方式
• • 用二进制串表达 精度
i j
六。几点体会 1. 分散性与收敛性--一对矛盾
分散性--避免局部最优; 收敛性--加快计算速度,提高最优率 希望:开始分散,最后收敛快 方法:N加大,分散性好, 符合函数,a参数减小
2. 收敛理论上无重大突破--待解决
3. 研究主要方向
•扩大应用范围
•遗传算子的构造方法:多点交叉,构造 算子的条件 •参数选择技巧 •选择策略的变形

1
2
n

3. 符合函数 ( F j )
• 表示个体好坏的函数,越大的越好
4. 选择策略
• 比例选择策略
对于个体,其选择概率
Pj
Fj
F
j
Fj f ( x j )
(用转轮法实现)
5. 遗传算子
a. 交叉 crossover • 选两个父体( parents ), • 选一个交 叉位( 0 ~ n-1 )
四。TS克服局部最优性的分析:
1. 从移动规则看,移向S(x)-T所能达 到的最优点,并不与经过点比较,故可 以爬出局部最优;
2. 选优规则始终保持历史上曾经达 到的最优点,所以既使离开了全局最 优点也不会失去全局最优性;
3. 停止准则不以达到局部最优为停 止准则,而总以最大迭代次数为停止 准则.
F 2325
一次遗传:
j P1 1 1 2 5 3 5 4 4 5 2 P2 交叉点 变异 2 4 N 3 2 2 3 2 1 5 4 N N N N 子串 10011 01010 01101 10101 00100 F(x) 2399 4100* 3857 1801 2804
F 2992
1. 应用前景广阔
2. 研究的主要问题：
•扩大应用范围----多种方法应用
•算法改进----针对不同问题,改进
•性能比较
• 理论探索----收敛性,最优性条件,收 敛速度,参数选择的依据, ….
3. 智能优化方法的局限性：
•不能保证取得最优解,启发式算法,次优化 •算法评估 ----寻优率 ----与最优解相对误差