智能计算导论

4
智能优化计算
智能计算绪论
1.1 引言
1.1.3 现代优化方法 待解决的问题 离散性、不确定性、大规模 现代的优化方法 启发式算法（heuristic algorithm） 追求满意（近似解） 实用性强（解决实际工程问题） 现代的评价方法 算法复杂性
5
智能优化计算
智能计算绪论
1.2 最优化问题及其分类（函数优化和组合优化）
11
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （4）Schwefel’s Problem 2.21
f ( X ) max{| xi |},
i 1 n
| xi | 100
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （2）Schwefel’s Problem 2.22 (unimodal)
f ( X ) | xi | | xi |,
i 1 i 1 n n
| xi | 10
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
| xi | 5.12
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
19
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （10）Ackley’s Function
f ( X ) 20 exp( 0.2 | xi | 32
(multimodal)
18
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （9）Generalized Rastrigin’s Function
f ( X ) [ xi2 10 cos(2xi ) 10],
i 1 n
6
智能计算绪论
1.2.2 常见求解方法 1.一维函数优化 优选法：黄金分割法、分数法、正交实验设计 特点：只能解决单峰函数的最优值问题 搜索法： 按照某种方向（如最速下降方向、梯度方 向）选取步长搜索（是一种迭代技术） 2.多维函数优化 特点：迭代+搜索 选取初始点、按照某个方向（如最速下降方向、梯度方 向）选取步长搜索 最速下降法、梯度与共轭梯度法、Newton法（拟Newton 法）等等 一般只能解决单峰函数的最优化问题（why?)
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （12）Generalized Penalized Function n 1 2 f ( X ) 10 sin (y1 ) ( yi 1) 2 [1 10 sin 2 (yi 1 )] ( yn 1) 2
1
智能优化计算 智能计算绪论
1.1 引言
1.1.1 优化问题 优化技术？ 以数学为基础，解决各种工程问题优化解 优化技术的用途 系统控制
人工智能
模式识别 生产调度
……
2
智能优化计算
智能计算绪论
1.1 引言
1.1.1 优化问题 最优化问题的描述 最优化问题的数学模型的一般描述：
min f ( x) s.t. g ( x) 0, xD
n
i 1

u ( xi ,10,100 ,4),
i 1
n
| xi | 50
其最优状态和最优值为
min( f ( X * )) f (1,1,,1) 0
24
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 其中，
min( f ( X * )) f (420 .9687 ,420 .9687 ,,420 .9687 ) 418 .9829 n
17
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （8）Generalized Schwefel’s Problem 2.26
n 1 2 f ( X ) 0.1sin (3x1 ) ( xi 1) 2 [1 sin 2 (3xi 1 )] ( xn 1) 2 i 1
u ( xi ,5,100 ,4),
n
其最优状态和最优值为
min( f ( X * )) f (1,1,,1) 0
i 1
| xi | 50, u ()同上
26
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （14）Shekel’s Foxholes Function
25 1 1 , f (X ) 2 500 j 1 j ( x a ) 6 i ij i 1
16
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （8）Generalized Schwefel’s Problem 2.26
f ( X ) ( xi sin( xi )),
i 1 n
| xi | 500
其最优状态和最优值为
n
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
i 1
| xi | 100
14
智能优化计算
Biblioteka Baidu
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （6）Step Function
15
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
12
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （5）Generalized Rosenbrock’s Function
f ( X ) [100 ( xi 1 xi2 ) 2 (1 xi ) 2 ],
n 1 i 1
1
| xi | 65 .56
其最优状态和最优值为
min( f ( X * )) f (32,32) 1
27
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的
Benchmark问题 测试函数
其中，
32, 16, 0, 16, 32, 32, 16, 0, 16, 32, (aij ) 32, 32, 32, 32, 32, 16, 16, 16, 16, 16, 32, 16, 0,16, 32, 32, 16, 0, 16, 32, 32, 16, 0, 16, 32 0, 0, 0, 0, 0, 16, 16, 16,16, 16, 32, 32, 32, 32, 32
| xi | 30
其最优状态和最优值为
min( f ( X * )) f (1,1,,1) 0
13
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （6）Step Function
f ( X ) ( xi 0.5) 2 ,
7
智能计算绪论
测试函数
（8）Generalized Schwefel’s Problem 2.26
f ( X ) ( xi sin( xi )),
i 1
n
| xi | 500
(multimodal)
典型的多峰、多谷 函数，确定性算法求 解很可能导致局部最 优
8
智能优化计算
智能计算绪论
1.2.1 函数优化问题 数学表述
令S为R n 上的有界子集（即变量 的定义域）， f : S R为n维实值函数，所谓函数f在S域上 全局最小化就是寻求点X min S使得f ( X min )在 S域上全局最小，即X S : f ( X min ) f ( X )。
难点 高维
多峰值
智能优化计算 1.1 引言 1.1.1 优化问题 1.1.2 传统优化方法
智能计算绪论
1.1.3 现代优化方法 1.2 最优化问题及其分类 1.2.1 函数优化问题 1.2.2 组合优化问题 1.3 启发式算法 1.3.1 启发式算法的定义 1.3.2 启发式算法的分类 1.3.3 启发式算法的性能分析 1.4 计算复杂性与NP完全问题 1.4.1 计算复杂性的基本概念 1.4.2 P,NP,NP-C和NP-hard
yi 1 ( xi 1) / 4 k ( xi a) m , u ( xi , a, k , m) 0, k ( x a ) m , i xi a a xi a xi a
25
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （13）Generalized Penalized Function
10
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （3）Schwefel’s Problem 1.2
f ( X ) ( x j ) ,
i 1 j 1 n i 2
| xi | 100
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
21
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （11）Generalized Griewank Function
1 n 2 n x f (X ) xi cos i 1, 4000 i 1 i i 1 | xi | 600
1.2.3 函数优化之常见的Benchmark问题 测试函数 （7）Quartic Function i.e. Niose
f ( X ) ixi random 0,1), [
4 i 1 n
| xi | 1.28
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
22
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （11）Generalized Griewank Function
23
智能优化计算
智能计算绪论
3
智能优化计算
智能计算绪论
1.1 引言
1.1.2 传统优化方法 待解决的问题 连续性问题，以微积分为基础，规模较小、多峰多谷 传统的优化方法 理论上的准确与完美，主要方法：线性与非线性规划、动 态规划、多目标规划、整数规划等；排队论、库存论、对 策论、决策论等。 传统的评价方法 算法收敛性、收敛速度
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 （1）Sphere Model (unimodal)
f ( X ) xi ,
2 i 1 n
| xi | 100
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
9
智能优化计算
28
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （15）Kowalik’s Function
x
i 1
n
2 i
/ n ) exp( cos(2xi ) / n) 20 e,
i 1
n
其最优状态和最优值为
min( f ( X * )) f (0,0,,0) 0
20
智能优化计算
智能计算绪论
1.2 最优化问题及其分类
1.2.3 函数优化之常见的Benchmark问题 测试函数 （10）Ackley’s Function