第1章优化算法基本理论

f x f x ，则称 x 为最优问题的整体最优解。
1.1 优化的概念及方法
♣ 严格整体最优解：若 x D ，对于一切 x D 和 x x
恒有 f x f x ，则称 x 为最优问题的严格整体最优解。 ♣ 局部最优解：若 x D ，存在 x 的某邻域 N e x （ N e x x x x , 0 ），使得对于一切 x D N e x ，
hi x 0i 1,2,, m
g j x 0 j 1,2,, p
1.1 优化的概念及方法
根据决策变量取值的状态分类 ♣ 连续最优化问题：决策变量取值是连续的优化问题。 ♣ 离散最优化问题：决策变量取值是离散的优化问题。 根据决策变量取值的性质分类 ♣ 确定性最优化问题：每个决策变量取值是确定的。 ♣ 随机性最优化问题：某些决策变量取值是不确定的， 但知道决策变量取某值而服从一定的概率分布。 按照目标函数和约束函数的劳累性分类 ♣ 线性最优化问题：目标函数和所有约束条件中的函数 都是决策变量的线性函数，即 f x 、hi x 和 g j x 均为 x 的线 性函数。
1.1.1 优化的概念
1.1.3 优化的分类
1.1.2 优化的一般数学模型
1.1.4 优化问题的求解方法
1.1.5 常用的无约束优化方法
1.2 智能优化的概念及分类
1.2.1 智能优化的概念 1.3 群体智能的概念及分类 1.3.1 群体智能的概念 1.3.3 群体智能的特点 1.3.2 群体智能的分类 1.3.2 群体智能算法的一般流程 1.2.2 智能优化的分类
f x

, 0 ），使得对于一切 x D N x ，
e
称为最优值。
1.1 优化的概念及方法
♣ 范数：在n维线性空间 R n 中，定义实函数 x ，使其 满足以下三个条件： ① 对于任意 x D ，有 x 0 ，当且仅当 x 0 ， x 0 ； ② 对于任意 x D 及实数 a ，有 ax a x ； ③ 对于任意 x, y D ，有 x y x y 。 则称 x 函数为 R n 上的向量范数。
♣ p 阶收敛：设序列 x k 收敛于 x ，若对于某个实 数 p 1 ，有
k
lim
x k 1 x x k x
p

则称序列 x k 为p阶收敛，一般情况下，p 2 称为二阶收敛。
1.1 优化的概念及方法
常用的终止准则
♣ x k 1 x k （ 0 ，预先给定）或
♣
f x k 1 f x k ，
f x k 1 f x k f x k
x k 1 x k xk

；
；
♣
f x k g k ；
♣ 上述三种终止准则的组合。
1.1 优化的概念及方法
1.1.5 常用的无约束优化方法
常用的无约束最优化方法包括最速下降法和牛顿法等。
T


设 x k 1 x k p k 为 f x 的近似最优解，得到
f x g k G k x x k f x k 1 g k G k x k 1 x k 0
♣ 单目标最优化问题：最优化问题中只有一个目标函数。
♣ 多目标最优化问题：最优化问题中含有多个目标函数。
1.1 优化的概念及方法
1.1.4 优化问题的求解方法
一般思路
最优化问题的一般求解方法是迭代算法。首先给定一个 初始可行点 x 0 D（即初始值），然后从此点出发，依次产 生一个可行点列 x1 , x 2 ,, x k , ，记作 x k ，使得某个 x k 恰 好是问题的一个最优解，或者说该点列 x k 收敛到问题的一 个最优解 x 。一般步骤包括：
♣ p-范数：对于任意 x x1 , x2 ,, xn T R n ，1 义p-范数为
x
p
p
，定

x
i 1
n
p i

1/ p
1.1 优化的概念及方法
♣ ∞-范数：
x

max xi
1 i n
♣ 2-范数： x 2
n 2 xi i 1

1/ 2
，通常记作

2

整体最优解与局部最优解的关系
整体最优解一定是局部最优解，而局部最优解不一定是 整体最优解。
1.1 优化的概念及方法
1.1.3 优化的分类
根据约束条件分类
♣ 无约束最优化问题：没有约束条件限制的最优化问题。 ♣ 约束最优化问题：有约束条件的最优化问题。 约束最优化问题又可分为 ♣ 等式约束最优化问题：hi x 0i 1,2,, m ♣ 不等式约束最优化问题：g j x 0 j 1,2,, p ♣ 混合约束最优化问题：既有等式约束，又有不等式约 束最优化问题。即
即负梯度方向使目标函数 f x k 下降最快，称为最速下降法。 牛顿（Newton）法 牛顿（Newton）法最初由艾萨克· 牛顿（Isaac Newton， 1643年1月4日~1727年3月31日）在《流数法》（Method of Fluxions）首次提出（1671年完成，在牛顿死后的1736年公开 发表），同时约瑟夫· 拉弗森（Joseph Raphson，1648年~1715 年）也曾于1690年在Analysis Aequationum中提出此方法。故 有时称为牛顿-拉弗森法。
1.1 优化的概念及方法
1.1 优化的概念及方法
1.1.1 优化的概念
优化、最优化均是一个术语，是指关于求解一个问题的 “最优”解的计算科学的一个分支，也就是从各种可能方案 中选取一个最好的，以达到最优目标。 从数学意义上说，最优化方法是一种求极值的方法，即 在一组约束为等式或不等式的条件下，使系统的目标函数达 到极值，即最大值或最小值。从经济意义上说，是在一定的 人力、物力和财力资源条件下，使经济效果达到最大（如产 值、利润），或者在完成规定的生产或经济任务下，使投入 的人力、物力和财力等资源为最少。
1.1 优化的概念及方法
设 f x 二阶连续可导，对 f x 在 x k 处进行泰勒展开，得
1 f x f x k f x k x x k x x k T 2 f x k x x k 2! 1 T f x k g T x x x x Gk x x k k k k 2!
④ 若 x k 1 满足某种终止准则，则停止迭代，以 x k 1 为近 似最优解。否则令 k k 1 转①。 影响算法收敛的条件 ♣ 如果某算法构造出的点列 x k 能够在有限步之内得到 最优化问题的最优解 x ，或者说点列 x k 有极限点，且其 极限点就是最优解 x ，则称算法是收敛的。 算法收敛的影响因素较多，包括初始点的选取、下降方 向的确定、迭代步长的选择以及目标函数自身的影响。除要 求收敛外，一般还要求收敛速度要快。
恒有 f x f x ，则称 x 为最优问题的局部整体最优解。 （ N e x x x x




♣ 严格局部最优解：若 x D ，存在 x 的某邻域 N e x
恒有 f x f x ，则称 x 为最优问题的严格局部整体最优解。 ♣ 最优值：最优解 x 对应的目标函数值
① 给定初始点 x 0 ，即令 k 0；
② 确定处的下降方向 p k ，使得点 x k 沿方向 p k 移动时 函数值 f x 有所下降； ③ 确定步长 k
0 ，令 x k 1 x k k p k 使得 f x k 1 f x k ；
1.1 优化的概念及方法
♣ 收敛：设序列 x k ，对于 0 ，存在正整数N，当
k N 时，有 x k x ，则称 x k 收敛于 x 。
1.1 优化的概念及方法
♣ 线性收敛：设序列 x k 收敛于 x ，且
lim x k 1 x xk x

k

若 0 1，则称序列 x k 为线性收敛， 为收敛比；若 0， 则称序列 x k 为超线性收敛；若 1，则称序列 x k 为次线 性收敛。
1.1 优化的概念及方法
♣ 非线性最优化问题：目标函数或约束条件中至少有一 个是决策变量的非线性函数，即 f x 、 hi x 和 g j x 中至少有 一个是 x 的非线性函数。 按照最优化解是否变化分类 ♣ 静态最优化问题：最优化问题的解不随时间而变。 ♣ 动态最优化问题：最优化问题的解随时间而变化。 按照目标函数的个数分类
1.1 优化的概念及方法
几个定义
♣ 可行解：又称为可行点或容许解，是指满足约束条件 的x。
♣ 可行域：又称为容许集，是指全体可行解构成的集合，
即
D x hi x 0, i 1,2,, m g j x 0, j 1,2,, p x R n


若 hi x 和 g j x 为连续函数，则D是闭集。 ♣ 最优解：一般分为整体最优解（总体最优解）、严格 整体最优解、局部最优解、严格局部最优解。 ♣ 整体最优解：若 x D ，对于一切 x D 恒有
k gT k pk T k k k gk pk k
f x k 1 f x k
由此可见，当
gT k p k 0 时， f x k 1 f x k ，符合迭代要求。
1.1 优化的概念及方法
由于 gT k pk 取得极小值， gT k pk
g k p k cos
， 为 g k 和 p k 的夹角。故当 时， 180 p k g k f x k 下降最快。一般取 ，得到