第12章 其它优化问题及算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无后效性（马尔科夫性质）：当某阶段的状态一旦确 定,则此后过程的演变不再受此前各状态和决策的影响, 或者说“未来与过去无关”. 即由状态si出发的后部子 过程可以看成一个以si为初始状态的独立过程.
最优性原理：最优策略的任一后部子策略都是最优的
动态规划问题
min
目标函数可分： 或
动态规划算法
例：水池设计，承受一定重量，成本最低
h(0) h0 , v(0) v0 , m(0) M F
出发，于某一时刻tf实现软着陆，即
h(t f ) 0, v(t f ) 0
例:飞船的月球软着陆问题
控制过程中推力f(t)不能超过发动机所能提供的最大推力 fmax，即
0 f (t ) f max
满足上述限制，使飞船实现软着陆的推力程序f(t)不止一 种，其中消耗燃料最少者才是最佳推力程序，易见，问题可 归结为求
前后侧面
把粮食从仓库运到工厂，所用敞口容器长x1米，宽 x2米，高x3米。容器的材料成本：底面80￥/m2， 前后侧面10￥/m2，左右侧面20￥/m2。运输成本： 往返一次1￥。求运输80m3的粮食的最低成本。 解： =
困难度：4 – (3+1) = 0
正项式系数：
例：无约束几何规划算法
正交与规一条件：ຫໍສະໝຸດ Baidu
例：动态规划算法
动态规划问题求解
（1） min f1 (s 2, x 1 ) = R 1 = x 1
x1
s1 = s 2 - d1
s1 = 0
例：动态规划算法
（2）
f2
0
例：动态规划算法
（3）
f3
0
例：动态规划算法
（4）
f4
0
s5 = 0.5
最优值：
例：动态规划算法
（5）最优点坐标
s5 = 0.5
例：多目标优化问题
某企业拟用1 000万元投资于A、B两个 x 项目的技术改造。设 x1 、 2分别表示分配给A、 B项目的投资（万元）。据估计，投资项目A、 B的年收益分别为投资的60%和70%；但投资 风险损失，与总投资和单项投资均有关系 2 0.001x12 0.002x2 0.001x1 x2 据市场调查显示， A项目的投资前景好 于B项目，因此希望A项目的投资额不小B项 目。试问应该如何在A、B两个项目之间分配 投资，才能既使年利润最大，又使风险损失 为最小？
J m( t f )
为最大的数学问题。
例:飞船的月球软着陆问题
这个问题的完整数学模型为： min J m(t f ) 约束条件： （目标泛函）
h v f (状态方程) v m g m kf （k为控制变量）
h(0) h0 , v(0) v0 , m(0) M F
动态规划算法
最优性定理
动态规划算法
… …
例：动态规划算法
四杆桁架在A点受力2×105lb(磅)， 在保证A点只产生0.5in(英寸)的位移 变形的情况下，求各杆截面积，使桁 架总重最少。杆密度为0.01lb/in3（磅 /立方英寸），杆的杨氏模量为 20×106psi（磅/平方英寸）。 解：
令各杆截面积分别为
例：无约束几何规划算法
最优值：
= 200
例：无约束几何规划算法
最优点坐标值x*
方法一：
f(x) =
例：无约束几何规划算法
最优点坐标值x*
方法二：
12.3.3主函数——对偶函数关系
算术平均——几何平均不等式(Cauchy不等式)
（1）
算术平均——几何平均不等式(Cauchy不等式)
正交条件：
12 其它优化问题及算法
其它优化问题及算法
二次多项式近似方法 针对特殊问题的专门算法
整数规划 二次规划 几何规划 动态规划 目标规划
最优控制
12.1二次多项式近似方法
12.1.1直接二次近似
12.1.1直接二次近似
例
12.1.1直接二次近似
12.1.1直接二次近似
对同一个目标，若几个方案都能使其达到， 可认为这些方案就这个目标而言都是最优方 案；若达不到，则与目标差距越小的越好。 不同级别的目标的重要性是不可比的。在判 断最优方案时，首先从较高级别的目标达到 的程度来决策，然后是次级目标的判断。
目标规划问题的数学模型
为了将不同级别的目标的重要性用数量表示，引进 P1，P2，….,用它表示一级目标，二级目标，….， 的重要程度，规定P1>>P2 >> P3 >>….。称P1， P2，….,为级别系数。
目标函数：
最优值： 的意义：
的求解：
正交条件
规一条件
困难度（Degree of Difficulty）：
几何规划不能用于 困难度为负的情况
*的确定 最优点坐标值x
求解方程组：
ci > 0, (x1,…xn) > 0
无约束几何规划算法的导出
对优化问题： min
根据无约束最优化准则，有：
最优点坐标满足：
（2）
对偶函数
由（1）式和（2）式有
f(x)的对偶函数：
=
主函数——对偶函数定理
主函数的最小值等于对偶函数的最大值：
=
主函数——对偶函数对应关系
12.3.4约束问题的几何规划
目标函数和约束都为正项式的优化问题
min
ckj > 0, (x1,…xn) > 0
形式变换
min
对偶问题
min
max
无约束几何规划算法的导出
令最优函数值为f*，定义：
正交条件
规一条件
无约束几何规划算法的导出
最优函数值为f*的计算：
无约束几何规划算法的导出
正交条件
无约束几何规划算法使用条件
目标函数为正项式 ci > 0, (x1,…xn) > 0 困难度N – n – 1 >= 0
例：无约束几何规划算法
（ P1 ） （ P2 ）
目标规划问题的数学模型
使偏差最小：
（目标约束）
绝对约束
目标规划问题建立模型的步骤
1. 根据要研究的问题所提出的各目标与条件，确定目标值，列出 目标约束与绝对约束； 2.可根据决策者的需要将某些或全部绝对约束转化为目标约束， 这时只需要给绝对约束加上负偏差变量和减去正偏差变量即可； 3.给各自目标赋予相应的优先因子Pk ,k=1,2,…,K ； 4.对同一优先等级中的各偏差变量，若需要，可按其重要程度不 同，赋予相应的权系数 和 。 5.根据决策者需求，按下列三种情况： a．恰好达到目标值，取 ； b．允许超过目标值，取 ； c．不允许超过目标值，取 构造一个由优先因子和权系数相对应的偏差变量组成的，要求实 现极小化的目标函数，即达成函数。
QP问题求解方法
线性规划算法 互补主元法 (complementary pivot method)
12.3几何规划
几何规划(Geometric Pragramming)
解决特殊类型的非线性优化问题：
要求函数形式为正项式 （posynomials），即 指数可以为非整数的多项式
特点：
Kuhn–Tucker条件
由于二次规划问题的约束条件为线性的 ，所以Kuhn–Tucker必要性条件所要求的 “约束限定”条件自动满足。 另外，如果Q为正定或半正定矩阵，则目 标函数为凸函数，满足了Kuhn–Tucker充 分性条件。 所以对于二次规划问题，我们只需求解 相应的Kuhn–Tucker问题。
目标函数：
例：动态规划算法
A点位移由各杆变形相加而得， 由材料力学分析，可得A点位移与各杆截面积的关系：
例：动态规划算法
此优化问题数学模型：
化为动态规划问题：将A点位移分配给各杆
s5 = 0.5, si = si + 1 - di
例：动态规划算法
等价的动态规划问题：
s i = s i + 1 - di s 5 = 0.5, s1 = 0
不直接搜索最优点的坐标（设计变量值）， 而是首先确定最优的函数值。因而可以省略 对设计变量的搜索。 可以把复杂的优化问题化为线性代数方程组 的求解。
12.3.1正项式 （Posynomial）
函数形式：
ci > 0, (x1,…xn) > 0, aij为实数
12.3.2无约束问题的几何规划算法
最优点坐标的计算
求解代数方程组：
12.4动态规划
多阶段决策过程(Multi-Stage Decision Making)
优化问题的全过程可划分为若干个相互联系 的阶段（子过程），以便按照一定的次序去 求解
每个阶段的输出为下一个阶段的输入 将多变量优化问题化为N个单变量优化问题
例：多阶段决策过程
h
g
月球
设飞船质量为m，它的高度和垂直速度分别为h和v。 月球的重力加速度可视为常数g，飞船的自身质量及所带燃 料分别为M和F。
例:飞船的月球软着陆问题
自某t=0时刻开始飞船进入着陆过程。其运动方程为
h v f v g m m kf
其中k为一常数。 要求控制飞船从初始状态
例：多阶段决策过程转化
多阶段决策过程数学表示
状态变量
决策变量
状态转移方程: 准则函数:
描述阶段的变量称为阶段变量，可用i表示. 从第i个阶段 开始点到全过程终点的过程称为后部子过程，或i子过程. 状态表示每个阶段开始时所处的自然状况或客观条件. 描述过程状态的变量称为状态变量
无后效性与最优性原理
… …
12.1.2Lagrange函数二次近似
12.1.3约束问题的准牛顿法
≈
12.1.3约束问题的准牛顿法
算法的关键
惩罚函数 线性搜索 二阶导数近似
BFGS公式：
12.2二次规划
二次规划问题
目标函数为二次函数 约束函数为线性函数
矩阵形式：
Kuhn–Tucker条件
线性规划问题
目标规划
目标规划（ Goal Programming ）方法是 Charnes和Cooper于1961年提出的，目 前已成为一种简单、实用的处理多目标 决策问题的 方法，是多目标决策中应用 最为广泛的一种方法。
多目标优先级
将目标等级化：将目标按重要性的程度 不同依次分成一级目标、二级目标…..。 最次要的目标放在次要的等级中。 目标优先级作如下约定：
目标规划算法
图解方法 Partitioning Algorithm
多目标优化的元启发式算法
遗传算法 粒子群算法 模拟退火算法
12.6 最优控制
例:飞船的月球软着陆问题
v
飞船靠其发动机产生一与月球重力 方向相反的推力f，赖以控制飞船实现 软着陆(落到月球表面上时速度为零)。 要求选择一最好发动机推力程序f(t)， 使燃料消耗最少。
偏差变量： P1 等级：正、负偏差变量——d1+、d1P2 等级：正、负偏差变量——d2+、d2约束条件： 1、 绝对约束 —— g(x ) ≤ 0 2、 目标约束 —— f1 (x )+ d1- - d1+ = 0 f2 (x )+ d2- - d2+ = 0 … …
d1+、d1-、d2+、d2- 、….≥ 0
规一条件
正交条件
对偶定理
如果困难度D为0，且不等式约束的符号为 ≤，则可 由正交条件和规一条件解出，得到对偶函数的最大 值，即主函数的最小值：
困难度
如果困难度D>0，不等式约束的符号为 ≤，则可由 Lagrange乘子法或其它等式约束算法解出对偶问题 的解，得到对偶函数的最大值，即原问题的最小值
0 f (t ) f max
h(t f ) 0, v(t f ) 0
最优控制的概念
上面的具体实例可抽象为共同的数学模型，其中受控系统 的数学模型即为状态方程：
x f ( x(t ), u (t ), t )
(1)
初始状态为 x (t0 ) 。其中x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数，它是 x 、u 和t 的连续函数，并且对x 、 t 连续可微。而其中的性能指标可以概括如下：
建立动态规划模型的基本过程
（1）正确划分阶段 （2）对每个阶段，正确选择状态变量。 选择状态变量时应当注意两点：一是要 能够正确描述受控过程的演变特性，二 是要满足无后效性. （3）对每个阶段，正确选择决策变量。 （4）列出相邻阶段的状态转移方程。 （5）列出按阶段可分的准则函数。
12.5多目标优化：目标规划
例：多目标优化问题
该问题是一个非线性多目标规划 问题，将它用数学语言描述出来，就 是：求 x1 、 x2 ，使
max f1 ( x1 , x2 ) 0.60x1 0.70x2
2 min f 2 ( x1 , x2 ) 0.001x12 0.002x2 0.001x1 x2
而且满足 x1 x2 1 000 x1 x2 0 x , x 0 1 2
最优性原理：最优策略的任一后部子策略都是最优的
动态规划问题
min
目标函数可分： 或
动态规划算法
例：水池设计，承受一定重量，成本最低
h(0) h0 , v(0) v0 , m(0) M F
出发，于某一时刻tf实现软着陆，即
h(t f ) 0, v(t f ) 0
例:飞船的月球软着陆问题
控制过程中推力f(t)不能超过发动机所能提供的最大推力 fmax，即
0 f (t ) f max
满足上述限制，使飞船实现软着陆的推力程序f(t)不止一 种，其中消耗燃料最少者才是最佳推力程序，易见，问题可 归结为求
前后侧面
把粮食从仓库运到工厂，所用敞口容器长x1米，宽 x2米，高x3米。容器的材料成本：底面80￥/m2， 前后侧面10￥/m2，左右侧面20￥/m2。运输成本： 往返一次1￥。求运输80m3的粮食的最低成本。 解： =
困难度：4 – (3+1) = 0
正项式系数：
例：无约束几何规划算法
正交与规一条件：ຫໍສະໝຸດ Baidu
例：动态规划算法
动态规划问题求解
（1） min f1 (s 2, x 1 ) = R 1 = x 1
x1
s1 = s 2 - d1
s1 = 0
例：动态规划算法
（2）
f2
0
例：动态规划算法
（3）
f3
0
例：动态规划算法
（4）
f4
0
s5 = 0.5
最优值：
例：动态规划算法
（5）最优点坐标
s5 = 0.5
例：多目标优化问题
某企业拟用1 000万元投资于A、B两个 x 项目的技术改造。设 x1 、 2分别表示分配给A、 B项目的投资（万元）。据估计，投资项目A、 B的年收益分别为投资的60%和70%；但投资 风险损失，与总投资和单项投资均有关系 2 0.001x12 0.002x2 0.001x1 x2 据市场调查显示， A项目的投资前景好 于B项目，因此希望A项目的投资额不小B项 目。试问应该如何在A、B两个项目之间分配 投资，才能既使年利润最大，又使风险损失 为最小？
J m( t f )
为最大的数学问题。
例:飞船的月球软着陆问题
这个问题的完整数学模型为： min J m(t f ) 约束条件： （目标泛函）
h v f (状态方程) v m g m kf （k为控制变量）
h(0) h0 , v(0) v0 , m(0) M F
动态规划算法
最优性定理
动态规划算法
… …
例：动态规划算法
四杆桁架在A点受力2×105lb(磅)， 在保证A点只产生0.5in(英寸)的位移 变形的情况下，求各杆截面积，使桁 架总重最少。杆密度为0.01lb/in3（磅 /立方英寸），杆的杨氏模量为 20×106psi（磅/平方英寸）。 解：
令各杆截面积分别为
例：无约束几何规划算法
最优值：
= 200
例：无约束几何规划算法
最优点坐标值x*
方法一：
f(x) =
例：无约束几何规划算法
最优点坐标值x*
方法二：
12.3.3主函数——对偶函数关系
算术平均——几何平均不等式(Cauchy不等式)
（1）
算术平均——几何平均不等式(Cauchy不等式)
正交条件：
12 其它优化问题及算法
其它优化问题及算法
二次多项式近似方法 针对特殊问题的专门算法
整数规划 二次规划 几何规划 动态规划 目标规划
最优控制
12.1二次多项式近似方法
12.1.1直接二次近似
12.1.1直接二次近似
例
12.1.1直接二次近似
12.1.1直接二次近似
对同一个目标，若几个方案都能使其达到， 可认为这些方案就这个目标而言都是最优方 案；若达不到，则与目标差距越小的越好。 不同级别的目标的重要性是不可比的。在判 断最优方案时，首先从较高级别的目标达到 的程度来决策，然后是次级目标的判断。
目标规划问题的数学模型
为了将不同级别的目标的重要性用数量表示，引进 P1，P2，….,用它表示一级目标，二级目标，….， 的重要程度，规定P1>>P2 >> P3 >>….。称P1， P2，….,为级别系数。
目标函数：
最优值： 的意义：
的求解：
正交条件
规一条件
困难度（Degree of Difficulty）：
几何规划不能用于 困难度为负的情况
*的确定 最优点坐标值x
求解方程组：
ci > 0, (x1,…xn) > 0
无约束几何规划算法的导出
对优化问题： min
根据无约束最优化准则，有：
最优点坐标满足：
（2）
对偶函数
由（1）式和（2）式有
f(x)的对偶函数：
=
主函数——对偶函数定理
主函数的最小值等于对偶函数的最大值：
=
主函数——对偶函数对应关系
12.3.4约束问题的几何规划
目标函数和约束都为正项式的优化问题
min
ckj > 0, (x1,…xn) > 0
形式变换
min
对偶问题
min
max
无约束几何规划算法的导出
令最优函数值为f*，定义：
正交条件
规一条件
无约束几何规划算法的导出
最优函数值为f*的计算：
无约束几何规划算法的导出
正交条件
无约束几何规划算法使用条件
目标函数为正项式 ci > 0, (x1,…xn) > 0 困难度N – n – 1 >= 0
例：无约束几何规划算法
（ P1 ） （ P2 ）
目标规划问题的数学模型
使偏差最小：
（目标约束）
绝对约束
目标规划问题建立模型的步骤
1. 根据要研究的问题所提出的各目标与条件，确定目标值，列出 目标约束与绝对约束； 2.可根据决策者的需要将某些或全部绝对约束转化为目标约束， 这时只需要给绝对约束加上负偏差变量和减去正偏差变量即可； 3.给各自目标赋予相应的优先因子Pk ,k=1,2,…,K ； 4.对同一优先等级中的各偏差变量，若需要，可按其重要程度不 同，赋予相应的权系数 和 。 5.根据决策者需求，按下列三种情况： a．恰好达到目标值，取 ； b．允许超过目标值，取 ； c．不允许超过目标值，取 构造一个由优先因子和权系数相对应的偏差变量组成的，要求实 现极小化的目标函数，即达成函数。
QP问题求解方法
线性规划算法 互补主元法 (complementary pivot method)
12.3几何规划
几何规划(Geometric Pragramming)
解决特殊类型的非线性优化问题：
要求函数形式为正项式 （posynomials），即 指数可以为非整数的多项式
特点：
Kuhn–Tucker条件
由于二次规划问题的约束条件为线性的 ，所以Kuhn–Tucker必要性条件所要求的 “约束限定”条件自动满足。 另外，如果Q为正定或半正定矩阵，则目 标函数为凸函数，满足了Kuhn–Tucker充 分性条件。 所以对于二次规划问题，我们只需求解 相应的Kuhn–Tucker问题。
目标函数：
例：动态规划算法
A点位移由各杆变形相加而得， 由材料力学分析，可得A点位移与各杆截面积的关系：
例：动态规划算法
此优化问题数学模型：
化为动态规划问题：将A点位移分配给各杆
s5 = 0.5, si = si + 1 - di
例：动态规划算法
等价的动态规划问题：
s i = s i + 1 - di s 5 = 0.5, s1 = 0
不直接搜索最优点的坐标（设计变量值）， 而是首先确定最优的函数值。因而可以省略 对设计变量的搜索。 可以把复杂的优化问题化为线性代数方程组 的求解。
12.3.1正项式 （Posynomial）
函数形式：
ci > 0, (x1,…xn) > 0, aij为实数
12.3.2无约束问题的几何规划算法
最优点坐标的计算
求解代数方程组：
12.4动态规划
多阶段决策过程(Multi-Stage Decision Making)
优化问题的全过程可划分为若干个相互联系 的阶段（子过程），以便按照一定的次序去 求解
每个阶段的输出为下一个阶段的输入 将多变量优化问题化为N个单变量优化问题
例：多阶段决策过程
h
g
月球
设飞船质量为m，它的高度和垂直速度分别为h和v。 月球的重力加速度可视为常数g，飞船的自身质量及所带燃 料分别为M和F。
例:飞船的月球软着陆问题
自某t=0时刻开始飞船进入着陆过程。其运动方程为
h v f v g m m kf
其中k为一常数。 要求控制飞船从初始状态
例：多阶段决策过程转化
多阶段决策过程数学表示
状态变量
决策变量
状态转移方程: 准则函数:
描述阶段的变量称为阶段变量，可用i表示. 从第i个阶段 开始点到全过程终点的过程称为后部子过程，或i子过程. 状态表示每个阶段开始时所处的自然状况或客观条件. 描述过程状态的变量称为状态变量
无后效性与最优性原理
… …
12.1.2Lagrange函数二次近似
12.1.3约束问题的准牛顿法
≈
12.1.3约束问题的准牛顿法
算法的关键
惩罚函数 线性搜索 二阶导数近似
BFGS公式：
12.2二次规划
二次规划问题
目标函数为二次函数 约束函数为线性函数
矩阵形式：
Kuhn–Tucker条件
线性规划问题
目标规划
目标规划（ Goal Programming ）方法是 Charnes和Cooper于1961年提出的，目 前已成为一种简单、实用的处理多目标 决策问题的 方法，是多目标决策中应用 最为广泛的一种方法。
多目标优先级
将目标等级化：将目标按重要性的程度 不同依次分成一级目标、二级目标…..。 最次要的目标放在次要的等级中。 目标优先级作如下约定：
目标规划算法
图解方法 Partitioning Algorithm
多目标优化的元启发式算法
遗传算法 粒子群算法 模拟退火算法
12.6 最优控制
例:飞船的月球软着陆问题
v
飞船靠其发动机产生一与月球重力 方向相反的推力f，赖以控制飞船实现 软着陆(落到月球表面上时速度为零)。 要求选择一最好发动机推力程序f(t)， 使燃料消耗最少。
偏差变量： P1 等级：正、负偏差变量——d1+、d1P2 等级：正、负偏差变量——d2+、d2约束条件： 1、 绝对约束 —— g(x ) ≤ 0 2、 目标约束 —— f1 (x )+ d1- - d1+ = 0 f2 (x )+ d2- - d2+ = 0 … …
d1+、d1-、d2+、d2- 、….≥ 0
规一条件
正交条件
对偶定理
如果困难度D为0，且不等式约束的符号为 ≤，则可 由正交条件和规一条件解出，得到对偶函数的最大 值，即主函数的最小值：
困难度
如果困难度D>0，不等式约束的符号为 ≤，则可由 Lagrange乘子法或其它等式约束算法解出对偶问题 的解，得到对偶函数的最大值，即原问题的最小值
0 f (t ) f max
h(t f ) 0, v(t f ) 0
最优控制的概念
上面的具体实例可抽象为共同的数学模型，其中受控系统 的数学模型即为状态方程：
x f ( x(t ), u (t ), t )
(1)
初始状态为 x (t0 ) 。其中x 为n 维状态向量； u 为r 维控制向量； f 为n 维向量函数，它是 x 、u 和t 的连续函数，并且对x 、 t 连续可微。而其中的性能指标可以概括如下：
建立动态规划模型的基本过程
（1）正确划分阶段 （2）对每个阶段，正确选择状态变量。 选择状态变量时应当注意两点：一是要 能够正确描述受控过程的演变特性，二 是要满足无后效性. （3）对每个阶段，正确选择决策变量。 （4）列出相邻阶段的状态转移方程。 （5）列出按阶段可分的准则函数。
12.5多目标优化：目标规划
例：多目标优化问题
该问题是一个非线性多目标规划 问题，将它用数学语言描述出来，就 是：求 x1 、 x2 ，使
max f1 ( x1 , x2 ) 0.60x1 0.70x2
2 min f 2 ( x1 , x2 ) 0.001x12 0.002x2 0.001x1 x2
而且满足 x1 x2 1 000 x1 x2 0 x , x 0 1 2