约束优化算法PPT课件

优化理论
数学与系统科学学院
二次惩罚函数法(续)
条件数
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
精确罚函数法 SQP中常用*****
一定条件下，
存在
，当
特点：不需要
时，求解 ；是非光滑的！
避免了无约束优化问题的病态性！
例
即可
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
精确罚函数法(续)
令
，上述方程组即
给定初始点
，利用上面两式进行迭代
解等式约束问题的－ Lagrange-Newton法
定理 假设 x*是等式约束问题的满足二阶充分条件的局
部极小点, 且rank (A*)=m， 是惟一的Lagrange乘子.
则当
充分接近
时，Lagrange-Newton
法有定义，且由该方法产生的序列
二次
特点：在 x1=1 处不可微；进行整理，得
结论：对任一
罚函数的解与原问题的相同
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
精确罚函数法(续)
⊙ 先验确定惩罚参数很难；通常是计算一系列子问题， 并在计算过程中调整该参数
⊙ 与逐步二次规划法有密切联系；SQP的线搜索实现中 通常以 惩罚函数作为评价函数
优化理论
Fra Baidu bibliotek
数学与系统科学学院
乘子罚函数法(续)
算法： 给定初始惩罚参数 ；最优解和乘子的估计
第 k 次迭代固定参数
，以 x(k)为初始点求
更新乘子：
warm start技术
根据需要更新惩罚参数(且不必趋于无穷)：
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
乘子罚函数法(续)
例
惩罚参数： 解和Lagrange乘子的初始猜测：
数学与系统科学学院
惩罚函数法－外点罚函数
二次惩罚函数、乘子法、 惩罚函数
障碍函数法－内点罚函数
现代内点法－原－对偶路径跟随 法
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
二次惩罚函数法
>0 是惩罚参数
一定条件下，当
时
病态海森矩阵！
特点：光滑的(一阶可微)，但需要
第6讲 约束优化问题的算法
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
乘子罚函数法
乘子法/增广Lagrange函数法 Method of multipliers/Augmented Lagrangian method 算法的动机与框架
一定条件下，存在
，当
时，可以
实际计算中，对乘子进行更新！
第6讲 约束优化问题的算法
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
约束优化问题
其中函数
假定（算法分析与设计）：
⊙
(有时C 2 )，导数是Lipschitz 连续
注：实践中该假定经常不满足,但没关系！
罚函数法/序列无约束极小化法： 外点罚函数、内点罚函数(障碍罚函数)、精确罚函数
第6讲 约束优化问题的算法
优化理论
• 优点：局部二阶收敛
• 存在问题
⊙ 初始点不好时，迭代可能发散 ⊙ 子问题的解可能不存在－无界或者不可行 ⊙ 需要二阶导数－W(k)
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
实用逐步二次规划法
• 全局化策略：使用线搜索策略或者信赖域策略
⊙ 评价函数法 常用的是 l1 精确罚函数，迭代中需更新惩罚因子；
⊙ 滤子(Filter)法
存在问题：具有Martos效应，需要采取校正措施
• 近似二阶导数
⊙ 用近似矩阵B(k)代替W(k) ⊙ 用近似矩阵代替既约海森矩阵Z(k)TW(k) Z(k)
• 子问题的求解
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
罚函数法
Penalty Function Method
避免了病态海森矩阵！
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
对数障碍函数法
障碍因子
一定条件下，当
时
病态海森矩阵！ 特点：光滑的(一阶可微)，但需要
原问题是凸规划时，障碍函数是凸函数！
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
对数障碍函数法(续)
第6讲 约束优化问题的算法
优化理论
收敛到
.
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法
考虑二次规划问题
的解和对应的Lagrange乘子，其中 二次规划的 KKT条件
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法(续)
假设
是等式约束问题的满足二阶充分条件的极
小点，即
这里 Z 是A*Ts=0的基础解系组成的矩阵.
则s*=0 (x*)是下列问题的惟一最优解
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法(续)
算法9.2 基本SQP法
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法(续)
例
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法(续)
以x(k)为初始点，利用纯粹牛顿法求解无约束极小化问题
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
乘子罚函数法(续)
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
乘子罚函数法(续)
增广Lagrange乘子法的特点： 所得子问题是光滑的；一定条件下，不需要
可以用使用导数的算法求解子问题！
等式约束问题－Lagrange-Newton法
KKT条件： 其中
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
等式约束问题－Lagrange-Newton法
KKT条件： 其中
设
是近似解，则其牛顿校正
满足
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
等式约束问题－Lagrange-Newton法(续)
数学与系统科学学院
对数障碍函数法(续)
在设计和分析算法时，通常假设 f(x) , ci(x) 是连续 可微(二阶连续可微)的，且导数是李普希兹连续的！
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
逐步二次规划法
Successive Quadratic Programming Method
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
优化理论
第6讲 约束优化问题的算法
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
约束优化问题
可行域：
常用方法
特殊问题 可行方向法－线性约束问题 次梯度优化－对偶问题
一般问题 逐步二次规划法 惩罚函数法 内点法(原对偶内点法)－凸规划
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
假设和记号