约束优化_惩罚函数法

约束优化问题
可行域：
常用方法
特殊问题
一般问题
线性约束问题－可行方向法 逐步二次规划法
对偶问题－次梯度优化
惩罚函数法
内点法(原对偶内点法)－凸规划
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
优化理论
第10讲 约束优化：惩罚函数法
Constrained Optimization: Penalty Function Method
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
对数障碍函数法(续)
凸规划！
障碍函数是凸函数，故求它的驻点即可！
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
3
对数障碍函数法(续)
精确罚函数法 SQP中常用*****
一定条件下，
存在
，当
时，求解
特点：不需要
；是非光滑的！
避免了无约束优化问题的病态性！
即可
⊙ 先验确定惩罚参数很难；通常是计算一系列子问题， 并在计算过程中调整该参数
⊙ 与逐步二次规划法有密切联系；SQP的线搜索实现中 通常以 惩罚函数作为评价函数
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
z 惩罚函数法－外点罚函数
二次惩罚函数、乘子法、 惩罚函数
z 障碍函数法－内点罚函数
原始对数障碍法、 现代内点法(原－对偶路径跟随法)
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
二次惩罚函数法
条件数
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
二次惩罚函数法(续)
>0 是惩罚参数
一定条件下，当
时
病态海森矩阵！
特点：光滑的(一阶可微)，但需要
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
1
精确罚函数法 SQP中常用*****
例
特点：在 x1=1 处不可微；进行整理，得
结论：对任一
第10讲 约束优化：惩罚函数法
罚函数的解与原问题的相同！ 优化理论 数学与系统科学学院
优化理论 数学与系统科学学院
乘子罚函数法
例
乘子罚函数法(续)
以x(k)为初始点，利用纯粹牛顿法求解无约束极小化问题
惩罚参数： 解的初始猜测和Lagrange乘子的初始猜测分别为
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
乘子罚函数法(续)
“扰动的”(perturbed)KKT条件:
跟踪方程 的保持
的解，直至 逐渐缩减到零！
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
4
一定条件下，存在
，当
实际计算中，对乘子进行更新！
时，可以
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
2
乘子罚函数法(续)
算法： 给定初始惩罚参数 ；最优解和乘子的估计
第 k 次迭代固定参数
，以 x(k)为初始点求
更新乘子：
warm start技术
根据需要更新惩罚参数(且不必趋于无穷)：
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
约束优化问题
其中函数
假定（算法分析与设计）：
⊙
(有时C 2 )，导数是Lipschitz 连续
注：实践中该假定经常不满足,但没关系！
罚函数法/序列无约束极小化法： 外点罚函数、内点罚函数(障碍罚函数)、精确罚函数
第10讲 约束优化：惩罚函数法
对数障碍函数法
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
对数障碍函数法(续)
障碍函数的海森矩阵的条件数近似地等于
障碍函数法(原始内点法)的两个潜在困难： ⊙ 随着障碍参数趋于零，障碍函数的海森矩阵病态性加剧 ⊙ 前一次的迭代点作为本次无约束优化问题的初始点太差！
增广Lagrange乘子法的特点： 所得子问题是光滑的；一定条件下，不需要
可以用“使用导数的方法”求解子问题！
避免了病态海森矩阵！
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
乘子罚函数法(续)
乘子法/增广Lagrange函数法 Method of multipliers/Augmented Lagrangian method 算法的动机与框架
障碍wk.baidu.com子
一定条件下，当
时
病态海森矩阵！ 特点：光滑的(一阶可微)，但需要
原问题是凸规划时，障碍函数是凸函数！
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
对数障碍函数法(续)
基本/原始(primal)障碍函数法
第10讲 约束优化：惩罚函数法
优化理论 数学与系统科学学院
原－对偶路径跟随法
KKT条件