非线性约束最优化

⾮线性约束最优化
CanChen ggchen@
讲完了⼆次线性规划，这节课主要是讲了⼀般的⾮线性约束最优化怎么解。

等式约束-Lagrange-Newton
先列Lagrange⽅程：
然后⽤⽜顿法求⽅程的根（这个迭代⼜被称为Newton-Raphson迭代）：
Sequential Quadratic Programming
这个问题是最泛化的优化问题了，先看看怎么根据KT条件写出原始优化问题
这⼀步实际上是把⼀般的优化问题，转化成了多个⼆次函数优化问题，循环求解。

对于每个⼦问题，需要采⽤active set⽅法，每次只考虑等式约束，根据具体情况添加或者删除约束。

罚函数法
实际中总是逐渐增⼤罚因⼦，求解⽆约束问题。

这种通过求解⼀系列⽆约束问题来获得约束最优化问题的最优解，称之为序贯⽆约束极⼩化技术。

罚函数经典三引理：
这⾥的引理1是关键，其实也很好证明，就是根据两个x分别是最优解，得到两个不等式，简单处理⼀下就⾏了。

三个引理刻画了罚函数法动态变化的过程。

其中，第三个引理就是说，我迭代到⼀步，不想迭代了，这个时候实际上得到的解是把定义域扩⼤了之后的解。

乘⼦罚函数
这⾥实际上就是⽬标函数，加朗格朗⽇项，加罚项。

使⽤罚函数，必须要求罚因⼦趋于⽆穷⼤，然⽽这在实际中很难办到。

这⾥引⼊朗格朗⽇项，让罚因⼦不⽤趋于⽆穷，就能得到结果。

本质是就是将乘⼦罚函数在迭代中寻找和拉格朗⽇函数的关系，从⽽将带约束问题转化为⽆约束问题。

这⾥给出了带约束问题的⼆阶充分条件，⾮常⽜逼，之前只是必要条件。

障碍函数法
这个实际上通过⽆限限制边界，将有约束问题转化为⽆约束问题。

内点法
这个实际上是改变互补松弛条件，sz=u>0, 所以s>0,所以⼀定是内点。

本质上还是在求解KT系统，把不等式改造成等式，还在内部，这个⽐较野蛮。

后⾯凸优化就是⼲这个。

障碍函数法和内点法本质是⼀样的。