凸优化(Convex optimization)

凸优化（Convex optimization）
最小二乘问题和线性规划问题都可以看成是凸优化问题的特殊情况，但是与最小二乘问题和线性规划问题两者不同，求解凸优化问题还不能算是一门成熟的技术。

通常没有解析公式来求解凸优化问题，但是存在一些有效的算法，最典型的代表是内点算法。

如果一个实际的问题可以被表示成凸优化问题，那么我们就可以认为其能够得到很好的解决。

但是往往识别一个凸优化问题比识别一个最小二乘问题要困难的多，所以需要更多的技巧。

还有的问题不是凸优化问题，但是凸优化问题同样可以在求解该问题中发挥重要的左右。

比如松弛算法和拉格朗日松弛算法，将非凸的限制条件松弛为凸限制条件。

凸优化包含多个层次，比如：二次优化问题是一个最底层的优化问题，可以通过求解线性方程来求解优化问题。

而牛顿算法是上一个层次，牛顿算法可以求解非限制问题或等式限制问题，但往往是将该问题简化为多个二次优化问题。

内点算法处于最高级，可以将非等式限制问题转化为一系列非限制问题或等式限制问题。