运筹学历史及非线性规划应用

拉格朗日乘子法与KKT条件： 优化问题：
(i) 无约束优化问题，可以写为:
min f(x)
(ii) 有等式约束的优化问题，可以写为:
min f (x) hi(x) 0;i 1,2,...,n
(iii) 有不等式约束的优化问题，可以写为：
min f(x) g i(x) 0,i 1,2,...,n hj(x) 0,j 1,2,...,m
Harold W. Kuhn
Albert W. Tucker
第二次世界大战前后，由于军事上的需 要和科学技术和生产的迅速发展，许多实 际的最优化问题已经无法用古典方法来解 决，这就促进了近代最优化方法的产生。 近代最优化方法的形成和发展过程中最重 要的事件有： 以苏联康托罗维奇和美国G.B.丹齐克为 代表的线性规划； 以美国R.贝尔曼为代表的动态规划； 以苏联庞特里亚金为代表的极大值原理 等。 以美国塔克尔和库恩为代表的非线性规 划；(KKT 条件)
康托罗维奇 Harold W. Kuhn 庞特里亚金
Albert W. Tucker
第二次世界大战前后，由于军事上的需 要和科学技术和生产的迅速发展，许多实 际的最优化问题已经无法用古典方法来解 决，这就促进了近代最优化方法的产生。 近代最优化方法的形成和发展过程中最重 要的事件有： 以苏联康托罗维奇和美国G.B.丹齐克为 代表的线性规划； 以美国R.贝尔曼为代表的动态规划； 以苏联庞特里亚金为代表的极大值原理 等。 以美国塔克尔和库恩为代表的非线性规 划；(KKT 条件)
非线性规划的发展及其应用
非线性规划： 非线性规划是具有非线性约束条件或目标函数 的数学规划，是运筹学的一个重要分支。
非线性规划是20世纪50年代才开始形成的一 门新兴学科。
非线性规划的历史：
公元前 500年古希腊 建筑学家在讨论建筑 美学中就已发现了长 方形长与宽的最佳比 例为0.618,称为黄金 分割比。其倒数至今 在优选法中仍得到广 泛应用。
在微积分出现以前，已有许多 学者开始研究用数学方法解决 最优化问题。 例如阿基米德证明：给定周长 ，圆所包围的面积为最大。这 就是欧洲古代很多城堡都建成 圆形的原因。
但是 最优化方法真正形成 为科学方法则在17世纪以后 。17世纪，I.牛顿和G.W.莱布 尼茨在他们所创建的微积分 中，提出求解具有多个自变 量的实值函数的最大值和最 小值的方法。以后又进一步 讨论具有未知函数的函数极 值，从而形成变分法。这一 时期的最优化方法可以称为 古典最优化方法。
* T （ 1*，2* ,...,m *）和 * =（ 1*， 2*，...， l *）使得下述条件成立：
求取这三个等式之后就能得到候选最优值。其中第 二个式子非常有趣，因为g(x)=0，如果要满足这个 等式，必须γ 或者g(x)=0. 这是SVM的很多重要 性质的来源，如支持向量的概念。
拉格朗日乘子法与KKT条件：
X *是非线性规划的极小点，而且X *点的所有作用约束的梯度
hi(X * )(i 1,2,..., m )和gj(X * )(j J)线性无关，则存在向量
m l * * * * * f (X ) h (X ) g (X ) 0 i i j j i 1 j 1 min f(x) * * 0,j 1,2,...,l j g j(X ) * g i(x) 0,i 1,2,...,l j 0,j 1,2,...,l hj(x) 0,j 1,2,...,m
最优分类面就是要求分类线不但能将两类正确分开(训练错误率为 0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并 且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使 它两侧的空白区域(margin)最大。
THANBiblioteka Baidu YOU！
* j
KKT条件的应用：
支持向量机，因其英文名为support vector machine，故一般简称SVM， 通俗来讲，它是一种二类分类模型，其基本 模型定义为特征空间上的间隔最大的线性分类 器，其学习策略便是间隔最大化，最终可转化 为一个凸二次规划问题的求解。
例子
如下图所示，现在有一个二维平面，平面上有两种不同的数 据，分别用圈和叉表示。由于这些数据是线性可分的，所以 可以用一条直线将这两类数据分开。超平面一边的数据点所 对应的y全是 -1 ，另一边所对应的y全是1。