支持向量机及支持向量回归简介
支持向量机(SVM)、支持向量机回归(SVR)：原理简述及其MATLAB实例
支持向量机（SVM）、支持向量机回归（SVR）：原理简述及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法2）关于KKT条件2、范数1）向量的范数2）矩阵的范数3）L0、L1与L2范数、核范数二、SVM概述1、简介2、SVM算法原理1）线性支持向量机2）非线性支持向量机二、SVR：SVM的改进、解决回归拟合问题三、多分类的SVM1. one-against-all2. one-against-one四、QP（二次规划）求解五、SVM的MATLAB实现：Libsvm1、Libsvm工具箱使用说明2、重要函数：3、示例支持向量机（SVM）：原理及其MATLAB实例一、基础知识1、关于拉格朗日乘子法和KKT条件1）关于拉格朗日乘子法首先来了解拉格朗日乘子法，为什么需要拉格朗日乘子法呢？记住，有需要拉格朗日乘子法的地方，必然是一个组合优化问题。
那么带约束的优化问题很好说，就比如说下面这个：这是一个带等式约束的优化问题，有目标值，有约束条件。
那么你可以想想，假设没有约束条件这个问题是怎么求解的呢？是不是直接 f 对各个 x 求导等于 0，解 x 就可以了，可以看到没有约束的话，求导为0，那么各个x均为0吧，这样f=0了，最小。
但是x都为0不满足约束条件呀，那么问题就来了。
有了约束不能直接求导，那么如果把约束去掉不就可以了吗？怎么去掉呢？这才需要拉格朗日方法。
既然是等式约束，那么我们把这个约束乘一个系数加到目标函数中去，这样就相当于既考虑了原目标函数，也考虑了约束条件。
现在这个优化目标函数就没有约束条件了吧，既然如此，求法就简单了，分别对x求导等于0，如下：把它在带到约束条件中去，可以看到，2个变量两个等式，可以求解，最终可以得到,这样再带回去求x就可以了。
那么一个带等式约束的优化问题就通过拉格朗日乘子法完美的解决了。
更高一层的，带有不等式的约束问题怎么办？那么就需要用更一般化的拉格朗日乘子法，即KKT条件，来解决这种问题了。
处理非线性分类和回归的新方法—支持向量机方法(SVM)
—支持向量机方法(SVM)
（Support Vector Machine）
支持向量机方法(SVM) 简介
（Support Vector Machine）
机器学习问题的提法
利用有限数量的观测来 寻求待求的依赖关系
模式识别（分类） 回归分析（回归） 概率密度估计
SVM应用于 降水分类预报的试验
四川盆地面雨量的 SVM建模与预报检验
预报对象： 由于单站降水的不确定性较 大，因此，采用面雨量做为预报 对象。 考虑四川盆地降雨的气候特点， 将四川省内盆地部分划分为三个 片区： 盆地西北部（1）、 盆地东北部（2）、 盆地西南部（3），
分别作为预报对象进行试验
x
i
) exp r
x
x
2 i
i
。要构造（3）式的决策规则，就需要估计： 参数r的值；中心 i 的数目N；描述各中心的向量xx ； 参数 i的值。
这四种类型的参数都是通过控制泛函的参数来最小化测试错误概率的界确定。
将预报对象进行分类
我们关注的是大于15mm降水 的面雨量，因此把面雨量 大于或等于15mm的归为 +1类， 小于15mm的归为 -1类。
资料长度： 1990—2000年4—9月 共11年的历史资料
建模方式：
确定核函数 归一化因子
将预报对象进行分类
将预报因子和预报对象进行整理，分为三部分： 训练集、测试集、检验集 选取参数建立SVM模型
确定核函数
我们以径向基函数（满足Mercer定理）做为SVM中内积的回旋函数建立推 理模型。径向基函数采用下面的决策规则集合： N （3）
( x1 ,
y ),( xl ,
支持向量机及支持向量回归简介
3．支持向量机（回归）3.1.1 支持向量机支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。
它将输入样本集合变换到高维空间使得其分离性状况得到改善。
它的结构酷似三层感知器，是构造分类规则的通用方法。
SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。
作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。
所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。
因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。
由于内积运算量相当大，核技巧就是为了降低计算量而生的。
特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间n R 上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。
如果221(,)((),()),{}k k k k k K x y a x y a l φφ∞==∈∑，那么取1()()k k k x a x φφ∞==∑即为所求的非线性嵌入映射。
由于核函数(,)K x y 的定义域是原来的输入空间，而不是高维的特征空间。
因此，巧妙地避开了计算高维内积(),())x y φφ（所需付出的计算代价。
实际计算中，我们只要选定一个(,)K x y，并不去重构嵌入映射1()()k k k x a x φφ∞==∑。
所以寻找核函数(,)K x y （对称且非负）就是主要任务了。
满足以上条件的核函数很多，例如● 可以取为d-阶多项式：(,)(1)d K x y x y =+g ，其中y 为固定元素。
支持向量机回归的参数选择方法
支持向量机回归的参数选择方法支持向量机（Support Vector Machine，简称SVM）是一种非常强大且广泛应用于机器学习领域的算法。
它不仅适用于分类问题，还可以用于回归任务。
本文将深入探讨支持向量机回归的参数选择方法，并分析其优势和应用场景。
SVM回归的目标是通过拟合一个最优的超平面来预测连续变量的输出。
与分类任务不同的是，SVM回归关注的是给定输入样本点的输出数值。
在SVM回归中，参数选择方法对模型性能的影响非常重要。
我们来讨论SVM回归的核函数选择。
核函数是SVM中的一个关键概念，它可以将输入样本从原始特征空间映射到高维特征空间。
常见的核函数包括线性核函数、多项式核函数和高斯核函数等。
针对回归任务，一般常用的是高斯核函数，它能更好地处理非线性关系。
接下来，我们讨论SVM回归的惩罚参数C选择。
惩罚参数C控制着模型对误差的容忍程度，其值的选择对模型的求解和泛化能力都会产生较大影响。
当C的值较小时，模型会容忍更多的误差，从而产生较宽泛的超平面；相反，当C的值较大时，模型会更严格地拟合训练样本，但可能会导致过拟合现象。
在参数选择过程中，需要权衡模型的拟合能力和泛化能力。
另外，核函数的超参数γ也是SVM回归中需要选择的重要参数。
γ决定了高斯核函数的带宽，即决定了样本点对决策边界的影响程度。
当γ较大时，样本点之间的距离对决策边界的影响减小，决策边界可能变得更加平滑；相反，当γ较小时，样本点之间的距离对决策边界的影响增大，决策边界可能更加对训练样本敏感。
在选择参数C和γ时，通常使用交叉验证的方法来评估模型的性能。
交叉验证将数据集划分为训练集和验证集，在不同的参数组合下训练模型，并在验证集上计算模型的性能指标，如均方误差（Mean Squared Error，简称MSE）。
根据验证集上的性能表现，选择使MSE最小的参数组合作为最终的模型参数。
支持向量机回归的参数选择方法涉及到核函数选择、惩罚参数C的确定和高斯核函数的超参数γ的选择。
支持向量机在回归问题中的应用
支持向量机在回归问题中的应用支持向量机（Support Vector Machine，简称SVM）是一种常用的机器学习算法，广泛应用于分类问题中。
然而，SVM同样适用于回归问题，其在回归任务中的应用也是非常有价值的。
一、回归问题简介回归问题是机器学习中的一类重要问题，其目标是预测连续型变量的值。
与分类问题不同，回归问题的输出是一个实数而非离散的类别。
例如，根据房屋的面积、地理位置等特征，预测房价就是一个典型的回归问题。
二、支持向量机回归原理SVM回归的基本思想是通过构建一个最优的超平面来拟合数据点。
与分类问题中的超平面不同，回归问题中的超平面是一个曲线或者曲面，其目标是使数据点尽可能地靠近该曲线或曲面。
在SVM回归中，我们需要定义一个损失函数，用于衡量预测值与真实值之间的误差。
常用的损失函数包括ε-insensitive损失函数和平方损失函数。
ε-insensitive损失函数允许一定程度的误差，而平方损失函数则更加严格。
为了得到最优的超平面，SVM回归引入了一个惩罚项，用于平衡模型的复杂度和拟合误差。
这个惩罚项可以通过调节超参数C来控制，C越大，模型越复杂，容易过拟合；C越小，模型越简单，容易欠拟合。
三、支持向量机回归的优点1. 鲁棒性强：SVM回归通过选择支持向量来进行拟合，对于异常值的影响较小。
这使得SVM回归在处理包含噪声的数据时表现出色。
2. 非线性拟合能力强：通过引入核函数，SVM回归可以处理非线性回归问题。
核函数将数据从原始空间映射到高维空间，使得数据在高维空间中线性可分。
3. 泛化能力强：SVM回归采用结构风险最小化原则进行模型选择，能够在训练集上获得较好的拟合效果的同时，保持对未知数据的良好泛化能力。
四、支持向量机回归的应用场景1. 房价预测：通过收集房屋的各种特征，如面积、地理位置、房龄等，可以利用SVM回归模型来预测房价。
2. 股票价格预测：通过收集股票的历史交易数据和相关指标，如成交量、市盈率等，可以利用SVM回归模型来预测股票价格的走势。
机器学习及其相关算法简介
机器学习及其相关算法简介机器学习是一种让计算机可以从数据中学习并改善性能的技术。
它可以帮助计算机自动完成某些任务，如图像识别、语音识别、自然语言处理等。
在机器学习中，有许多不同的算法用于处理不同类型的数据和问题。
本文将简要介绍一些常见的机器学习算法及其原理和应用。
一、监督学习算法监督学习是一种机器学习的方法，在这种方法中，我们提供给算法一组有标签的训练数据，然后让算法从中学习规律，以便在未来的数据中做出预测。
常见的监督学习算法包括线性回归、逻辑回归、决策树、支持向量机等。
1. 线性回归（Linear Regression）线性回归是一种用于预测连续型数据的监督学习算法。
它建立了自变量和因变量之间的线性关系，并可以用于预测未来的数值。
线性回归的应用范围非常广泛，包括经济学、工程学、医学等各个领域。
逻辑回归是一种用于预测二分类问题的监督学习算法。
它通过将线性方程的输出映射到一个概率范围内，来预测数据点所属的类别。
逻辑回归在医学诊断、市场营销、风险管理等领域有着广泛的应用。
3. 决策树（Decision Tree）决策树是一种用于分类和回归问题的监督学习算法。
它通过构建一个树状结构来表示数据的特征和类别之间的关系。
决策树可以帮助我们理解数据，并且在解释性和可解释性上有着很大的优势。
4. 支持向量机（Support Vector Machine）支持向量机是一种用于分类和回归问题的监督学习算法。
它通过将数据映射到一个高维空间来寻找一个最优的超平面，以实现分类或回归的目的。
支持向量机在文本分类、图像识别等领域有着广泛的应用。
1. K均值聚类（K-means Clustering）K均值聚类是一种用于将数据点分成不同组的无监督学习算法。
它通过迭代的方式找到使得组内数据点相似度最高，组间数据点相似度最低的聚类中心。
K均值聚类在市场分析、图像分割等领域有着广泛的应用。
2. 主成分分析（Principal Component Analysis）主成分分析是一种用于降维的无监督学习算法。
支持向量回归机PPT课件
2020/2/11
min R(w) 1/ 2(w w) C l (v i i*)
s.t.((
w
xi
)
b)
yi
i 1
i*
yi
((w
xi
)
b)
III. 当 ai 0andai* 0 ，可知 ii* 0 ， i yi f (xi ) 0 或 i* yi f (xi ) 0 即 yi f (xi) ，对应 xi 为非支持向量，管道内的向量。
2020/2/11
16
支持向量回归机算法
2020/2/11
4
支持向量机与支持向量 回归机
SVM
H1 H H2
SVR
* 支持向量机是分类问题，寻求的 是一个最优超平面（函数g(x) ）将 两类样本点分的最开，最大间隔准 则（H1和H2之间间隔最大）是支 持向量机最佳准则。
* 支持向量回归机寻求的是一个线 性回归方程（函数y=g(x)）去拟合 所有的样本点，它寻求的最优超平 面不是将两类分得最开，而是使样 本点离超平面总方差最小。
构造线性硬 C SVR 超平面
18
支持向量回归机算法
V SVR
在硬 SVR ， C SVR 中，需要事先确定参数 ，在某些情况下，选择合 适的 是困难的，引入自动计算 的 V SVR，在 C SVR 原问题的基础上引
入参数 v，得 V SVR 原始问题：
常用的支持向量回归机算法包括 硬 SVR 、C SVR 、V SVR .
2020/2/11
11
支持向量回归机算法
请简述 SVM(支持向量机)的原理以及如何处理非线性问题。
请简述 SVM(支持向量机)的原理以及如何处理非线性问题。
支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，常用于分类和回归问题。
它的原理是基于统计学习理论和结构风险最小化原则，通过寻找最优超平面来实现分类。
SVM在处理非线性问题时，可以通过核函数的引入来将数据映射到高维空间，从而实现非线性分类。
一、SVM原理支持向量机是一种二分类模型，它的基本思想是在特征空间中找到一个超平面来将不同类别的样本分开。
具体而言，SVM通过寻找一个最优超平面来最大化样本间的间隔，并将样本分为两个不同类别。
1.1 线性可分情况在特征空间中，假设有两个不同类别的样本点，并且这两个类别可以被一个超平面完全分开。
这时候我们可以找到无数个满足条件的超平面，但我们要寻找具有最大间隔（Margin）的超平面。
Margin是指离超平面最近的训练样本点到该超平面之间距离之和。
我们要选择具有最大Margin值（即支持向量）对应的决策函数作为我们模型中使用。
1.2 线性不可分情况在实际问题中，很多情况下样本不是线性可分的，这时候我们需要引入松弛变量（Slack Variable）来处理这种情况。
松弛变量允许样本点处于超平面错误的一侧，通过引入惩罚项来平衡Margin和错误分类的数量。
通过引入松弛变量，我们可以将线性不可分问题转化为线性可分问题。
同时，为了防止过拟合现象的发生，我们可以在目标函数中加入正则化项。
1.3 目标函数在SVM中，目标函数是一个凸二次规划问题。
我们需要最小化目标函数，并找到最优解。
二、处理非线性问题SVM最初是用于处理线性可分或近似线性可分的数据集。
然而，在实际应用中，很多数据集是非线性的。
为了解决这个问题，SVM引入了核函数（Kernel Function）。
核函数可以将数据从低维空间映射到高维空间，在高维空间中找到一个超平面来实现非线性分类。
通过核技巧（Kernel Trick），SVM 可以在低维空间中计算高维空间中样本点之间的内积。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3．支持向量机（回归）3.1.1 支持向量机支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。
它将输入样本集合变换到高维空间使得其分离性状况得到改善。
它的结构酷似三层感知器，是构造分类规则的通用方法。
SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。
作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。
所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代替在特征空间中内积(),())x y φφ（的计算。
因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。
由于内积运算量相当大，核技巧就是为了降低计算量而生的。
特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间n R 上的二元函数，设H 中的规范正交基为12(),(),...,(),...n x x x φφφ。
如果221(,)((),()),{}k k k k k K x y a x y a l φφ∞==∈∑，那么取1()()k k k x a x φφ∞==∑即为所求的非线性嵌入映射。
由于核函数(,)K x y 的定义域是原来的输入空间，而不是高维的特征空间。
因此，巧妙地避开了计算高维内积(),())x y φφ（所需付出的计算代价。
实际计算中，我们只要选定一个(,)K x y ，并不去重构嵌入映射1()()k k k x a x φφ∞==∑。
所以寻找核函数(,)K x y （对称且非负）就是主要任务了。
满足以上条件的核函数很多，例如可以取为d-阶多项式：(,)(1)d K x y x y =+，其中y 为固定元素。
可以取为径向函数：()22(,)exp ||||/K x y x y σ=-，其中y 为固定元素。
可以取为神经网络惯用的核函数：()12(,)tanh ()K x y c x y c =+，其中y 为固定元素。
一般地，核函数的存在性只依赖于如何寻找一个平方收敛的非负序列{}k a 。
这样的序列在2l 空间的正锥{}{}22|0,k k l a l a k +=∈≥∀中的序列都满足。
但哪一个最佳还有待于进一步讨论。
经验表明，分类问题对于核函数不太敏感。
当然，重新构造一个核函数也不是一个简单的事。
因此，实际操作中往往就在上述三类中挑出一个来使用就可以了。
支持向量机的结构示意图可以表示如下：图1 支持向量机结构示意图其中输入层是为了存贮输入数据，并不作任何加工运算；中间层是通过对样本集的学习，选择(,),1,2,3,...,i K x x i L =；最后一层就是构造分类函数1sgn((,))Li i i i y y a K x x b ==+∑整个过程等价于在特征空间中构造一个最优超平面。
支持向量机的作用之一就是分类。
根据分类的任务，可以划分为一分类，二分类以及多分类。
对于多类分类问题，可以用若干种手法将其分解为若干个二分类问题叠加。
因此，为了实现支持向量机分类的算法，我们只要针对二分类，从头来给出它的数学原理。
3.1.2 支持向量机分类的数学原理设样本集为{}{}(,)|;1,1,1,...,n i i i i x y x R y i I ∈∈-+=，我们的目的是寻找一个最优超平面H 使得标签为＋1 和－1的两类点不仅分开且分得间隔最大。
当在n 维欧几里德空间中就可以实现线性分离时，也即存在超平面将样本集按照标签－1与＋1分在两边。
由于超平面在n 维欧几里德空间中的数学表达式是一个线性方程 ,0w x b <>+=，其中，w 为系数向量，x 为n 维变量，,w x <>内积，b 为常数。
空间中点i x 到超平面L 的距离|,|(,)||||i i w x b d x L w <>+=。
欲使得(,)i d x H 最大，等价于21||||2w 最小。
于是，得到一个在约束条件下的极值问题21min ||||2(,)1,1,2,...,i i w y w x b i I⎧⎪⎨⎪<>+≥=⎩ 引入Lagrange 乘子12(,,...,)I αααα=，可以解得关于该参变量的方程121,1(),IIi iji j i j i i j Q y y x x αααα===-<>∑∑称之为Lagrange 对偶函数。
其约束条件为,10,0,1,2,...,Iiii i j yi I αα==≥=∑在此约束条件之下， 使得()Q α达到最大值的α的许多分量为0，不为0的i α 所对应的样本i x 就称为支持向量。
这就是支持向量的来历。
当在输入空间不能实现线性分离，假设我们找到了非线性映射φ将样本集{}{}(,)|;1,1,1,...,niiiix y x R y i I ∈∈-+=映射到高维特征空间H 中，此时我们考虑在H 中的集合{}{}((),)|;1,1,1,...,n i i i i x y x R y i I φ∈∈-+=的线性分类，即在H 中构造超平面，其权系数w 满足类似的极值问题。
由于允许部分点可以例外，那么可以引入松弛项，即改写为：211min ||||2(,)1,0,1,2,...,Lii ii i i w C y w x b i Iξξξ=⎧+⎪⎨⎪<>+≥-≥=⎩∑ 最终转化为一个二次型在约束条件下的二次规划问题：'''11min 20,0(,...,)(,...,)T T ID c y A C C αααααααα⎧+⎪⎨⎪=≤=≤=⎩ 其中，1(,...,)T I y y y =，(1,...,1)T c =--，()1,(,)i j i j i j I D K x x y y ≤≤=为矩阵。
(,)K x s 是核函数。
一分类问题是一个极端情形但却又是非常有用的，它可以表示为如下数学模型：设{}|,1,...,n i i x x R i I ∈=为空间n R 的有限观测点，找一个以a 为心，以R 为半径的包含这些点的最小球体。
因此，一分类是对于求一个化合物成分的最小包络曲面的最佳方法。
与前面完全相同的手法，设φ是由某个核函数(,)K x s 导出的从输入空间到特征空间中的嵌入映射，最后可以得到二次规划问题'''11min 20,0(,...,)(,...,)T T ID c y A C C αααααααα⎧+⎪⎨⎪=≤=≤=⎩其中，1(,...,)T I y y y =， (1,...,1)T c =--， ()1,(,)i j i j i j I D K x x y y ≤≤=为矩阵。
(,)K x s 是核函数。
此时111()(,)2(,)(,)L LLi i ijiji j i f x K x x K x x K x x ααα====-+∑∑∑此时几乎所有的点满足2()f x R ≤。
参数C 起着控制落在球外点的数目,变化区间为：1/1L C <<.3.1.3基于线性规划的SVM 分类由于分类问题的自然推理过程都会归结到二次规划求解，计算复杂度相对较高。
如果能将其简化为线性规划而且没有较大的误差， 那么计算量将急速减少。
于是提出了基于线性规划的SVM 分类。
此方法经过数学严格推理，是合理的（因为涉及泛函的知识较多，推理过程放在附录中）。
因此产生了基于线性规划一分类、二分类、多分类。
此处，我们仅给出基于线性规划的SVM 分类的最终形式：111min .(,),1,...,;1;,0Li i LLi i j j ii i i i C s t K x x j L ρξαρξααξ===⎧⎛⎫-+⎪⎪⎝⎭⎪⎪⎨⎪⎪≥-==≥⎪⎩∑∑∑解出α与ρ则得出决策函数1()(,)Li i j i f x K x x α==∑以及阈值。
参数C 控制着满足条件()f x ρ≥的样本数量。
特别核函数取为径向函数时，参数2σ越小，精度越高。
另外，要提醒注意的是，在求解大规模分类问题得SVM 算法实现时，需要以下辅助手段：停机准则：由于分类问题等价于求对偶问题在约束条件下的极值1111max (,)..0,0,1,2,...,L L Li i j i j i j i i j Li i i j y y K x x s t y C i L ααααα====⎧-⎪⎪⎨⎪=≤≤=⎪⎩∑∑∑∑ 而KKT 条件[(,())1]0()0,1,2,...,i i i i i i y w x b C i Lαφξαξ<>+-+=⎧⎨-==⎩ 是收敛的充分必要条件。
因此通过监控KKT 条件来得到停机条件110,0,1,2,...,1,0,((,))1,0,1,,Li i i j i Li i i i j ij i y C i L i y y K x x b C iC i αααααα==⎧=≤≤=⎪⎪⎪≥=∀⎧⎨⎪⎪+=<<∀⎨⎪⎪⎪≤=∀⎩⎩∑∑ 这个条件中的不等式不必严格成立，只要在一定误差条件下成立就可以用了。
选块算法＋分解法1. 给定参数0M >，0ε>， 0k =。
选取初始工作集0W T ⊂，记其对应的样本点的下标集为0J 。
令k W T ⊂第k 次更新的工作集，其对应的样本点的下标集为k J 。
2. 基于工作集k W T ⊂， 由优化问题1111max (,)..0,0,L L Li i j i j i j i i j Li i i k j y y K x x s t y C i J ααααα====⎧-⎪⎪⎨⎪=≤≤∈⎪⎩∑∑∑∑ 求出最优解ˆ{,}j k aj J ∈，构造 1(,...,)k k kL ααα=按照如下方式： ˆ,0,k jk k jkj J j J αα⎧∈⎪=⎨∉⎪⎩3. 如果k α已经在精度ε内满足停机准则，那么以此权系数构造决策函数即可。
否则继续下一步。
4. 在\k T W 中找出M 个最严重破坏条件11,0,((,))1,0,1,,i Li i i i j i j i i y y K x x b C i C iαααα=≥=∀⎧⎪+=<<∀⎨⎪≤=∀⎩∑ 加入k W 得出新的工作集1k W +，相应的下标集记为1k J +。
5． 重复2）－3），直到样本集耗完为止。
序列最小优化算法（SMO ）Input: the observed dataset {}11(,),...,(,)|,n l l i j S x y x y x R y R =∈∈, 输入精度要求0ε>及指定核函数(,)K x y ，初始化00α=，0k =。