(数学建模教材)31第三十一章支持向量机

合集下载

支持向量机方法

知识管理与数据分析实验室
19
支持向量机的不足
• （2）用SVM解决多分类问题存在困难经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。
2018/11/15
知识管理与数据分析实验室
20
支持向量机的研究难点
2018/11/15
知识管理与数据分析实验室
18
支持向量机的不足
• （1）SVM算法对大规模训练样本难以实施。由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m 阶矩阵的计算（m 为样本的个数），当m 数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。
2018/11/15
2018/11/15 知识管理与数据分析实验室 9
支持向量机算法的发展
• 模糊支持向量机 • 最小二乘支持向量机 • 加权支持向量机(有偏样本的加权,有偏风险加权) • 主动学习的支持向量机 • 粗糙集与支持向量机的结合 • 基于决策树的支持向量机 • 分级聚类的支持向量机
2018/11/15 知识管理与数据分析实验室 10
2018/11/15
知识管理与数据分析实验室
4
支持向量机的提出
• 在1971年,Kimel-dorf提出使用线性不等约束重新构造SV的核空间, 解决了一部分线性不可分的问题, 为以后SVM的研究开辟了道路。 1990年, Grace, Boster和Vapnik等人开始对 SVM技术进行研究, 并取得突破性进展。 1995年, Vapnik提出了统计学习理论, 较好地解决了线性不可分的问题, 正式奠定了SVM 的理论基础。
2018/11/15 知识管理与数据分析实验室 12

支持向量机（SVM）原理详解

⽀持向量机（SVM）原理详解SVM简介⽀持向量机（support vector machines, SVM）是⼀种⼆分类模型，它的基本模型是定义在特征空间上的间隔最⼤的线性分类器，间隔最⼤使它有别于感知机；SVM还包括核技巧，这使它成为实质上的⾮线性分类器。

SVM的的学习策略就是间隔最⼤化，可形式化为⼀个求解凸⼆次规划的问题，也等价于正则化的合页损失函数的最⼩化问题。

SVM的的学习算法就是求解凸⼆次规划的最优化算法。

⼀、⽀持向量与超平⾯在了解svm算法之前，我们⾸先需要了解⼀下线性分类器这个概念。

⽐如给定⼀系列的数据样本，每个样本都有对应的⼀个标签。

为了使得描述更加直观，我们采⽤⼆维平⾯进⾏解释，⾼维空间原理也是⼀样。

举个简单⼦：如下图所⽰是⼀个⼆维平⾯，平⾯上有两类不同的数据，分别⽤圆圈和⽅块表⽰。

我们可以很简单地找到⼀条直线使得两类数据正好能够完全分开。

但是能将据点完全划开直线不⽌⼀条，那么在如此众多的直线中我们应该选择哪⼀条呢？从直观感觉上看图中的⼏条直线，是不是要更好⼀些呢？是的，我们就是希望寻找到这样的直线，使得距离这条直线最近的点到这条直线的距离最短。

这读起来有些拗⼝，我们从如下右图直观来解释这⼀句话就是要求的两条外⾯的线之间的间隔最⼤。

这是可以理解的，因为假如数据样本是随机出现的，那么这样分割之后数据点落⼊到其类别⼀侧的概率越⾼那么最终预测的准确率也会越⾼。

在⾼维空间中这样的直线称之为超平⾯，因为当维数⼤于三的时候我们已经⽆法想象出这个平⾯的具体样⼦。

那些距离这个超平⾯最近的点就是所谓⽀持向量，实际上如果确定了⽀持向量也就确定了这个超平⾯，找到这些⽀持向量之后其他样本就不会起作⽤了。

⼆、SVM算法原理 2.1 点到超平⾯的距离公式既然这样的直线是存在的，那么我们怎样寻找出这样的直线呢？与⼆维空间类似，超平⾯的⽅程也可以写成⼀下形式：（1）有了超平⾯的表达式之后之后，我们就可以计算样本点到平⾯的距离了。

支持向量机

支持向量机支持向量机，英文名为support vector machine，一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划（convex quadratic programming）问题的求解,支持向量机的学习算法是求解凸二次规划的最优化算法。

其方法包含构建由简到繁的模型：线性可分支持向量机、线性支持向量机和非线性支持向量机。

线性可分支持向量机假定一特征空间上的训练数据集T={(x1,y1),(x2,y2),⋯,(x N,y N)}，其中x i∈χ= R n,y i∈Y={+1,−1}，i=1,2,⋯,N，x i为第i个特征向量，也就是实例，y i为x i的类标记，当y i=+1时，称x i为正例；当y i=−1时，称x i为负例，(x i,y i)称为样本点。

再假设训练数据集是线性可分的，即存在某个超平面能够将正例和负例完全正确的分开，不妨设分离超平面方程为w∙x+b=0，法向量为w、截距为b。

一般地，当训练数据集线性可分时，存在无穷多个分离超平面可将两类数据正确分开，线性可分支持向量机利用间隔最大化求最优分离超平面，这是解是唯一的。

若最优分离超平面为w∗∙x+b∗=0,则分类决策函数为f(x)=sign(w∗∙x+b∗)。

在上图中，有A、B、C三个点，表示三个实例，设“。

”表示正类，“×”表示负类，则这三个点全在正类。

A距分类超平面较远，若预测该点为正类就比较确信预测是正确的；C距分类超平面较近，若预测该点为负类就不那么确信；B介于AC两者之间，预测为正类的确信度也在A与C之间。

故一般来说，点距离分离超平面的远近可以表示分类预测的确信程度。

在超平面w ∙x +b =0确定的情况下，|w ∙x +b |能够相对地表示点x 到超平面的远近，而w ∙x +b 的符号与类标记y 的符号是否一致可表示分类是否正确，所以y (w ∙x +b )可以来表示分类的真确性及确信度，我们称之为函数间隔。

支持向量机(SVM)

合概率，即 x 和 y 之间存在一定的未知依赖关系。

支持向量机的理论基础
1. 期望风险最小化
L ( y , f ( x , w )) 为用 f ( x , w ) 对
y 进行预测而造成的损失。不同类型
的学习问题有不同形式的损失函数。预测函数通常也称作学习函数、学习模型或学习机器。模式识别问题中，损失函数的定义为：
1 2 2 || w || 最小的分类面就叫做最优分类面。过两类样本中离分类面最近的点且平
行于最优分类面的超平面 H1，H2 上的训练样本就是使（7）式等号成立的那些样本，他们叫做支持向量（Support Vectors）。
最优分类面统计学习理论指出，在 d 维空间中，设样本分布在一个半径为 R 的超球范
围内，则满足条件 || w || c 的正则超平面构成的指示函数集
f ( x , w , b ) sg n { ( w x ) b } ,
的 VC 维满足下面的界
h m in([ R c ], d ) 1.
2
因此使 || w || 最小就是使 VC 维的上界最小，从而实现结构风险最小化（SRM）准则中对函数复杂性的选择:固定经验风险，最小化期望风险就转化为最小化
支持向量机的理论基础
4.经验风险与真实风险的关系因此，（5）式可以简单地表示为：
R ( w ) R em p ( w ) ( h / n )
（6）
它表明,在有限训练样本下,学习机器的 VC 维越高(复杂性越高)则置信范围越大,导致真实风险与经验风险之间可能的差别越大.这就是为什么会出现过学习现象的原因.机器学习过程不但要使经验风险最小,还要使 VC 维尽量小以缩小置信范围,才能取得较小的实际风险,即对未来样本有较好的推广性.

支持向量机简介

i=1 N
N
(2)0 i C
for i 1, 2,..., N
C不同带来的影响
支持向量机算法-非线性可分

基本思想：选择非线性映射Φ(X)将x映射到高维特征空间 Z，在Z中构造最优超平面
为什么向高维空间变换？

变换后的线性变换相应于原空间的非线性变化变换后分类问题可轻松解决。

分类平面由支持向量确定。也就是说只需少量样本就可构成最优分类面。最优分类面只用到内积运算。 Vapnik证明线性分类器的vc维满足下式
h || w || r 1
2 2
r 为包络训练数据的最小球半径。
支持向量机-近似线性可分
Class 2
Class 1
支持向量机算法-近似线性可分
Support Vector Machine支持向量机简介

Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机 (Support Vector Machine，简称SVM)。
1 N N Q i i j yi y j ( xi ), ( x j ) 2 i 1 j 1 i 1 subject to
N

i=1
N
i
yi 0 for i 1, 2,..., l
(2) i 0
注意：
( xi ), ( x j )

支持向量机方法是在近年来提出的一种新方法。支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论，但对多数人来说，以前学到的或常用的是约束条件为等式表示的方式，但在此要用到以不等式作为必须满足的条件，此时只要了解拉格朗日理论的有关结论就行。

支持向量机资料

支持向量机资料支持向量机1基本情况Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。

其原理也从线性可分说起，然后扩展到线性不可分的情况。

甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（Support Vector Machine，简称SVM）。

支持向量机的提出有很深的理论背景支持向量机方法是在近年来提出的一种新方法。

SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；⑵它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。

例子如图：将1维的“线性不可分”上升到2维后就成为线性可分了。

在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况，支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论。

2一般特征⑴SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。

而其他分类方法（如基于规则的分类器和人工神经网络）都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。

⑵SVM通过最大化决策边界的边缘来控制模型的能力。

尽管如此，用户必须提供其他参数，如使用核函数类型和引入松弛变量等。

⑶通过对数据中每个分类属性引入一个哑变量，SVM可以应用于分类数据。

⑷SVM一般只能用在二类问题，对于多类问题效果不好。

3原理简介SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题．简单地说，就是升维和线性化．升维，就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津．但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）．一般的升维都会带来计算的复杂化，SVM 方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”．这一切要归功于核函数的展开和计算理论．选择不同的核函数，可以生成不同的SVM，常用的核函数有以下4种：⑴线性核函数K(x,y)=x·y；⑵多项式核函数K(x,y)=[(x·y)+1]^d；⑶径向基函数K(x,y)=exp(-|x-y|^2/d^2）⑷二层神经网络核函数K(x,y)=tanh(a(x·y)+b）．最优分类面：最优超平面SVM是从线性可分情况下的最优分类面发展而来的，基本思想可用图2的两维情况说明。

支持向量机模型

⽀持向量机模型⽀持向量机模型(SVM)是⼀个⼆分类模型，基本思想是求解能够正确划分训练数据集并且⼏何间隔最⼤的分离超平⾯，其学习策略便是间隔最⼤化，最终化为⼀个凸⼆次规划问题的求解。

SVM可分为线性可分⽀持向量机、线性⽀持向量机和⾮线性⽀持向量机。

算法推导1. 线性可分⽀持向量机引⼊函数间隔和⼏何间隔线性向量机的基本思想是硬间隔最⼤化，即：\begin{aligned} \max_{w,b} \ \ \ \ &γ\\ s.t.\ \ \ \ \ &y_i·\frac{1}{||w||} ·(w·x_i+b)≥γ，i=1,2,…,N \end{aligned}即：\begin{aligned} \max_{w,b} \ \ \ \ &\frac{ŷ}{||w||}\\ s.t.\ \ \ \ \ &y_i·(w·x_i+b)≥ŷ，i=1,2,…,N \end{aligned}取ŷ=1，得\begin{aligned} \min_{w,b} \ \ \ \ &\frac{1}{2}{||w||}^2\\ s.t.\ \ \ \ \ &y_i·(w·x_i+b)-1≥0，i=1,2,…,N \end{aligned}这是⼀个凸⼆次规划问题，通过引⼊拉格朗⽇乘⼦法，构建拉格朗⽇对偶函数，通过求其对偶函数的解，从⽽得到原始问题的最优解。

定义拉格朗⽇函数：L(w,b,α)= \frac{1}{2}{||w||}^2-\sum_{i=1}^N{α_iy_i (w·x_i+b)}+\sum_{i=1}^N{α_i}其中，α={(α_1,α_2,…,α_N)}^T为拉格朗⽇乘⼦向量，α_i≥0，i=1,2,…,N原始问题的对偶问题是极⼤极⼩问题：\max_α{\min_{w,b} L(w,b,α)}求解对偶问题求\min_{w,b} L(w,b,α)分别对w,b求偏导数并令其为0：\begin{aligned} \nabla_w L(w,b,α)=w-\sum_{i=1}^N{α_i y_i x_i}=0 \\ \nabla_b L(w,b,α)=\sum_{i=1}^N{α_i y_i}=0 \end{aligned}得\begin{aligned} w=\sum_{i=1}^N{α_i y_i x_i} \\ \sum_{i=1}^N{α_i y_i}=0 \end{aligned}代⼊拉格朗⽇函数，得L(w,b,α)= \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j+b)-\sum_{i=1}^N{α_i y_i ((\sum_{j=1}^N{α_j y_jx_j})·x_i+b)}+\sum_{i=1}^Nα_i= -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)+\sum_{i=1}^Nα_i即\min_{w,b} L(w,b,α) = -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)+\sum_{i=1}^Nα_i求\min_{w,b} L(w,b,α)对α的极⼤:\max_{α}\ \ \ -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)+\sum_{i=1}^Nα_is.t.\ \ \ \sum_{i=1}^N{α_i y_i}=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ α_i≥0，i=1,2,…,N即：\min_{α}\ \ \ \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N α_i α_j y_i y_j (x_i·x_j)-\sum_{i=1}^Nα_is.t.\ \ \ \sum_{i=1}^N{α_i y_i}=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ α_i≥0，i=1,2,…,N求得最优解1\alpha^x={({\alpha_1}^x,{\alpha_2}^x,…,{\alpha_N}^x)}^{T}计算w^*=\sum_{i=1}^N {α_i}^x y_i x_i并选择α^x的⼀个正分量{α_j}^x>0，计算b^x=y_i-\sum_{i=1}^N {α_i}^x y_i (x_i·x_j)求得分类决策函数：f(x)=sign(w^x·x+b^x)可知w^x，b^x只依赖训练数据中对应于{α_i}^x>0的样本点(x_i,y_i)，⽽其他样本点对w^x，b^x没有影响。

支持向量机的简单介绍

⽀持向量机的简单介绍⾸先说，这是我写的最烂的，因为我⾃⼰有⼀些也没有弄明⽩，强烈建议别看，强烈不建议看哦。

（我不暂时不想花太多时间去搞它，因为我⽤不着它，如果⽤到它的时候到好好看看吧，我了解⼀下原理，⼀些细节吧我有⼀些想不明⽩）下⾯这是我的简单介绍与理解，或者理解的不够深。

这玩意的作⽤就是⽤于解决问题的吧，⼀切算法都要向解决的问题去靠，如果单純停留在数学分析上，很迷迷糊糊的哦。

所以，我们站在⼀定⾼度上去看这个⽀持向量机哈它⼲什么的？⽀持向量机它本质上还是解决⼆分类问题的啦，如果你想要解决多分类问题，好啊，最简单的办法就是：你多分⼏次就可以了啊，对吧。

为什么叫⽀持向量机呢，外国⼈起的名字哎，不过后⾯会出现⽀持向量哦，也算是和名字相互对应吧。

⽀持向量机要⼲的事就是找到⼀个分界⾯，放到两个类别之间，就把它们分开了，如⼆维上，是⼀条直线，三维上就⼀个平⾯，四维上就是⼀个三维的东西了。

如果在低维不可分时，就先通过核函数把低维数据映射到⾼维，⾼维上变成线性可分的以后，然后呢，在⾼维上再⽤⽀持向量机进⾏分就可以了。

反正吧，⽀持向量机就是解决线性可分的问题的啦。

（解决线性不可分的问题，那是核函数的功劳，反正我认为是这样的）下⾯我们要解决⼀个优化问题：现在呢，我们要解决⼀个问题，如果所图1所⽰哈，我们现在现在把这两类分开，看上去很简单似的，我们就要画⼀条线就可以了哈，但是呢，仔细想想，这条线应该如何画呢？⽤⼈脑⼦⼀想就能想明⽩按图2画，怎么如何要⽤程序把它弄出来呢这就是优化理论的问题了吧，现在呢，就要把实际问题转化为数学描述了。

怎么办？？下⾯具体到数学上描述描述。

对于上⾯的两种类别，我们分为两类，⼀类⽤ 1 表⽰，⼀类⽤－1 表⽰。

采⽤logistic的回归⽅式，我们⽤公式表⽰为：，其中函数g(x) 是这样的：当 x >=0时， g(x) ＝1；当 x <0时， g(x) ＝－1,即相当于⼀个感知器；按如上定义，我们要画的那条线就是表⽰为 w T x + b ＝ 0 的那条线了；当w T x + b>>0时，或w T x + b<< 0说明正的样本点离的分界线的距离就越远哈。

支持向量机课件

s.t.
yi[(.ai ) b] 1 i , i 0,i 1, l.
其中 C 0 是一个惩罚参数.其Lagrange函数如下:
L(,b, ,, )
1 2
2
l
C i
i 1
l
i i
i 1
l
- i{yi[(.ai ) b] 1 i} i 1
其中 i 0, i 0.
2012年夏
yi[(.ai ) b] 0,i 1, ,l, im1,in,l (.ai ) b 1 的超平面为训练集T 的规范超平面.
2012年夏
定理:当训练集T为线形可分时,存在唯一的规范超平面 (.x) b 0 ,使得:
((..aaii
) )
b b
1, yi 1,
yi
1,
1.
2012年夏
yi[(.ai ) b] 1 的样本点，仍然能继续使用超平面进行划分。只是这时要对间隔“软化”，构造软间隔超平面。
2012年夏
构造软间隔超平面，简言之就是在两个分类边界 (.x) b 1 之间允许出现样本点，这类样本点称为边界支持向量。
2012年夏
软化方法是通过引入松弛变量 i 0,i 1, ,l,
当训练集T的两类样本点重合的区域很大时,上述用来处理线性不可分问题的线性支持向量分类机就不适用了,可分支持向量分类机给出了解决这种问题的一种有效途径:
通过某个非线性的映射将输入向量映
射到一个更高维的空间中，使得这些样本在高维空间中线性可分，然后在该空间构造最优分类超平面。
2012年夏
如图所示:
定义: M 的凸包 conv(M ) 为:
N
N
conv(M ) {a jaj j 1, j 0, j 1 N; a j M }.

机器学习基础篇：支持向量机（SVM）理论与实践

机器学习基础篇：支持向量机（SVM）理论与实践您想知道的人工智能干货，第一时间送达编译 | AI有道什么是支持向量机（SVM）？支持向量机(SVM) 是一种相对简单的监督机器学习算法，用于解决分类或回归问题。

它更适合分类，但有时对回归也非常有用。

SVM 算法的本质是在不同的数据类型之间找到一个超平面来创建边界。

在二维空间中，这个超平面是一条直线。

在SVM算法中，我们在N 维空间中绘制数据集中的每个数据项，其中 N 是数据中特征/属性的数量。

接下来，我们找到最佳的超平面来对不同类型的数据进行分类。

因此我们可以了解到SVM 本质上只能解决二分类的问题（即，在两个类之间进行选择）。

但是，如今有多种技术可用于解决多分类的问题。

支持向量机（SVM）解决多分类问题为了在多分类问题上使用SVM，我们可以为每一类数据创建一个二元分类器。

每个分类器的两个结果将是：•数据点属于该类或•数据点不属于该类或例如，在水果分类问题中，要进行多类分类，我们可以为每个水果创建一个二元分类器。

例如，“芒果”类，将有一个二元分类器来预测它是芒果还是不是芒果。

选择得分最高的分类器作为 SVM 的输出。

复杂的 SVM（非线性可分）SVM对线性可分数据进行分类有比较好的表现。

线性可分数据是任何可以绘制在图形中并且可以使用直线进行分类的数据。

我们使用带内核的SVM 来处理非线性可分的数据。

比如说，我们把一维非线性可分的数据可以转换为二维数据，该数据将将在二维上线性可分。

这是通过将每个一维数据点映射到相应的二维有序对来完成的。

因此，对于任何维度的任何非线性可分数据，我们可以将数据映射到更高的维度，然后使其变得线性可分。

这是一个非常强大和普遍的转变。

内核不是数据点之间相似性的度量。

核化 SVM 中的核函数告诉您，给定原始特征空间中的两个数据点，新变换的特征空间中的点之间的相似度是多少。

现有各种可用的内核函数，其中两个比较流行：Radial BasisFunction Kernel (RBF)：变换后的特征空间中两点之间的相似度是向量与原始输入空间之间距离的指数衰减函数，如下所示。

(数学建模教材)31第三十一章支持向量机

第三十一章支持向量机支持向量机是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问题的新工具，最初由 V.Vapnik 等人提出，近几年来在其理论研究和算法实现等方面都取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的理论基础和实现途径的基本框架都已形成。

§1 支持向量分类机的基本原理根据给定的训练集lT = {(x 1,y 1 ), (x 2 ,y 2 ),L ,(x l ,y l )}∈ ( X ⨯ Y ) ，其中 x ∈ X = R n ， X 称为输入空间，输入空间中的每一个点 x 由 n 个属性特征组成， i i ny i ∈Y = {-1,1},i = 1,L ,l 。

寻找 R 上的一个实值函数 g (x ) ，以便用分类函数f (x ) = sgn(g (x )),推断任意一个模式 x 相对应的 y 值的问题为分类问题。

1.1 线性可分支持向量分类机考虑训练集 T ，若 ∃ω ∈ R n， b ∈ R 和正数 ε ，使得对所有使 y = 1的下标 i 有 i (ω ⋅ x i ) + b ≥ ε（这里 (ω ⋅ x i ) 表示向量 ω 和 x i 的内积），而对所有使 y i = -1 的下标 i 有 (ω ⋅ x i ) + b ≤ -ε ，则称训练集 T 线性可分，称相应的分类问题是线性可分的。

记两类样本集分别为 M = {x i | y i = 1, x i ∈T }， M = {x i | y i = -1, x i ∈T }。

定义 M + 的凸包 conv(M + ) 为+- ♣ N + N +↔ conv(M +) = ♦x = ∑λ x | ∑ λ λ ≥ 0, j = 1,L , N + ; x ∈ M + ←, = 1, j j j j j ♥ ↑j =1 j =1 M - 的凸包 conv(M - ) 为 ♣ N - N -↔ conv(M - ) = ♦x = ∑λ x | ∑λ λ ≥ 0, j = 1,L , N - ; x ∈ M - ←.= 1, j j j j j ♥ ↑j =1 j =1 其中 N + 表示 + 1 类样本集中样本点的个数， N - 表示 - 1类样本集中样本点的个数，定理 1 给出了训练集 T 线性可分与两类样本集凸包之间的关系。

数学建模优秀讲座之支持向量机

mse
1 n
n
f xi
i1
yi 2
n
n
n
(n xiyi xi • yi )2
r2
i1
i1
i1
n
n i1
xi2
n i1
xi
2
n
n i1
yi2
n i1
yi
2
2015年2月3日
回归列子
X=-1:0.1:1
Y=-x.^2;
0
-0.1
-0.2
-0.3
-0.4
-0.5
[predctlabel,accuracy]=svmpredict(test datalabel,testdata,model);
2015年2月3日
data = 176 70 180 80 161 45 163 47 label = 1 1 -1 -1 testdata = 190 85 161 50 testdatalabel = 1 1 Accuracy = 50% (1/2) (classification) （无用） predctlabel = 1 -1 accuracy = 50 2015年2月3日 NaN
-0.6
-0.7
-0.8
-0.9
-1
-1 -0.8 -0.6 -0.4 -0.2
0
0.2 0.4 0.6 0.8
1
2015年2月3日
model = svmtrain(y,x,'-s 3 -t 2 -c 2.2 -g 2.8 -p 0.01');
[py,mse] = svmpredict(y,x,model); figure; subplot(3,1,1) plot(x,y,'o'); title(‘原始数据'); hold on; plot(x,py,'r*'); subplot(3,1,2) plot(x,py,'r*');

支持向量机课件学习教案

在规范化下，超平面的几何间隔为于是，找最大几何间隔的超平面表述成如下的最优化问题：
1 w
min 1 w 2 (1) w,b 2
s.t. yi ((w xi ) b) 1,i 1,, n
第9页/共30页
第九页，共30页。
线性可分的支持(zhīchí)向量(分类
为求解问题(wèntí)(1),使用Lagrange乘子法将其转化为对偶问题(wèntí)。于是引入Lagrange函数：
所谓支持向量机，顾名思义，分为两个部分了解：一，什么是支持向量（简单(jiǎndān)来说，就是支持或支撑平面上把两类类别划
分开来的超平面的向量点）二，这里的“机（machine，机器）”便是一个算法。在机器学习领域，常把一
些算法看做是一个机器，如分类机（当然，也叫做分类器），而支持向量机本身便是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。
)机
L(w,b, )
1 2
w2
n
i ( yi ((w xi ) b) 1)
i 1
(2)
其中(qízh ōng) ，
称为Lagr ange 乘子。
首先求Lagrange函数关于w,b的极小值。由极值条件有：
(1, 2 ,, n )T Rn
bL(w,b, ) 0, wL(w,b, ) 0
例子
a x12+b x22=1
(lìzi)
[w]1 z1+ [w]2z2 + [w]3 z3+ b =0
第16页/共30页
第十六页，共30页。
非线性分类(fēn lèi)
设训练集 T {(xi , yi ), i 1, l} ，其中 xi ([xi ]1,[xi ]2 )T , yi {1, 1} 假定可以用 ([x]1,[x]2 ) 平面上的二次曲线来划分：

支持向量机讲解(很详细明了)

w支持向量机: Maximum Margin Classifierby pluskid, on 2010-09-08, in Machine Learning84 comments支持向量机即Support Vector Machine，简称SVM 。

我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把Support 这么一个具体的动作和Vector 这么一个抽象的概念拼到一起，然后再做成一个Machine ，一听就很玄了！不过后来我才知道，原来SVM 它并不是一头机器，而是一种算法，或者，确切地说，是一类算法，当然，这样抠字眼的话就没完没了了，比如，我说SVM 实际上是一个分类器(Classifier) ，但是其实也是有用SVM 来做回归(Regression) 的。

所以，这种字眼就先不管了，还是从分类器说起吧。

SVM 一直被认为是效果最好的现成可用的分类算法之一（其实有很多人都相信，“之一”是可以去掉的）。

这里“现成可用”其实是很重要的，因为一直以来学术界和工业界甚至只是学术界里做理论的和做应用的之间，都有一种“鸿沟”，有些很fancy 或者很复杂的算法，在抽象出来的模型里很完美，然而在实际问题上却显得很脆弱，效果很差甚至完全fail 。

而SVM 则正好是一个特例——在两边都混得开。

好了，由于SVM 的故事本身就很长，所以废话就先只说这么多了，直接入题吧。

当然，说是入贴，但是也不能一上来就是SVM ，而是必须要从线性分类器开始讲。

这里我们考虑的是一个两类的分类问题，数据点用x来表示，这是一个n维向量，而类别用y来表示，可以取1 或者-1 ，分别代表两个不同的类（有些地方会选0 和 1 ，当然其实分类问题选什么都无所谓，只要是两个不同的数字即可，不过这里选择+1 和-1 是为了方便SVM 的推导，后面就会明了了）。

一个线性分类器就是要在n维的数据空间中找到一个超平面，其方程可以表示为一个超平面，在二维空间中的例子就是一条直线。

支持向量机的介绍

支持向量机(SVM)介绍目标本文档尝试解答如下问题:▪如何使用OpenCV函数CvSVM::train训练一个SVM分类器，以及用CvSVM::predict测试训练结果。

支持向量机(SVM) 是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。

换句话说，给定一些标记(label)好的训练样本(监督式学习), SVM算法输出一个最优化的分隔超平面。

如何来界定一个超平面是不是最优的呢? 考虑如下问题：假设给定一些分属于两类的2维点，这些点可以通过直线分割，我们要找到一条最优的分割线.Note在这个示例中，我们考虑卡迪尔平面内的点与线，而不是高维的向量与超平面。

这一简化是为了让我们以更加直觉的方式建立起对SVM概念的理解，但是其基本的原理同样适用于更高维的样本分类情形。

在上面的图中，你可以直觉的观察到有多种可能的直线可以将样本分开。

那是不是某条直线比其他的更加合适呢? 我们可以凭直觉来定义一条评价直线好坏的标准:距离样本太近的直线不是最优的，因为这样的直线对噪声敏感度高，泛化性较差。

因此我们的目标是找到一条直线，离所有点的距离最远。

由此，SVM算法的实质是找出一个能够将某个值最大化的超平面，这个值就是超平面离所有训练样本的最小距离。

这个最小距离用SVM术语来说叫做间隔(margin)。

概括一下，最优分割超平面最大化训练数据的间隔。

下面的公式定义了超平面的表达式:叫做权重向量，叫做偏置(bias)。

See also关于超平面的更加详细的说明可以参考T. Hastie, R. Tibshirani 和J. H. Friedman的书籍Elements of Statistical Learning，section 4.5 (Seperating Hyperplanes)。

最优超平面可以有无数种表达方式，即通过任意的缩放和。

习惯上我们使用以下方式来表达最优超平面式中表示离超平面最近的那些点。

31、支持向量机(数学建模)

min
yi = −1
ω
=
ω
，
则普通支持向量间的间隔为
2
ω
。最优超平面即意味着最大化
2
ω
。如图 2 所示
图 2 线性可分支持向量分类机
(ω ⋅ x) + b = ±1 称为分类边界，于是寻找最优超平面的问题可以转化为如下的二次规
划问题
min s.t.
该问题的特点是目标函数引入 Lagrange 函数
i =1
l
T = {( x1,y1 ), ( x2 ,y2 ),L, ( xl ,yl )} ∈ ( X × Y )l
从而对未知样本进行分类，可见当 C = ∞ 时，就等价于线性可分的情形。 1.3 可分支持向量分类机当训练集 T 的两类样本点集重合的区域很大时，上述用来处理线性不可分问题的线性支持向量分类机就不可用了，可分支持向量分类机给出了解决这种问题的一种有效途径。通过引进从输入空间 X 到另一个高维的 Hilbert 空间 H 的变换 x a ϕ ( x) ; b ≥ ε ， ∀xi ∈ M + 且 (ω ⋅ xi ) + b ≤ −ε ， ∀xi ∈ M − . 而正类点集的凸包中的任意一点 x 和负类点集的凸包中的任意一点 x' 可分别表示为
x = ∑ α i xi 和 x' = ∑ β j x' j
i =1 N− j =1 N+ N−
T = {( x1,y1 ), ( x2 ,y2 ), L , ( xl ,yl )} ∈ ( X × Y ) l ，
其中 xi ∈ X = R ， X 称为输入空间，输入空间中的每一个点 xi 由 n 个属性特征组成，
n

数学建模-支持向量机

问题

“过学习问题”：某些情况下，当训练误差过小反而会导致推广能力的下降。例如：对一组训练样本(x,y),x分布在实数范围内，y取值在[0，1]之间。无论这些样本是由什么模型产生的，我们总可以用y=sin(w*x) 去拟合，使得训练误差为0.
SVM

由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中 Joachims 最近采用SVM在Reuters-21578来进行文本分类，并声称它比当前发表的其他方法都好

①增、删非支持向量样本对模型没有影响; ②支持向量样本集具有一定的鲁棒性; ③有些成功的应用中,SVM 方法对核的选取不敏感。
超平面

方程g(x)=0定义了一个判定面，它把归类于C1的点与归类于C2的点分开来。当 g(x) 是线性函数时，这个平面被称为 “ 超平面”(hyperplane)。当x1和x2都在判定面上时，
这表明w和超平面上任意向量正交，并称w为超平面的法向量。注意到：x1-x2表示超平面上的一个向量
支持向量机
核函数的选择
SVM方法的特点

① 非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射; ② 对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心; ③ 支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。
所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大. 推广到高维空间，最优分类线就变为最优分类面。

支持向量机课件

支持向量机（SVM ）最优分类面SVM 是从线性可分情况下的最优分类面发展而来的, 基本思想可用图中的两维情况说明.所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大，推广到高维空间，最优分类线就变为最优分类面。

设线性可分的样本集(),,1,,,i i x y i n ={},1,1d x R y ∈∈+-，d 维空间中的线性判别函数：()g x wx b =+，分类面方程为0wx b +=我们可以对它进行归一化，使得所有样本都满足()1g x ≥，即使离分类面最近的样本满足()1g x =，这样分类间隔就等于2w 。

因此要求分类间隔最大，就是要求w （或2w ）最小。

要求分类线对所有样本正确分类时，对于任意学习样本()n n y X ，其分布必然在直线1H 之上或直线2H 之下。

即有()()121;1, 1;1, n n n n n n n n g b y C g b y C ⎧=⋅+≥=∈⎨=⋅+≤-=-∈⎩X W X X X W X X 将以上两式合并，有1n n y b ⋅⎡⋅+⎤≥⎣⎦W X就是要求满足[]10n n y wx b +-≥，1,,,i n =图中, 方形点和圆形点代表两类样本, H 为分类线,H1, H2分别为过各类中离分类线最近的样本且平行于分类线的直线, 它们之间的距离叫做分类间隔(margin)。

所谓最优分类线就是要求分类线不但因此，满足上述公式且使2w 最小的分类面就是最优分类面。

过两类样本中离分类面最近的点且平行于最优分类面的超平面1H ，2H 上的训练样本，就是使上式等号成立的那些样本，它们叫做支持向量。

因为它们支撑了最优分类面。

下面看如何求解最优分类面，由上面的讨论，最优分类面问题可以表示成如下的约束问题，即在条件（1）的约束下，求函数：21()2w w φ= （2）的最小值，这里目标函数中的21没有其他意义，只是为了下一步导出求解方法时方便。