支持向量机SVMPPT课件

L 0 w
L 0 b
N
w i yi xi i 1
N
i yi 0
i 1
• 这实际上是寻找极值条件下L函数满足的等 式约束
14
-
15
-
16
•
将得到的约束条件
得到: N W ( ) i 1
w
i
N
1i1
2
i
N
i
yi
xi
N
j
N
i yi
i 1
i j yi y j
- 0 带入原L函数， xi , x j
两个边界平面的距离:m=2/||w||
12
-
如何求最优超平面
现在，原问题转化为下面这样一个优化问题 求解w和b，使得对于所有的样本{(xi,yi)}，能有 m=2/||w||最大，其中满足当yi=1时，wTxi+b≥1，当 yi=-1时，wTxi+b≤-1,所以有： yi (wTxi+b) ≥1
• 求解最优超平面问题可以表示成约束优化问题
-
如何求最优超平面
• 分离超平面可以记作： WX+b=0
其中，W是权重向量，即W =｛w1， w2 ，...， wn ｝，n是属性数，b是标 量，通常称做偏倚。 训练组是二维的，如X =（ x1， x2），其中 x1， x2 分别是X的属性A、B的值。 我们将b看作附加的权重w0 ，则将分离超平面改写成
• 该式称为L函数的对偶式，由对偶理论可知，最小化L式等于
最大化以L式的约束的拉格朗日乘子为变量的上式
x1 =(0, 0), y1 = +1
x2 =(1, 0), y2 = +1
W ()
N i 1
i
1 2
N i
N
i j yi y j
j
x3 =(2, 0), y3 = -1
xi , x j x4 =(0, 2), y4 = -1
– Minimize – Subject to
(w) 1 w 2 1 (w w)
2
2
yi ((w xi ) b) 1, i 1,..., l
• 定义Lagrange函数
L(w, b, )
1 2
w
2
l
i ( yi
(( xi
w) b) 1)
i1
13
-
如何求最优超平面
• 分别对w和b求偏导，并令其为0，可得
8
-
SVM相关概念解释
9
-
SVM原理—数据线性可分
• 2个类的问题
设两类问题训练样本集为
(X1,y1), (X2,y2),…,(Xn,yn),其中
Xi∈Rn, yi={1,-1}, i=1,…,n，这
里线性可分就是指，存在着超 平面（Hyper-plane）直线
f(x) = wX+ b，使得训练样本 中的一类输入和另一类输入分 别位于该超平面的两侧.
• 一是经验风险，代表了分类器在给定样本上的误差； • 二是置信风险，代表了我们在多大程度上可以信任分类
器在未知样本上分类的结果。 • 置信风险与两个量有关，一是样本数量，显然给定的样
本数量越大，我们的学习结果越有可能正确，此时置信 风险越小；二是分类函数的VC维(分类函数的复杂度)， 显然VC维越大，推广能力越差，置信风险会变大.
这种线性分类函数在一维空间里就是一个点，在二维空间里 就是一条直线，三维空间里就是一个平面，可以如此想象下 去，如果不关注空间的维数，这种线性函数还有一个统一的 名称——超平面（Hyper Plane）！
最优超平面
10
-
就是分割的间隙越大越 好，把两个类别的点分 得越开越好。具有最大 边缘超平面
11
圈代表0； 点代表1；
5
-
SVM相关概念解释
• 经验风险：使用分类器在样本数据上的分类的结果与真实 结果（因为样本是已经标注过的数据，是准确的数据）之 间的差值。
• 根据统计学习理论，学习机器的实际风险由经验风险值和 置信范围值两部分组成。而基于经验风险最小化准则的学 习方法只强调了训练样本的经验风险最小误差，没有最小 化置信范围值，因此其推广能力较差。
• 缺点： 1.经验风险主要反映的是样本数据与真实结果的差距，
而样本数据在实际项目中只是总体的一小部分； 2.过度地强调经验风险最小化容易造成过学习问题。
6
SVM相关概念解释
-
过学习问题
underfitting
推广能力:将学习机器 (即预测函数,或称学习 函数、学习模型)对未来 输出进行正确预测的能 力。
b + w1 x1 + w2 x2 = 0 这样，位于分离超平面下方的点满足
b + w1 x1 + w2 x2 < 0 位于分离超平面上方的点满足
b + w1 x1 + w2 x2 > 0 调整权重使得定义边缘侧面的超平面记为 H1 ：b+ w1 x1 + w2 x2 ≥ 1 ， 对于所有yi = +1 H2 ：b+ w1 x1 + w2 x2 ≤ -1 ， 对于所有yi = -1
1
支持向量机SVM
-
主要内容
2
-
1.SVM简介 2.SVM相关概念解释 3.SVM原理
3.1线性可分 3.2线性不可分
3
-
支持向量机简介
支持向量机(Support Vector Machine)是Vapnik等人在 1995年首先提出的，它在解决小样本、非线性及高维模式识 别中表现出许多特有的优势。
调用Matlab中的二次规划程 序，求得1, 2, 3, 4的值，
进而求得w和b的值。
1 0 2 1 3 3 / 4 4 1 / 4
17
-
w
1 0
3 4
2
0
1 4
0
Βιβλιοθήκη Baidu
2
Good fit
overfitting
选择了一个足够复杂的分类函数，能 够精确的记住每一个样本，但对样本 之外的数据可能一律分类错误。
7
-
SVM相关概念解释
• 结构风险最小化即SRM准则:统计学习理论提出了一种 新的策略,即把函数集构造为一个函数子集序列,使各个 子集按照VC维的大小排列;在每个子集中寻找最小经验 风险,在子集间折衷考虑经验风险和置信范围,取得实际 风险的最小。
支持向量机方法是建立在统计学习理论的VC 维理论和结 构风险最小原理基础上的，根据有限的样本信息在模型的复 杂性（即对特定训练样本的学习精度）和学习能力（即无错 误地识别任意样本的能力）之间寻求最佳折衷，以期获得最 好的推广能力 。
4
-
SVM相关概念解释
• VC维：对于一个指示函数（即只有0和1两种取值的函数） 集，如果存在h个样本能够被函数集里的函数按照所有可 能的2h种形式分开，则称函数集能够把h个样本打散，函 数集的VC维就是能够打散的最大样本数目。