支持向量机SVMppt

-
SVM相关概念解释
• VC维：对于一个指示函数（即只有0和1两种取值的函数） 集，如果存在h个样本能够被函数集里的函数按照所有可 能的2h种形式分开，则称函数集能够把h个样本打散，函 数集的VC维就是能够打散的最大样本数目。
圈代表0； 点代表1；
-
SVM相关概念解释
• 经验风险：使用分类器在样本数据上的分类的结果与真实 结果（因为样本是已经标注过的数据，是准确的数据）之 间的差值。
• 结构风险最小化即SRM准则:统计学习理 论提出了一种新的策略,即把函数集构造 为一个函数子集序列,使各个子集按照VC 维的大小排列;在每个子集中寻找最小经 验风险,在子集间折衷考虑经验风险和置 信范围,取得实际风险的最小。
• 一是经验风险，代表了分类器在给定样 本上的误差；
-
SVM相关概念解释
-
SVM原理—数据线性可分
• 2个类的问题
设两类问题训练样本集为
(X1,y1), (X2,y2),…,(Xn,yn),其中
Xi∈Rn, yi={1,-1}, i=1,…,n，这
里线性可分就是指，存在着超
平面（Hyper-plane）直线
f(x) = wX+ b，使得训练样本
中的一类输入和另一类输入分
• 对于无法直接构造分类超平面的样本集，我们需 要采取某种方法使其能够被某个“平面”划分
• 基本思想是通过选择非线性映射Φ(x)将x映射到高 维特征空间Z，在Z中构造最优分类超平面
-
设训练集 T{(xi,yi),i1,Ll}，其中 x i ([x i]1 ,[x i]2)T,y i { 1 , 1 }
• 该式称为L函数的对偶式，由对偶理论可知，最小化L式等于 最大化以L式的约束的拉格朗日乘子为变量的上式
x1 =(0, 0), y1 = +1
x2 =(1, 0), y2 = +1
x3 =(2, 0), y3 = -1
N 1N N
W ( )
i1
i2i
j
i jyiyj xi,xj
x4 =(0, 2), y4 = -1
L 0 w
L 0 b
N
w i yi xi i 1
N
iyi 0
i1
• 这实际上是寻找极值条件下L函数满足的等 式约束
-
-
•
将得到的约束条件 N
得到:
w i yi xi
N
i y i - 0
带入原L函数，
N
1 i1 N N i 1
W ( )
i1
i2i
j
i jyiyj xi,xj
SVM相关概念解释
-
过学习问题
underfitting
推广能力:将学习机器 (即预测函数,或称学习 函数、学习模型)对未来 输出进行正确预测的能 力。
Good fit
overfitting
选择了一个足够复杂的分类函数，能 够精确的记住每一个样本，但对样本 之外的数据可能一律分类错误。
-
SVM相关概念解释
• 根据统计学习理论，学习机器的实际风险由经验风险值和 置信范围值两部分组成。而基于经验风险最小化准则的学 习方法只强调了训练样本的经验风险最小误差，没有最小 化置信范围值，因此其推广能力较差。
• 缺点： 1.经验风险主要反映的是样本数据与真实结果的差距，
而样本数据在实际项目中只是总体的一小部分； 2.过度地强调经验风险最小化容易造成过学习问题。
-
如何求最优超平面
• 分离超平面可以记作： WX+b=0
其中，W是权重向量，即W =｛w1， w2 ，...， wn ｝，n是属性数，b是标 量，通常称做偏倚。 训练组是二维的，如X =（ x1， x2），其中 x1， x2 分别是X的属性A、B的值。 我们将b看作附加的权重w0 ，则将分离超平面改写成
-
支持向量机SVM
-
主要内容
1.SVM简介 2.SVM相关概念解释 3.SVM原理
3.1线性可分 3.2线性不可分
-
支持向量机简介
支持向量机(Support Vector Machine)是Vapnik等人在 1995年首先提出的，它在解决小样本、非线性及高维模式识 别中表现出许多特有的优势。
支持向量机方法是建立在统计学习理论的VC 维理论和结 构风险最小原理基础上的，根据有限的样本信息在模型的复 杂性（即对特定训练样本的学习精度）和学习能力（即无错 误地识别任意样本的能力）之间寻求最佳折衷，以期获得最 好的推广能力 。
Hale Waihona Puke Baidu
– Minimize
(w) 1 w 2 1(ww)
2
2
yi ((w xi)b) 1,i 1,...,l
– Subject to
• 定义LaL g(w ra,b n,g) e 函1 2w 数2 l i(y i(x i( w ) b ) 1 ) i 1
-
如何求最优超平面
• 分别对w和b求偏导，并令其为0，可得
别位于该超平面的两侧.
这种线性分类函数在一维空间里就是一个点，在二维空间里 就是一条直线，三维空间里就是一个平面，可以如此想象下 去，如果不关注空间的维数，这种线性函数还有一个统一的 名称——超平面（Hyper Plane）！
最优超平面
-
就是分割的间隙越大越 好，把两个类别的点分 得越开越好。具有最大 边缘超平面
b + w1 x1 + w2 x2 = 0 这样，位于分离超平面下方的点满足
b + w1 x1 + w2 x2 < 0 位于分离超平面上方的点满足
b + w1 x1 + w2 x2 > 0 调整权重使得定义边缘侧面的超平面记为 H1 ：b+ w1 x1 + w2 x2 ≥ 1 ， 对于所有yi = +1 H2 ：b+ w1 x1 + w2 x2 ≤ -1 ， 对于所有yi = -1
两个边界平面的距离:m=2/||w||
-
如何求最优超平面
现在，原问题转化为下面这样一个优化问题
求解w和b，使得对于所有的样本{(xi,yi)}，能有 m=2/||w||最大，其中满足当yi=1时，wTxi+b≥1，当 yi=-1时，wTxi+b≤-1,所以有： yi (wTxi+b) ≥1
• 求解最优超平面问题可以表示成约束优化问题
调用Matlab中的二次规划程
序，求得1, 2, 3, 4的值， 进而求得w和b的值。
1 0
-
2
1
3
3 /4
4 1 / 4
w
1
0
3 4
2
0
1 4
0
2
1
2
1
2
b
1 2
1 , 2
1 2
3
0
3 4
g ( x ) 3 2 x1 2 x 2 0
-
SVM原理—数据非线性可分