支持向量机课件ppt课件

9.3 支持向量机
支持向量机，一种线性和非线性数据有前途的新 划分类方法。巧妙利用向量内积的回旋，通过将 非线性核函数将问题变为高维特征空间与低维输 入空间的相互转换，解决了数据挖掘中的维数灾 难。由于计算问题最终转化为凸二次规划问题， 因此挖掘算法是无解或有全局最优解。
支持向量机定义
• 所谓支持向量机，顾名思义，分为两个部分了解： • 一，什么是支持向量（简单来说，就是支持或支撑平
• 解决方法：构造一个在约束条件下的优化问题， 具体的说是一个约束二次规划问题(constrained quadratic programing),求解该问题，得到分类器。
概述
1. 线性可分情形
线性可分情形
最大边缘超平面(MMH) 边缘：从超平面到其边缘的侧面的最短距离等于到 其边缘的另一个侧面的最短距离，边缘侧面平行于 超平面
首先求Lagrange函数关于w,b的极小值。由极值条件有：
bL(w,b, ) 0, wL(w,b, ) 0
得到：
n
yii 0
i 1
n
w yiixi i 1
(3) (4)
(2)
11
线性可分的支持向量(分类)机
将(3)式代入Lagrange函数，并利用(4)式，则原始 的优化问题转化为如下的对偶问题(使用极小形式)：
最大间隔原则：选择使得训练集D对于线性函数 (w·x)+b的几何间隔取最大值的参数对(w,b)，并 由此构造决策函数。
在规范化下，超平面的几何间隔为 于是，找最大几何间隔的超平面
1 w
表述成如下的最优化问题：
min 1 w 2 w,b 2
(1)
s.t. yi ((w xi ) b) 1,i 1,, n
数学语言描述
分类面与边界距离(margin)的数学表示:
(x1, y1), (x2 , y2 ), (xn , yn ) xi d , yi {1,1} yi 1 表示 xi 1；yi 1 表示 xi 2
分类超平面表示为：
xT w b 0 m 2 w
Class 2
线性可分情况意味着存在超平面使训练点中的正类和 负类样本分别位于该超平面的两侧。
(w x) b 0
如果能确定这样的参数对（w,b） 的话,就可以构造决策函数来进行 识别新样本。
f (x) sgn((w x) b)

9
线性可分的支持向量(分类)机
问题是：这样的参数对（w,b）有许多。 解决的方法是采用最大间隔原则。
5=0
7=02=0
4=0
6=1.4
1=0.8
9=0
3=0
Class 1
非线性可分情形
对于线性不可分的样本怎么办？ 如何找到正确的分类曲线和正确的超平面对此类情况分类?
非线性可分情形
• 关键点: 把 xi 变换到高维的特征空间 • 为什么要变换？
– 通过加入一个新的特征xi，使得样本变成线性可分的， 此时特征空间维数变高
• Transform x (x)
例子
• a x12+b x22=1 [w]1 z1+ [w]2z2 + [w]3 z3+ b =0
非线性分类
设训练集 T {(xi , yi ), i 1, l}，其中 xi ([xi ]1,[xi ]2 )T , yi {1, 1} 假定可以用 ([x]1,[x]2 ) 平面上的二次曲线来划分：
n
w* *i yi xi i 1
b* w* n *i xi

i 1

2 n *i yi 1
12
线性可分的支持向量(分类)机
于是，得到如下的决策函数：
f (x) sgn n *i yi (x xi ) b*
面上把两类类别划分开来的超平面的向量点） • 二，这里的“机（machine，机器）”便是一个算法。
在机器学习领域，常把一些算法看做是一个机器，如 分类机（当然，也叫做分类器），而支持向量机本身 便是一种监督式学习的方法，它广泛的应用于统计分 类以及回归分析中。
SVM的描述
• 目标：找到一个超平面，使得它能够尽可能多 的将两类数据点正确的分开，同时使分开的两 类数据点距离分类面最远。
Байду номын сангаас i1

支持向量：称训练集D中的样本xi为支持向量，如 果它对应的i*>0。
根据原始最优化问题的KKT条件，有
*i ( yi ((w* xi ) b*) 1) 0

于是，支持向量正好在间隔边界上
几何意义
几何意义：超平面法向量是支持向量的线性组合。
Class 2
8=0.6 10=0
xT w b 1
m
Class 1
xT w b 1
一、线性可分的支持向量(分类)机
首先考虑线性可分情况。设有如下两类样本的训练集：
D {( x1, y1), (x2 , y2 )，, (xn , yn )}
xi X Rm , yi {1,1}, i 1,, n
[w]1

2[w]2[x]1

2[w]3[x]2

2[w]4[x]1[x]2
[w]5[x]12

[w]6[
x]2 2

b

0
现考虑把2维空间 x ([x]1,[x]2 )T 映射到6维空间的变换
(x) (1, 2[x]1, 2[x]2, 2[x]1[x]2,[x]12,[x]22)T
上式可将2维空间上二次曲线映射为6维空间上的一个超平面：
线性可分的支持向量(分类)机
为求解问题(1),使用Lagrange乘子法将其转化为对偶问题。于是引入Lagrange函数：
L(w,b, ) 1 2
w2
n
i ( yi ((w xi ) b) 1)
i 1
其中， (1, 称2 ,为L,agrna)nTge乘R子n。
min
1 2
n i 1
n
n
yi y ji j (xi x j ) j
j 1
j 1
n
s.t. yii 0, i 1
i 0, i 1,, n
w

n

y这iix是i 一个凸二
i1 次规划问题
有唯一的最优
解
(5)
求解问题(5)，得。则参数对(w,b)可由下式计算：