支持向量机PPT
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
✓最优分类面就是要求不但能将两类正确分开，而且使得分类间隔最大。 ✓SVM考虑寻找一个满足分类要求的超平面，并且使得训练集中的点距离分类面 尽可能的远，也就是寻找一个分类面使它两侧的空白区域（margin）最大。 ✓过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就 叫做支持向量（support vector）。 ✓目前，支持向量机已在人脸识别、文字识别、图像处理和时间序列预测等领域 获得了比较广泛的应用。
如何变换 ? 利用一个适当的变换f, 使分类变得容易些。 特征空间中的线性算子等价于输入空间中 的非线性算子。
14
左图是一个典型的线性不可分情形， 但是当我们把这两个类似于椭圆形的点映射到一个高维空间后，映射函 数为：
用这个函数可以将上图的平面中的点映射到一个三维空间（z1,z2,z3)，并 且对映射后的坐标加以旋转之后就可以得到一个线性可分的点集了。
2、支持向量机求解：
通过引入拉格朗日函数将上述最优化问题转化为其对偶问题，则可以得到
8
3、解的性质
9
4、几何解释
a5=0
a4=0
a9=0
第1类
第2类
a8=0.6
a10=0
a7=0 a2=0
a6=1.4
a1=0.8
a3=0
10
11
12
两分类问题
线性不可分的情形
13
关键思想: 为了解决非线性分割问题, 将 xi 变换到一个 高维空间。 输入空间: xi 所在的空间 特征空间: 变换后 f(xi) 的空间
核函数举例 d 阶多项式核： 具有宽度 s的径向基函数核：
相当接近于径向基函数神经网络 具有参数 k and q 的Sigmoid 核
18
核函数技巧(kernel trick)
核函数 K 与映射 f(.) 之间的关系是
作为核函数技巧这是已知的 在应用中, 我们指定K, 从而间接地确定 f(•) 以代替选取
f(•) 。
直观地, K (x,y) 表示我们对数据 x 和 y 之间相似性的一
种描述， 且来自我们的先验知识 。 为了f(•) 存在， K (x,y) 需要满足 Mercer 条件。
19
20
非线性SVM算法
将所有的内积改为核函数 训练算法: 线性的
非线性的
21
22
23
描述函数的值
第1类
第2类
第1类
12
45 6
24
支持向量机应用：人脸识别•25人脸源自别系统框架图26总结
支持向量机优缺点： 优点：SVM理论避开高维空间的复杂性，直接用內积函数即核函数，来解决决策问题。
同时SVM是基于小样本统计理论的基础上的，符合机器学习的目的 并且比神经网络具有更好的泛化推广能力。 缺点：对参数调节和核函数的选择敏感。
3
两分类问题
线性分割情形
第2类
许多决策边界可以分割这 些数据点出为两类
我们选取哪一个?
第1类
4
坏的决策边界的例子
第2类
第2类
第1类
第1类
5
好的决策边界: 间隔最大 Maximum Marginal 决策边界离两类数据应尽可能远 最大化间隔 m
第2类
第1类
m
6
1、数学模型描述：
7
行有效的计算
输入空间
f(·)
f( )
f( ) f( ) f( ) f( )
f(
) f(
) f(
f( )
) f(
f( )
) f(
)
f( ) f( ) f( )
f( )
f( )
特征空间 17
什么是核函数？ 核函数定义：核函数是一个对称函数，对所有的x , y ∈ X ，满足：
这里f(•) 是X到內积空间F的映射。
15
变量 z 恒大于零。 原始图中，红圈数据分布在原点附近 它们的 z 值比较小； 而星星数据则远离原点区域，它们具有较大的 z 值。
16
变换可能出现的问题
难以得到一个好的分类且计算开销大
SVM同时解决这两个问题
最小化 ||w||2 能得到好的分类 利用核函数技巧(kernel trick)可以进
右图中，将红蓝两类数据分隔开的直线称为 分隔超平面，在更高维数据集中，将数据分隔开 的对象称为超平面，也就是分类的决策边界。 右图中圆圈标记的数据点，也就是距离分隔超平面 最近的那些点，称为支持向量（support vector）。
2
支持向量机（SVM）
支持向量机理论：
✓SVM是从线性可分情况下的最优分类面发展而来。
1
什么是支持向量机？
支持向量机（Support Vector Machine）是一种非常流行的监督学习 算法，简称为SVM 。该算法可以针对线性和非线性的数据。它利用一种 非线性转换，将原始训练数据映射到高维空间上。在新的高维空间中， 它搜索线性最优分类超平面。或者说是搜索一两个不同类型之间分离的 决策边界。通过非线性映射将数据映射到一个足够高的维度上，来自两 个不同 类的数据总可以被一个超平面所分离。SVM使用支持向量(基本训 练元组)和边缘(由支持向量定义)来发现超平面。
支持向量机（SVM）
什么是支持向量机？
图A给出了一个线性可分数据集（可以在图中画一条直线将两组数据点 分开）
图B、C、D分别给出了一条分隔的直线，那么其中哪一条最好？是不是 有寻找最佳拟合直线的感觉？
支持向量机（SVM）就可以用来寻找此线性可分情形下的最优分类面。 （有人说SVM是最好的现成的分类器）
支持向量机的应用： 支持向量机已在人脸识别、文字识别、图像处理和时间序列预测等领域 获得了比较广泛的应用。
研究热点： 对支持向量机中算法的优化，包括解决SVM中二次规划求解问题 如何更好的构造基于SVM的多类分类器 如何提高SVM的归纳能力和分类速度 如何根据实际问题确定核函数
27
如何变换 ? 利用一个适当的变换f, 使分类变得容易些。 特征空间中的线性算子等价于输入空间中 的非线性算子。
14
左图是一个典型的线性不可分情形， 但是当我们把这两个类似于椭圆形的点映射到一个高维空间后，映射函 数为：
用这个函数可以将上图的平面中的点映射到一个三维空间（z1,z2,z3)，并 且对映射后的坐标加以旋转之后就可以得到一个线性可分的点集了。
2、支持向量机求解：
通过引入拉格朗日函数将上述最优化问题转化为其对偶问题，则可以得到
8
3、解的性质
9
4、几何解释
a5=0
a4=0
a9=0
第1类
第2类
a8=0.6
a10=0
a7=0 a2=0
a6=1.4
a1=0.8
a3=0
10
11
12
两分类问题
线性不可分的情形
13
关键思想: 为了解决非线性分割问题, 将 xi 变换到一个 高维空间。 输入空间: xi 所在的空间 特征空间: 变换后 f(xi) 的空间
核函数举例 d 阶多项式核： 具有宽度 s的径向基函数核：
相当接近于径向基函数神经网络 具有参数 k and q 的Sigmoid 核
18
核函数技巧(kernel trick)
核函数 K 与映射 f(.) 之间的关系是
作为核函数技巧这是已知的 在应用中, 我们指定K, 从而间接地确定 f(•) 以代替选取
f(•) 。
直观地, K (x,y) 表示我们对数据 x 和 y 之间相似性的一
种描述， 且来自我们的先验知识 。 为了f(•) 存在， K (x,y) 需要满足 Mercer 条件。
19
20
非线性SVM算法
将所有的内积改为核函数 训练算法: 线性的
非线性的
21
22
23
描述函数的值
第1类
第2类
第1类
12
45 6
24
支持向量机应用：人脸识别•25人脸源自别系统框架图26总结
支持向量机优缺点： 优点：SVM理论避开高维空间的复杂性，直接用內积函数即核函数，来解决决策问题。
同时SVM是基于小样本统计理论的基础上的，符合机器学习的目的 并且比神经网络具有更好的泛化推广能力。 缺点：对参数调节和核函数的选择敏感。
3
两分类问题
线性分割情形
第2类
许多决策边界可以分割这 些数据点出为两类
我们选取哪一个?
第1类
4
坏的决策边界的例子
第2类
第2类
第1类
第1类
5
好的决策边界: 间隔最大 Maximum Marginal 决策边界离两类数据应尽可能远 最大化间隔 m
第2类
第1类
m
6
1、数学模型描述：
7
行有效的计算
输入空间
f(·)
f( )
f( ) f( ) f( ) f( )
f(
) f(
) f(
f( )
) f(
f( )
) f(
)
f( ) f( ) f( )
f( )
f( )
特征空间 17
什么是核函数？ 核函数定义：核函数是一个对称函数，对所有的x , y ∈ X ，满足：
这里f(•) 是X到內积空间F的映射。
15
变量 z 恒大于零。 原始图中，红圈数据分布在原点附近 它们的 z 值比较小； 而星星数据则远离原点区域，它们具有较大的 z 值。
16
变换可能出现的问题
难以得到一个好的分类且计算开销大
SVM同时解决这两个问题
最小化 ||w||2 能得到好的分类 利用核函数技巧(kernel trick)可以进
右图中，将红蓝两类数据分隔开的直线称为 分隔超平面，在更高维数据集中，将数据分隔开 的对象称为超平面，也就是分类的决策边界。 右图中圆圈标记的数据点，也就是距离分隔超平面 最近的那些点，称为支持向量（support vector）。
2
支持向量机（SVM）
支持向量机理论：
✓SVM是从线性可分情况下的最优分类面发展而来。
1
什么是支持向量机？
支持向量机（Support Vector Machine）是一种非常流行的监督学习 算法，简称为SVM 。该算法可以针对线性和非线性的数据。它利用一种 非线性转换，将原始训练数据映射到高维空间上。在新的高维空间中， 它搜索线性最优分类超平面。或者说是搜索一两个不同类型之间分离的 决策边界。通过非线性映射将数据映射到一个足够高的维度上，来自两 个不同 类的数据总可以被一个超平面所分离。SVM使用支持向量(基本训 练元组)和边缘(由支持向量定义)来发现超平面。
支持向量机（SVM）
什么是支持向量机？
图A给出了一个线性可分数据集（可以在图中画一条直线将两组数据点 分开）
图B、C、D分别给出了一条分隔的直线，那么其中哪一条最好？是不是 有寻找最佳拟合直线的感觉？
支持向量机（SVM）就可以用来寻找此线性可分情形下的最优分类面。 （有人说SVM是最好的现成的分类器）
支持向量机的应用： 支持向量机已在人脸识别、文字识别、图像处理和时间序列预测等领域 获得了比较广泛的应用。
研究热点： 对支持向量机中算法的优化，包括解决SVM中二次规划求解问题 如何更好的构造基于SVM的多类分类器 如何提高SVM的归纳能力和分类速度 如何根据实际问题确定核函数
27