《支持向量机原理》
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实用文档
2.3 最大间隔分类器
重新回到SVM的优化问题： 我们将约束条件改写为：
实用文档
2.3 最大间隔分类器
从KKT条件得知只有函数间隔是1（离超平面最近的
点）的线性约束式前面的系数 ，也就是说这些约
束式
，对于其他的不在线上的点( )，极值
不会在他们所在的范围内取得，因此前面的系数 .
首先求解
的最小值，对于固定的 ，
的最小值只与w和b有关。对w和b分别求偏导数。
实用文档
2.3 最大间隔分类器
得到： 代入后，结果如下： 由于最后一项是0，因此简化为
实用文档
2.3 最大间隔分类器
此时的拉格朗日函数只包含了变量。然而我们求出了 才能得到w和b。
接着是极大化的过程
实用文档
注意每一个约束式实际就是一个训练样本。
实用文档
2.3 最大间隔分类器
实线是最大间隔超平面，假设×号的是正例，圆圈的 是负例。在虚线上的点就是函数间隔是1的点，那么他 们前面的系数 ，其他点都是 。这三个点称作支 持向量。构造拉格朗日函数如下：
实用文档
2.3 最大间隔分类器
下面我们按照对偶问题的求解步骤来一步步进行，
形式1： 形式2： 形式3：
实用文档
2.2拉格朗日对偶之等式约束
问题：
目标函数是f(w)，通常解法是引入拉格朗日算子，这 里使用来表示β算子，得到拉格朗日公式为 ：
L是等式约束的个数。然后分别对w和β求偏导，使得 偏导数等于0，然后解出w和β。
实用文档
2.2拉格朗日对偶之不等式约束
问题：
个样本） 全局函数间隔： 在训练样本上分类正例和负例确信度最小那个函数间隔
实用文档
1.5 函数间隔与几何间隔
几何间隔：
全局几何间隔：
实用文档
二. 最大间隔分类器
2.1 二次规划原问题建立
2.2 拉格朗日对偶 2.2.1 等式约束 2.2.1 不等式约束
2.3 最大间隔分类器
实用文档
2.1 二次规划原问题建立
利用拉格朗日公式变换：百度文库
令 知
实用文档
2.2拉格朗日对偶之不等式约束
原来要求的min f(w)可以转换成
求了。
利用对偶求解:
D的意思是对偶，
将问题转化为先求拉格朗日关
于w的最小值，将α和β看作是固定值。之后在
求最大值的话：
实用文档
2.2拉格朗日对偶之不等式约束
下面解释在什么条件下两者会等价。假设f和g都是凸 函数，h是仿射的。并且存在w使得对于所有的i， 。在这种假设下，一定存在 使得是 原问题的解 ， 是对偶问题的解。还有另外， 满足库恩-塔 克条件（Karush-Kuhn-Tucker, KKT condition），该 条件如下：
同时将替换成w和b。以前的
，其中认为 。现在我们替换 为b，后面
替换为
（ 即 ）。
我们只需考虑 的正负问题，而不用关心g(z)，因此我 们这里将g(z)做一个简化，将其简单映射到y=-1和y=1上。 映射关系如下：
实用文档
1.5 函数间隔与几何间隔
定义函数间隔为：
x是特征，y是结果标签。i表示第i个样本。（这是单
实用文档
1.3 logistic回归
形式化表示：h(x)g(Tx)1e1Tx
假设函数为： x 是 n 维特征向量，函数 g 就是 logistic 函数。 其中 g(z) 11ez 图像如图所示： 可以看到，将无穷映 射到了(0,1)
实用文档
1.4 形式化表示
结果标签是y=-1,y=1，替换logistic回归中的y=0和y=1。
支持向量机
2014-2-21
实用文档
本讲主要内容
一. 支持向量机 二. 最大间隔分类器 三. 核函数 四.软间隔优化 五.支持向量机总结
实用文档
一. SVM— warming up
1.1 SVM概念简介 1.2 超平面 1.3 logistic回归 1.4 形式化表示 1.5 函数间隔与几何间隔
2.3 最大间隔分类器
前面提到过对偶问题和原问题满足的几个条件，首先 由于目标函数和线性约束都是凸函数，而且这里不存 在等式约束h。存在w使得对于所有的i， 因此， 一定存在 使得 是原问题的解，是对偶问题的解。 在这里，求 就是 求了。
如果求出了 ， 原问题的解）。然后
根据即可求出w（也是 ，
实用文档
1.2 超平面
超平面H是从n维空间到n-1维空间的一 个映射子空间。
设d是n维欧式空间R中的一个非零向量， a是实数，则R中满足条件dX=a的点X所组 成的集合称为R中的一张超平面。
实用文档
1.3 logistic回归
Logistic 回归目的是从特征学习出一个 0/1 分类模型，而这个模型是将特性的 线性组合作为自变量，由于自变量的取 值范围是负无穷到正无穷。因此，使用 logistic 函数（或称作 sigmoid 函数） 将自变量映射到(0,1)上，映射后的值被 认为是属于 y=1 的概率。
建立一个R2RK3的x,非y线性xty映2射
输入空间 计算R3中2个矢量的内积：
xtyKx,y
特征空间
定义核函数：
，则：
实用文档
3.1 核函数简介
上个例子说明：特征空间中两个矢量之间的内积可以 通过定义输入空间中的核函数直接计算得到。
这就启示我们可以不必定义非线性映射Φ而直接在输 入空间中定义核函数K来完成非线性映射。
实用文档
1.1 SVM概念简介
支持向量机（SVM）是 90 年代中期发展起来的基于统 计学习理论的一种机器学习方法，通过寻求结构化风 险最小来提高学习机泛化能力，实现经验风险和置信 范围的最小化，从而达到在统计样本量较少的情况下， 亦能获得良好统计规律的目的。
通俗来讲，它是一种二类分类模型，其基本模型定义 为特征空间上的间隔最大的线性分类器，即支持向量 机的学习策略便是间隔最大化，最终可转化为一个凸 二次规划问题的求解。
即可求出b。即离超平面最近的正的函数间隔要等于 离超平面最近的负的函数间隔。
实用文档
三. 核函数
3.1 核函数简介 3.2 核函数有效性判定
实用文档
3.1 核函数简介
:x1,x2t x1 2,
t
2x1x2,x2 2
x t y x 1 2 ,2 x 1 x 2 ,x 2 2y 1 2 ,2 y 1 y 2 ,y 2 2 t x t y 2
2.3 最大间隔分类器
重新回到SVM的优化问题： 我们将约束条件改写为：
实用文档
2.3 最大间隔分类器
从KKT条件得知只有函数间隔是1（离超平面最近的
点）的线性约束式前面的系数 ，也就是说这些约
束式
，对于其他的不在线上的点( )，极值
不会在他们所在的范围内取得，因此前面的系数 .
首先求解
的最小值，对于固定的 ，
的最小值只与w和b有关。对w和b分别求偏导数。
实用文档
2.3 最大间隔分类器
得到： 代入后，结果如下： 由于最后一项是0，因此简化为
实用文档
2.3 最大间隔分类器
此时的拉格朗日函数只包含了变量。然而我们求出了 才能得到w和b。
接着是极大化的过程
实用文档
注意每一个约束式实际就是一个训练样本。
实用文档
2.3 最大间隔分类器
实线是最大间隔超平面，假设×号的是正例，圆圈的 是负例。在虚线上的点就是函数间隔是1的点，那么他 们前面的系数 ，其他点都是 。这三个点称作支 持向量。构造拉格朗日函数如下：
实用文档
2.3 最大间隔分类器
下面我们按照对偶问题的求解步骤来一步步进行，
形式1： 形式2： 形式3：
实用文档
2.2拉格朗日对偶之等式约束
问题：
目标函数是f(w)，通常解法是引入拉格朗日算子，这 里使用来表示β算子，得到拉格朗日公式为 ：
L是等式约束的个数。然后分别对w和β求偏导，使得 偏导数等于0，然后解出w和β。
实用文档
2.2拉格朗日对偶之不等式约束
问题：
个样本） 全局函数间隔： 在训练样本上分类正例和负例确信度最小那个函数间隔
实用文档
1.5 函数间隔与几何间隔
几何间隔：
全局几何间隔：
实用文档
二. 最大间隔分类器
2.1 二次规划原问题建立
2.2 拉格朗日对偶 2.2.1 等式约束 2.2.1 不等式约束
2.3 最大间隔分类器
实用文档
2.1 二次规划原问题建立
利用拉格朗日公式变换：百度文库
令 知
实用文档
2.2拉格朗日对偶之不等式约束
原来要求的min f(w)可以转换成
求了。
利用对偶求解:
D的意思是对偶，
将问题转化为先求拉格朗日关
于w的最小值，将α和β看作是固定值。之后在
求最大值的话：
实用文档
2.2拉格朗日对偶之不等式约束
下面解释在什么条件下两者会等价。假设f和g都是凸 函数，h是仿射的。并且存在w使得对于所有的i， 。在这种假设下，一定存在 使得是 原问题的解 ， 是对偶问题的解。还有另外， 满足库恩-塔 克条件（Karush-Kuhn-Tucker, KKT condition），该 条件如下：
同时将替换成w和b。以前的
，其中认为 。现在我们替换 为b，后面
替换为
（ 即 ）。
我们只需考虑 的正负问题，而不用关心g(z)，因此我 们这里将g(z)做一个简化，将其简单映射到y=-1和y=1上。 映射关系如下：
实用文档
1.5 函数间隔与几何间隔
定义函数间隔为：
x是特征，y是结果标签。i表示第i个样本。（这是单
实用文档
1.3 logistic回归
形式化表示：h(x)g(Tx)1e1Tx
假设函数为： x 是 n 维特征向量，函数 g 就是 logistic 函数。 其中 g(z) 11ez 图像如图所示： 可以看到，将无穷映 射到了(0,1)
实用文档
1.4 形式化表示
结果标签是y=-1,y=1，替换logistic回归中的y=0和y=1。
支持向量机
2014-2-21
实用文档
本讲主要内容
一. 支持向量机 二. 最大间隔分类器 三. 核函数 四.软间隔优化 五.支持向量机总结
实用文档
一. SVM— warming up
1.1 SVM概念简介 1.2 超平面 1.3 logistic回归 1.4 形式化表示 1.5 函数间隔与几何间隔
2.3 最大间隔分类器
前面提到过对偶问题和原问题满足的几个条件，首先 由于目标函数和线性约束都是凸函数，而且这里不存 在等式约束h。存在w使得对于所有的i， 因此， 一定存在 使得 是原问题的解，是对偶问题的解。 在这里，求 就是 求了。
如果求出了 ， 原问题的解）。然后
根据即可求出w（也是 ，
实用文档
1.2 超平面
超平面H是从n维空间到n-1维空间的一 个映射子空间。
设d是n维欧式空间R中的一个非零向量， a是实数，则R中满足条件dX=a的点X所组 成的集合称为R中的一张超平面。
实用文档
1.3 logistic回归
Logistic 回归目的是从特征学习出一个 0/1 分类模型，而这个模型是将特性的 线性组合作为自变量，由于自变量的取 值范围是负无穷到正无穷。因此，使用 logistic 函数（或称作 sigmoid 函数） 将自变量映射到(0,1)上，映射后的值被 认为是属于 y=1 的概率。
建立一个R2RK3的x,非y线性xty映2射
输入空间 计算R3中2个矢量的内积：
xtyKx,y
特征空间
定义核函数：
，则：
实用文档
3.1 核函数简介
上个例子说明：特征空间中两个矢量之间的内积可以 通过定义输入空间中的核函数直接计算得到。
这就启示我们可以不必定义非线性映射Φ而直接在输 入空间中定义核函数K来完成非线性映射。
实用文档
1.1 SVM概念简介
支持向量机（SVM）是 90 年代中期发展起来的基于统 计学习理论的一种机器学习方法，通过寻求结构化风 险最小来提高学习机泛化能力，实现经验风险和置信 范围的最小化，从而达到在统计样本量较少的情况下， 亦能获得良好统计规律的目的。
通俗来讲，它是一种二类分类模型，其基本模型定义 为特征空间上的间隔最大的线性分类器，即支持向量 机的学习策略便是间隔最大化，最终可转化为一个凸 二次规划问题的求解。
即可求出b。即离超平面最近的正的函数间隔要等于 离超平面最近的负的函数间隔。
实用文档
三. 核函数
3.1 核函数简介 3.2 核函数有效性判定
实用文档
3.1 核函数简介
:x1,x2t x1 2,
t
2x1x2,x2 2
x t y x 1 2 ,2 x 1 x 2 ,x 2 2y 1 2 ,2 y 1 y 2 ,y 2 2 t x t y 2