SVM分类与回归简介ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8
f (x, w,b) sign(w.x b)
+1 -1
如何进行数 据分类
9
+1
f (x, w,b) sign(w.x b)
-1
如何进行数 据分类
10
f (x, w,b) sign(w.x b)
+1 -1
如何进行数 据分类
11
f (x, w,b) sign(w.x b)
+1 -1
1 2
w
2
l
i ( yi
(( xi
w) b) 1)
i1
19
Lagrange函数
L(w,b, )
1 2
w
2
l
i ( yi
((xi
w) b) 1)
i1
令其偏导数为0
L(w,b, ) 0 , L(w,b,) 0
b
w
得到
l
ai yi 0
i1
l
w i yi xi i1
20
此时分类间隔等于
2 w
使最大间隔最大等价于使 w 2 最小
18
最优分类面问题可以表示成约束优化问题
◦ Minimize ◦ Subject to
(w) 1 w 2 1 (w w)
2
2
yi ((w xi ) b) 1,i 1,...,l
定义Lagrange函数
L(w, b, )
其就是一种最简单 的支持向量机(SVM) (称为线性支持向量 机，即LSVM)
17
假定训练数据 (x1, y1),...,(xl , yl ), x Rn, y {1, 1} 可以被一个超平面分开
(w.x) b 0, w RN ,b R
我们进行正归化
yi ((w xi ) b) 1,i 1,..., l
因此该问题的求解可转化为一个标准的二次优化问 题，通过对该问题的求解即可完成支持向量的求解
l
l
目标函数：min
:
J ( )
1 2
i j yi y j (xi x j ) i
i, j1
i 1
l
s.t i 0, i 1,...,l, and i yi 0 i 1
l
决策函数：f (x) sgn( yii (x xi ) b) i 1
l
w i yi xi i 1
b maxi:yi 1 w*T xi mini:yi 1 w*T xi 2
6
支持向量机（Support Vector Machine, SVM）
1963年，Vapnik在解决模式识别问题时提出了支持向量方 法,这种方法从训练集中选择一组特征子集,使得对特征子 集的划分等价于对整个数据集的划分,这组特征子集就被 称为支持向量(SV)。
1971年，Kimeldorf提出使用线性不等约束重新构造SV的 核空间,解决了一部分线性不可分问题。
我们把指示函数给出的答案与训练器输出不同的情 况叫做分类错误，这样学习问题就变成了寻找使损 失函数最小的问题。
5
回归估计 令训练器的输出y为实数值，并令 为实数集， f (x,a),a 回归函数就是在损失函数最小化的函数估计
L( y, f (x, a)) ( y f (x, a))2
密度估计 密度估计就是从密度函数集中估计密度函数的问题
2013年7月
1
1 机器学习问题简介 2 支持向量机-线性分类器 33 松弛变量、核函数与特征映射 4 支持向量回归机 5 总结
2
什么是机器学习？ 机器学习(Machine Learning)是研究计算机怎样模拟或
实现人类的学习行为，以获取新的知识或技能，重新组 织已有的知识结构使之不断改善自身的性能。它是人工 智能的核 心，是使计算机具有智能的根本途径，其应 用遍及人工智能的各个领域。
其就是一种最简单 的支持向量机(SVM) (称为线性支持向 量机，即LSVM)
15
+1 -1
支持向量 (Support Vectors) :是 那些距离超平 面最近的点。
具有最大间隔的线 性分类器叫做最大 间隔线性分类器。
其就是一种最简单 的支持向量机(SVM) (称为线性支持向 量机，即LSVM)
1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。 1995年，Vapnik正式提出统计学习理论。
7
SVM从线性可分情况下的最优分类面发展而来。
最优分类面就是要求分类线不但能将两类正确分 开(训练错误率为0),且使分类间隔最大。
SVM考虑寻找一个满足分类要求的超平面,并且使 训练集中的点距离分类面尽可能的远,也就是寻找 一个分类面使它两侧的空白区域(margin)最大。
如何进行数 据分类
12
+1 -1
如何选择最优 分类面？
13
f (x, w,b) sign(w.x b)
+1 -1
线性分类器的间隔 （ margin）：到 超平面最近的样本 与此超平面之间的 距离。
14
f (x, w,b) sign(w.x b)
+1
-1
具有最大间隔的线
性分类器叫做最大
间隔线性分类器。
16
+1 -1
支持向量(Support Vectors) :是那些距 离超平面最近的点。
1. 直观上感觉很好. 2. 学习得到的f(线x,性w,分b)类=器s.i其gn对(w未. 知x 样- b本)的预
测能力与分类器间隔有如下关系：
具有Hale Waihona Puke Baidu大间隔的线
R(
)
Remp
(性 )分 类(器叫1 做)最大 间隔线性m a分rg类in 器。
R() L(y, f (x,))dP(x, y)
其中 P(x, y) 是未知的,对于不同类型的机器学习问题有不 同形式的损失函数。
4
模式识别
令训练器的输出y只有两种取值 y {0,1}，并令 f (x,a),a
为指示函数集合（指示函数只有0和1两种取 值），考虑下面的损失函数：
0 若y f (x, a) L( y, f (x, a)) 1 若y f (x, a)
Alpaydin（2004）同时提出自己对机器学习的定义，“ 机器学习是用数据或以往的经验，以此优化计算机程序 的性能标准。
一个有趣的例子
3
机器学习就是从给定的函数集f(x,)(是参数)中,选择出
能够最好地逼近训练器响应的函数。 机器学习的目的可以形式化地表示为：根据n个独立同分
布的观测样本 (x1, y1), (x2, y2 ),L , (xn , y，n ) 在一组函数 { f (x,)}中求出一个最优函数{ f (x,0)}对训练器 的响应进行估计,使期望风险最小
f (x, w,b) sign(w.x b)
+1 -1
如何进行数 据分类
9
+1
f (x, w,b) sign(w.x b)
-1
如何进行数 据分类
10
f (x, w,b) sign(w.x b)
+1 -1
如何进行数 据分类
11
f (x, w,b) sign(w.x b)
+1 -1
1 2
w
2
l
i ( yi
(( xi
w) b) 1)
i1
19
Lagrange函数
L(w,b, )
1 2
w
2
l
i ( yi
((xi
w) b) 1)
i1
令其偏导数为0
L(w,b, ) 0 , L(w,b,) 0
b
w
得到
l
ai yi 0
i1
l
w i yi xi i1
20
此时分类间隔等于
2 w
使最大间隔最大等价于使 w 2 最小
18
最优分类面问题可以表示成约束优化问题
◦ Minimize ◦ Subject to
(w) 1 w 2 1 (w w)
2
2
yi ((w xi ) b) 1,i 1,...,l
定义Lagrange函数
L(w, b, )
其就是一种最简单 的支持向量机(SVM) (称为线性支持向量 机，即LSVM)
17
假定训练数据 (x1, y1),...,(xl , yl ), x Rn, y {1, 1} 可以被一个超平面分开
(w.x) b 0, w RN ,b R
我们进行正归化
yi ((w xi ) b) 1,i 1,..., l
因此该问题的求解可转化为一个标准的二次优化问 题，通过对该问题的求解即可完成支持向量的求解
l
l
目标函数：min
:
J ( )
1 2
i j yi y j (xi x j ) i
i, j1
i 1
l
s.t i 0, i 1,...,l, and i yi 0 i 1
l
决策函数：f (x) sgn( yii (x xi ) b) i 1
l
w i yi xi i 1
b maxi:yi 1 w*T xi mini:yi 1 w*T xi 2
6
支持向量机（Support Vector Machine, SVM）
1963年，Vapnik在解决模式识别问题时提出了支持向量方 法,这种方法从训练集中选择一组特征子集,使得对特征子 集的划分等价于对整个数据集的划分,这组特征子集就被 称为支持向量(SV)。
1971年，Kimeldorf提出使用线性不等约束重新构造SV的 核空间,解决了一部分线性不可分问题。
我们把指示函数给出的答案与训练器输出不同的情 况叫做分类错误，这样学习问题就变成了寻找使损 失函数最小的问题。
5
回归估计 令训练器的输出y为实数值，并令 为实数集， f (x,a),a 回归函数就是在损失函数最小化的函数估计
L( y, f (x, a)) ( y f (x, a))2
密度估计 密度估计就是从密度函数集中估计密度函数的问题
2013年7月
1
1 机器学习问题简介 2 支持向量机-线性分类器 33 松弛变量、核函数与特征映射 4 支持向量回归机 5 总结
2
什么是机器学习？ 机器学习(Machine Learning)是研究计算机怎样模拟或
实现人类的学习行为，以获取新的知识或技能，重新组 织已有的知识结构使之不断改善自身的性能。它是人工 智能的核 心，是使计算机具有智能的根本途径，其应 用遍及人工智能的各个领域。
其就是一种最简单 的支持向量机(SVM) (称为线性支持向 量机，即LSVM)
15
+1 -1
支持向量 (Support Vectors) :是 那些距离超平 面最近的点。
具有最大间隔的线 性分类器叫做最大 间隔线性分类器。
其就是一种最简单 的支持向量机(SVM) (称为线性支持向 量机，即LSVM)
1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。 1995年，Vapnik正式提出统计学习理论。
7
SVM从线性可分情况下的最优分类面发展而来。
最优分类面就是要求分类线不但能将两类正确分 开(训练错误率为0),且使分类间隔最大。
SVM考虑寻找一个满足分类要求的超平面,并且使 训练集中的点距离分类面尽可能的远,也就是寻找 一个分类面使它两侧的空白区域(margin)最大。
如何进行数 据分类
12
+1 -1
如何选择最优 分类面？
13
f (x, w,b) sign(w.x b)
+1 -1
线性分类器的间隔 （ margin）：到 超平面最近的样本 与此超平面之间的 距离。
14
f (x, w,b) sign(w.x b)
+1
-1
具有最大间隔的线
性分类器叫做最大
间隔线性分类器。
16
+1 -1
支持向量(Support Vectors) :是那些距 离超平面最近的点。
1. 直观上感觉很好. 2. 学习得到的f(线x,性w,分b)类=器s.i其gn对(w未. 知x 样- b本)的预
测能力与分类器间隔有如下关系：
具有Hale Waihona Puke Baidu大间隔的线
R(
)
Remp
(性 )分 类(器叫1 做)最大 间隔线性m a分rg类in 器。
R() L(y, f (x,))dP(x, y)
其中 P(x, y) 是未知的,对于不同类型的机器学习问题有不 同形式的损失函数。
4
模式识别
令训练器的输出y只有两种取值 y {0,1}，并令 f (x,a),a
为指示函数集合（指示函数只有0和1两种取 值），考虑下面的损失函数：
0 若y f (x, a) L( y, f (x, a)) 1 若y f (x, a)
Alpaydin（2004）同时提出自己对机器学习的定义，“ 机器学习是用数据或以往的经验，以此优化计算机程序 的性能标准。
一个有趣的例子
3
机器学习就是从给定的函数集f(x,)(是参数)中,选择出
能够最好地逼近训练器响应的函数。 机器学习的目的可以形式化地表示为：根据n个独立同分
布的观测样本 (x1, y1), (x2, y2 ),L , (xn , y，n ) 在一组函数 { f (x,)}中求出一个最优函数{ f (x,0)}对训练器 的响应进行估计,使期望风险最小