68_支持向量机课件

■ 先求 ai (i=1, …, 5) :
2021/3/13
29
The optimizationtoolboxofmatlab contains a quadratic programmingsolver
■ 利用 QP 求解 , 得到
■ a1=0, a2=2.5, a3=0, a4=7.333, a5=4.833 ■ 注意到确实满足约束条件
2021/3/13
39
几点说明
■ SVM 基本上是一个两分类器,修改 QP 公式, 以允许多类别分类。 ■ 常用的方法: 以不同的方式智能地将数据集分为两部分, 对每一种
分割方式用 SVM训练,多类别分类的结果, 由所有的SVM分类器的 输出经组合后得到 (多数规则) 。
■ “一对一”策略 这种方法对N 类训练数据两两组合,构建C2N = N (N - 1) /2个支持向量机。最后分类的时候采取“投票”的方式 决定分类结果。
■ 支持向量为 {x2=2, x4=5, x5=6}
■ 描述函数为
■ 确定b
当 x2, x4, x5 位于
上时, f(2)=
1 , f(5)=-1 , f(6)=1, 由此解得 b=9
2021/3/13
30Biblioteka 描述函数的值第1类
第2类
第1类
12
45 6
2021/3/13
31
§5 支持向量回归
一.最小二乘法
■ “ 一 对 其 余 ” 策 略 这种方法对N分类问题构建N个支持向量机, 每个支持向量机负责区分本类数据和非本类数据。最后结果由输 出离分界面距离w·x + b最大的那个支持向量机决定。
2021/3/13
40
软件
■ 关于 SVM 的实现可以在下列网址找到 ■ SVMLight 是最 的 SVM 软件之一 ■ SVM 的各种 Matlab toolbox 也是可利用的 ■ LIBSVM 可以进行多类别分类 ■ CSVM 用于SVM分类 ■ rSVM 用于SVM回归 ■ mySVM 用于SVM分类与回归 ■ M-SVM 用于SVM多类别分类
一. 两分类问题: 线性分割情形
第2 类
■ 许多决策边界可以分割这 些数据点出为两类
■ 我们选取哪一个?
第1 类
2021/3/13
12
坏的决策边界的例子
第2 类
第2 类
第1 类
2021/3/13
第1 类
13
好的决策边界: 间隔大 ■ 决策边界离两类数据应尽可能远
■ 最大化间隔 m
第2 类
第1 类
f( ) f( )
特征空间
23
■ 变换举例
定义核函数 K (x,y) 如下
考虑下列变换
■ 内积可由 K 计算, 不必通过映射 f(•)计算
2021/3/13
24
二. 核函数技巧
■ 核函数 K 与映射 f(.) 之间的关系是
■ 作为核函数技巧这是已知的
, ■ 在应用中, 我们指定K, 从而间接地确定 f(•) 以代替选取f(•) 。
则对偶问题由
max αW(α)=max α(minw,b Φ(w,b;α))
给出。由 minw,b Φ(w,b;α) 得
Φ/ b=0 ⇒ ∑ n i=1 αiyi=0 Φ/ w=0 ⇒ w=∑n i=1 αiyixi
2021/3/13
16
Letx(1) andx(-1) be twoS.V. Thenb = -1/2( w^Tx(1) + w^Tx(-1) )
非线性的
2021/3/13
27
■ 检测算法:
线性的
非线性的
■ 对于一个新数据z ,如果f ³0,则分到第1类;
2021/3/13
如果 f<0，则分到第2类。 28
H= 4 9 -25 -36
49
9 -25 -36 49 25 -81 -121 169 -81 289 441 -625 -121 441 676 -961
, i = 1, 2, ..., l ∊{ 土 1}
■ 对于(2-类) 分类, 建立一个函数:
: 表示函数的参数 使 得 f 能正确地分类未学习过的样本
第1 类
2021/3/13
第2 类
6
二.期望风险与实验风险
■ 期望风险最小化
其 中 x, y的联合概率P(x, y) 是未知的 ■ 实验风险最小化
169 -625 -961 1369
例题 设有 5个 1 维数据点:
x1=1, x2=2, x3=4, x4=5, x5=6, 其中1, 2, 6 为第1类,而4, 5 为
第2类 y1=1, y2=1, y3=-1, y4=-1, y5=1。
■ 利用 2 阶多项式核
■ K(x,y) = (xy+1)2 ■ C 取为 100
xr,xs > 0, yr= –1,ys=1 则
f(x)= sgn(<w * ,x> +b)
2021/3/13
18
三. 解的性质
■ 许多的 ai 为零 ■ w 只是少数数据的线性组合
■ 具有非零 ai 的 xi 称为支持向量 (SV) ■ 决策边界仅由SV确定 ■ 设 tj (j=1, ..., s) 为支持向量的指标,于是
■ 在 n 维空间中,超平面集合的VC维数等于n + 1 。
■ VC维数刻画了“可能近似正确”意义上的学习能力。
2021/3/13
8
例:VC维数
2021/3/13
9
2021/3/13
10
四. 结构风险最小化
VC 理论引入期望风险的边界, 它
依赖于实验风险与F的能力。
■ 这些边界的最小化导出结构风险最小化原理:实验风险与 VC 可信度之和 为最小
■ 直观地, K (x,y) 表示我们对数据 x 和 y 之间相似性的一种描述,且
来自我们的先验知识 。 ■ 为了f(•) 存在， K (x,y) 需要满足 Mercer 条件。
2021/3/13
25
Despite violatingMercer condition, the sigmoidkernelfunctioncanstillwork
■ 核函数举例 ■ d 阶多项式核 ■ 具有宽度 s的径向基函数核
■ 相当接近于径向基函数神经网络 ■ 具有参数 k and q 的Sigmoid 核
, ■ 对所有的k 和 q 它不满足 Mercer 条件
2021/3/13
26
三.非线性SVM算法
■ 将所有的内积改为核函数 ■ 训练算法: 线性的
f(x
•求 解:
)
i
2021/3/13
x
32
二. 线性支持向量回归 (SVR)
f(x )
+ 0 -
• 求解: • 约束:
2021/3/13
x
33
线性支持向量回归 (SVR)
f(x
• 最小化:
)
+ 0
- • 约束:
*
2021/3/13
x
34
Lagrange最优化
目标函数
约束条件
2021/3/13
■ 为了检测一个新数据 z ■ 计算 WTZ+ b ³ 0, 则 z 属于第一类;否则,属于第二类。
2021/3/13
如果
19
So, ifchangeinternalpoints, no effectonthe decisionboundary
四. 几何解释
a5=0
a4=0
a9=0
第1类
第2类
a8=0.6
35
回归公式
回归公式:
性质:
冗余性 全局的且唯一的 非线性推广
2021/3/13
36
三. 非线性支持向量回归
f(x)
f(x)
+
+
0
0
-
-
输入空间
x
2021/3/13
特征空间
(x)
37
回归公式
线性的:
非线性的: 一般的:
2021/3/13
38
核函数的类型
线性型: 多项式型:
径向基函数型:
指数径向基函数型:
于是得到对偶问题
■ 这是一个二次规划 (QP) 问题
■ a i 的全局最大值总可以求得 ■ W的计算
2021/3/13
17
解得α*=argmin α1/2∑n i=1∑n i=1 αi αjyiyj <xi,xj> –∑n k =1 αk w*=∑n i=1 αiyixi,
b *=–1/2<w * , xr+xs> 其中Xr 与xs满足
a10=0
a7=0 a2=0
a6=1.4
a1=0.8
a3=0
2021/3/13
20
§4 非线性支持向量机
一. 非线性分割问题
2021/3/13
21
XOR:x_1, x_2, andwe wantto transformto x_1^2, x_2^2, x_1x_2 It canalso be viewedas featureextractionfromthe featurevector x, but nowwe extract more featurethanthe number offeaturesinx.
■ 关键思想: 为了解决非线性分割问题, 将 xi 变换到一个高维空间。 ■ 输入空间: xi 所在的空间 ■ 特征空间: 变换后 f(xi) 的空间
■ 如何变换 ? ■ 利用一个适当的变换f, 使分类变得容易些。 ■ 特征空间中的线性算子等价于输入空间中的非线性 算子。
2021/3/13
22
■ 变换可能出现的问题
分类器。
■ Vapnik 等从1960年开始关于统计学习理论的研究。统 计学习理论是关于小样本的机器学习理论。
■ 1992年支持向量机首次被引入。1995年Vapnik发展了 支持向量机理论。支持向量机是基于统计学习理论的 一种实用的机器学习方法。
2021/3/13
3
二. SVM的发展
⒈ SVM理论的发展: 最小二乘支持向量机(LS – SVM) 多分类支持向量机(M-SVM) 支持向量回归(SVR) 支持向量聚类(SVC) ⒉ SVM与计算智能的融合: 神经网络+支持向量机 模糊逻辑+支持向量机 遗传算法+支持向量机 小波分析+支持向量机 主分量分析+支持向量机 粗糙集理论+支持向量机
其中 h 与VC 维数有关, 是能力概念的一种测度
■ 支持向量机是基于结构风险最小化原理构造的一种学习机
2021/3/13
11
Perceptronlearningrulecanbe used to findanydecisionboundarybetweenclass 1 and class 2
§3 线性支持向量机
2021/3/13
4
三. SVM的应用
数据与文本分类 系统建模及预测
模式识别(图像及语音识别,生物特征识 别) 异常检测(入侵检测,故障诊断) 时间序列预测
2021/3/13
5
§2 统计学习理论
一. 两分类问题
■ 给 定 l 个观测值:
, i = 1, 2, ..., l
∊Rn
■ 每个观测值与一个标记相连:
支持向量机
2021/3/13
1
内容提要
■ §1 引言 ■ §2 统计学习理论 ■ §3 线性支持向量机 ■ §4 非线性支持向量机 ■ §5 支持向量回归 ■ §6 支持向量聚类
2021/3/13
2
§1 引言
一. SVM(Support Vector Machine)的历史
■ 神经网络分类器,Bayes分类器等是基于大样本学习的
■ 难以得到一个好的分类且计算开销大
■ SVM同时解决这两个问题
■ 最小化 ||w||2 能得到好的分类 ■ 利用核函数技巧可以进行有效的计算
2021/3/13
输入空间
f(·)
f( )
f( )
f( ) f( ) f( ) f( )
f(
)f(
) f(
f( )
)
f( f( )
)f(
)
f( ) f( ) f( )
m
2021/3/13
14
二. 最优化问题 ■ 设 {x1, ..., xn} 为数据集, yi Î {1,-1} 为xi 的类标记
要求决策边界正确地分类所有的点
Þ
于是得到一个带有约束的优化问题
2021/3/13
15
将上述最优化问题转换成其对偶问题:
取Lagrange函数
Φ(w,b;α)=1/2 w 2 – ∑ n i=1 αi (yi[(w,xi)+b] –1)
2021/3/13
41
§6 支持向量聚类
一. 发展简介 ■ Vapnik (1995): 支持向量机 ■ Tax & Duin (1999): 利用SV 表示高维分
布的特征 ■ Scholkopf et al. (2001):利用SV计算封闭
数据点的轮廓线的集合 ■ Ben-Hur et al. (2001):利用SV系统地搜
实验风险是由在训练集上测得的平均误差所确定的
■ 如果训练样本的个数是有限的,则实验风险最小化的方法不保证 有高推广能力
2021/3/13
7
三. VC理论
VC (Vapnik-Chervonenkis)维数 ■ 分类函数 的集合F的VC维数
p=VCdim(F) 定义(Vapnik–Chervonenkis). 函数 的集合F的VC 维数是p, 当且仅当存在点集 {xi}pi=1 使得这些点能够被所有 2p 种可能 的分类方式分开,且不存在集合 {xi}qi=1 ( q > p )满足这一 性质。