svm支持向量机课件

从核函数中构造
k ( x, z) f ( x) f ( z)
从特征中构造
从相似性度量中构造
21
k ( x, z) x Bz
T
3.3 核函数的可分性
定理2：样本点D在核函数k(x,y)导出的特征映射下线性 可分的充要条件是，下列方程组不存在非负解：
H 1 X (1,1,,1)T
其中，
i
15
其中 i 通过求解如下的优化问题得到：
1 l max W ( ) i i j yi y j ( xi ), ( x j ) 2 i , j 1 i 1 1 l i i j yi y j k ( xi , x j ) 2 i , j 1 i 1
3
svcoutput(trnx,trny,testx,’linear’,alph a,bias);
第四讲 SVM For Nonlinear Problems
求解非线性问题的SVM
4
内容提要
1.如何解决少量非线性可分样本？
2.如何解决大量非线性可分样本？ 3.核函数方法（Kernel Trick）
f ( x)
iSV
y
i
i
x, xi b
假设经过某种非线性特征映射后原来的非线性可分问题可以 通过线性SVM来解决，则在特征空间中的判别函数可以表示为：
f ( x)
iSV
y
i i
i
( x ), ( xi ) b
i
iSV
y k ( x, x ) b
30
3.5 核函数方法的应用示例：PCA PCA的作用：发现数据 分布的主要方向 PCA的常用功能： • 特征降维 • 数据压缩 • 去除噪声
2
前情提要(续2) 3.线性支持向量机的编程实现：
1 l max W ( ) i i j yi y j xi , x j 2 i , j 1 i 1
l
f ( x)
iSV
y
i
i
x, xi b
s.t.

i 1
l
i
yi 0
Matlab *nsv alpha bias+=svc(trnx,trny,’linear’); C svm_model * svm_train(svm_problem *prob, svm_parameter *param) svm_predict(svm_model *model, svm_node *x)
实验结果： 采用不同的核函数，Tyroid疾病诊断数 据的分类正确率与相似度之间的关系
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 Correct Rate Similarity Measure
1 ：线性核函数； 2,3：RBF核函数，半径参数分
别为2、1；
4,5：eRBF核函数，半径参数 分别为2、1
1 H 1 hij nn 1 , hij k ( xi , x j ) yi y j yi y j 1
22
3.3 核函数的可分性
推论1：当 rank ( H 0 ) rank ( H 1 ) 时，样本点线性可分。 其中，
H h
0
0 ij nn

, h k ( xi , x j ) yi y j yi y j
4.SVM背后的统计学习理论
5
1. 线性SVM求解含少量非线性可分样本的思想 基本思想：通过训练误差 和类间宽度之间的权衡， 得到一个最优超平面。
l 1 优化目标： min ( w, b; 1 ,L l ) w, w C ( i ) 2 i 1
约束条件： yi [ w, xi b] 1 i
前情提要
1.对线性支持向量机的小结
支持向量机的创新之一在于将分类面的求
解看作是一个二次规划问题 支持向量机的创新之二在于揭示了对分类
起关键作用的只是一部分训练样本，即支持
向量
1
前情提要(续1) 2.线性支持向量机的数学模型：
f ( x)
iSV
y
i
i
x, xi b
其中 i 通过求解如下的优化问题得到：
l
s.t.
y
l
判别函数：
f ( x) sgn(
i 1
i
i
0
i 0
样本之间的内积
支持向量

i* yi xi , x b* )
结
论：
构建支持向量机只需要知道任意两个样本之 间的内积定义，无需知道样本点自身的特征表示
14
2.2 线性SVM通过核函数扩展为非线性SVM
线性SVM:
l l
s.t.
y
i 1 i
l
i
0
利用核函数将非线性问题转化为线性问题 的手段和方法称之为核函数方法。
16
• 例：XOR问题中我们构造了一个非线性映 射实现了特征的升维：
x ( x1 , x2 ) ( x)
2 ( x) (1 ( x), 2 ( x), 3 ( x)) ( x12 , x2 , 2 x1 x2 )
是半正定的。
n i , j 1
•常用的核函数：
k ( xi , x j ) (1 xi x j )
k ( xi , x j ) exp( xi x j
2
d
多项式核函数
/ 2 2 )
高斯核函数
sigmoid核函数 20
k ( xi , x j ) tanh(k x, xi )
A, B S ( A, B) A, A B, B
25
例1：核函数的选择 • 草案：通过求解下面的优化问题进行核函数参 数的选择：
max

S ( K ( ), K *)
1 1 1 1
问题：如果K()如下所示：
它是一个糟糕的Gram矩阵。因为它把所有的训练样本均看作 是同一类样本 。而它会使目标函数取到比较大的值！
(0, 0, 0) (1,1, 2) (0,1, 0) (1, 0, 0)
( x) (1 ( x), 2 ( x), 3 ( x)) ( x12 , x22 , 2 x1x2 )
11
x ( x1 , x2 )
• 例2：物种分类问题
12
寻找特征映射Ф所面临的问题：
0 ij
推论2： 对任意给定的训练样本，如果选用RBF核函 数 ，则当宽度参数 充分小时， 训练样本总是线性 可分的。
23
3.4 如何选择核函数
问题1： 何谓一个好的核函数？ 好的核函数能够真实反映样本间的远近关系。
问题2： 如何判断核函数是否真实的反映的样本间的
远近关系？ 比较难！但是初步判断核函数是否真实反映了训 练样本之间的远近关系还是可能的。
特征空间中的内积运算的充分必要条件是，对于任意 2 有 的 ( x) 0 ( x)dx 且
K (x, x )( x) ( x ) dxdx 0
19
推论 令X是有限输入空间，K(x , z)是X上的对称函数。
那么K(x , z)是核函数的充要条件是矩阵：
K (K ( xi , x j ))
1 min ( w, b) w, w 2
1 l max W ( ) i i j yi y j xi , x j 2 i , j 1 i 1
l
s.t.
yi ( w, xi b) 1
i 1, 2,L , l
s.t.

i 1
l
i
yi 0
当线性支持向量机划分样本会产生过 多训练误差时，需要考虑使用非线性分类 面对两类样本进行划分。
9
2.1 寻找非线性问题的三种思路
思路1:原空间法 在原空间中直接求解非线性问题
10

思路2 :特征空间法
将非线性问题的求解转换成另一个空间 中的线性问题求解
• 例1：XOR问题
(0, 0) (1,1) (0,1) (1, 0)
3.2 核函数的构造
令K1和K2是X*X上的核，f(∙)是X上的一个实值函数。B 是一个对称半正定矩阵。那么下面的函数是核函数：
k ( x, z) K1 ( x, z) K2 ( x, z)
k ( x, z) K1 ( x, z)
k ( x, z) K1 ( x, z) K2 ( x, z)
1. 特征映射Ф的确定往往需要相当高的技巧和相
当专业的领域知识； 2. 特征映射Ф的计算可能会相当复杂； 3. 特征映射Ф往往是一个低维向高维映射的过程，
这个映射过程经常面临维数灾难。
13
思路3. 核函数方法 构建到特征空间的隐式映射
1 l 优化问题： max W ( ) i i j yi y j xi , x j 2 i , j 1 i 1
例1：用于RBF核函数半径参数的选择
实验结果：
1
采用RBF核函数， 随着半径参数的
0.9 Correct Rate Similarity Measure 0.8 0.7 0.6
变化， Thyroid
数据分类正确率
0.5 0.4 0.3
与相似度之间的
关系 。
0.2
0
0.5
1
1.5
2
2.5
3
3.5
例1：用于核函类型的选择
i 0 f ( xi ) 1
1类样本：位于分类间隔之外
1类样本 2类样本

2类样本：支持向量
0 i C