支持向量机及其在小样本分类和回归中的应用

主要内容
❖ SVM的理论基础 ❖ SVM理论 ❖ SVM算法优化 ❖ SVM逼近效果模拟 ❖ SVM算法改进
理学院 信息与计算科学
SVM的理论基础
❖ 传统的统计模式识别方法只有在样本趋向无穷大时，其性 能才有理论的保证。
❖ Vladimir N.Vapnik等人早在20世纪60年代就开始研究有限 样本情况下的机器学习问题，在90年代形成了统计学习理 论。
i, i
[0,
C
]
理学院 信息与计算科学
SVM理论的的优势
❖ 支持向量机是专门针对有限样本情况的，其 目标是得到现有样本信息下的最优解而不仅 仅是样本数趋于无穷大时的最优值。
❖ 由于SVM 的求解最后转化成凸二次规划问 题的求解，因此SVM 的解是全局唯一的最 优解.
❖ SVM把计算量集中到输入空间，避免了维数 灾难.
使约束条i 件为： ❖优化问题： min
w,b,
yi ((wgxi ) b) 1 i
1
2
l
w 2 C
i
i 1
s.t. yi ((wgxi ) b) 1 i
❖ 转换为二次优化问题： Lagrange方程：
L(w,b, r) 1
2
l
l
w 2 C i i ( yi (wgxi ) b 1 i )
最优化问题和判别面
❖ 这样可以得到一个最大间隔思想：
min1 w 2 2
s.tyi ((w xi ) b) 1,i 1,
, l.
❖判别面：由 (w*,b*)得到决策函数
f (x) sgn((w*gx) b*)
如右图所示：
理学院 信息与计算科学
广义最优分类面
❖为了能够有更好的分类效果，引入松弛变量 i
❖ 通过上式得到对偶优化问题：
min
l
(i
i, j1
i*)(
j
* j
)
xi
,
xj
l
i 1
i (
yi )
l i 1
i (
yi )
s.t
l i 1
(i
* i
)
0
i,
* i
[0,
C
]
❖ 通过求解可以得到
'
[ l
',
* l
']
❖通过求解发现在 -不灵敏区域外的点的对应 不为零，i而区域内的点的对应 i 为零。
其中：
，
，
理学院 信息与计算科学
支持向量机的优化
回归支持向量机的优化 ❖
i 1
i 1
理学院 信息与计算科学
广义最优面的求解
❖ 修正目标为对偶函数为：
maxW (
l i 1
i
1 2
l i 1
yi y ji j (xi
xj)
❖ 对应KKT条件：
i[ yi ((wgxi ) b) 1 i ] 0
i (i C) 0
❖确定最优解： ,ggg l )T
❖ 决策函数：
理学院 信息与计算科学
支持向量机的优化
❖ 分类支持向量机的优化： ( ggg l ) '
Kl*l
设参数
，核矩阵表示为 ，
则二次规划为：
maxe
1
2
s.t y ' 0 Ce
Hi, j yi y j k (xi , x j ) e (1,1,ggg,1)l*l '
y ' ( y1, y2,ggg, yl ) 'Biblioteka i ii ,i* 0
❖ 转化为二次规划问题，建立Lagrange方程：
l(w,i ,i*)
1 2
l
l
w 2 C (i i*) i ( i yi w, xi b)
i 1
i 1
l
l
i ( i yi w, xi b) (ii i*i*)
i 1
i 1
理学院 信息与计算科学
f
❖惩罚函数采用的是 -不灵敏区域 ，定义为：
)
L( xi
,
yi
)
0, ) f
f (xi ) (xi )
yi
yi
, 其他
理学院 信息与计算科学
❖ 因此用于函数逼近的支持向量机表示为：
min1 2
l
w 2 C (i i*)
i 1
s.t
ywi , xi
w, xi b b yi
理学院 信息与计算科学
非线性最优分类面
我们用非线形变换 (xi)来代替xi ，其中 K (xi gx j ) ((xi ), (x j )) 为核函数。
则有对偶问题转换为：
max
W ()
l i 1
i
1 2
l i 1
yi y ji j K (xi gx j )
l
yii 0
i 1
0 i C
❖训练点：T {(x1, y1),ggg, (xl , yl )} (x y)l
其中：xi x Rn 是输入指标向量，yi y {1, 1} 是输出指标
❖最优分类面：比如训练点如图所示：
这样可以得到一个两个边界 分类直线（分类面）和一个 最优分类线（分类面）,两 条边界直线的距离为
理学院 信2息与计算科学 w
❖ 统计学习理论（STL）研究有限样本情况下的机器学习问题。 SVM的理论基础正是统计学习理论。
❖ Vapnik 提出的支持向量机（Support Vector Machine, SVM）是一种基于结构风险最小化准则的学习方法，其推 广能力明显优于一些传统的学习方法。
理学院 信息与计算科学
SVM理论
理学院 信息与计算科学
非线性的函数逼近
x (x)
❖ 同样用非线性变换 特征空间。
，将输入空间映射成高维
❖ 引入核函数，变换后的最优二次规划变换为 ：
min
l
(i
i, j1
i* )(
j
* j
)k
(
xi
,
xj)
l
i1
i (
yi )
l i1
i (
yi )
s.t
l i1
(i
* i
)
0
*
理学院 信息与计算科学
支持向量机在回归中的理论
❖ 函数逼近问题，即是存在一个未知函数 ：
要求函数 y f (x), x Rn, y R
) f : Rn R
,使得函数和函数之间
的差距为：R(
f
,
) f
)
L(
f
,
) f )dx
由于函数 f 的未知，我们只能依靠采集得到的样本
来求取 )
(x1, y1), (x2 , y2 ),ggg, (xr , yr ), x i Rn , yi R
l
f (x) sgn( i yi (xi gx) b*)
理学院 信i息1与计算科学
支持向量
•而由分上划式超：平求面得仅的依赖*与中的i每不一为个零分的量训练i点与(x一i, y个i ) ，训而练与点对对应应于，
为零的训练点无关，我们称不为零的训练点的输入为支持向量 （SV），而机的意思取之机器学习理论，指算法。 •以上的理论主要是讨论的线性可分的情况，下面本文介绍非 线性可分的情况，其主要思想是核函数的应用。