基于支持向量机的分类方法

基于支持向量机的分类方法

摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。

1、支持向量机

给定训练样本集1122{[,],[,],

,[,]}()l l l T a y a y a y Y =∈Ω⨯L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类

就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述：

0T a b ω+=

其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定

了超平面与原点之间的距离。样本空间中任意点到超平面的距离为||

||||

T a b r ωω+=。

支持向量、间隔：

假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有

0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得

11

11

T i i T

i i a b y a b y ωω⎧+≥+=+⎨+≤-=-⎩ 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面

的距离之和2

||||

r ω=被称为间隔。

支持向量机基本模型：

找到具有最大间隔的划分超平面，即

,2max

||||..()1,1,2,...,b T i i s t y a b i m

ωωω+≥= 这等价于

2

,||||min 2..()1,1,2,...,b T i i s t y a b i m

ωωω+≥= 这就是支持向量机（SVM ）的基本模型。

支持向量机问题的特点是目标函数2

||||2

ω是ω的凸函数，并且约束条件都是

线性的。

可以将其转换为对偶问题进行求解，引入Lagrange 函数

2

1

1(,,)||||{1[()]}2l

i i i i L b y a b ωαωαω==+-⨯+∑

根据对偶的定义，对原问题中各变量的偏导置零可得：

0,0L L b ω∂∂==∂∂推出 11

,0l l

i i i i i i i y a y ωαα====∑∑ 代入Lagrange 函数化为原问题的Lagrange 对偶问题:

1111

1max ()20..0,1,,l l

l

i j i j i j i i j i l

i i i i

y y a a y s t i l αααααα====-⨯+⎧=⎪⎨⎪≥=⎩∑∑∑∑K 求解上述最优化问题，得到最优解***1[,,]T l ααα=L ，计算

*

*1

l

i i i i y a ωα==∑

由KKT 互补条件知

***{1[()]}0i i i y a b αω-⨯+=

可知当i a 为支持向量时，对应的*i α才为正，否则都为0。选择*α的一个正分量*j α，同时计算 *

*1()l

j i i i j i b y y a a α==-⨯∑

因此构造分类超平面**()0x b ω⨯+=，并由此求得决策函数

**1()()l

i i i i g x y a x b α==⨯+∑

得到分类函数

**1()sgn[()]l

i i i i f x y a x b α==⨯+∑

从而对未知样本进行分类。

2、核函数

当训练集T 的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，这是需要通过引进输入空间Ω到另一个高维的Hilbert 空间H 的变换()x x ψ→，将原输入空间Ω的训练集

1122{[,],[,],,[,]}()l l l T a y a y a y Y =∈Ω⨯L 转化为Hilbert 空间H 中新的训练集

112211{[,],[,],,[,]}{[

(),],,[(),]}l l l l T a y a y a y a y a y ψψ==%%%%L L 使其在Hilbert 空间H 中线性可分，然后在空间H 上求得超平面[()]0x b ωψ⨯+=，

这个超平面可以硬性划分训练集T %，原问题则转化为 2

1min ||||2

..{[()]}1,1,,i i s t y a b i l

ωωψ⨯+≥=L

采用核函数K 满足

(,)[()()]i j i j K a a a a ψψ=g

将避免在高维特征空间进行复杂的运算，不同的核函数形成不同的算法。

主要的核函数有：

（1） 线性内核函数：(,)()i j i j K a a a a =g （2） 多项式核函数：(,)[()1]q i j i j K a a a a =+g （3） 径向基核函数：2

2

||||(,)exp{}i j i j a a K a a δ

-=-

（4） S 形内核函数：(,)tanh[()]i j i j K a a v a a c =+g

（5） 傅里叶核函数: 2

2

11(,)2[12cos()]

n

i j k ik jk q K a a q a a q =-=--+∑ 因此同理可得其Lagrange 对偶问题，求解此最优化问题，得到最优解，构造分类函数，从而对未知样本进行分类。

3、实验仿真：

3.1 核函数仿真 随机构造数据集，使用不同的核函数对不同的数据集进行分类。得到结果如下图。

图1 采用线性内核函数的SVM 图2 采用平方核函数的SVM