支持向量机在模式分类中的应用

支持向量机在模式分类中的应用

谢骏胡均川笪良龙

（海军潜艇学院战术水声环境数据中心，山东青岛266071）

摘要：介绍了支持向量机的基本思想，依据是否引入核函数，是否具有惩罚因子，支

持向量分类算法被分为线性分界面硬间隔、线性分界面软间隔、非线性分界面硬间隔和

非线性分界面软间隔四类，并讨论了它们的数学模型。以RBF为核函数的非线性支持向

量机对2类2维样本进行的仿真分析，并与最近邻法分类结果进行了比较，结果表明支

持向量机分类能力受核函数参数影响较大，当选取适当参数时，其分类性能与最近邻法

相当。

关键词：特征提取；最近邻分类法；支持向量机；模式分类

中图分类号：TP391.4 文献标识码：A 文章编号：

The Application of Support Vector Machines in Pattern Classification

XIE Jun，HUN Junchuan，DA Lianglong

(Naval Submarine Academy，QingDao266071, China)

Abstract：The foundations of support vector machines are introduced. Four mathematics models of support vector classifications including linearly hard margin SVM, linearly soft margin SVM, non- linearly hard margin SVM and non-linearly soft margin SVM are discussed. Comparison between non-linearly SVM classification with RBF kernel and nearest neighbour classification for a 2-dimension feature data set which contains two types.The results show that the classification performance of SVM is affected by kernel function parameter. the classification performance of SVM is equivalent with nearest neighbour classification while kernel function parameter is selected appropriately.

Key words：feature abstract; nearest neighbour classification ;support vector machines; pattern classification

1、引言

在模式识别领域如何设计一种具有较好泛化能力的优良分类器一直以来是个备受关注的问题。传统的模式识别或人工神经网络方法都都是以大样本统计理论为基础的，而许多实际问题中常常面对的是小样本。如何从小样本集出发，得到泛化能力较好的模型，是模式识别研究领域内的一个难点。Vapnik[1]等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题，但这些研究长期没有得到充分的重视。近十年来，有限样本情况下的机器学习理论逐渐成熟起来，形成了一个较完善的统计学习理论（SLT）体系。而同时，神经网络等较新兴的机器学习方法的研究则遇到一些重要的困难，比如如何确定网络结构的问题、过拟合与欠拟合问题、局部极小点问题等。在这种情况下，试图从更本质上研究机器学习的SLT 体系逐步得到重视。1992－1995年，在SLT的基础上发展了支持向量机（SVM）算法[1]，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。尤其是在非线性支持向量机中通过引入核函数，将原始空间的非线性问题转化为特征空间的线性问题来求解，而且核方法的引入从理论上较好的解决了经验风险最小化原则下统计学习的一致性条件，在这1

1基金项目：国防预研基金，51303060403-01；新世纪优秀人才支持计划NCET。

作者简介：谢骏(1976-), 男, 安徽颍上, 汉, 博士生, 讲师, 研究方向为声纳环境效应仿真、水下目标特性分析。

些条件下关于统计学习方法泛化性的界，在这些界的基础上建立小样本归纳推理原则，以及在此原则下如何构造学习算法等统计学习的基础理论问题。

2、支持向量机分类器的几种数学模型

支持向量机最初思想是对于线性可分问题如何寻求最优分类面，对于特征空间中线性可分问题，最优分类面就是间隔γ最大的分界面，根据上述核理论的分析可知，它的确是在保证样本被正确分类前提下，具有最好泛化能力的分界面。对于特征空间中线性不可分问题，可通过一个惩罚因子来综合考虑间隔和松弛因子的影响。根据面对的不同问题和采取的不同优化策略可将解决分类问题的支持向量机分为如下四类。 2.1 线性分界面硬间隔

当在原始空间中分界面是线性的，即解决的问题是在原始空间中寻求最优分界面问题。该问题的数学模型是： ,,min w b γ γ-

..s t (,)

,1,i i y b i γ〈〉+≥=w x ，

2

1=w

其中γ为间隔， 是训练样本数，i x 是训练样本矢量，w 是权矢量，b 是阈值，i y 为样本标记，1

1

i y ⎧=⎨

-⎩ 12

i i x x ωω∈∈，i ω代表第i 类。

构造拉格朗日函数，得到

2

1

(,,,,)[()](1)i i i i L b a y b γλγγλ==--+-+-∑w w x w

,a

分别对,,b γw 求微分，得到

1

(,,,,)

20i i i i L b a y γλλ=∂∂-+==∑w w x w

a

1

(,,,,)

0i i i L b b

a y γλ=∂∂-==∑w

a

1

(,,,,)

10i i L b a γλγ

=∂∂-+==∑w

a

将上式代入拉格朗日函数，得到

2

1

(,,,,)i i i i L b a y γλλλ==-+-∑w w x w

,a

=,1()4i j i j i j i j

a a y y x x λλ-⋅-∑

求λ得最优化，得到

1/2

,1()2i j i j i j i j

a a y y x x λ⎛⎫=⋅ ⎪⎝⎭

∑

得到对偶拉格朗日函数

1/2

,()()i j i j i j i j L a a y y x x ⎛⎫

=-⋅ ⎪⎝⎭

∑

a

原问题转化为如下最优化问题

min a ()L a