支持向量机与人工神经网络_艾娜

第19卷第5期 山东理工大学学报(自然科学版) Vo l.19N o.52005年9月 Jour nal of Shandong U niversity of T echnology (Sci &T ech ) Sep.2005文章编号:1672-6197(2005)05-0045-05

支持向量机与人工神经网络

艾　娜,吴作伟,任江华

(北京交通大学机电学院,北京100044)

摘　要:支持向量机(Support Vecto r M achine ,SVM )是由V apnik 等人提出的一种基于统计学习理论的新型机器学习算法;而人工神经网络(Ar tificial Neural Netwo rk ,A NN )已经成功用于解决模式识别和任意非线性函数回归估计问题中.介绍了支持向量机与人工神经网络的基本原理,并对二者进行了逼近方面的比较,结果表明,支持向量机作为一种新兴技术而具有的独特的优越性.

关键词:支持向量机;人工神经网络;统计学习理论

中图分类号:TP183文献标识码:A

Support vector machine and artificial neural network

AI Na ,WU Zuo -w ei ,REN Jiang -hua

(School of M echanical &Electrical Eng ineering ,Beijing Jiaoto ng U niver sity ,Beijing 100044)

A bstract :The support vector machine (SVM ),put forw ard by some researchers and Vapnik ,is a new machine learning algorithm ,based theoretically on statistic learning theory.At the same time ,the artificial neural netw ork (ANN )has been successfully applied to solve problems such as mode recognition and reg ression of non -liner function.The paper introduc es the basic theory of SVM and ANN in brief.In addition ,the paper compares the approach ability of SVM and ANN ,and the re -sults indicate that SVM ,as a new technique ,has more superiorities.

Key words :SVM ;A NN ;statistic learning theo ry

自1943年心理学家McCulloch 和数学家Pitts 合作提出了第一个神经计算模型(MP 模型),经历了兴起、萧条、兴盛几个阶段的发展.从20世纪80年代初神经网络的研究再次复苏并形成热点以来,发展非常迅速,从理论上对它的计算能力、对任意连续映射的逼近能力、学习理论以及动态网络的稳定性分析上都取得了丰硕的成果.特别是应用上已迅速扩展到许多重要领域.20世纪的最后10年中,产生大量关于神经网络的论文,新的理论和实践工作层出不穷.20世纪90年代初期,Vapnik 等人在基于统计学习理论的

基础上提出了一种新的机器学习方法即支持向量机(Support Vector Machine ,简称SVM )[1].

收稿日期:20050120作者简介:艾　

娜 DOI 牶牨牥牣牨牫牫牰牱牤j 牣cn ki 牣sd gc 牣牪牥牥牭牣牥牭牣牥牨牨

1　支持向量机

1.1　最优超平面

考虑训练样本{(x i d i )}N i =1,用于分离的超平面形式的决策曲面方程是

W T X +b =0

(1)其中x ∈R n ,d i ∈{-1,+1};W 是可调的权值向量;b 是偏值.

对于(1)式也可写成以下形式W T X i +b ≥0　当d i =+1时

(2)W T X i +b ≤0当d i =-1时(3)

对于一个给定的权值W 和偏值b ,由式(1)定义的超平面和最近的数据点之间的间隔被称为分离边缘,用ρ表示.支持向量机的目标就是找到一个特殊的超平面,对于这个超平面分离边缘ρ最大.在这个条件下,决策曲面称为最优超平面(optim al hyperplane )[1].距离这个最优超平面最近的异类向量就是所谓的支持向量(suppo rt vecto r ),支持向量于、与超平面的之间的距离最大(即边缘最大化),一组支持向量可唯一的确定一个超平面.如图1所示.由于从支持向量到最优超平面的代数距离是

图1　最优超平面 r =1||W 0| 若d (s )=+1(4)r =-1||W 0||

若d (s )=-1(5)式中,W 0表示权值的最优值;加号表示支持向量在最优超平面的正面;

相反的减号表示支持向量在最优超平面的负面.因此由(4)(5)式可

知,支持向量间距为2||W 0||

,寻找超平面的问题可转化为求解以下二次规划问题

Χ(w )=12W T W

(6)约束条件　d i (W t X i +b )≥1　对I =1,2…,N

(7)1.2　支持向量机简介

支持向量机(support vecto r machine ,简称SVM )是一种基于统计

学习理论的新型机器学习算法[2].统计理论是一种专门研究小样本情况下机器学习规律得基本理论和数学框架,也是目前针对小样本统计和预测学习的最佳理论.它从理论上系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险的关系及如何利用这些理论找到新的学习原则.Vapnik 等人从20世纪六七十年代开始致力于此方面的研究,到20世纪90年代中期,随着该理论的不断发展和成熟,产生了基于统计学习理论体系的新的通用的机器学习方法,即支持向量机[3].

支持向量机即是通过就是通过某种事先选择的非线性映射,将输入向量映射到一个高维特征空间,在这个空间构造最优分类超平面的实现过程.其基本思想如图2所示。

正如图所示,它形式上类似神经网络,输出是中间结点的线性组合,每个中间节点对应一个支持向量.

1.3　核函数

支持向量机中通过引入核函数(kernel function )将输入空间映射成高维的特征空间(H ilber t 空间),然后在特征空间中寻找最优超平面.核函数K 满足:

K (x i ,x j )=ψ(x i ) ψ(x j ).该过程可表述为:将输入向量x 通过映射R n

→H 映射到高维Hilbert 空间中.核函数的引入绕过特征空间,直接在输入空间上求取,从而避免了计算非线性映射Χ[4].46山东理工大学学报(自然科学版)2005年