支持向量机的研究进展

ＳＶＭ参数调整的常见方法有穷尽搜索法、梯度 法、模式搜索法和启发式搜索算法等，不同算法有其 特点和使用范围。对梯度法比较系统的讨论是在文献 ｆ２８１ｑａ，文中提出用Ｓｉｇｍｏｉｄ函数来光滑误差。文中提 出了计算几种推广误差上界的梯度的方法，从而使得 采用常规的梯度下降法优化ＳＶＭ的参数成为可能。 模拟退火和遗传算法已经用于ＳＶＭ的参数选择．实
支持向量机的模型选择主要包括核函数的类型 选择以及ＳＶＭ算法中的自由参数的调整。在确定核 函数类型后．模型选择实现依据一定的选择准则在参 数空间内寻找最佳参数组合的过程。ＳＶＭ的核函数 有多项式核函数、径向基核函数等，核函数的形式及 其参数决定了分类器的类型和复杂程度．是影响 ＳＶＭ性能的关键因素。如何构造与实际问题有关的 核函数．一直是ＳＶＭ研究的重要课题。
的非零分量作为本次迭代的丁作集。由于ｑ被限定为 偶数．该线性规划存在高效算法，其核心是一个排序
问题：第二，提出ｓｈｒｉｎｋｉｎｇ方法，估计出有界支持向 量和非支持向量，有效地减小ＱＰ问题的规模；最后，
利用ＫｅｒｎｅｌＣａｃｈｅ来减少矩阵Ｑ中元素的计算次数。
Ｊｏａｃｈｉｍｓ利用这些方法实现的ＳＶＭｌｉｇｈｔ．是目前设计
Ｏｓｕｎａ等人［６１提出了一种分解方法（Ｄｅｃｏｍｐｏｓｉｔｉｏｎ
Ａｌｇｏｒｉｔｈｍ）．主要思想是将训练样本分为工作集Ｂ和 非工作集Ｎ．每次只针对工作集Ｂ中的ｑ个样本训 练．而固定Ｎ中的训练样本。Ｊｏａｃｈｉｍｓｍ在上述分解算 法的基础上做出了几点重要改进。第一，．采用类似
Ｚｏｕｔｅｎｄｉｊｋ可行方向法的策略确定工作集Ｂ．即求解 一个线性规划问题．得到可行下降方向。把该方向中
肌（ｗｒｘ，＋ｂ）一１＞ｔ０ ｉ＝１．２。…。ｍ
（２）
支持向量机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）是二 十世纪九十年代中期Ｖａｐｎｉｋ等人提出的一种基于统 计学的新型机器学习方法【１．２１。采用结构风险最小化准 则ｆＳｔｒｕｔｕｒａｌ Ｒｉｓｋ Ｍｉｎｉｍｉｚａｔｉｏｎ，ＳＲＭ）训练学习机器， 具有很好的学习能力，尤其是泛化能力，主要优点有： 支持向量机将学习问题归结为一个凸二次规划问题。 从理论上说．得到的将是全局最优解。解决了在神经 网络方法中无法避免的局部极值问题：支持向量机通 过非线性变换将数据映射到高维特征空间，使数据在 高维空间中可以用线性判别函数分类．保证机器有较 好的推广能力：支持向量机巧妙地解决了维数问题， 算法复杂度与样本维数无关。目前，支持向量机已广 泛应用于时间序列分析、回归分析、聚类分析、动态图 像的人脸跟踪、信号处理、语音识别、图像分类和控制 系统等诸多领域。
块算法（Ｃｈｕｎｋｉｎｇ Ａｌｇｏｒｉｔｈｍ）最早在１９９５年。由 Ｃｏｒｔｅｓ和Ｖａｐｎｉｋ［３］提出．“块算法”的目标就是通过 某种迭代方式逐步排除非支持向量。其收敛性在文献
［４１ｑｂ得到了证明，同时在文献『５１中也对分解算法的收 敛性进行了研究。然而。如果支持向量的数目本身就 比较多．随着算法迭代次数的增多．工作集样本也会 越来越大．算法依旧会变得十分复杂。
为了减小孤立点数据对ＳＶＭ分类的影响．文献
『３２１在ＳＶＭ中引入了模糊因子，给每个样本都赋一个 模糊隶属度值．使得样本对ＳＶＭ分类所起的作用随
着其逐渐远离类中心点而逐渐减小。文献［３３１提出了 一种基于密度法的ＦＳＶＭ．在ＳＶＭ中引入样本密度 模糊参数．样本密度定义为一个样本的某一邻域内的 样本数量，考虑了支持向量和孤立点、噪声点两方面 的因素来产生模糊参数．从而减弱了噪音以及孤立点 对ＳＶＭ分类的影响。
１．３非线性的情形
代
对非线性问题．首先将输入向量通过映射∥：尺ｑ 计
日映射到高维特征空间中．在这个特征空间中构造最 算
优分类超平面训砀（戈）＋６＝０，将两类点尽可能正确地区
机
＾
分开来，而且使得两类点之间的间隔最大。
总
第
三
★基金项目：陕西省教育厅专项科研计划项目（Ｎｏ．０７ＪＫ３１２） Ｏ
收稿日期：２００９—０２—０２ 修稿日期：２００９－０４—１５
五
作者简介：陈俏（１９８０一），女，湖北武汉人，硕士研究生，研究方向为支持向量机的研究与应用
期
ｖ
ＭＯＤＥＲＮ ＣＯＭＰＵＴＥＲ ２００９．４
万方数据
４７
＼！竺兰！兰
２ 支持向量机的研究现状
目前．支持向量机的研究热点主要在训练算法的
研究、模型选择的研究、支持向量机的扩展。 ２．１支持向量机训练算法的研究
验表明了这些算法用于ＳＶＭ的参数调整的有效性。 ２．３支持向量机的扩展
随着对支持向量机研究的深入．许多研究人员提 出了一些支持向量机的变形算法．例如ｖ—ＳＶＭ系 列、单类别ＳＶＭ、简化ＳＶＭ（ｒｅｄｕｃｅｄ ＳＶＭ）、加权ＳＶｂｔ （ｗｅｉｇｈｔｅｄ ＳＶＭ）和最小二乘ＳＶＭ（１ｅａｓｔ—ｓｑｕａｒｅ ＳＶＭ， ＬＳ—ＳＶＭ）等算法。这些变形算法主要是通过增加函数 项、变量或系数等方法使公式变形．产生出各种有某 一方面优势或者一定应用范围的算法。
３展望与讨论
支持向量机是一种新兴的机器学习方法．在近些 年进展非常迅速．研究表明．支持向量机在许多领域 具有广阔的应用潜力。结合国内外现有的新技术及成 果，建议应开展以下研究工作：
（１）支持向量机中自选参数的选取目前尚缺乏结 构化的方法来实现参数的最优选择：
ＳＶＭ分类器的重要软件。其后，Ｌｉｎ［Ｓ１证明了ＳＶＭｌｉｇｈｔ
现 的收敛性。
代
在分解算法的基础上。Ｊｏｈｎ Ｃ．Ｐｌａｔｔ等人『９１提出并
计 算
改进了序贯最小优化（Ｓｅｑｕｅｎｔｉａｌ Ｍｉｎｉｍａｌ Ｏｐｔｉｍｉｚａ．
机 ｔｉｏｎ，ＳＭＯ）算法，并和Ｃｈｕｎｋｉｎｇ算法进行了比较。该
＾ 算法可以说是Ｏｓｕｎａ分解算法的一个特例，Ｔ作集曰
Ｙａｎｇ【１４】提出了训练ＳＶＭ的几何方法。主要是利 用了训练集中的几何信息．提出了“卫向量”（Ｇｕａｒｄ． ｖｅｃｔｏｒ）的概念，当训练集合较大时，可以先找出“卫向 量”．再以“卫向量”构成传统的ＯＰ问题求出支持向 量。
张学工等［１５］提出了ＣＳＶＭ（Ｃｅｎｔｒａｌ ＳＶＭ）算法。该 算法将每类训练样本集进行聚类分成若干子集．用子 集中心组成新的训练样本集训练ＳＶＭ．将子集中心 的系数赋给子集中每个样本：考察每个子集中的样本 系数的改变对目标函数的影响．若某个子集中所有样 本对目标函数的影响差异比较大．则进一步划分．直 到没有新的拆分为止。
线性不可分就是某些训练样本不满足（２）。为此 引入非负的松弛项宣，与处理线性可分问题时的方法 类似，构造最优超平面（广义最优超平面）的问题转换 为求解下列优化问题：
１ 支持向量机的原理
观虿１…ｚ２＋嘻刍
支持向量机的基本思想是先通过非线性变换把
ｓ．ｔ Ｙｉ（ＷＴｘ，＋ｂ）≥１《
（４）
原数据空间变换到某一高维的特征空间．然后在这个
总 中只有２个样本．从而避免了多样本情形下的数值解 第 三 不稳定及耗时问题，特别适合稀疏样本。
Ｏ
ＣａｕｗｅｎｂｅｒｇｈＳＤＯ］提出了一种增量减量式学习方
五 法．考虑了增加或减少一个训练样本对拉格朗日系数
期
一
ＭＯＤＥＲＮ ＣｏＭＰＵＴＥＲ ２００９．４
和ＳＶＭ的影响．实验表明算法是有效的。在减少一个 样本时。给出了模型选择算法留一法（Ｌｅａｖｅ Ｏｎｅ Ｏｕｔ， Ｌ００）的形象解释。ＲａｌａｉＶＯｌａｔｎ ３提出了另一种增量式学 习方法．其思想是基于高斯核的局部特性．只更新对 学习机器输出影响最大的Ｌａｇｒａｎｇｅ系数．以减少计算 复杂度。Ｃａｒｏｚｚａ等ｆ１２ｌ和Ｘｉａｏ ｅｔａｌ．等［１３１也分别提出了 一些增量式学习的ＳＶＭ训练算法。
ＳＶＭ的训练本质上是解决一个二次规划（ＱＰ）问 题或者其对偶问题。当数据量增大时，就会过多占用 内存．从而导致训练时间过长和效果不佳．因此设计
适合于大量样本的算法成为ＳＶＭ研究中的重要内 容．近年人们针对方法本身的特点提出了许多算法来 解决寻优问题．主要有块算法、分解算法、序贯最小优 化算法和增量学习算法等。
蠡≥０，ｉ＝Ｉ，２。…。ｍ
新空间中求取最优线性分类面。这种非线性变换通过
其中Ｃ＞Ｏ为正则化参数．用于控制对错分样本
定义适当的内积函数加以实现。
１．１线性可分的情形
设训练数据为：
｛ｌ而，ｊ，１）１．如ＥｅｎｔＹｊ∈｛＋１。－１ｌ。ｉ＝１．…。ｍ
（１）
称训练集是线性可分的．如果存在一个超平面， 使得：
的惩罚程度．Ｃ越大．对错误的惩罚越重。 现
竺竺兰兰兰
．／／／
支持向量机的研究进展 ★
陈俏
曹根牛
谢丽娟
，
，
（西安科技大学理学院，西安７１００５４）
Hale Waihona Puke Baidu
摘要：支持向量机是一种新的机器学习方法。对于支持向量机的算法、模型的选择及支持向量 机的扩展进行了阐述及总结．并提出支持向量机的发展趋势和研究方向。
关键词：支持向量机；二次规划；特征空问；核函数
０ 引言
万方数据
４８
竺竺
，，／
借助于其他方面的知识对核函数进行认识和理解并 迸行核函数的参数选择等。文献ｆ１８１构造局部不变核 以引入问题的对称性到核函数的选择。文献［１９１给出 了设计用于不变分类超平面的核函数的方法．并通过 锥形可接受区域的形式实现使用局部关联的核函数。
Ａｍａｒｉ ｃ∞１根据核函数所导出的黎曼度量的性质对 核函数进行了局部的改进．可以说是针对所给数据确 定（确切地说是改进）核函数形式的开创性的工作。 Ａｙａｔ等【２１］认为核函数在零点附近应该较快的下降．在 无穷远点有适当的下降而不应为零．由此构造了一个 新的核函数ＫＭＯＤ．实验表明ＫＭＯＤ的推广能力高 于径向基核函数。吴涛㈤等开创性地指出构造满足 Ｍｅｒｃｅｒ条件的显式核函数并非必要．并进一步指出导 致核函数的性能差异的关键在于根据训练样本之间 的内积确定测试样本与训练样本之间的内积值．据此 提出基于插值的核函数构造。
目前，不少学者对核函数进行了研究，例如Ｉｎｇ ＳｔｅｉｎｗａｒｔＨ６ Ｊ对不同类型的ＳＶＭ的泛化能力进行了研 究，Ｖａｐｎｉｋ Ｌ１７ ３等对多项式机器、径向基函数机器和两 层神经网络机器三种类型的ＳＶＭ在解决数字识别时 的表现进行了比较。
核函数的选择或构造主要有：通过引人领域知识 改进或构造核函数．依据样本数据学习核函数。或是
称分类超平面叫ｒｘ＋ｂ＝０是最优超平面．如果训练 集到它的最小距离最大．或者说它使得分类间隙最大 的平面。
显然超平面ｗｒｘ＋ｂ＝０是最优的当（鲫，ｂ）且仅当是 下面问题的最优解：
ｒａｉ．ｎ ｝…Ｉ；
乳ｔ Ｙｆ（’‘，ｒｘ和）≥１
１３）
称训练集中的输人样本筑为支持向量，显然只有 支持向量起作用．从而决定分类结果。 １．２线性不可分的情形
ＳＶＭ的训练速度仍然是阻碍它广泛应用的一个 重要原因．如何构造高效的训练算法是众多研究人员 面临的挑战。ＳＶＭ训练算法的研究方向主要是确定 不同的优化目标．根据ＫＫＴ约束优化条件寻找大规 模训练样本下的实用算法。一种训练算法不但要有理 论上的收敛的证明．同时也应该有实用的可行的算法 实现，这样ＳＶＭ的应用才会更广泛．目前对在线训练 算法的研究也是一个重点。 ２．２支持向量机模型选择的研究
张铃等㈣证明了Ｖａｐｎｉｋ的基于核函数的ＳＶＭ与 三层前向神经网络的等价性。阎辉等㈣通过对ＳＶＭ 与克里格方法的等价性研究．推导出在一定的假设条 件下ＳＶＭ方法得到的结论等价于克里格方法得到的 结论。
当前对于ＳＶＭ算法中的参数调整的研究主要有 两方面．一方面是寻找更快速的算法计算推广误差的 界或是寻找易于计算的推广误差的界．另一方面是提 高参数空间搜索的效率。目前用于核函数参数优化的 准则主要有交叉验证Ｃｒｏｓｓ Ｖａｌｉｄａｔｉｏｎ，ＣＶ）误差、留 一法误差以及误差的上界。Ｃｈａｐｅｌｌｅ等㈣对推广误差 的界进行了比较全面魄描述．同时还实现了根据错误 率上限的估计来调整ＳＶＭ参数的算法。Ｊｏａｃｈｉｍｓ Ｌ２６ｊ提 出易于计算的留一法误差的界。Ｗａｈｂａ等㈣提出广义 交叉有效性（ＧＡＣＶ）方法来近似ＳＶＭ的留一法推广 能力。Ｗｅｌｄａ Ｚｈｏｕ等［驾］提出预先评估ＶＣ维的新方 法．引进训练样本的二次统计量（Ｔｗｏ—Ｏｒｄｅｒ Ｓｔａｔｉｓ— ｔｉｃ）。并与统计学习理论中ＶＣ维的评估方法保持一 致性．在核函数空间中通过选择核函数参数和核函数 使得估计的ＶＣ维较小。