采用遗传算法优化最小二乘支持向量机参数的方法_王克奇

因此, 式 ( 1)的分类问题通过式 ( 5) 和式 ( 6)的 线性问 题得
到最终解, 而不是解二次 规划问 题。核函数 可采用 高斯径 向基
核函数、多项式核函数、多层感知器核函 数和线性核函数等多种
符合 M ercer条件的核函数 [ 3, 4]。常用的核函数 的表示形式 如表
1所示 [ 5] 。
佳比例。 作为支持向量机的一 种扩展, 最小 二乘支 持向量 机同样 存
在参数选择问题。目前应用较多的是采用网格搜索和交叉验 证 相结合的支持向量机参数 优化算 法, 该 算法由 初始给 定的参 数 出发, 在给定的 参数范围内采 用网格搜 索算法 和交叉 验证寻 找 最优参数 [ 7] 。首先网格搜索算 法选 择要 优化 的参 数对 ( , ), 然后用交叉验证法对目标函数 (如均方 差最小 ) 进行寻 优, 直 至 找到最佳的参数对, 使交叉验证的精度最高。其中, 网格搜索 算 法要将惩罚因子 和核函数参数 形成 M N 个 ( , )组合 (其 中 M 和 N 分别为 和 的个数 ), 分别训练不同的支持向量机, 估计其学习精度, 从 而在 M N 个 ( , )的组 合中 得到 学习 精 度最高的一个组合作 为最优 值。其计算 量较大, 尤其 是训练 样 本集较大时搜索过程非常 费时, 因此这 种方法 在使用 上受到 一 定程度的限制。在最优化 方法众 多的算 法中, 遗传算 法以其 强 大的全局 搜索能力、并行 性、高 效性的优点 得到了广 泛的应用。
输入数据, yk R 是输出类别。在权 空间 (原 始空间 )中 的最
小二乘支持向量机分 类问题可以描述为求解以下问题:
m in ( , b, e) =
, b, e
1 2
T
+
1 2
N
e2k
k= 1
( 1)
约束条件: yk [ T ( x k ) + b ] = 1 - ek k = 1, . . . , N ( 2)
定义拉格朗日函 数:
L ( , b, e; ) = ( , b, e) -
k { y k [ T ( xk ) + b ] - 1+ ek }
k=
( 3)
其中, 拉格朗日乘子 k R。对上式进行优化:
L=0
N
=
kyk ( x k )
k= 1
L b
=
0
N
kyk = 0
k= 1
( 4)
L=0 ek
k = ek
第 26卷第 7期 2009年 7月
计算机应用与软件 Com puter Applications and Softw are
Vo l 26 No. 7 Ju.l 2009
采用遗传算法优化最小二乘支持向量机参数的方法
王克奇 杨少春 戴天虹 白雪冰
( 东北林业大学机电工程学院 黑龙江 哈尔滨 150040 )
K eywords L east squa res support v ector m ach ines G enetic a lgo rithm P aram eters se lection LS SVM lab too lbox
0引 言
统计学习理论是 由 V. V apnik等人建 立的一 种专 门研 究小 样本情况下机器学习 规律的理 论, 为 解决有 限样本 学习问 题提 供了一个统一的框架, 支持 向量机就 是在这 一理论 基础上 发展 而来的一种新 的通 用学 习方 法 [ 1] 。支持 向量 机通 过结 构风 险 最小化 原理来提 高泛化能力, 较好 地解决了 小样本、非线性、高 维数等 实际问题, 已在 模式识别、信号处 理、函 数拟合等领 域得 到了成功应用, 成为机器学习领域的研究热点之一。然而, 用支 持向量机求解分类问题, 其本质上是一个二次规划问题, 当样本 数据量较大时, 常规的数值 优化算法 及软件 很难实 现二次 规划 问题的求解。因此, 运行时 间和计算 内存是 支持向 量机求 解的 主要瓶颈 [ 2] 。而作为支持向量 机的改 进算法, 最小 二乘支 持向 量机在运行速度上有 了很大提 高, 同 时减少 了求解 所需的 计算 资源, 而其准确率并未明显下降, 因此在 模式识别和非线性函数 拟合上得到了很好 的应用。和 其它算 法一样, 支持 向量机 的性 能也依赖于模型的参 数, 研 究人员对 支持向 量机的 参数选 择已 作了很多研究, 但至今还 未提出 明确的 理论依 据。如何实 现模 型的参数优化成为提 高支持向量机学习性能和泛化能力的主要 问题之一。本文结 合 J. A. K. Suyken等人 开发 的基 于 M ATLA B
摘 要 支持向量 机是建立在统计学习理论上的一种学习算法, 较好 地解决了 小样本学习 问题。由不同 的参数和 核函数构造 的 支持向量机在性能上 存在很大差异, 而在参数和核函数的选择上目前还没 有明确的理论依据。针对支持向量机的参数选择问题, 提 出了一种采用遗传算法优化最 小二乘支持向量机参数的 方法。结合 L S SVM lab工具 箱, 在 M ATLAB 实验平 台的仿真 实验表 明, 该 方法提高了支持向量 机的参数选择效率, 得到的参数对测试样本的分类结 果是最优 的, 从 而避免了人 为设定参 数的不足, 同时缩 短 了优化时间。
最小二乘支持向 量机 LS SVM ( L east Squares Support V ector M achine)是 在 标 准 支 持 向 量 机 上 的 一 种 扩 展, 由 J. A. K. SuyK ens和 J. V andew alle 提出 [ 3]。它 采用最 小二 乘线性 系统 误 差平方和作为损失函数, 将求解过程变成了解一组等式方程, 加 快了求解速度, 求解所需的计算资源较少, 在模式识别和非线 性
, yN ] T , 1 = [ 1, 1, , 1] T, e = [ e1, e2, , eN ] T, = [ 1, 2,
, N ]T , 同时将 M erce r条件 代入到 = ZZT , 可得:
kl = yk yl ( xk )T ( xl ) = yky l ( xk, xl )
( 6)
收稿日期: 2007- 09 - 12。黑 龙江省 自然 科学 基金 项目 ( C2004 03 ) 。王克奇, 教授, 主研领域: 自动化监测与计算机控制。
1 10
计算机应用与软件
2009 年
函数拟合的应用中取 得了很好的效果。
设训练 样本 D = { ( xk, yk ) | k = 1, 2, , N }, 其中 x k Rn 为
2 最小二乘支持向量机的参数优化
2. 1 支持向量机的参数选择问题
采用支持向量机 求解模式识别或函数拟合问题需要选择一
个核函数, 由于 不同的核函数构成的分类器的性能不同, 因此 选 择哪种核函数 对于 支持 向量 机的 设计 是非 常重 要的。 研究 表 明, 惩罚因子和 核函数的参数 是影响支 持向量 机性能 的主要 原 因, 其中核函数 的参数主要影 响样本数 据在高 维特征 空间中 分 布的复杂程度, 而惩罚因子的 作用是在 确定的 特征空 间中调 节 支持向量机的置信范围和 经验风 险的比 例 [ 6]。所 以, 要想获 得 泛化能力良好的支持向量 机, 首先要选 择合适 的核函 数参数 将 数据映射到合适的特征空 间, 然后针对 该确定 的特征 空间寻 找 合适的惩罚因子以使支持向量机的置信范围和经 验风险具有最
表 1 常用的核函数
核函数
表达式
线性核函数 多项式核函数 高斯径向基核函数 S igm oid 核函数
K ( x, xi ) = x xi K (x, xi ) = ( x xi + c )d K (x, xi ) = exp( x - x i 2 / 2 ) K ( x, xi ) = tanh ( k( x x i ) + v)
语言的最小二乘 支持 向量 机工 具箱 ( LS SVM lab) , 利用 遗传 算 法实现了对支持向量机模 型的参 数优化, 并基 于一组 木材表 面 颜色特征得到了很好的实验效果。
1 最小二乘支持向量机
支持向量机的基本思想是通过非线性变换将 输入空间变换 到一个高维空间, 然后在这个 新空间中 求取最 优线性 分类超 平 面。支持向量机具有全局 最优性 和很强 的泛化 能力, 能够很 好 地解决小样本学习问题, 因此在模式识别、函数拟合等领域得 到 了广泛的应用。但同时, 由于 统计学习 理论尚 有很多 问题需 要 进一步研究, 在 支持向量机结构、参数和核函数选择上还未有 明 确的理论指导。
( Colleg e of M ach in ery and E lectron E ng in eering, N ortheast F orestry Un iv ersity, H arbin 150040, H eilong jiang, China )
Abstrac t Support vector m ach ines( SVM ) , a learn ing m ethod based on sta tistica l learning theory( SLT ), can solve sm a ll samp le learn ing prob lem s bette r. SVM s w ith different param eters or kerne l functions disp lay very d ifferen t perform ances, and there isn t' a m anifest theo ry sup porting the se lection o f them up to now. In this paper a m ethod tha t optim ises the pa ram e ters of L east Squares Support V ecto rM achines( LSS VM ) by using G ene tic A lgor ithm is presen ted. T he s imu la tive experim ent executed on MATLAB exper im enta l p la tform w ith LS SVM lab too lbox show s that this m ethod g reatly im proves the effic iency o f SVM s param eters selection, and w ith the param eters se lected, the c lassifica tion resu lt for the testing sam ples is the optim um. It avo ids the disadvantage of manua lly spec ify ing the param eters, and a lso sca les down the optim isation tim e.