基于人工蜂群算法的支持向量机优化_刘路

Abstract：A classification performance of support vector machine is largely dependent on the choice of its parameters. A parameter optimization method based on artificial bee colony algorithm is proposed to solve this problem and applied to intelligent motor bearing fault diagnosis. In this method，the inverse of classification error rate is used as fitness value，and the artificial bee colony algorithm is used to optimize the penalty factor and kernel parameter of support vector machine. Compared with genetic algorithm and other optimization algorithms on standard datasets，the proposed algorithm can overcome the local optimal solution problem and acquire higher classification precision，and it costs less running time on small classification number of classification problem. Then the proposed method is applied to the recognition of bearing fault signals. The wavelet transform is applied to the bearing fault signals and the normalized energy values of every frequency band are extracted to compose feature vectors. The proposed method is used as the classifier and high classification precision is acquired. Keywords：artificial bee colony algorithm；support vector machine；parameter optimization；fault diagnosis
为直观说明惩罚因子 C 和宽度参数 σ 对 SVM 分类性能的影响，表 1 和表 2 给出了不同模型参数下 对正常、内圈故障、外圈故障 3 种状态下的轴承振动 信号的分类结果．其中，惩罚因子 C 的作用在于对确 定的数据空间中的模型复杂度与推广能力进行折 中．当 C 的取值较小时，SVM 对训练误差的惩罚力
支持向量机(support vector machine，SVM)是一 种建立在统计学习理论的基础上，适用于有限样本情 况的模式分类方法．它在很大程度上解决了模型选 择与过学习问题、非线性和维数灾难问题、局部极小 点问题等传统分类器难以克服的难题，因而在故障诊 断、图像处理、安全检测等领域得到了越来越广泛的
1 支持向量机参数选择
在给定训练样本条件下，支持向量机利用核函 数通过非线性变换将输入空间变换到一个高维空间， 将原始输入空间的线性不可分的分类问题转化为高 维空间中的线性可分的分类问题，通过引入 Lagrange 乘子求解不等式约束下的二次函数极值问题，在高维 空间中求取最优线性分类面．在使用支持向量机进 行模式分类之前，需要对核函数类型、核函数参数以 及惩罚因子 C 进行选择．Vapnik 等[18]的研究表明， 不同核函数对 SVM 性能的影响并不明显，因此笔者 采用 RBF 径向基函数为核函数，以惩罚因子 C 和径 向基函数宽度参数 σ 为对象，建立 SVM 模型参数优 化方法．对于其他类型的核函数，本文的参数优化方 法同样适用．
第 44 卷 第 9 期 2011 年 9 月
▋
天津大学学报 Journal of Tianjin University
Vol.44 No.9 Sep. 2011
基于人工蜂群算法的支持向量机优化
刘 路 1，王太勇 2
(1. 天津大学精密仪器与光电子工程学院，天津 300072；2. 天津大学机械工程学院，天津 300072)
度较小，模型拟合精度降低，经验风险增加，但是其 推广能力得到增强；当 C 的取值较大时，其模型拟合 精度得到提高，但由于模型复杂性增加，使其推广能 力被降低．前者称为“欠学习”问题，而后者称为 “过学习”问题．对惩罚因子 C 进行适当的参数选 择，使 SVM 在对已知训练样本的拟合能力以及对未 知测试样本的推广能力之间得到最佳权衡，以获得性 能最优的支持向量机．
在 ABC 算法中，每个食物源的位置代表优化问 题的一个可能的解，每个食物源的花蜜量对应每个解 的适应度．首先，ABC 算法随机产生 SN 个初始解，即 SN 个采蜜蜂和食物源．每个解 xi(i＝1，2，…，SN)是 一个 D 维向量，D 为优化参数的个数．完成初始化 后，蜜蜂开始对所有初始解进行循环搜索．采蜜蜂会 以一定概率对记忆中的食物源(解)位置产生改变从 而找到一个新的食物源(解)，并确认新的食物源的花 蜜量，即计算新解的适应度．如果新解的适应度高于 原来解的适应度，则采蜜蜂将记忆中的原始食物源位 置 替 换 为 新 的 食 物 源 位 置 ，即 将 原 始 解 替换 为 新 解．所有采蜜蜂完成搜索后回到蜂巢，将食物源信息 (解的位置和适应度)与观察蜂共享．观察蜂根据搜 集到的信息，按照与花蜜量(适应度)相关的概率选择 一个食物源位置，并像采蜜蜂一样对记忆中的位置进 行改变并确认新的候选食物源的花蜜量．如果候选 食物源对应的解的适应度高于记忆中的解，则用新的 解替代原来的解．
应用[1-4]． 在利用支持向量机进行分类的过程中，模型参
数(惩罚因子 C、核函数类型、核函数参数)的选择对 分类的最终结果具有至关重要的影响．如何通过选 择模型参数以获取最优分类结果，是目前支持向量机 研究领域的热点问题．目前常用的模型参数优化方
收稿日期：2010-04-28；修回日期：2010-10-09. 基金项目：国家自然科学基金资助项目(50975193/E050302)；国家高技术研究发展计划(863 计划)资助项目(2007AA042005)；国家科
77.4
1
91.6
10
88.1
100
94.5
核函数与非线性映射函数以及数据样本被映射 后的特征空间存在一一对应的映射关系．径向基核 函数的宽度参数 σ 反映了数据样本在高维特征空间 中分布的复杂程度，即空间维数．特征空间的维数决 定了能在此空间构造的线性分类面的最大 VC 维 (Vapnik Cherronenkis dimension)，从而决定了线性分 类面的复杂度．维数越高，则线性分类面越复杂，经 验风险小而置信范围大；反之亦然．因此，为获得具 有良好推广能力的 SVM，首先要选择合适的宽度参 数 σ ，将数据样本映射到合适的高维特征空间，然后 在确定的特征空间中寻找合适的惩罚因子 C 使得 SVM 的拟合能力和推广能力得到最佳平衡．
中图分类号：TP277
文献标志码：A
文章编号：0493-2137(2011)09-0803-07
Support Vector Machine Optimization Based on Artificial Bee Colony Algorithm
LIU Lu1，WANG Tai-yong1, 2
(1. School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，Tianjin 300072，China； 2. School of Mechanical Engineering，Tianjin University，Tianjin 300072，China)
技重大专项资助项目(2009ZX04014-101-05). 作者简介：刘 路（1982— ），男，博士研究生，lordman1982@. 通讯作者：王太勇，tywang@.
·804·
天津大学学报
第 44 卷 第 9 期
法 包 括 梯 度 下 降 法 [5] 、模 拟 退 火 算 法 [6-7] 、遗 传 算 法 [8-9] 、蚁 群 优 化 算 法 [10-11] 和 粒 子 群 优 化 算 法 [12-13] 等．实践证明，支持向量机的分类正确率与惩罚因子 以及核函数参数之间存在多峰值函数关系[14]，而上 述优化算法在寻优过程中会不同程度地陷入局部最 优 解 ，无 法 达 到 最 优 分 类 效 果 ．人 工 蜂 群 (artificial bee colony，ABC)算法是 Karaboga[15]于 2005 年提出 的一种新的群集智能优化算法．该算法模拟蜂群采 蜜过程，蜜蜂根据分工不同完成采蜜过程的各阶段任 务，通过食物源信息的收集与共享，寻找问题的最优 解．Karaboga 等[16-17]通过大量 Benchmark 函数测试 实验证明，该算法通过不同工种蜜蜂之间的合作，解 决了扩展新解域与在已知解域进行精细搜索之间的 矛盾，在很大程度上避免了陷入局部最优解问题，具 备 比 传 统 优 化 方 法 更 好 的 优 化 性 能 ．笔 者 以 采 用 RBF 核函数的支持向量机为对象，利用人工蜂群算 法建立支持向量机模型参数优化方法．通过标准数 据集和实测轴承故障数据的实验证明，与遗传算法、 蚁群优化算法和标准粒子群算法优化的支持向量机 相比，该算法可克服局部最优解，获得更高的分类正 确率，并在一定程度上降低搜索时间，从而验证了该 方法的可行性与大程度上取决于其相关参数的选择，针对该问题提出基于人工蜂群算法的支持