基于CMA—ES算法的支持向量机模型选择

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ＳｒｅｙＣＡ—Ｅ）ｕｉｅｏｎｓｎｇｎｒｉｔｎｐｒｒａｃｆＶｔｔｇ（ＭａＳｓｇｔｕｄｅｅａｚｉｅｏｍｎｅＭ．ＣｍａｅｉｅＧｎｔｌｒｈｓｎｈｂＯｌａｏｆｏＳｏｐｒｄｗｔｔｅｅｃＡｇｉｍｈｈｉｏｔ
中图分类号：Ｐ９Ｔ３１文献标识码：Ａ
ＭｏｅｅｅｔｎｆｒＳｄｌＳｌｃｉｏＶＭｓＢａｅｎＣＭＡ —ＥＳＡｌｏｉｍｏｓｄｏ — ｇｒｔｈ
ＺＵＷｅＨＯｎ—ｉ，ＸＵＹｏｇｉｅｎ
复杂的缺点，为了提高全面优化能力和分类精度，提出了一种基于协方差矩阵自适应进化策略（ＭＡ—Ｅ）ＣＳ的支持向量机（ＶＭ）Ｓ模型优化算法，通过对ＳＭ泛化性能界（ｏｎｓｏｅｅａｉｔｎＰｒｒｎｅ的优化求解，ＶＢｕｄｎＧｎｒｌａｏｅｏｃ）ｚｉｆｍａ实现了基于ＣＭＡ—ＥＳ算
ＫＹＷＯＲＳ：ｕｐ￣ｖｃｏｍｃｉｅＳＭ）Ｅｏｔｎａｏｔｍ；ｄｌｅｃｏ；ＣＥＤＳｐｏｅｔｒａｈｎ（Ｖ；ｖｌｉｇｒｓＭｏｅｓｌｔｎＭＡ—ＥｕｏｌｉｈｅｉＳ
ｐｒａａｅｅ）ｅｐｒｍｔ对其泛化性能有着重要的影响。超参数主要包ｒ
在统计学习理论基础之上的新型分类算法，特别适合小样本高维数据的分类和学习，近几年在模式识别领域得到了广泛的应用 … 。在支持向量机理论中，过引入核函数，通隐式地
（ｏｅｅｏＥｅｔｃｌｎｆｒｔｎＥｇｎｅｎ，ｕａｎｖｒｉ，ｈｎｓａＨｎｎ４０８，ｈｎ）ＣｌｇｆｌｃａａｄＩｏｉｎｅｒｇＨｎｎＵｉｅｔＣａｇｈｕａ１０２Ｃｉｌｉｒｎｍａｏｉｉｓｙａ
ｔｎ．ＡｎｗｍｏｅｅｅｔｎｍｅｈｄｉｐｏｏｅｎｔｉｐｐｒａｅｎｔｅＣｖｒｎｅＭａｒａｔｔｎ—ＥｏｕｉｎｉｓｅｄｌｌｃｉｔｏｒｐｓｄｉｓａｅｓｄｏｏａａｃｔｘＡｄｐａｉｏｓｏｓｈｂｈｉｉｏｖｌｔｏ
ＡＢＳＴＲＡＣＴ：ｄｌｅｅｔｎｐａｓａｋｙｒｌｎＳＭｏｅｌｃｉｌｙｅｏｅｉＶＭｐｌａｉｎｒｄｔｎｌｍｅｈｄ，ｓｃｓｔｅｇａｉｎａｅｓｏａｐｉｔ．Ｔａｉｏａｔｏｓｕｈａｈｒｄｅｔｂｓｄｃｏｉｍｅｈｄａｄｄｓａｃｔｏｔｏｎｅｒｈｍｅｈｄ，ｒｓｅｔｅｙｓｆｒｆｍｈｅｓｔｉｏｔｅｉｉａｏｎｎｎｅｓｖｏｕａｅｐｃｉｌｕｅｒｖｏｔｅｓｎｉｖｔｔｈｎｔｌｐｉｔａｄｉｔｎｉｅｃｍｐｔ－ｉｙｉ
（Ａ）ａｄｔｅＢｏｄｎ—Ｆｅｈｒ—Ｇｌｆｂ—Ｓａｎ（ＦＳＧｎｈｒｙｅｌｔｅｃｏｄａｒｈｎｏＢＧ）ｍｅｏ，ｔｅｅｐｒｎａｒｕｔｂｅｎｆｒｔｄｈｘｅｍｅｔｅｌａｄｏｏｈｉｌｓｓｕ
ｂｎｈｒａａｅｓｓｏｈｔｔｅｐｏｏｅｔｏａｍｐｏｅｔｅｐｅｉｔｇａｃｒｃｅｆＳｅｃｍａｋｄｔｓｔｈｗｔａｈｒｐｓｄｍｅｈｄｃｎｉｒｖｈｒｄｃｉｃｕａｉｓｏＶＭｉｏｏｕａｎｗｔｌｗｃｍｐｔ— ｈ
法的ＳＭ模型选择。在标准数据集上的实验结果表明：比遗传算法和梯度算法，Ｖ相上述方法能够在较小计算代价下得到更优的超参数，提高支持向量机的预测精度稳定性，适合大样本数据条件下的模型选择。尤其
关键词：支持向量机；进化算法；参数选择；协方差矩阵自适应进化策略
第７第期２卷４
文章编号：０６— ３８２１）４— １３—０１０９４（００００６４
计ห้องสมุดไป่ตู้
算
机仿
真
２０月０年４１
基于ＣＭＡ—ＥＳ算法的支持向量机模型选择
周文杰，徐勇
（湖南大学电气与信息工程学院，湖南长沙４０８）１２０摘要：研究模型选择对支持向量机（Ｖ的泛化性能有着重要影响。针对传统梯度算法对初始值敏感及网格搜索法计算ＳＭ）
１引言
支持支持向量机（ｕｐ￣ＶｃｏＭａｈｎ，Ｖ是建立ＳｐｏｅｔｒｃｉｅＳＭ）
括核函数参数和以及正则化参数（惩罚参数Ｃ。目前超参）
数选择一般是通过最优化支持向量机泛化性能实现的。虽
然交叉验证和留一法能够对支持向量机的泛化性能进行很
ｔｎｏｔｉｓｃｓ，ｗｈｃｋｓｔｅｐｏｏｅｔｏｅｅｐｃａｌｕｔｂｅｆｒｍｏｅｅｅｔｎｏａｇａａｓｔ．ｏｉｈｍａｅｈｒｐｓｄｍｅｈｄｂｓｅｉｙｓｉｌｏｄｌｓｌｃｉｎｌｅｄｔｅｓｌａｏｒ