基于CMA-ES算法的支持向量机模型选择

协方差矩阵自适应进化策略（Ｃｏｖａｒｉａｎｅｅ Ｍａｔｒｉｘ Ａｄａｐｔｓ— ｒｉｏ．Ｅｖｏｌｕｔｉｏｎ Ｓｔｒａｔｅｇｙ，ＣＭＡ—ＥＳ）是一种新型的进化优化算 法，由Ｈａｎｓｅｎ和Ｏｓｔｅｒｍｅｉｅｒ首先提出。该算法通过采用进化
一１６３—
万方数据
策略对搜索点群协方差矩阵进行迭代更新，逐步逼近目标函 数的逆Ｈｅｓｓｉａｎ矩阵（Ｔｈｅ Ｉｎｖｅｒｓｅ Ｈｅｓｓｉａｎ Ｍａｔｒｉｘ）ｏ ＣＭＡ—ＫＳ 算法继承了标准进化算法的健壮性，对搜索空间映射不变性 等优点，并成功地避免了传统进化算法如遗传算法，粒子群 算法对种群大小的依赖以及早熟等问题，特别适合对非凸目 标函数的全局优化求解Ｈｊ Ｊ。
ｃ。，协方差矩阵自适应参数ｃ。，步长学习参数ｃ，，步长抑制
参数以，种群方差有效性变量以矿，更新权重参数肛。，父代个
体组合权重蛐，吡。这些参数都是自含的，可由算法设定。
根据ＣＭＡ—ＥＳ的演化规则，基于ＣＭＡ—ＥＳ的ＳＶＭ参 数寻优算法如下：
步骤ｌ：初始化 初始化种群均值ｍ∞），最大适应度函数计算次数ｍａｘＦｓ，
１ 引言
支持支持向培机（Ｓｕｐｐｏａ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）是建立 在统计学习理论基础之上的新型分类算法，特别适合小样本 高维数据的分类和学习，近几年在模式识别领域得到了广泛 的应用…。在支持向黾机理论中，通过引入核函数，隐式地 利用非线性变换将数据从低维非线性输人空间转换到高维 的线性特征空间（Ｆｅａｔｕｒｅ Ｓｐａｃｅ），然后在高维空间中构造线 性判别函数来实现对输入空间中非线性数据的分类；ＳＶＭ通 过求解一个简单线性约柬条件下的凸二次优化问题获得全 局最优解，实现ｒ结构风险最小化，因而能够保证较好的推 广能力。同时，由于其算法复杂度与样本维数无关，巧妙地 解决ｒ维数问题。
优的超参数，提高支持向虽机的预测精度稳定性，尤其适合大样本数据条件下的模型选择。
关键词：交持向量机；进化算法；参数选择；协方差矩阵自适应进化策略
中图分类号：ＴＰ３９１
文献标识码：Ａ
Ｍｏｄｅｌ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ ＳＶＭｓ Ｂａｓｅｄ ｏｎ ＣＭＡ——ＥＳ Ａｌｇｏｒｉｔｈｍ
ＺＨＯＵ Ｗｅｎ—ｉｉｅ，ＸＵ Ｙｏｎｇ
对于线性两分类问题，支持向量机寻求在特征空间中建 立一个超平面使得正负样本之间分开，并使间隔（ｍａｒｇｉｎ）最 大化。给定１个样本气∈Ｒ“，ｉ＝卜”Ｚ，样本标签Ｙ。∈｛±ｌ｝， ￡ｌ软间隔支持向量机转化为求解以下优化问题：
ｍｉｎ下１…Ｐ＋ｃ∑基
＾厶 扎（加·西（髫ｉ）＋６）≥ｌ一靠
基≥０ Ｖｉ
（１）
第２７卷第４期 文章编号：１００６－９３４８（２０１０）０４一０１６３～０４
计算机仿真
２０１０年４月
基于ＣＭＡ—ＥＳ算法的支持向量机模型选择
周文杰，徐勇 （湖南大学电气与信息工程学院，湖南长沙４１００８２）
摘要：研究模型选择对支持向龟机（ＳＶＭ）的泛化性能有着重要影响。针对传统梯度算法对初始值敏感及网格搜索法计算
（Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈｕｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ Ｈｕｎａｎ ４１００８２，Ｃｈｉｎａ）
ＡＢＳＴＲＡＣＴ：Ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ ｐｌａｙｓ ａ ｋｅｙ ｒｏｌｅ ｉｎ ＳＶＭ ａｐｐｌｉｃａｔｉｏｎ．Ｔｒａｄｉｔｉｏｎａｌ ｍｅｔｈｏｄｓ，ｓｕｃｈ ａｓ ｔｈｅ ｇｒａｄｉｅｎｔ ｂａｓｅｄ ｍｅｔｈｏｄ ａｎｄ ｇｒｉｄ ｓｅａｒｃｈ ｍｅｔｈｏｄ，ｒｅｓｐｅｃｔｉｖｅｌｙ ｓｕｒｆｅｒ ｆｒｏｍ ｔｈｅ ｓｅｎｓｉｔｉｖｉｔｙ ｔｏ ｔｈｅ ｉｎｉｔｉａｌ ｐｏｉｎｔ ａｎｄ ｉｎｔｅｎｓｉｖｅ ｃｏｍｐｕｔａ－ ｆｉｏｎｓ．Ａ ｎｔｙｓｑ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ ｂａｓｅｄ ０１１ ｔｈｅ Ｃｏｖａｒｉａｎｅｅ Ｍａｔｒｉｘ Ａｄａｐｔａｔｉｏｎ——Ｅｖｏｌｕｔｉｏｎ Ｓｔｒａｔｅｇｙ（ＣＭＡ—ＥＳ）ｕｓｉｎｇ ｔｈｅ ｂｏｕｎｄｓ ｏｎ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ＳＶＭ．Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ （ＧＡ）ａｎｄ ｔｈｅ Ｂｒｏｙｄｅｎ—Ｆｌｅｔｃｈｅｒ—ＧｏＩｄｆａｒｂ—Ｓｈａｎｎｏ（ＢＦＧＳ）ｍｅｔｈｏｄ，ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｂａｅｄ ｏｎ ｆｏｕｒ ｂｅｎｃｈｍａｒｋ ｄａｔａｓｅｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｃａｒｌ ｉｍｐｒｏｖｅ ｔｈｅ ｐｒｅｄｉｃｔｉｎｇ ａｃｃｕｒａｃｉｅｓ ｏｆ ＳＶＭ ｗｉｔｈ ｌｏｗ ｅｏｍｐｕｔａ— ｔｉｏｎｓ ｃｏｓｔ，ｗｈｉｃｈ ｍａｋｅｓ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｂｅ ｅｓｐｅｃｉａｌｌｙ ｓｕｉｔａｂｌｅ ｆｏｒ ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ ｏｎ ｌａｒｇｅ ｄａｔａ ｓｅｔｓ． ＫＥＹＷＯＲＤＳ：Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ）；Ｅｖｏｌｕｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ；Ｍｏｄｅｌ ｓｅｌｅｃｔｉｏｎ；ＣＭＡ—ＥＳ
复杂的缺点，为了提高全面优化能力和分类精度，提出了一种基ｆ协方差矩阵自适应进化策略（ＣＭＡ—ＥＳ）的支持向鼍机
（ＳＶＭ）模型优化算法，通过对ＳＶＭ泛化性能界（Ｂｏｕｎｄｓ ｏｎ Ｇｅｎｅｒａｌｉｚａｔｉｏｎ Ｐｅｒｆｏｒｍａｎｃｅ）的优化求解，实现了基于ＣＭＡ—ＥＳ算 法的ＳＶＭ模型选择。在标准数据集上的实验结果表明：相比遗传算法和梯度算法，上述方法能够在较小计算代价下得到更
种群的搜索范围，进化代数ｇ＝０。
步骤２：生成搜索种群
生成数目为）Ｌ的随机种群，即对于ｉ＝ｌ，…，入：
Ｚ”一Ｎ（ｏ，俨）
（１３）
髫：。）＝ｍ‘５）＋盯（ｇ’≈ｉｔ）
（１４）
步骤３：对群体进行选择、重组
以目标函数为适应度函数，优选种群，使目标点函数值
满足：
八茗鬟）≤，（算：：”）≤…≤八并篡”） （１５）
与ｏｒ具有数量级的变化范围，为简化计算，本文利用对数变
换ｕ＝Ｉｎｃｒ２，口＝ｌｎＣ将优化问题缩放到（Ｈ，口）空间中进行，故
支持向量机泛化性能界函数可以表示为ｕ，口的函数以ｕ，。），
从而将问题转化为利用ＣＭＡ—ＥＳ对，（Ⅱ，口）进行全局最优化
的问题。
３．２ ＳＶＭ参数的ＣＭＡ—ＥＳ算法寻优
பைடு நூலகம்
ＣＭＡ—ＥＳ算法的核心思想是通过动态调整多变量正态 搜索的协方差矩阵ｃ，使种群收敛于全局最优解。与其他进
ｓ．ｔ．０≤ａｉ≤Ｃ，ｉ＝１，…，Ｚ
Ｙ１ａ＝０
（２）
其中，Ｑｉ＝，，ｉｙｊＫ（ｘｊ，毛），Ｋ（ｘｊ，ｔ）为核函数，表示非线性映射 函数妒（毛）与妒（葺）的内积。常见的非线性核函数主要有高 斯核函数和多项式核函数，如式（３），式（４）所示：
Ｋ（菇；·鼍）＝ｅｘｐ一（旦兰乏亏华） （３）
Ｘ（气·茗，）＝（１＋≈·≈）４
其中，￡为非负的松驰变量；Ｃ为正则化参数，控制对错分样
本的惩罚程度，实现在错分样本比例与算法复杂度间的折
衷，ｐ（鼍）为非线性映射函数，通过妒（菇；）可以将非线性可分
的输入空间数据转换为高维特征空间中的线性可分数据。
通过引入拉格朗日乘子，优化式（１）转化为下述二次优
化问题：
ｍａｘ 形（ｎ）＝ｅｒａ一÷ａ７Ｑａ
虽然ＲＭ界是可导的，但该界并不能二次可导，更不能 保证函数的凸性，因此利用梯度法求解容易陷入局部最优
点，增加了支持向量机模型选择的不稳定性。
３基于ＣＭＡ—ＥＳ算法的ＳＶＭ模型选择
为了取得较好的支持向量机模型，必须合理选择支持向
量机的超参数，即正则化参数Ｃ以及核函数的参数。本文中
采用高斯核函数，利用ＣＭＡ—ＥＳ的全局寻优能力最优化ＲＭ
化算法相比，ＣＭＡ—ＥＳ的收敛速度较快，而且具有旋转不变
性的优点，只需要小规模种群即可实现对问题的高效求解。
在ＣＭＡ—ＥＳ算法中，ｃ为控制着搜索种群椭圆体形分
布的协方差矩阵；ｍ为子代样本均值，代表搜索种群的中心；
叮控制着迭代搜索的步长。在ＣＭＡ—ＥＳ算法中，还需要用 到种群数量入进行霞组的父代个体数弘，协方差矩阵学习率
界及改进ＲＭ界，实现对Ｌ２一ＳＶＭ及Ｌ１一ＳＶＭ的模型选择，
以达到选择更好的超参数盯２和ｃ，提高分类精度，增强算法
稳定性的目的。
３．１模型选择问题的转化
由于ＲＭ界以及改进ＲＭ界都是超参数矿和Ｃ的函
数，针对ｃｒ２和Ｃ最小化ＲＭ界以及改进ＲＭ界，可使ＳＶＭ的
泛化性能得到提高，从而完成对ＳＶＭ模型的确定。由于Ｃ
８．Ｌ
∑鼠＝１，晟≥０，ｖｉ （１０）
ＬＯＯＥｒｒｏｒ≤面１刎哪
（１１）
其中，ＩＩ面”２为问题（６）的目标最优函数值，令（１０）式中Ｋ
（气，誓）＝足（气，鼍）＋睾，则砰为最优化问题（ｔｏ）的目标函
万方数据
可采用针对Ｌ１一ＳＶＭ的改进ＲＭ界，即
ＬＯＯ胁ｒ≤，竺÷［矿Ｉｌ酽¨＋（Ｄ２ｃ＋１）砉纠（１２）
更新搜索种群均值：
ｍ‘‘“’一∑∞ｉ戈；曩
（１６）
优选重组ｚＩ括：Ａ’，依次选择前肛个ｚ缨，ｉ＝１一＂／ｔ，令：
（ｚ）箩＝∑咄·ｚ髫
（１７）
其中，权重峨由初始化时生成，满足∑咄＝１以及ｔＯ。
≥山２≥…≥虬＞０ 步骤４：更新Ｐ，、ｐ。和ｏｒ、Ｃ
∥１）＋更”新一搜索（１路一径ｃ：：）∥＋∥玎Ｆ孺一｝（：）≯
（１８）
盯倌“’一弘）×ｅｘｐ（考（揣－１））（２０） ｐ≯“’＋一（１一Ｃｃ）ｐ≯’＋ｈ，Ｖ／Ｃｃ（２—－ｃ—ｃ）—ｌｔ—，＃（ｚ）’（１９）
２）更新步长及协方差矩阵：
ｃ‘川’＋－（１一ｃ。）ｃ‘。’＋≥（ｐｃｐ：＋６（．ＩＩ，）Ｃ‘５’）＋
‰（１。亡）再眠－。幺
（２１）
步骤５：判断终止条件
若未达到终止条件，则ｇ—ｇ＋１，跳转到步骤２继续执