一种基于支持向量机的蠓虫分类方法

2 ．模型建立
ＳＶＭ 是从线性可分情况下的最优 分类线发展而来的，所谓最优分类线就 是要求分类线不但能将两类正确分开 （训练错误率为 ０） ，而且使分类间隔最 大。分类线方程为 ｘ・ｗ＋ｂ＝０，我们可以 对它进行归一化，使得对线性可分的样 本集（ｘ ｉ，ｙ ｉ），ｉ＝１， …ｎ， x ∈ R d ，满足
( w • xi ) + b －１ ≥ ０，ｉ＝１， ｎ （１） ｙｉ＝ …
此时分类间隔等于 2 / w ，使间隔 最大等价于使 w 2 最小。满足条件 （１ ）且使
1 w 2
2
最小的分类面叫做最
优分类面，Ｈ １ 、Ｈ ２ 上的训练样本点 就称为支持向量。 但当线性不可分时，如果坚持用 超平面进行分化，则必须“软化”对 间隔的要求，这导致如下优化问题：
表 1 蠓虫样本集
－２６７ －
基础及前沿研究
中国科技信息2007年第4期
CHINA SCIENCE AND TECHNOLOGY INFORMATION Feb.2007
min
l 1 2 w + C ∑ξi 2 i =1 s.t . yi ((w ⋅ xi + b) ≥ 1 − ξ i , i = 1,2,...l .
得到该问题的一个分类函数。通过数 值实验证实，该方法分类的正确率较 高 。
ξ i ≥ 0, i = 1,2,...l
利用 Ｌａｇｒａｎｇｅ 优化方法可以把上 述最优分类面问题转化为其对偶问题， 即 ：
参考文献 ［１］ Ａｎｃｏｎａ Ｎ ｅｔ ａｌ． Ｂａｌｌ ｄｅｔｅｃｔｉｏｎ ｉｎ ｓｔａｔｉｃ ｉｍａｇｅｓ ｗｉｔｈ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］．Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，２００３（２１）：６７５－６９２． ［２］ 边肇祺，张学工． 模式识别［Ｍ］． 北京：清华大学出版社，２ ０ ０ ０ ． ［３］ Ｂｕｒｇｅｓ Ｊ．Ｃ．． Ａ Ｔｕｔｏｒｉａｌ ｏｎ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ［Ｊ］．Ｄａｔａ ｍｉｎｉｎｇ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ， １９９８，２（２）：１２１－１６７ ［４］ 邓乃扬，田英杰． 数据挖掘中的 新方法—支持向量机［Ｍ］． 北京：科 学出版社，２００４． ［５］ Ｓｃｈｏｋｏｐｆ Ｂ，ｅｔ ａｌ．Ｉｎｐｕｔ ｓｐａｃｅ ｖｅｒｓｕｓ ｆｅａｔｕｒｅ ｓｐａｃｅ ｉｎ ｋｅｒｎｅｉ－ｂａｓｅｄ ｍｅｔｈｏｄｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓ．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．１９９９，１０（９）： １０００－１０１７． ［６］ Ｖａｐｎｉｋ Ｖ． Ｔｈｅ Ｎａｔｕｒｅ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ［Ｍ］．Ｎｅｗ Ｙｏｒｋ： Ｓｐｒｉｎｇｅｒ， １９９５． ［ ７ ］ 赵静，但琦． 数学建模与数学实 验［ Ｍ ］ ．第二版． 北京：高等教育出版 社，２００３． ［８］ 赵文霞．基于模糊示例学习的蠓虫 分类规则的设计［Ｊ］．保定师范专科学 校学报，２００４， １７（２）： １０－１３． ［９］ Ｚｈａｎｇ Ｃｈｕｎｈｕａ， Ｔｉａｎ Ｙｉｎｇｊｉｅ， Ｚｈａｎｇ Ｙｕｅｆｅｎｇ． Ａｎ Ｉｍｐｒｏｖｅｍｅｎｔ ｔｏ ｔｈｅ Ｔｈｅｏｒｅｔｉｃａｌ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］．运筹学学报，２００４， ８（２）：６６－７１． ［ １ ０ ］ 张莉，周伟达，焦李成． 核聚 类算法［ Ｊ ］ ． 计算机学报，２ ０ ０ ２ ，２ ５ （６ ） ：５ ８ ７ － ５ ９ ０ ．
4 ．结论
我们采用支持向量机的方法对两类 蠓虫的分类问题建立一种数学模型，
图1
－２６８ －
（３） 式中的求和实际上只对支持向量进 行。ｂ ＊ 是分类阈值，可以用任一个支 持向量（满足（１ ）中的等号）求 得，或通过两类中任意一对支持向量 取中值求得。这就是支持向量机。
3 ．模型应用
设 ６ 只 Ａｐｆ 为正类，即 ｙｉ＝１，ｉ＝１， ２ ，…，６ ，９ 只 Ａ ｆ 类为负类，即 ｙ ｉ ＝ １ ，ｉ ＝ ７ ，８ ，…，１ ５ 。同时 ｘ
摘
要
1 ．引言
问题选自美国大学生数学建模竞赛 的一个题目—蠓的分类， 其大意是：生 物学家Ｗ． Ｌ． Ｇｒｏｇａｎ和Ｗ． Ｗ． Ｗｉｒｔｈ 试图将两种蠓虫 Ａｆ 和 Ａ ｐ ｆ 进行鉴别， 给出了 ９ 只 Ａｆ 和 ６ 只 Ａｐｆ 的触角长度 和翅膀长度的数据（见表 １）。已知 Ａｆ 是 宝贵的传粉益虫，Ａ ｐ ｆ 是某种疾病的 载体， 要求建立一种模型，正确区分 两类蠓虫。 关于蠓虫的分类，属于模式识别问 题，由于 Ａｆ 是益虫，Ａｐｆ 是毒蠓，所以 本文识别原则的目标是：最大限度的消 灭 Ａｐｆ，在此基础上，最大限度地保护 Ａｆ， 因此，对蠓虫群体的识别模型的确 定具有重要的意义。本文基于支持向量 机模型，给出一种新的蠓虫的分类方 法，这对消灭害虫，保护益虫，保持农
y = sgn(−7.2613 x1 + 3.4491x2 + 2.9769)
Hale Waihona Puke Baidu
0 ≤ α i ≤ C , i = 1, 2,...l.
ａ
ｉ
为原问题中与每个约束条件
（１ ）对应的 Ｌ ａ ｇ ｒ ａ ｎ ｇ ｅ 乘子。这是一 个不等式约束下二次函数寻优的问题， 存在唯一解。容易证明，解中将只有 一部分（通常是少部分）ａ ｉ 不为零， 对应的样本就是支持向量。解上述问 题后得到的最优分类函数是
将各样本点及上述分类函数利用 Ｍａｔｌａｂ 作出图形如图 １ 所示。 从图示可以看出，黑点为 ６ 只 Ａｐｆ 类，红点为 ９ 只 Ａｆ 类，蓝色的分类线将 它们完全分开。 并且， 有三个新的个体， 以圆圈表示，两只为 Ａｐｆ 类，一只为 Ａｆ 类，分类线也恰好将它们分开。因此， 此方法的回验正确率为 １００％，可信度 较高。
基金项目：国家自然科学基金(10601064)
一种基于支持向量机的蠓虫分类方法
冯增哲 1 王清 1 王昌元 1 田英杰 2 １．泰山医学院信息工程学院 ２７１０１６ ２．中国科学院数据技术与知识经济研究中心 １０００８０
A Classification Method of Midges Based on Support Vector Machine
取值为 ｘ１ ＝（１．１４，１．７８），ｘ ２ ＝（１．１８，１．９６）， ｘ３＝（１．２０，１．８６），ｘ４＝（１．２６，２．００），ｘ５＝（１．２８， ２．００），ｘ ６ ＝（１．３０，１．９６） ；ｘ ７ ＝（１．２４，１．７２）， ｘ８ ＝（１．３６，１．７４）， ｘ９ ＝（１．３８，１．６４），ｘ１０＝（１． ３８，１．８２），ｘ１１＝（１．３８，１．９０），ｘ１２＝（１．４０，１．７０）， ｘ１３＝（１．４８，１．８２）， ｘ１４＝（１．５４，１．８２），ｘ１５ ＝（１． ５６，２．０８）。 将 以 上 数 据 代 入 模 型（２ ）中， 同时选取参数 Ｃ＝１０，利用 Ｍａｔｌａｂ 程序
Feng Zengzhe1 Wang Qing1 Wang Changyuan1 Tian Yingjie2 １．Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｅｎｇｉｎｅｅｒ Ｓｃｈｏｏｌ ｏｆ Ｔａｉｓｈａｎ Ｍｅｄｉｃａｌ Ｃｏｌｌｅｇｅ， Ｓｈａｎｄｏｎｇ， Ｔａｉａｎ， Ｃｈｉｎａ， ２７１０１６ ２．Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｏｎ Ｄａｔａ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｅｃｏｎｏｍｙ， Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， １０００８０
业生态平衡，有一定的意义。
讨论两类蠓虫的分类问题。利用极大化 “间 隔 ”的 思 想 ，将 分 类 问 题 转 化 为 一 个 二次规划及其对偶规划问题，即支持向量 机算法。通过求解此数学规划，得到一线 性分类函数。基于该算法，通过给定的蠓 虫的样本集，建立上述分类模型，求得一 个线性分类函数，为蠓虫的正确分类提供 了一个较可靠的方法。 关键词 支持向量机；模式识别；蠓虫分类；分类 函数 中图分类号：Ｏ ２ ２ ，Ｑ ９ ６ Abstract Ｔａｌｋｅｄ ａｂｏｕｔ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｔｗｏ ｋｉｎｄｓ ｏｆ ｍｉｄｇｅｓ’ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ｕｓｉｎｇ ｔｈｅ ｍａｘｉｍｉｚｅ ｍａｒｇｉｎ ｔｈｏｕｇｈｔ ， ｔｒａｎｓｆｏｒｍ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｒｏｂｌｅｍ ｉｎｔｏ ａ ｑｕａｄｒａｔｉｃ ｐｒｏｇｒａｍｍｉｎｇ ａｎｄ ｉｔｓ ｄｕａｌ ｐｒｏｂｌｅｍ， ｎａｍｅｌｙ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ａｌｇｏｒｉｔｈｍ． Ａ ｌｉｎｅａｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｕｎｃｔｉｏｎ ｃａｎ ｂｅ ｏｂｔａｉｎｅｄ ｂｙ ｓｏｌｖｉｎｇ ｔｈｅ ｍａｔｈ ｐｒｏｇｒａｍｍｉｎｇ． Ｂｕｉｌｔ ｕｐ ｔｈｅ ａｂｏｖｅ－ｍｅｎｔｉｏｎｅｄ ｍｏｄｅｌ ｂｙ ｔｈｅ ｇｉｖｅｎ ｍｉｄｇｅｓ’ ｓａｍｐｌｅ ｓｅｔ ｂａｓｅｄ ｏｎ ｔｈｅ ａｌｇｏｒｉｔｈｍ， ａｎｄ ｇｏｔ ａ ｌｉｎｅａｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｕｎｃｔｉｏｎ． Ｉｔ ｐｒｏｖｉｄｅｄ ａ ｒｅｌｉａｂｌｅ ｍｅｔｈｏｄ ｆｏｒ ｍｉｄｇｅｓ’ ｃｏｒｒｅｃｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Key words ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ； ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ； ｍｉｄｇｅｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｕｎｃｔｉｏｎ．
作者简介 冯增哲，男，３ ４ 岁，汉族，山东泰安 人，讲师，硕士，主要研究方向：最优 化理论与方法 ，支持向量机。
s.t.
∑ yα
i =1 i
l
i
= 0 （２ ）
求解得：ａ ＝ （ ａ １ ，ａ ２ ，…，ａ １ ５ ） ＝ （９ ． ６ ６ ９ ７ ，１ ０ ，０ ，１ ０ ，１ ０ ，１ ０ ，１ ０ ， １ ０ ，０ ，１ ０ ，１ ０ ，０ ，０ ，０ ，９ ． ６６９７） ；然后利用模型求解权系数得 ｗ＝（ｗ １ ，ｗ ２ ， ）＝（－７．２６１３，３．４９９１）； 再求分类阈值得 ｂ＝２．９７６９。从而，我 们求得该问题的一个线性分类函数 为 ：