一种改进的线性SVM

ｓｇｎ（（ｗ ·＊ ｘ）＋ｂ＊）。
２．３ 线性支持向量分类机
考虑问题（１３）、（１４）的对偶问题：
ｌｌ
ｌ
&& & ｍ ｉｎ １ !２
ｉ＝１
ｙｉｙｊ!ｉ!ｊ（ｘ·ｉ ｘｊ）－ !ｊ
ｊ＝１
ｊ＝１
（１５）
ｌ
& ｓ．ｔ． ｙｉ!ｉ＝０ ０≤!ｉ≤Ｃ ，ｉ＝１，…，ｌ ｉ＝１
（１６）
可以证明此问题总有解，由此得到了近似线性可分问题实
（１１）为特征的与算法 １ 和算法 ２ 等价的方法，这是在线性可
分问题实际中经常使用的算法。
算法 ３ （线性可分 ＳＶ Ｍ ）
（１）训练集 Ｔ 如式（１）；
（２）构造并求解最优化问题（９）～（１１），设 !＊ 是对偶问题
（９）～（１１）的最优解；
（３）计算式（１２）；
（４）构造分划超平面（ｗ ·＊ ｘ）＋ｂ＊＝０，由此得到决策函数 ｆ（ｘ）＝
２
ｙｉ＝１
ｙｉ＝－１
凸壳中任意两点的距离；
& & （３）计算两个最近点 ｃ＝ !! ｉｘｉ和 ｄ＝ !! ｉｘｉ；
ｙｉ＝１
ｙｉ＝－１
（４）构造分划超平面（ｗ!·ｘ）＋ｂ!＝０，其中ｗ! ＝ｃ－ｄ，ｂ! ＝－ １ （（ｃ－ｄ）· ２
（ｃ＋ｄ））。由此求得决策函数 ｆ（ｘ）＝ｓｇｎ（（ｗ!·ｘ）＋ｂ! ）。
Ｔ ＩＡ Ｎ Ｌ ｉ，Ｌ ＩＵ Ｚ ｈｅｎ － ｂｉｎｇ，Ｌ ＩＵ Ｘ ｉａｏ－ ｍ ａｏ．Ｍ ｏｄｉｆｉｅｄ ｌｉｎｅａｒ ＳＶ Ｍ ．Ｃ ｏｍ ｐｕｔｅｒ Ｅ ｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａ ｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（２０）： １７３－ １７６．
Ａ ｂｓｔｒａｃｔ： Ａ ｎｅｗ ＳＶ Ｍ ｉｓ ｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ａｐｐｒｏｘｉｍ ａｔｅｌｙ ｌｉｎｅａｒ ｓｅｐａｒａｂｌｅ ｐｒｏｂｌｅｍ ｏｆ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ： Ｆｉｒｓｔ，ｗ ｅ ｔｒａｎｓｆｏｒｍ ｔｈｅ ｔｗ ｏ ｃｏｎｖｅｘ ｈｕｌｌｓ ｗ ｈｉｃｈ ａｒｅ ｍ ａｄｅ ｕｐ ｏｆ ｔｈｅ ａｐｐｒｏｘｉｍ ａｔｅｌｙ ｓｅｐａｒａｂｌｅ ｔｒａｉｎｉｎｇ ｓｅｔ ｔｏ ｍ ａｋｅ ｔｈｅｍ ｓｅｐａｒａｂｌｅ； Ｓｅｃｏｎｄ，ｗ ｅ ｃａｎ ｆｉｇｕｒｅ ｏｕｔ ａ ｓｅｐａｒａｔｉｎｇ ｈｙｐｅｒｐｌａｎｅ ｂｙ ｈａｌｖｉｎｇ ｔｈｅ ｎｅａｒｅｓｔ ｐｏｉｎｔｓ ｍ ｅｔｈｏｄ ｏｒ ｍ ａｘｉｍ ａｌ ｍ ａｒｇｉｎ ｍ ｅｔｈｏｄ；Ｔｈｅｎ，ｗ ｅ ｇｅｔ ｔｈｅ ａｐｐｒｏｘｉｍ ａｔｅｌｙ ｌｉｎｅａｒ ＳＶ Ｍ ｂｙ ｓｏｌｖｉｎｇ ｔｈｅ ｄｕａｌ ｐｒｏｂｌｅｍ ｏｆ ｍ ａｘｉｍ ａｌ ｍ ａｒｇｉｎ ｍ ｅｔｈｏｄ．Ｂ ｅｓｉｄｅｓ，ｗ ｅ ｃｏｍ ｐａｒｅｄ ｔｈｅ ｎｅｗ ＳＶ Ｍ ｔｏ ｔｈｅ ｋｎｏｗ ｎ ＳＶ Ｍ ｓ ｔｈｒｏｕｇｈ ｔｈｅｏｒｅｔｉｃａｌ ａｎｄ ｐｒａｃｔｉｃａｌ ａｎａｌｙｓｉｓ，ａｎｄ ｓｈｏｗ ｔｈｅ ａｄｖａｎｔａｇｅｓ ａｎｄ ｒａｔｉｏｎａｌｉｔｙ ｏｆ ｔｈｅ ｎｅｗ ＳＶ Ｍ ． Ｋ ｅｙ ｗ ｏｒｄｓ：ＳＶ Ｍ ；ａｐｐｒｏｘｉｍ ａｔｅｌｙ ｌｉｎｅａｒ ＳＶ Ｍ ；ｓｉｍ ｉｌｉｔｕｄｅ ｃｏｎｖｅｘ ｈｕｌｌｓ ｍ ｅｔｈｏｄ；ｍ ａｘｉｍ ａｌ ｍ ａｒｇｉｎ ｍ ｅｔｈｏｄ；ｓｅｐａｒａｔｉｎｇ ｈｙｐｅｒｐｌａｎｅ
１ 言
所 谓 分 类 问 题 ，用 数 学 语 言 来 描 述 就 是 ：根 据 给 定 的 训
练集
Ｔ＝｛（ｘ１，ｙ１），…，（ｘｌ，ｙｌ）｝
（１）
其中 ｘｉ∈Ｘ ＝Ｒ ｎ，称为模式或输入；ｙｉ∈Ｙ ＝｛１，－１｝，称为类别或输
出；ｉ＝１，…，ｌ，寻找 Ｘ ＝Ｒ ｎ 上的一个实值函数 ｇ（ｘ），以便用决策
基金项目：国家自然科学基金（ｔｈｅ Ｎ ａｔｉｏｎａｌ Ｎ ａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃ ｈｉｎａ ｕｎｄｅｒ Ｇ ｒａｎｔ Ｎ ｏ．６０３７３０９０）；航天基金（Ｎ ｏ．０２ １．３ ｊｗ ０５０４）。 作者简介：田立，女，硕士，研究方向为统计学习理论与金融风险管理；刘振丙，男，博士，研究方向为模式识别与统计学习理论；刘小茂，副教授，研
２．１．３ 最大间隔法 在线性可分问题中，有许多直线能将两类点正确分开，对
于适当给定的法方向，会有两条极端的直线（极限超平面），这 两条直线平行且分别恰好和两类点所在的凸壳相切，并且这两
条直线间没有训练点。显然，应该选取使它们的“间隔”达到最 大的那个法方向。这就得到了如下算法：
算法 ２ （最大间隔法）
２００７，４３（２０） １７５
究方向为统计学习理论与金融风险管理。
１７４ ２００７，４３（２０）
Ｃ ｏｍ ｐｕｔｅｒ Ｅ ｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａ ｐｐｌｉｃａｔｉｏｎｓ 计算机工程与应用
$ % ! ! Ｓ＋＝ !ｉｘｉ !ｉ＝１，０≤!ｉ≤１，ｉ∈｛ｉ｜ｙｉ＝１｝
ｙｉ＝１
ｙｉ＝１
（２）
$ % & & Ｓ－＝ !ｉｘｉ !ｉ＝１，０≤!ｉ≤１，ｉ∈｛ｉ｜ｙｉ＝－１｝
ｌ
ｌ
& & ＊
＊
＊
ｗ ＊＝ ｙｉ!ｉ ｘｉ ｂ＊＝ｙｊ－ ｙｉ!ｉ （ｘｉ·ｘｊ）)ｊ∈｛ｊ｜!ｉ ＞０｝
ｉ＝１
ｉ＝１
（１２）
则（ｗ ＊，ｂ＊）是（７）、（８）的最优解。
文［１］已经证明，由平分最近点法和最大间隔法得到的超平
面存在且唯一，并且得到的是同一个超平面，其解可以通过求
解对偶问题得到。这样就得到了一个以求解最优化问题（９）～
（１）已知训练集 Ｔ 如式（１）；
（２）选择适当的惩罚参数 Ｃ ＞０，构造并求解变量 ｗ ，ｂ 和 "
的最优化问题：
ｌ
& ｍ ｉｎ
ｗ ，ｂ，"
１ ２
‖ｗ ‖２＋Ｃ
ｉ＝１
"ｉ
（１３）
ｓ．ｔ． ｙｉ（（ｗ·ｘ）＋ｂ）＋"ｉ≥１，ｉ＝１，…，ｌ
（１４）
求得最优解 ｗ ＊，ｂ＊ 和 "ｉ；
（３）构造分划超平面（ｗ ·＊ ｘ）＋ｂ＊＝０，由此得到决策函数 ｆ（ｘ）＝
ｌ
训练集被错分的情况，而可以采用&"ｉ 作为描述训练集被错 ｉ＝１
分的程度。为了使间隔 １／‖ｗ ‖尽可能大的同时，希望错分程
ｌ
度&"ｉ越小，可以引进一个惩罚参数 Ｃ 作为综合这两个目标 ｉ＝１
ｌ
& 的权重，即最小化新的目标函数 １ ２
‖ｗ ‖２＋Ｃ
ｉ＝１
"ｉ。这就得到了
以下变形算法：
算法 ４ （推广的最大间隔法）
间隔的思想导出了求解分划超平面的原始最优化问题，并且凸
壳的引入还把回归问题和分类问题联系起来。
本文余下部分的安排如下。第 ２ 章介绍了这些内容：在最
大间隔思想的影响下，对线性可分的训练集，用平分最近点法
和最大间隔法求解最佳决策函数［１］；对近似线性可分的训练集，
通过引入松弛变量，用改进的最大间隔法求解最佳决策函数［１］。
（２）构造并求解最优化问题：
& & ｍ ｉｎ １ ‖ !ｉｘｉ － !ｉ ｘｉ‖２
!２
ｙｉ＝１
ｙｉ＝－１
（４）
ｓ．ｔ．&!ｉ＝１ &!ｉ＝１
ｙｉ＝１
ｙｉ＝－１
０≤!ｉ≤１，ｉ＝１，…，ｌ
（５） （６）
& & 其最优解!! ＝（!! １，…，!! ｌ）Ｔ，这里 １ ‖ !ｉｘｉ － !ｉ ｘｉ‖２ 是两类
２．１．４ 线性可分 ＳＶ Ｍ
引入算法 ２ 的对偶问题：
ｌｌ
ｌ
&& & ｍ ｉｎ １ !２
ｉ＝１
ｙｉｙｊ!ｉ!ｊ（ｘ·ｉ ｘｊ）－ !ｊ
ｊ＝１
ｊ＝１
（９）
ｌ
& ｓ．ｔ ｙｉ!ｉ＝０ ｉ＝１
（１０）
０≤!ｉ≤１，ｉ＝１，…，ｌ
（１１）
＊
＊Ｔ
设 !＊＝（!１ ，…，!ｌ ）是对偶问题（９）～（１１）的最优解，若令
ｓｇｎ（（ｗ ·＊ ｘ）＋ｂ＊）。
２．２ 近似线性可分问题推广的最大间隔法
对于样本线性不可分问题来说，线性分划造成的错分点可
能较少，这类问题称为近似线性可分问题，这时仍考虑使用线
性分划超平面，但需要对前面的算法加以改造。
修改最优化问题（７）、（８），可以得到推广的最大间隔法。具
体方法是，对训练点（ｘｉ，ｙｉ）引进松弛变量 "ｉ≥０，把约束条件（８） 放松为 ｙｉ（（ｗ·ｘ）＋ｂ）＋"ｉ≥１。显然向量 !＝（"１，…，"ｌ）Ｔ 体现了允许
摘 要：对模式分类中的近似线性可分问题提出了一种新的近似线性支持向量机（ＳＶ Ｍ ）：先对近似线性分类中的训练集所形成的 两类凸壳进行了相似变形，使变形后的凸壳线性可分，再用平分最近点和最大间隔法求出理想的分划超平面，然后再通过求解最 大间隔法的对偶问题得到基于相似压缩的近似线性 ＳＶ Ｍ 。此外，还从理论和实证分析两个方面将该方法与线性可分 ＳＶ Ｍ 及已有 的近似线性可分 ＳＶ Ｍ 进行了对比分析，说明了该方法的优越性与合理性。 关键词：ＳＶ Ｍ ；近似线性 ＳＶ Ｍ ；相似变形压缩法；最大间隔法；分划超平面 文章编号：１００２－８３３１（２００７）２０－０１７３－０４ 文献标识码：Ａ 中图分类号：Ｏ ２３５
际中经常使用的算法：
算法 ５ （线性支持向量分类机）
（１）训练集 Ｔ 如（１）式；
（２）选择适当的 Ｃ ，构造并求解最优化问题（１５）、（１６），设
!＊ 是对偶问题（１５）、（１６）的最优解；