C-支持向量机及其改进

min
l
l 1 ||w||2 C i 2 i 1
(4) (5) (6)
s.t. yi ((w x i ) b) 1 i , i 1,L , l
i 0, i 1,L ,l
其中 C>0。
(4)-(6)的对偶问题为
设已知训练集
min (

T {( x1 , y1 ),L , ( xl , yl )} ( X Y )l
第 34 卷第 5 期 Vol.34 No.5
唐山师范学院学报 Journal of Tangshan Teachers College
2012 年 9 月 Sep. 2012
C-支持向量机及其改进
王云英 1，阎满富 2
（1. 唐山市第十中学，河北 唐山 摘 063000；2. 唐山师范学院 数学与信息科学系，河北 唐山 063000）
i
如果将目标函数(22)中的 取为 2 ，则问题变为
i
i i 1
原始问题就变为
l
min 1 (||w||2 b 2 ) C 2 i w, b, 2 2 i 1
l
(27) (28) (29)
s.t. yi ((w x i ) b) 1 i , i 1,L , l
(13) (14) (15)
min l 1 w H, b R, Rl ||w||2 Ci2 2 i1
i 0, i 1,L , l * 可知该问题关于 i 的解 i 应满足
其中函数 () 是单变量函数
()
, 0 0, 0
该问题的目标函数具有连续的梯度和 Hesse 矩阵，而 且是无约束的，可以用基本的无约束问题算法来求解。求 得最优解 ( , b ) 后，便可构造出决策函数
* *
[2] 解可新 , 韩健 . 林友联 . 最优化算法 [M]. 天津 : 天津大学出 (36)
版社,2004.
f ( x) sgn( yi i* K ( xi , x) b* )
(10)
出了决策函数中 b 的不唯一的条件和求解公式，如果将目 标函数(4)中加上一项 1/2b 2 ，则原始问题变为
* * 选取 的一个正分量 0 j C ，并据此计算阈值
min l 1 wH,bR, Rl (||w||2 b2 ) Ci
b* y j yi i* K ( xi , x j )
i 1
l
(12)
min (

该算法称为 C-支持向量分类机。
l 1 l l yi y j i j ( K ( xi , x j ) 1) j ) 2 i 1 j 1 j 1
(25) (26)
2.2
C-支持向量分类机的变形
s.t.
0 i C , i 1,L , l
i 1
l
[3] 邓乃杨 , 田英杰 . 支持向量机理论 , 算法与推展 [M]. 北京 :
科学出版社,2009.
3
总结
以上给出的是求解分类问题的支持向量机的几种主要 算法。每种算法都有其特性和优势，或者有一定范围的优
[4] 杨志民 , 刘广利 . 不确定性支持向量机 [M]. 北京 : 科学出
版社,2012.
[1] [2]
变换 Φ： X R n H , (2)
支持向量机（Spport Vector Machine，简称 SVM）是 基于统计学习理论 借助最优化算法 来解决机器学习问 题的新工具， 是由 Cortes 和 Vapni 于上个世纪 90 年代首先 提出，现已成为近年来机器学习研究的一项重大成果。目 前对支持向量机的研究主要集中在对其本身性的研究和完 善以及加大应用研究的深度和广度两方面。C-支持向量机 分类是求解分类问题的最基本算法，为了在解决实际分类 问题时，有更有效和针对性更强的支持向量机模型，有必 要研究支持向量机更多的分类模型和算法。 这里先介绍 C支持向量机， 在此基础上给出三类 C-支持向量机分类机的 改进算法。 2 2.1 C-支持向量分类机及其改进 C-支持向量分类机 (1)
原始问题(4)-(6)中，目标函数是
l 1 ||w||2 C i 2 i 1
这是有唯一解的优化问题，与标准的 C-SVM 比较， 该对偶问题少了等式约束条件，适合迭代求解，同时应用 矩阵分解技术，每次只需更新 的一个分量，提高了计算 速度。
如果用
i2 i 1
来代替
l
2.4
无约束的 C-SVM[4]
(19)
优化方法求解。 如果希望用通常的无约束最优化方法求解，则考虑对 目标函数进行光滑化，得到近似的最优化问题
wH ,b
通过求解上述对偶问题得到最优解
* * (1 , L , l* )T * * 选取 的一个正分量 j 0 ，并据此计算阈值
min ( (||w||2 b2 ) C
s.t.
yi ((w x i ) b) 1 i , i 1,L , l
i* (1 yi (( w xi ) b)) ,i 1,L ,l
(30)
i 0, i 1,L , l
其中 C>0。 原始问题(13)-(15)的对偶问题为
(31)
把(30)代入到(27)中，就得到了无约束最优化问题
（责任编辑、校对：赵光峰）
-43-
i 1
l
s.t.
yi ((w x i ) b) 1 i , i 1,L , l
2
i1
(22) (23) (24)
(11)
i 0, i 1,L , l
其中 C>0。 问题(22)-(24)的对偶问题为
最后构造决策函数
f ( x) sgn( i* yi K ( x, xi ) b* )
s.t.
y i 1
i
l
i
0
(8)
────────── 收稿日期：2012-08-05 作者简介：王云英（1982-） ，女，河北抚宁人，中学二级，研究方向为信息技术。 通讯作者：阎满富（1958-） ，男，河北丰南人，博士，教授，研究方向为运筹与优化。
-41-
第 34 卷第 5 期
0 i C , i 1,L , l
x a x ( x)
把训练集 T 映射为
% {(x , y ) , , (x , y )} T 1 1 l l {( ( x1 ), y1 ), , ( ( xl ), yl )}
然后在 Hilbert 空间 H 中构造原始问题：
(3)
wH, b R, R
i 1
(21)
P (, )
-42-

log(1 e )
(34)
王云英，等：C-支持向量机及其改进
当 充分大时，光滑无约束问题 (33)-(34) 的解会近似 于非光滑无约束问题(32)的解。 通过引入核函数，并用 化算法来求解。有唯一解的 C-支持向量分类机，是在 C支持向量分类机的基础上，对目标函数进行了改进，使其 对偶问题变为不等式约数问题，从而更适合于迭代求解， 提高了运算速度。 无约束的 C-支持向量分类机是通过引入 核函数， 使一般约束问题转化为带有核的光滑无约束问题， 新的最优化问题，具有连续的梯度和 Hesse 矩阵，可以用
l
i
0

2
i 0, i 1,L , l
其中
(1 yi ((w x i ) b)) ) i 1
ij
1, i j, 0, i j.
最优解。函数 () 是不可微的，需要用非光滑的无约束最
上述问题是严格凸的无约束最优化问题，它有唯一的
l
min (

1 1 j) y y ( K ( xi , x j ) C ij ) 2 i 1 j 1 i j i j j 1
l
l
(16) (17) (18)
wH ,b
min ( (||w||2 b 2 )
C l
1 2
(32)
2
s.t.
y i 1
i
要： 支持向量机是 19 世纪 90 年代由美国贝尔实验室的 Cortes 和 Vapnik 首先提出来的一种新算法。 介
绍 C-支持向量机，并在此基础上，构建其改进模型，目的是给出易于求解的几类新算法。 关键词：支持向量机；改进；分类 中图分类号： TJ81+0.35 A 文献标识码： 文章编号：1009-9115(2012)05-0041-03
C-Spport Vector Machine and Its Improvements
WANG Yun-ying1, Yan Man-fu2
4 No. 10 Middle School of Tangshang, Tangshan 063000, China; 2. Department of Mathematics and Information Science, Tangshan Teachers College, Tangshan 063000, China) Abstract: Support Vector Machine is a new algorithm first proposed during 1990s by Cortes and Vapnik in American Bell Labs. Here we introduce C-Spport Vector Machine and construct its improvement model on this basis in order to provide several new algorithms which can be easily solved. Key Words: support-vector machine; improvement; classification 1 引言
n
n
l 1 l l yi y j i j K ( xi , x j ) j ) 2 i 1 j 1 j 1
(7)
其中 xi X R ， yi Y {1, 1}, i 1, L ,l 。对于这样 的分类问题，首先引进从输入空间 R 到 Hilbert 空间 H 的
min
1
l
P(1 yi ( y j j K ( x j , xi ) b), )2 )
i 1 j 1
l
i 1 l
(35)
范围和价值。
[参考文献]
[1] Vladimir N Vapnik. Statistical hearning Theory[M]. 北京:
电子工业出版社,2004.
1 2
b* y j (1
* j
C
l
来自百度文库
) yi i* K ( xi , x j )
i 1
l
(20)

P(1 yi (w xi b), )2 ) 2 i 1
1
l
(33)
构造决策函数
其中 P (, ) 是以 为参量的函数
f ( x) sgn( i* yi K ( x, xi ) b* )
2
i2 i 1
来代替
l
||w||
最基本的无约束问题算法求解， 而 C-支持向量分类机的变 形是给出两种特殊支持向量分类机的基础和过渡，为构造 新支持向量分类机提供了基本思想，同时有它自身的应用
可以得到带有核的光滑无约束问题
Rl , b R ( i2 b 2 )
2 C 2
其中 K ( xi , x j ) 为应于变换(2)的核函数
唐山师范学院学报
(9) 2.3
有唯一解的 C-SVM
2012 年 9 月
在[3]中讨论了标准 C-支持向量分类机解的唯一性， 给
K ( xi , x j ) ( ( xi ) ( x j ))
通过求解上述对偶问题得最优解
* * (1 ,L , l* )T