第二讲支持向量机解析

l l0
min 1 || w ||2 w,b 2 S.T. yi ((w, xi ) b) 1 (1)
i 1, ,l
l
分类决策函数(设w*, b * 是模型（1）的最优解）:
f (x) sgn((w*, x) b*)
近似线性可分情形
2 / || w ||
l : (w, x) b 1 l0 : (w, x) b 0
• 迭代的停止准则为所有训练点满足KKT条 件。
二个Lagrange乘子变量的C-SVC
min
1 ,2
M
(1,2 )
1 2
k1112
1 2
k22
2 2
y1 y2k1212
(1 2 ) y11v1 y22v2 常数
l
S.T. y11 y22 yii 常数
(5)
i3
0 1,2 C
D 1(D=1表示线性可分情形，D<1表示线性不可分情形）
特点： • 与C-SVC基本上是等价的； • 给出了比C-SVC更为直观的几何意义； • 给出了比C-SVC更好的样本线性可分性描述； • D的选取不如C方便
L2-SVC
min
w,b,i
1 2
||
w ||2
C
l i 1
i2
S.T. yi ((w,(xi )) b) 1 i (7)
有稀疏性 • 模型为凸二次规划模型，没有陷入局部最优解的
问题，任何局部最优解都是全局最优解 • 通过使用核方法，具备了强大的非线性处理能力
支持向量
支持向量：
* i
0
界内支持向量： 0
* i
C
界上支持向量：
* i
C
l l0
l
注：问题具有稀疏性是指决策时可以不管非支持向量的样本， 而仅用到少数支持向量样本。注意训练时还是用到了所有的 样本。
支持向量机的变形
• 基于平分最近点原理的模型 • L2-SVC • ν-支持向量机（ν-SVC）
平分最近点原理
基于平分最近点原理的模型
min
1 2
||
i ( xi
yi 1
)
i ( xi
yi 1
)
||2
1 2
TG(K )
S.T. i i 1,
(6)
yi 1
yi 1
0 i D
这里G(K )是个l 阶的矩阵, Gij (K ) yiKij y j yik(xi , x j ) y j ;
第二讲 支持向量机技术
• 二分类问题 • 支持向量机的模型 • 支持向量机的特色 • 支持向量机的求解 • 支持向量机的变形
二分类问题
二分类问题：根据给定的训练集，
其中
T (x1, y1),,(xl , yl )
xi Rn yi У {1, 1} i 1,2,, l
要求寻找 上的决策函数
w
l : (w, x) b 1
min 1 || w ||2 C
2 w,b,i
i
i
l l0 l
S.T. yi ((w, xi ) b) 1 i (2) i 0,i 1, ,l
C代表了经验风险与置信风险的折中
分类决策函数(设w*, b * 是模型（2）的最优解）:
f (x) sgn((w*, x) b*)
线性不可分情形（3）—对偶模型
min
w,b,i
1 2
||
w ||2
C
l i 1
i
S.T. yi ((w,(xi )) b) 1 i (3)
i 0,i 1, ,l
对 偶 模 型
min 1
2
l i 1
l i 1
yi y ji j K (xi , x j )
l
i
i 1
l
S.T. yii 0, 0 i C
线性不可分情形（1）
线性不可分情形（2）
min 1 || w ||2 C
2 w,b,i
i
i
S.T. yi ((w,(xi )) b) 1 i (3)
i 0,i 1, ,l
分类决策函数(设w*, b * 是模型（3）的最优解）:
f (x) sgn((w*, x) b*)
• 模型（3）的求解，必须知道非线性映射Ф 的具体形式，但实际工作上，给出Ф的具 体形式是非常困难的！
KKT条件
0 i C, i 1, , l;
l
yii 0
i 1 l
i 0 yi ( y j jk(xi , x j ) b) 1 j 1
l
0 i C yi ( y j jk(xi , x j ) b) 1 j 1
l
i C yi ( y j jk(xi , x j ) b) 1 j 1
(4)
i 1
i 1, ,l
当C=∞, K(xi,xj)=(xi,xj)时对应线性可分情形； 当0<C<∞, K(xi,xj)=(xi,xj)时对应近似线性可分情 形。
支持向量机的特色
• 用间隔定量地定义了置信风险：间隔越大，置信 风险越小，间隔越小，置信风险越大
• 用参数C实现了经验风险与置信风险的折中 • 最优分类超平面只由少数支持向量决定，问题具
支持向量机模型的求解
• 任何求解凸二次规划问题的算法； • 大规模问题时：序贯最小最优化算法
(Sequential Minimal Optimization,SMO)
SMO算法
• C-SVC模型当Lagrange乘子只有2个时， 可以求得它的解析解。
• 每次选择两个训练点，求出它的解析解； 训练点的选择标准是使得目标函数值下降 得尽可能的多。
i1
i1
这里K(xi,xj)=(Ф(xi),Ф(xj))是样本xi,xj在特征空间中的内积，称 为输入空间X上的核函数。
支持向量机的建模小结
Baidu Nhomakorabea
统一归结到C-SVC模型：
min 1
2
l i 1
l i 1
yi y ji j K (xi , x j )
l
i
i 1
l
S.T. yii 0, 0 i C
f (x) : У
以便能用决策函数 f (x) “较好地”推断任一模 x式相对应的y 值。
支持向量机模型
• 线性可分情形 • 线性近似可分情形 • 线性不可分情形 • 小结
线性可分情形：最大间隔原理
2 / || w ||
l : (w, x) b 1
w
l0 : (w, x) b 0
l : (w, x) b 1
(4)
i 1
i 1, ,l
原问题的解与对偶问题 的解之间的关系：
l
w* yii*(xi ) i 1
l
b* y j
yii*k
( xi
,
x
j
)
(0
* j
C)
i 1
分类决策函数：
f (x) sgn((w*, x) b*)
l
l
sgn( yii*k(xi , x) y j yii*k(xi , xj ))