支持向量机(SVM)

合概率，即 x 和 y 之间存在一定的未知依赖关系。

支持向量机的理论基础
1. 期望风险最小化
L ( y , f ( x , w )) 为用 f ( x , w ) 对
y 进行预测而造成的损失。不同类型
的学习问题有不同形式的损失函数。预测函数通常也称作学习函 数、学习模型或学习机器。 模式识别问题中，损失函数的定义为：
1 2 2 || w || 最小的分类面就叫做最优分类面。过两类样本中离分类面最近的点且平
行于最优分类面的超平面 H1，H2 上的训练样本就是使（7）式等号成立的那 些样本，他们叫做支持向量（Support Vectors） 。
最优分类面 统计学习理论指出，在 d 维空间中，设样本分布在一个半径为 R 的超球范
围内，则满足条件 || w || c 的正则超平面构成的指示函数集
f ( x , w , b ) sg n { ( w x ) b } ,
的 VC 维满足下面的界
h m in([ R c ], d ) 1.
2
因此使 || w || 最小就是使 VC 维的上界最小，从而实现结构风险最小化（SRM）准 则中对函数复杂性的选择:固定经验风险，最小化期望风险就转化为最小化
支持向量机的理论基础
4.经验风险与真实风险的关系 因此， （5）式可以简单地表示为：
R ( w ) R em p ( w ) ( h / n )
（6）
它表明,在有限训练样本下,学习机器的 VC 维越高(复杂性越高)则 置信范围越大,导致真实风险与经验风险之间可能的差别越大.这就是 为什么会出现过学习现象的原因.机器学习过程不但要使经验风险最 小,还要使 VC 维尽量小以缩小置信范围,才能取得较小的实际风险,即 对未来样本有较好的推广性.
em p
支持向量机的理论基础
3.VC 维 定义：对一个指示函数集,如果存在 h 个样本能够被函数集中的函 数按所有可能的 2 种形式分开,则称函数集能够把 h 个样本打散;函数 集的 VC 维就是它能打散的最大样本数目 h.若对任意数目的样本都有 函数能将它们打散,则函数集的 VC 维是无穷大. V C 维反映了函数集的学习能力,V C 维越大则学习机器越复杂(容 量越大).学习能力越强。
把（9）分别对 w 和 b 求偏微分并令它们等于 0，就可以把原问题转化为如下 这种较简单的对偶问题；在约束条件

和
n
y i i 0 ,
i 1, , n
i 1
（10a） （10b）
i 0,
之下对 i 求解下列函数的最大值：
最优分类面
支持向量机的理论基础
5. 结构风险最小化（SRM）
支持向量机的理论基础
5. 结构风险最小化（SRM） 实现 SRM 原则的两种思路： （1）在每个子集中求最小经验风险, 然后选择使最小经验风险和置信范围之和最小的子集.显然这种方法 比较费时,当子集数目很大甚至是无穷时不可行.（2）设计函数集的某 种结构使每个子集中都能取得最小的经验风险(如使训练误差为 0),然 后只需选择选择适当的子集使置信范围最小,则这个子集中使经验风 险最小的函数就是最优函数。 支持向量机方法实际上就是第二种思想的具体实现。
支持向量机的理论基础
1. 期望风险最小化 机器学习的目的是根据给定的训练样本求对某系统输入输 出之间依赖关系的估计,使它能够对未知输出作出尽可能准确的 预测. 机器学习问题可以表示为：根据 n 个独立同分布的观测样本
( x1 , y1 ), ( x 2 , y 2 ), , ( x n , y n )
2 || w ||

2
，这就是 SVM 方法的出发点。
根据上面的讨论， 在线性可分条件下构建最优分类面， 就转化为下面的二 次规划问题。即在条件（7）的约束下，求函数
(w) 1 2 1 (w w) || w || 2 2
（8）
最优分类面
的最小值。我们可以定义如下的 Lagrange 函数：
支持向量机的理论基础
1992 年—1995 年， Vladimir N. Vapnik 在这一理论基础上发 展了一种新的通用学习方法──支持向量机（Support Vector Machine 或 SVM） ，在解决小样本、非线性及高维模式识别问题 中表现出许多特有的优势，并能够推广应用到函数拟合等其他 机器学习问题中。一些学者认为，SLT 和 SVM 正在成为继模式 识别和神经网络研究之后新的研究热点，并将推动机器学习理 论和技术有重大的发展。 支持向量机方法是建立在统计学习理论的 VC 维理论和结 构风险最小化（SRM）原理基础上的，根据有限的样本信息在 模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习 能力(即无错误地识别任意样本的能力)之间寻求最佳折衷， 以期 获得最好的推广能力(Generalization Ability)。
即使离分类面最近的样本的 | g ( x ) | 1 ，而要求分类线对所有样本正确分类， 就是要求样本满足
y i [( w x i ) b ] 1 0,

i 1, 2, ..., n
2
（7）
此时分类间隔等于 2/|| w ||，使间隔最大等价于使 || w || 最小。满足条件(7)且使
R w R em p w h ln 2 n h 1 ln 4 n
（5）
其中 h 是函数集的 VC 维,n 是样本数. 这一结论从理论上说明了学习机器的实际风险是由两部分组成的: 一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的 VC 维及训练样本数有关。
支持向量机的理论基础
5. 结构风险最小化（SRM） 在传统方法中,选择学习模型和算法的过程就是调整置信范围的 过程,如果模型比较适合现有的训练样本(相当于 h / n 值适当),则可以 取得比较好的效果.但因为缺乏理论指导,这种选择只能依赖先验知识 和经验,造成了对使用者“技巧”的过分依赖。 统计学习理论提出了一种新的策略,即把函数集构造为一个函数子 集序列,使各个子集按照 VC 维的大小排列;在每个子集中寻找最小经 验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小, 如下 图 所 示.这 种 思想 称 作 结构 风 险 最小 化(Structural Risk Minim -ization 或称有序风险最小化)即 SRM 准则。
支持向量机的理论基础
过学习问题 ERM 准则不成功的一个例子是神经网络的过学习问题.开始, 很多注意力都集中在如何使 R ( w ) 更小,但很快就发现,训练误差 小并不总能导致好的预测效果.某些情况下,训练误差过小反而 会导致推广能力的下降,即真实风险的增加,这就是过学习问题. 该问题出现的原因： 一是因为样本不充分,二是学习机器设计 不合理。究其原因，是试图用一个十分复杂的模型去拟合有限的 样本,导致丧失了推广能力. 学习机器的复杂性与推广性存在着矛 盾。 结论：有限样本情况下,1)经验风险最小并不一定意味着期望 风险最小;2)学习机器的复杂性不但应与所研究的系统有关,而且 要和有限数目的样本相适应.
支持向量机的理论基础
（2）经验非线性方法。如人工神经网络（ANN） 。这种方法利 用已知样本建立非线性模型，克服了传统参数估计方法的困难。 但是，这种方法缺乏一种统一的数学理论。 （3）统计学习理论（Statistical Learning Theory 或 SLT） 。它 是一种专门研究小样本情况下机器学习规律的理论。该理论针对 小样本统计问题建立了一套新的理论体系，它能将很多现有方法 纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网 络结构选择问题、局部极小点问题等） 。
h
支持向量机的理论基础
4.经验风险与真实风险的关系 统计学习理论系统地研究了对于各种类型的函数集,经验风险和 实际风险之间的关系。 得出如下结论： 对指示函数集中的所有函数(包 括使经验风险最小的函数), 经验风险 R em p ( w ) 和实际风险 R ( w ) 之间以 至少 1 的概率满足如下关系：
最优分类面
SVM 是从线性可分情况下的最优分类面发展而来的，基本思想可用下 图的两维情况说明。图中，实心点和空心点代表两类样本，H 为正确分开两 类样本的分类线，H1、H2 分别为过各类中离分类线最近的样本且平行于分类 线的直线，它们之间的距离叫做分类空隙或分类间隔（margin） 。所谓最优分 类线就是要求分类线不但能将两类正确分开（训练错误率为 0） ，而且使分类 间隔最大。要求两类训练样本正确分开就是保证经验风险最小（为 0） ，要求 分类间隔最大也就是使推广性的界中的置信范围最小，从而使真实风险最小。
R em p ( w ) 1
n
n
L ( y i , f ( x i , w ))
i 1
（4）
来作为对（2）式的估计，目的是设计算法使它最小化。在模式 识别问题中，经验风险就是训练样本的错误率。 事实上,用 ERM 准则代替期望风险最小化并没有经过充分的 理论论证,只是直观上合理的想当然做法。而实际上,即使可以假 定当 n 趋向于无穷大时(6)式趋近于(2)式,在很多问题中的样本数 目也离无穷大相去甚远.因此，在有限样本条件下，ERM 准则下 并不一定能使期望风险也较小。
L (w, b, ) 1 2 (w w)

i 1
n
i
{ y i [( w x i ) b ] 1} ,
（9）
T 其中， ( 1 , , n ) 为与每个样本对应的 Lagrange 乘子向量，我们的问题
是对 w 和 b 求 Lagrange 函数的极小值。
0 y f ( x, w) L ( y , f ( x , w )) 1 y f ( x, w)