数据挖掘原理与SPSS Clementine应用宝典第14章 支持向量机

* i
不为零的训练点
xi, yi，而与对应
于

* i
为零的那些训练点无关。
其中

* i
不为零的这些训练点的输入
x
i
为支持向量(SV)
14.2.2广义线性支持向量机
对于近似线性可分问题不要求所有训练点都满足约束条
件 yi w xi b 1，为此对第 i 个训练点 xi, yi 引入松弛
学习机器产生的映射函数与实际系统的映射之间的差异可 以用单个样本点上的损失函数 L(y, f (x,w)) 来描述 。损失函数
在总体样本集上的数学期望，即为期望风险的泛函：
min
Remp (w)

1 n
n i 1
L( yi ,
f
(xi , w))
损失函数描述了映射函数与实际系统在总体集上的差异，将学习的目标变
数据挖掘原理与SPSS Clementine应用宝典
元昌安 主编 邓 松 李文敬 刘海涛 编著
电子工业出版社
14.1支持向量机基础 14.1.1机器学习的基本问题 14.1.2经验风险最小化问题 14.1.3 VC维与学习一致性理论 14.1.4结构化风险最小化 14.2支持向量机的基本原理 14.2.1线性支持向量机 14.2.2广义线性支持向量机 14.2.3非线性支持向量机 14.2.3.1到高维空间的影射 14.2.3.2核函数
变量(Slack Variable) i 0 ,把约束条件放松
到 yi w xi b i 1。 （即“软化” 约束条件）
1, l T
l
体现了训练集被错分的情况，可采用 i 作
i 1
为一种度量来描述错划程度。
l
两个目标：1. 间隔
2 尽可能大
w
2. 错划程度 i 尽可能小 i1
一般而言，VC维代表了机器的学习能力，其值越大表明其学 习机器的学习能力越强，但学习机器就越复杂。然而，目前还 没有通用的关于计算任意函数集的VC维的理论，只有对一些 特殊函数集的VC维可以准确知道。
对于指示函数集和概率分布函数，如果下列两序列概率地收敛 到同一极限，则称为经验风险最小一致性。
统计方法是从事物的外在数量上的表现去推断该事物可能的 规律性，它主要考虑测试预想的假设和数据模型拟合，依赖 于显式的基本概率模型。
统计学习理论是针对小样本情况下的机器学习理论，它依据 算法的经验风险以及算法本身的构造推测它的实际风险，获 得了较好的算法泛化能力。统计学习理论将算法的训练过程 看作算法向训练样本学习的过程。
范围 (Confidence Interval)。
14.1.4结构化风险最小化
通常，在小样本的情况下，对于复杂的学习机器，其训练 误差过小，但反而造成了置信范围的增大，从而导致泛化性能 下降。这往往是由于学习机器的结构不合理造成的。因此， ERM原则在样本有限时是不合理的。为此，统计学习理论提出 了一种新的策略，在保证ERM原则的基础上，降低学习机器的 VC维，能够使得期望风险在整个总体集上得到控制，即在训 练误差和置信范围二者之间寻求一个折衷。这种思想就是结构 风险最小化(Structural Risk Minimization，SRM)原则。
风险
欠学习 真实风险的界
过学习
最小化算法的经验风险与置信 范围之和(而不仅仅是最小化经验 风险)被称作结构风险最小化原则。
s1
s2
函数集子集： S1 S2 S3
VC 维： h1 h2 h3 图14-4 结构风险最小化原则
置信范围
经验风险 h
s3
实现SRM原则可以有两种思路： 1. 对函数集S的每个子集Si求最
14.2.1线性支持向量机 一个二值分类问题：设线性可分样本集
(x1,y1), (x2,y2),…,(xm,ym), x∈Rn,y∈{+1,-1} 是类别标号，X为具有个属性的向量。要求在 上找，得到决策函数，这就是分类学习机器。 在2维线性空间中线性判别函数的一般形式为
： g(x) w x b 。其中，最优分类线L的方
x∈Rn,w,b∈Rn。使得样本集中的任意二元组(xi,yi)，满足:

wT xi b 1,
当 yi 1 时

wT xi b 1,
可以统一起表示为:
当 yi 1 时

yi [(wT x) b] 1 0 i 1,2,,m
其中，满足上式的超平面就是分类超平面（Seperating Hyperplane）。在样本线性可分时，存在无数个这样的超平面。R2的线 性可分情况如图14-6所示：
a
j
y
i
y
j
xi
T
x
j
m
s.t
ai yi 0, ai 0,i 1,m
i 1
这是一个标准的二次规划问题，是在一个不等式约束条件下进
行二次函数寻优。该类问题存在唯一解 * 。
根据最优解
* (a1* , , al* )T
l
计算 w*
yi i* xi，选择
a*
图14-6 分类超平面示意图
图14-7 最优分类超平面图
使间隔margin最大实际上等价于使 w 2最小。因此，满足上述条件且使 w 2 最小的分类超平面就是最优分类超平面。两类样本中离分类面最近的点且平行 于最优分类超平面的样本点叫做支持向量。
最优分类超平面最后可以表示成一个约束优化问题：
这是一个严格凸规划问题，可以转换成拉格朗日(Lagrange)
问题进行求解。为此，可以定义如下的Lagrange函数：
L p
(w,b, a)

1 2
wT
w

n i 1
(ai
yi
(wT
xi

b)
1)
其中 ai 0 为Lagrange乘子。
由Karush-Kuhn-Tucker (KKT)条件
n
H
(ln
2n H
1) n

ln

4


1

其中，H VC Dim() 是函数集的VC维，n是样本数。上式实质上
给出了ERM原则的泛化能力的界。在此基础上，Vapnik等人从理论角度
解释了机器学习中的过学习问题，并建立起适用于小样本数据的结构风险
最小化原则。上式中的界由两部分组成：经验风险（即训练误差）和置信
称这些数据是线性可分的，否则称为非线性可分的。 如果 不关注函数空间的维数，这种线性函数还有一个统一的名称 ，叫超平面（Hyper Plane）。 2. 通常人们称由线性函数作为分类决策函数的分类器叫线性分 类器。同样地，称由非线性函数作为分类决策函数的分类器 叫非线性分类器。相应地，由线性函数作为分类决策函数的 支持向量机称为线性支持向量机，反之，由非线性函数作为 分类决策函数的支持向量机称为非线性支持向量机。
成了最小化期望风险 R(w。) 在实际的问题中，R(w)无法直接的计算得到。
在传统的机器学习方法中，通常将经验风险作为期望风险
的估计值，学习的目标就是使经验风险Remp最小，强调利用经 验风险最小化（ ERM ）原则进行学习。但实际上，用ERM
原则代替最小化期望风险泛函，只是直观上合理的想当然做
法而已，g)。
元昌安 主编 邓 松 李文敬 刘海涛 编著
电子工业出版社
14.1支持向量机基础 支持向量机(support vector machines)是由贝尔实
验室研究者Vapnik于20世纪90年代最先提出的一种 新的机器学习理论，是建立在统计学习理论的VC维 理论和结构风险最小原理基础上的，根据有限的样 本信息在模型的复杂性和学习能力之间寻求最佳折 衷，以期获得最好的推广能力。 支持向量机从诞生至今才10多年，发展史虽短，但 其理论研究和算法实现方面却都取得了突破性进展 ，有力地推动机器学习理论和技术的发展。这一切 与支持向量机具有较完备的统计学习理论基础的发 展背景是密不可分的。
R(w) L( y, f (x, w))dF(x, y)
其中 F(x, y) 联合概率分布是未知的，L(y, f (x,w)) 是用 对y进行预测时造成的损失，称为损失函数。简单地 说，学习的目标就是求一映射函数 f(x, w) ，使之与实 际系统映射的差异最小。
14.1.2经验风险最小化问题
小经验风险,然后选择使最小 经验风险和置信范围之和最小 的子集； 2. 设计函数集的某种结构使每个 子集中都能取得最小的经验风 险，如使训练误差为0,然后只 需选择适当的子集使置信范围 最小,则这个子集中使经验风 险最小的函数就是最优函数。
14.2支持向量机的基本原理
基本概念 1. 一般地，如果一个线性函数能够将样本完全正确的分开，就
，上式所示的函数在其鞍点位置满
足：


m
m
w L p
b
Lp
(14-2-8)
0,
w

i 1
ai yi xi ,
i 1
ai yi
0
将上式代入(14-2-6)，消去w和b得到原问题的Wolf对偶（Dual）
问题：
min a
La (a)
m
ai
i 1

1 2
i,
m
ai
j 1
样本学习的一般模型
x y
G
S
LM
可见，学习问题就是从给定的函数集 ，选择出能够最好地逼近训练器响应的函数。
机器学习的目标可以形式化的表示为：根据n个独立 同分布的观测样本 (x1,y1 ), , (xn,y，n )在一组函数 f(x, w0 ) 中求出一个最优函数 f(x, w) ，使其对未知样本进行估 计时，最小化期望风险泛函。