基于贝叶斯理论的支持向量机综述

l
3 3 求得决策函数 f ( x ) = sgn ( ∑yα k ( xi , x ) + b ) 。 i i
i = 1
s . t .
∑yα
i i =1
i
= 0 0 ≤αi ≤ C i = 1, 2, …, l
得最优解 α3 = (α1 3 ,α2 3 , …,αl 3 ) T 。 选择 α3 的一个小于 C的正分量 αj 3 , 并据此计算 :
(南京财经大学经济学院统计系 江苏 南京 210046)
摘 要 支持向量机 ( SVM )以其坚实的理论基础 ,和在机器学习领域表现出的良好推广性能 ,获得了越来越广泛的关注 。为更 好地推进其发展 ,科研工作者们借鉴统计学中经典的贝叶斯理论 ,做了大量工作 , 例如 : 引进贝叶斯理论中先验知识 、 后验概率等概 念 ,改进支持向量机中的判别准则 ; 或利用贝叶斯理论估计支持向量机中的参数 w、 正规化参数以及核参数等 。目前已取得不错的 效果 ,使支持向量机理论更具有实用价值 。 关键词 支持向量机 贝叶斯理论 先验概率 后验概率
SVM 相结合 ,建立后验概率支持向量机 PPSVM ( posteriori p roba2 bility support vector machine )的体系框架 ,得到了一个新的优化
问题 ,同时给出了一个支持向量的新定义 。实际上 ,后验概率支 持向量机是建立于统计学习理论 ( statistical learning theory)基础 之上 ,是标准 SVM 的扩展 [ 9, 10 ] 。 对于式 ( 1 )中所给出的二分类问题 , 它首先提出了后验概 率意义下的线性分类器的概念 : 如果存在一对 ( w, b) ∈ RN ×
l
0 引 言
支持向量机方法 [ 1 - 3 ]是建立在统计学习理论 VC 维理论和 结构风险最小原理基础上的一种机器学习方法 。对于已知两类 训练集 : l ( 1) T = { ( x1 , y1 ) , ( x1 , y2 ) , …, ( x l , yl ) } ∈ ( X ×Y ) 其中 x i ∈ X = R n , yi ∈ Y = { 1, - 1 } , i = 1, 2, …, l 。 寻找 X = R n 上的一个实值函数 g ( x) 以便用决策函数 f ( x) = sgn ( g ( x) ) 推断任一模式 x 相对应的 y 值即类别 , 也即求解 一个把 R n 上的点分成两部分的规则 。其标准算法如下 : 设已知训练集如式 ( 1 )所示 ; ) 和 惩 罚 参 数 C, 构 造 并 求解 最 优 化 选择核函数 k ( x, x ′ 问题 : l l l 1 αj m in y i yα j α i j k ( xi , xj ) - ∑ ∑ ∑ α 2 i =1 j = 1 j =1
( School of Econom ics, N an jing U n iversity of F inance and Econom ics, N an jing 210046, J iangsu, Ch ina)
Abstract Support Vector M achines ( SVM s) are getting grow ing concerns due to its sound foundation of theories as well as its p referable popularising perfor mance in the field of machine learning . In order to further p romote its development, a lot of works have been doing by the scientific and technological personnel referring to classical Bayes’ theorem in Statistics . For examp le, the concep ts of p riori know ledge and posterior p robability in Bayes’theorem are introduced to imp rove the judging criterion on SVM s; or Bayes’theorem is emp loyed to esti m ate the parameter w, normalisation parameter and kernel parameter of SVM s, etc. , and all of these have achieved quite satisfying effect, which makes the SVM theory more valuable in p ractice. In this paper, we are to summarise the works done in these areas . Keywords Support vector machine Bayes’theorem Prior p robability Posterior p robability
R ,使得 : w x i + b > 0 y i ≥ 0 w x i + b < 0 y i < 0
T T
l ≥ i ≥ 1
那么非确定性分类问题就称为后验概率意义下线性可分 。 假定我们已知样本点的后验概率 , 那么用后验概率作为样本点 的权重 ,则得到下面非确定性二分类问题 :
( x1 , p ( w 1 R
REV IEW O N SUPPO RT VECTO R M ACH I NE BASED O N BAY ES ’THEO REM
Su Zhan Xiu L ixia
1 2
1
2
( Institu te of S cience, PLA U niversity of S cience and Technology, N anjing 211101, J iangsu, China)
其中 , x i 独立同分布 , w 1 表示某一类别 , p (w 1 条件下属于类 w 1 的概率 ,令 yi = 2 p ( w 1
c > 0, 使得 w xi + b w
3 T
T
在线性可分条件下 , 由于训练集中样本数目有限 , 则存在 从而存在一对 ≥ c y i , l ≥ i ≥ 1。
收稿日期 : 2008 - 07 - 14。苏展 ,硕士 ,主研领域 : 统计学习理论 , 支 持向量机 。
= yj -
i = 1
∑yα
i
l
i
3
k ( xi , xj )
180
计算机应用与软件
2010 年
的融合 ,许多关于 SVM 方法的研究 ,包括算法本身的改进和算 法的实际应用 ,都陆续提了出来 。 经典统计的出发点是 ,根据样本在一定的统计模型下作出 统计推断 。然而 ,在取得样本观测值前 ,往往对参数统计模型中 的参数有某些先验知识 ,在数学上 ,关于先验知识的数学描述就 是先验分布 。贝叶斯统计的主要特点是使用先验分布 ,在得到 样本观测值后 ,利用样本与先验分布提供的信息 , 得到后验分 布 。这一后验分布综合了样本与先验信息 ,组成了较完整的后 验信息 ,这一后验分布是贝叶斯统计推断的基础 。而经典统计 只以样本提供的信息在一定统计模型下作统计推断 , 且以样本 无穷大为假设条件 。因此 ,经典统计对数量较大的样本 ,有较好 的统计推断效果 。贝叶斯推断由于利用了先验知识 ,因而对小 样本一般也有较好的统计推断效果 , 这与支持向量机的特性是 共通的 ,所以现在许多研究都建立在如何将两者的优点有效结 合上 。
b
3
支持向量机方法的几个主要优点有 : 1 ) 它是专门针对有限样本情况的 ,其目标是得到现有信息 下的最优解而不仅仅是样本数趋于无穷大时的最优值 ; 2 ) 算法最终将转化成为一个二次型寻优问题 , 从理论上 说 ,得到的将是全局最优点 ,解决了在神经网络方法中无法避免 的局部极值问题 ; 3) 算法将实际问题通过非线性变换转换到高维的特征空 间 ( Feature Space) ,在高维空间中构造线性判别函数来实现原 空间中的非线性判别函数 , 特殊性质能保证机器有较好的推广 能力 ,同时它巧妙地解决了维数问题 ,其算法复杂度与样本维数 无关 。 由于支持向量机坚实的理论基础以及它在很多领域表现出 的良好的推广性能 ,目前 ,国际上正在广泛开展对支持向量机方 法的研究 。一方面 ,他们把 SVM 方法用于原来的模式识别问题 中 ,与传统的模式识别方法进行比较 , 或者用 SVM 对原来维数 较高的问题进行试验 , 另一方面 , 他们又在不断补充和 完善 SVM 的有关理论 ,或对 SVM 方法进行改进 , 增进它与其他学科
N
x1 ) ) , ( x2 , p ( w 2
x2 ) ) , …, ( x l , p ( w l
xl ) ) ∈
×Y Y = [ 0, 1 ]
x i ) 表示给定 x i x i ) - 1。
1 引入先验知识的支持向量机
很多情况下 ,人们在获取样本集的同时 ,往往也拥有一些对 整个样本空间适用的知识 ,即先验知识 。在学习中引入先验知 识一般有以下三类方法 : 1) 修改学习机制 该方法通过对学习机制进行修改 ,使得 学习结果直接满足先验知识的约束 ,目前具有代表性的工作有 : 文献 [ 4 ]通过在学习的风险函数中引入一个附加的约束项 , 将 辅助判据引入到学习中去 ; 文献 [ 5 ]通过构造核函数 ,将映射不 变性引入到 SVM 学习机的核函数去 。 2 ) 虚样本方法 通过人工的方法产生一组虚样本 ,将先验 知识融入训练数据集中 ,这一方法以文献 [ 7 ]在 RBF 网络学习 中的工作为代表 ,其特点是以牺牲一部分训练时间为代价 ,使得 学习机器能自动从人工构建的样本集中归纳出满足约束条件的 规则 。 3 ) 属性抽取方法 通过属性抽取的方法 ,将输入空间的样 本映射至新的样本空间 ,并使得在新的空间上的学习结果自然 满足先验知识的约束 。这一部分的研究以文献 [ 8 ]的工作为 代表 。 从理论上说 ,第一种方法无论在精度和速度上都优于后两 者 ,但是在实际问题中 , 对学习机制的修改往往十分困难 。在 SVM 中 ,由于支持向量机方法理论结构十分严谨 , 难于将先验 知识直接融入到学习中去 。而第二种方法 ,虽然便于实现 ,但是 由于其引入了大量的人工样本 , 使得其后继的学习速度受到很 大的影响 ,以对象识别为例 ,仅旋转 、 缩放 、 平移和镜像这四种映 射方式至少将初始训练集扩大 16 倍 。另一方面 ,虚样本方法只 适用于映射不变性 ,很难融入其他类型的先验知识 。第三种方 法 ,采用了属性抽取的数据预处理方法 , 在不扩大训练集的同 时 ,实现先验知识的整合 ,具有较高的性能 。但是由于在此过程 中 ,训练集的规模发生变化 , 因此其训练速度远高于第二种方 法 。但与第一种方法类似 ,同样也存在着难以构造的困难 。