第五章神经网络的规划学习方法

若训练样本集是线性不可分的，或事先 不知道它是否线性可分，将允许存在一些 误分类的点，此时引入一个非负松弛变 量 i 0 ，约束条件变为:
yi w xi b 1i，i 0， i 1,L ,l
目标函数改为在以上约束条件下求：
min
w,
1 2
w
w
C
l i1
i
即折衷考虑最小错分样本和最大分类间
隔。其中，C＞0 为惩罚因子 ，控制对错
分样本的惩罚程度 。
线性不可分情况和线性可分情况的 差别就在于可分模式中的约束条件中 的 i 0在不可分模式中换为了更严 格的条件 0≤ i ≤ C。除了这一修正，
线性不可分情况的约束最优化问题中 权值和阈值的最优值的计算都和线性 可分情况中的过程是相同的。
支持向量机
（Support Vector Machine，SVM）
90年代中期，在统计学习理论的基础上发 展出了一种通用的学习方法－－支持向量 机。它根据有限的样本信息在模型的复杂 性和学习能力之间寻求最佳折衷，以获得 最好的泛化能力。
支持向量机在很多机器学习问题的应用中 已初步表现出很多优于已有方法的性能。
支持向量机的分类学习 算法
对于分类问题，用支持向量机方法进 行求解的学习算法过程为：
第一步 给定一组输入样本 xi ，i 1, ,l 及其对应
的期望输出 yi 1,1 ；
第二步 选择合适的核函数 K xi, xj xi xj 及
相关参数；
l
第三步 在约束条件 yii 0 和 0≤ i ≤ C 下求解 i 1
条件：
l
yii 0
i 1
i 0, i 1, ,l
下对 i 求解下列函数的最大值：
W
l
i
i 1
1 2
i,
源自文库
l
j 1
i
j
yi
y
j
xi x j
l
如果
i
为最优解，那么：w
i
yi
xi
i 1
以上是在不等式约束下求二次函数极值 问题，是一个二次规划问题（Quadratic Programming，QP），存在唯一解。根据 最优性条件－－Karush-Kühn-Tucker条件 （KKT条件），这个优化问题的解必须满 足：
用图来表示该变换：
x2 z3
x1 z1
z2
SVM用于二维样本分类
支持向量机与多层前向网络 的比较
与径向基函数网络和多层感知器相比， 支持向量机避免了在前者的设计中经常使 用的启发式结构，它不依赖于设计者的经 验知识；而且支持向量机的理论基础决定 了它最终求得的是全局最优值而不是局部 极小值，也保证了它对于未知样本的良好 泛化能力而不会出现过学习现象。
最优分类超平面
（Optimal Hyperplane ）
对于两类线性可分的情形，可以直接构造最优 超平面，使得样本集中的所有样本满足如下条 件：
（1）能被某一超平面正确划分；
（2）距该超平面最近的异类向量与超平面之间 的距离最大，即分类间隔（margin ）最大。
设训练样本输入为 xi ，i 1, L ,l，xi Rd
支持向量机的理论最初来自于对数据分 类问题的处理。对于线性可分数据的二 值分类，如果采用多层前向网络来实现， 其机理可以简单描述为：系统随机的产 生一个超平面并移动它，直到训练集合 中属于不同类别的点正好位于该超平面 的不同侧面，就完成了对网络的设计要 求。但是这种机理决定了不能保证最终 所获得的分割平面位于两个类别的中心， 这对于分类问题的容错性是不利的。
Matlab 7.0 （2）、界面设计
（3）、具体实现
a) 对于线性可分的人工样本数据P。其中共有11个待分类样本。使用 最简单的支持向量机，即以线性核函数K(x,xi)=(x. xi)作为内积函数的 支持向量机来训练该数据集合。惩罚因子C取10。
样本点
分类结果
黑色线为数据集合的两类分类线，可以看出它能将两类准确无误的分开，错 误率为0。蓝线和绿线为两类样本的最大间隔边界。5,11,6三点为支持向量。
2）利用较为复杂的RBF核函数支持向量机进行分类。 RBF核函数中的核宽度这个参数是由用户决定的。因此下面采用三个不同的 RBF核宽度来对该函数集合进行分类。惩罚因子C取100。
①选择RBF核宽度为8,其结果如图所示。
从图中可以看出，此时SVM以点12作为类别－1的一个聚类中心，在其周围 形成了一个类似“小岛”的区域。并且，点2，3，4，5，6,11和12是支持向 量，错分样本数为0。
为了解决这个约束最优化问题，引入下式所示
的Lagrange函数：
L 1
2
l
w 2 i yi
i 1
l
xi w b i
i 1
其中i ＞ 0 为Lagrange乘数。约束最优化问题的解由
Lagrange函数的鞍点决定。
利用Lagrange优化方法可以将上述二次
规划问题转化为其对偶问题，即在约束
支持向量机及其学习 算法
主讲:赵姝 zhaoshuzs@163.com 安徽大学计算机科学与技术学院
主要内容
支持向量机 支持向量机的分类学习算法 用于函数拟合的支持向量机 支持向量机算法的研究与应用 仿真实例
传统统计学是一种渐进理论，研究的是 样本数目趋于无穷大时的极限特性。
现有的学习方法多基于传统统计学理论， 但在实际应用中，样本往往是有限的， 因此一些理论上很优秀的学习方法在实 际中的表现却不尽人意，存在着一些难 以克服的问题，比如说如何确定网络结 构的问题、过学习问题、局部极小值问 题等，从本质上来说就是因为理论上需 要无穷样本与实际中样本有限的矛盾造 成的。
K x, xi tanh x xi c
一个具体核函数的例子
假设数据是位于R2 中的向量，选择：
2
K xi , x j xi x j
然后寻找满足下述条件的空间H：使映射 从R2映射到H且满足：
x y2 x y
可以选择H=R3以及：
x12
(x)
2x1x2 x22
max
W(i )
l
i
i 1
1 2
i,
l
j 1
i
j
yi
y
j
K
(
xi
,
x)
得到最优权值 ；
第四步
计算： l
w i yi( xi )
；
i 1
第五步 对于待分类向量x ，计算：
f
x
sgn
l
yii
K
xi
,
x
b
i1
为＋1或－1，决定x属于哪一类。
用于函数拟合的支持向量机
假定数据集 X (xi, yi ) i 1,L ,l 。首先考
b) 对于线性不可分的人工样本数据P。其中共有12个待分类样本。
1）用线性核函数SVM进行训练。仍采用最简单的支持向量机，即以线性核
函数K(x,xi)=(x. xi)作为内积函数的支持向量机来训练该数据集合。惩 罚因子C取10。
样本点
分类结果
显然黑色线为数据集合的两类分类线，不能将两类准确无误的分开，点12是 错分的样本点，而5和点11落在了分类间隔内。此时正确率为91.67%。
支持向量机
（Support Vector Machine, SVM）
在现实世界中，很多分类问题都是线性不可分 的，即在原来的样本空间中无法找到一个最优 的线性分类函数，这就使得支持向量机的应用 具有很大的局限性。但是可以设法通过非线性 变换将原样本空间的非线性问题转化为另一个 空间中的线性问题。SVM就是基于这一思想的。 首先将输入向量通过非线性映射变换到一个高 维的特征向量空间，在该特征空间中构造最优 分类超平面。
（b ）线性不可分 对下面二维待分类人工数据P进行分类： X = [2 7; 3 6; 2 2; 8 1; 6 4; 4 8; 9 5; 9 9; 9 4; 6 9; 7 4;4 4]; Y = [ +1; +1; +1; +1; +1; -1; -1; -1; -1; -1; -1; -1];
（1）、实验环境
优化目标函数为：
min
(w,i ,i)
1 2
(w
w)
C
l i 1
(i
i )
对偶问题为：在约束条件0 i ,i C,
i 1,L , l
下求下式的最大值。
W
(
i
,
i
)
l i 1
yi (i
i )
l
(i
i 1
i
)
1 2
l i 1
l
(i
i
)(
j
j 1
j
)(
xi
x
j
)
回归函数为：
保证最终所获得的分割平面位于两个类 别的中心对于分类问题的实际应用是很重 要的。支持向量机方法很巧妙地解决了这 一问题。
该方法的机理可以简单描述为：寻找一 个满足分类要求的最优分类超平面，使得 该超平面在保证分类精度的同时，能够 使超平面两侧的空白区域最大化；从理 论上来说，支持向量机能够实现对线性可 分数据的最优分类。为了进一步解决非线 性问题，Vapnik等人通过引入核映射方 法转化为高维空间的线性可分问题来解决。
l
f ( x) w x b (i i)( x xi ) b i 1
用不同的支持向量机对人工数据进 行分类
（a ）线性可分 对下面二维待分类人工数据P进行分类： X = [2 7; 3 6; 2 2; 8 1; 6 4; 4 8; 9 5; 9 9; 9 4; 6 9; 7 4]; Y = [ +1; +1; +1; +1; +1; -1; -1; -1; -1; -1; -1];
wxb 0
为使分类面对所有样本正确分类并且具 备分类间隔，就要求它满足如下约束：
xi w b 1 for xi w b 1 for
yi yi
1 1
yi
xi
w
b
1
0
可以计算出分类间隔为2 w ，因此构造最优 超平面的问题就转化为在约束式下求：
min w 1 w 2 1 w w
2
2
对应的期望输出为 yi 1,1
如果训练集中的所有向量均能被某超平 面正确划分，并且距离平面最近的异类 向量之间的距离最大（即边缘margin最 大化），则该超平面为最优超平面 （Optimal Hyperplane ） 。
支持向量 Support Vector
最优分类面示意图
其中距离超平面最近的异类向量被称为 支持向量（Support Vector），一组支持 向量可以唯一确定一个超平面。SVM是 从线性可分情况下的最优分类面发展而 来，其超平面记为：
i xi w b yi 1 0, i 1,L ,l
对多数样本αi 将为零，取值不为零的 αi 所对应的样本即为支持向量，它们通常只 是全体样本中很少的一部分。
求解上述问题后得到的最优分类函数是：
f
x
sgn
l
yii
xi
x
b
i1
在通过训练得到最优超平面后,对于给 定的未知样本x，只需计算f (x)即可判断x 所属的分类。
由于在上面的二次规划（QP）问题中， 无论是目标函数还是分类函数都只涉及 内积运算，如果采用核函数(Kernel Function)就可以避免在高维空间进行复杂 运算，而通过原空间的函数来实现内积 运算。因此，选择合适的内积核函数
K xi , x j xi x j 就可以实现某
支持向量机示意图
选择不同的核函数 K xi, xj xi xj
可以生成不同的支持向量机，常有以下
几种：
（1）线性核函数： K x, xi x xi
（2）多项式核函数：K
x,
xi
x
xi
q
1
（3）Gauss核函数：
K(x, xi ) exp
x xi
2 2
（4）Sigmoid核函数：
虑用线性回归函数 f (x) w x b 拟合数据 集X的问题。
所有训练数据在精度 下无误差地用线 性函数拟合，即：
yi w xi b w xi b yi
i 1,L ,l
考虑到允许拟合误差存在的情况：
yi w xi b i
w
xi
b
yi
i
i 1,L ,l
与传统统计学的方向不同，Vapnik等人 提出了一个较完善的基于有限样本的理 论体系－－统计学习理论。
统计学习理论是又一种通用的前馈神经 网络，同样可用于解决模式分类和非线 性映射问题。
支持向量机方法是在统计学习理论基础 上发展起来的通用学习方法，它具有全 局优化、适应性强、理论完备、泛化性 能好等优点 。
一非线性变换后的线性分类，而计算复 杂度却没有增加多少 ，从而巧妙地解决 了高维空间中计算带来的“维数灾难” 问题。
此时，相应的决策函数化为：
f
x
sgn
l
yii
K
xi
,
x
b
i1
支持向量机求得的决策函数形式上类似 于一个神经网络，其输出是若干中间层 节点的线性组合，而每一个中间层节点 对应于输入样本与一个支持向量的内积， 因此也被称作是支持向量网络。