SVM支持向量机算法的详细推导(详细到每个步骤,值得推荐)

SVM主要针对小样本数据进行学习、分类和预测 （有时也叫回归）的一种方法，能解决神经网络不能 解决的过学习问题。类似的根据样本进行学习的方法 还有基于案例的推理（Case-Based Reasoning）， 决策树归纳算法等。 过学习问题：训练误差过小导致推广能力下降，即真 实风险的增加。 推广能力：generalization ability，也可以说是泛化能 力，就是对未知样本进行预测时的精确度。 下面讨论线性可分情况下支持向量机的分类原理。
WT XP+b<0
dp =-1
超平面与最近的样本点之间的间隔称为分离边缘，用ρ表示。 支持向量机的目标是找到一个分离边缘最大的超平面，即最优 超平面。也就是要确定使ρ最大时的W和b。 图8.1给出二维平面中最优超平面的示意图。可以看出，最优 超平面能提供两类之间最大可能的分离，因此确定最优超平面 的权值W0和偏置b0应是唯一的。在式(8.1)定义的一簇超平面中， 最优超平面的方程应为: WT X0+b0=0（应该是W0 X + b0 = 0吧？ ） 直接求W0和b0基本上不太可能，除了训练集无别的信息可用， 如何办？ 一种方法：使求得的预测函数 y = f(x) = sgn(W· X + b)对原有 样本的分类错误率最小。 如何使分类错误率最小？下面慢慢分 析。
8.1 支持向量机的基本思想 线性可分数据的二值分类机理：系统随机产生一个 超平面并移动它，直到训练集中属于不同类别的样本 点正好位于该超平面的两侧。显然，这种机理能够解 决线性分类问题，但不能够保证产生的超平面是最优 的。支持向量机建立的分类超平面能够在保证分类精 度的同时，使超平面两侧的空白区域最大化，从而实 现对线性可分问题的最优分类。 什么叫线性可分？就是可以用一条或几条直线把属 于不同类别的样本点分开。实际上，求解分类问题， 就是要求出这条或这几条直线！问题是：怎么求？
人工神经网络及应用
第八章 支持向量机
主讲 何东健
BP网络及RBF网络解决了模式分类与非线性映射问题。 Vapnik提出的支持向世机(Support Vector Machine， SVM)，同样可以解决模式分类与非线性映射问题。 从线性可分模式分类角度看，SVM的主要思想是：建立 一个最优决策超平面，使得该平面两侧距平面最近的两类 样本之间的距离最大化，从而对分类问题提供良好的泛化 能力。根据cover定理：将复杂的模式分类问题非线性地 投射到高维特征空间可能是线性可分的，因此只要特征空 间的维数足够高，则原始模式空间能变换为一个新的高维 特征空间，使得在特征空间中模式以较高的概率为线性可 分的。此时，应用支持向量机算法在特征空间建立分类超 平面，即可解决非线性可分的模式识别问题。 支持向量机基于统计学习理论的原理性方法，因此需要 较深的数学基础。下面的阐述避免过多抽象的数学概念， 推导过程尽量详细。
8.1.1 最优超平面的概念 考虑P个线性可分样本{(X1，d1)，(X2，d2)，…，(Xp， dp)，…(XP，dP)}，对于任一输入样本Xp ，期望输出 为dp =±1（代表两类类别标识）。用于分类 的超平面方程为 WT X+b=0 (8.1) 式中，X为输入向量，W为权值向量，b为偏置（相当 于前述负阈值），则有 WT XP+b>0 dp =+1
Fra Baidu bibliotek
dp(WT XP+b)≥1 （8.6） 其中，W0用W代替。 由式(8.3)可导出从支持向量到最优超平面的代数距离 为
因此，两类之间的间隔可用分离边缘表示为
r
上式表明，分离边缘最大化等价于使权值向量的范数 || W||最小化。因此，满足式(8.6)的条件且使||W||最小 的分类超平面就是最优超平面。
8.1.2 线性可分数据最优超平面的构建 建立最优分类面问题可表示成如下的约束优化问题， 即对给定的训练样本{(X1，d1)，(X2，d2)，…，(Xp， dp)，…(XP，dP)} ，找到权值向量W和阈值B的最优值， 使其在式(8.6)的约束下，有最小化代价函数 该约束优化问题的代价函数是W的凸函数，且关于W 的约束条件是线性的，因此可用Lagrange系数方法解 决约束最优问题。引入Lagrange函数如下
设x=( x1,x2,…,xn)T x的范数:||x||=|x1|+|x2|+…+|xn| 如何构造这个最优分类面呢？方法：平分最近点法和最大 间隔法。两个方法殊途同归，它们求解得到同一个超平面。 这两个方法与一个最优化问题求解方法等价。 分类机是将最大间隔法求解最优分类面的最优化问题转 化为其对偶问题，从而通过求解相对简单的对偶问题来求 解原分类问题的算法。随后引入松弛变量和惩罚因子来解 决非线性分类问题，并且允许一定的分类错误（软间隔）， 最终得到非线性软间隔的标准的 C-支持向量机(C-SVC)。 把一个复杂的最优化问题的求解简化为对原有样本数据的 内积运算。只需选择适当的核函数及其参数、惩罚因子。
由解析几何知识可得样本空间任一点X到最优超平面 的距离为 (8.3)
从而有判别函数 g(X)=r ||W0||=W0T X+b0 g(X)给出从X到最优超平面的距离的一种代数度量。 将判别函数进行归一化，使所有样本都满足
(8.5)
则对于离最优超平面最近的特殊样本Xs满足：I g(Xs) I=1，称为支持向量。由于支持向量最靠近分类决策面， 是最难分类的数据点，因此这些向量在支持向量机的 运行中起着主导作用。 式(8.5)中的两行也可以组合起来用下式表示
进一步理解支持向量机：
支持向量机（Support Vector Machine，SVM）中的 “机（machine，机器）”： 实际上是一个算法。在机器学习领域，常把一些 算法看作是一个机器（又叫学习机器，或预测函数， 或学习函数）。 “支持向量”：则是指训练集中的某些训练点,这些点 最靠近分类决策面，是最难分类的数据点 。 SVM:它是一种有监督（有导师）学习方法，即已知 训练点的类别，求训练点和类别之间的对应关系，以 便将训练集按照类别分开，或者是预测新的训练点所 对应的类别。