支持向量机的基本原理及其参数寻优

2.2 支持向量机
支持向量机（SVM）算法是由前苏联数学家Vapnik等首先提出的，这种算法的基本定义是一个在特征空间上的间隔最大的分类器。

支持向量机技术具有坚实的数学理论作为支撑[37]，根据支持向量机学习算法的难易程度[38]，可以将支持向量机模型简单的分为线性支持向量机和非线性支持向量机。

简单的SVM模型是理解和设计复杂SVM模型的基础，支持向量机自诞生以来，展现出了大有可为的应用前景，在解决现实问题的算法中，支持向量机总是留到最后的算法之一，尤其是针对小样本、高维度的数据。

在深度学习技术没有出现之前，支持向量机的研究热度一直较高，即使在深度学习出现之后，支持向量机也在一些特定的问题下有着良好的表现。

2.2.1 支持向量机的基本原理
支持向量机按照分类是有监督学习，本节阐述一下基础的支持向量机原理，也就是线性可分的支持向量机算法原理。

因为是有监督学习，所以训练模型需要有样本特征以及样本目标值。

样本特征所在的集合称之为输入空间，对应的目标值所在的集合称为特征空间。

支持向量机算法的核心是将输入空间的样本数据，映射为对应的特征空间中的特征向量。

所以可以知晓支持向量机的特征学习发生在特征空间中。

（1）分类面
假设有一个特征空间上的训练数据集，是一个可以进行二分类的数据集T，其组成如式2.10所示：
T={(x1,y1),(x2,y2),⋯,(x N,y N)}式(2.10)
其中x i∈R n，y i∈Y={+1,−1}，i=1,2,⋯,N 。

x i表示第i个特征向量，也称为样本，y i为x i对应的类标记，（x i，y i）为样本实例。

模型学习的目标是在特征空间中找到一个可用于分割两类的超平面，将为正例和负例能够尽可能远的分开。

分类超平面的函数方程为：ωx+b=0，其中ω为求解出的超平面的法向量，b为与坐标轴的截距，方程简单表示可用（ω,b）来表示。

当数据是线性可分的时候，会存在无数个这样的平面来分割两类数据，感知机采取的方法是将误差分类最小，求得分类面，此时模型的解有无限个。

线性支持向量机利用间隔最大化方法求解时，结果是唯一的。

在有了分类平面的函数之后，对应的分类决策函数也就很容易得出，即为：。