非线性可分支持向量机

当分类出现错误时，ξi 大于零，

是分类错误数量的一个上界

对非线性问题，可以通过非线性变换转化为某个高维空间中的线性问题，在变换空间求最优分类面。由于变换的复杂性，这种思路在一般情况下不容易实现。但是在上述两种情况下的对偶问题中，无论是式(2.5)的寻优函数还是式(2.8)的分类函数都只涉及训练样本之间的内积运算)(j i x x ⋅，因此在高维空间实际上只需进行内积运算，而这种内积运算是可以用原空间中的函数实现的，我们甚至没有必要知道变换的形式。根据泛函的有关理论，只要一种核函数),(j i x x K 满足Mercer 条件，它就对应某一变换空间中的内积[ 2 ]。

因此，在最优分类面中采用适当的内积函数),(j i x x K 就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加，此时目标函数(12) 变为

()∑∑==-=n

j i j i j i j i n

i i x x K y y Q 1,1

),(21αααα 而相应的分类函数也变为 ⎭

⎬⎫⎩⎨⎧+=+⋅=∑=*1*),(sgn })sgn{()(b x x K y b x w x f n i i i i α 这就是非线性支持向量机。所有情况下的支持向量机均可以用这两个函数来求解。

综合上述线性可分、线性不可分、非线性几种情况，支持向量机可以概括为首先通过用内积函数定义的非线性变换，将输入空间变换到一个高维空间，并在高维空间中求（广义）最优分类面，即利用最

优函数求解。支持向量机分类函数形式上则类似于一个神经网络，每一个中间节点都对应着一个支持向量，最终的输出则是中间节点的线性组合而成的，如图3所示。