支持向量机原理简介

K ( x n , x ) 的线性加权。那 K ( x n , x ) 是什么？
根据定义(19)
K ( xn , x ) = p ( x ) = Σ∞ j =1λ jφ j ( x n ) φ j ( x ) = φ ( x n ) Λφ ( x )
T
(31)
其中 Λ = diag ( λ1 , λ2 , λ3 ,
最后注意：未知参数 {α n } 和 b 的待定条件是下面的方程：
yn = h ( x n ) ， n = 1, 2,
,N
(6)
2. 内积和分类的关系
分类器(4)有另一种解释。把(3)带入(4)得到：
N h ( x ) = sign ( Σ n =1α n yn x n , x + b )
h (x)
(1)
h ( x n ) = yn
(2)
并且能够对训练集合外的数据正确分类。 z 分类器设计 首先设计“投影”向量 w ，表达式为：
N w = Σn =1α n yn x n
(3)
其中 α n 是待定（正）系数。w 在几何上有如下含义：
由于 w 的表达式中，对 x n 的加权 yn 的作用以及 α n 是正数的条件，使得 w 的方向大致 为：从对应 yn 小于 0 的训练点集指向 yn 大于 0 的训练点集。 基于 w 设计如下线性分类器：
(7)
可见分类就是对 x n , x 加权，或者说通过内积 x n , x 给出了 x n 和 x 的“亲密程度”， 分类器把 x 对所有训练点 x n 的“亲密程度”加权并和门限 b 比较得到判决结果。 通过(7)还可以发现分类器的设计准则(5)仅仅依赖于：
xm , xn
(8)
∞ ⎧ ⎪ f = Σ j =1μ jφ j ⎨ ∞ = Σ η φ g ⎪ j =1 j j ⎩
{ }
(27)
定义 H 上的内积 f , g 为：
f ,g
H
:= Σ ∞ j =1
η jμ j λj
(28)
可见：
f ( i ) , K ( z,i )
H
= Σ∞ j =1
μ j λ jφ j ( z ) = Σ∞ j =1 μ jφ j ( z ) = f ( z ) λj
h ( x ) = sign ( w, x + b )
(4)
该分类器首先需要对训练点集能够正确分类，即：
yn = sign ( w, x n + b )
(5)
其中参数 b 待定。它的几何含义可以通过下图考察
其中 w , x n 代表训练数据点在 w 上面投影，b 在 w 矢量上定了一个分界点，投影在分 界点左边的点分类成 y = −1 ，右边的分类成 y = 1 。 获得 w 和 b 的迭代算法参考 [1]。
φ ( x ) , φ ( z ) := Σ ∞ j =1φ j ( x ) φ j ( z )
(22)
和原始定义相比，这里的概念扩展后的定义(20)增加了加权 λ j 。但这并不违反原先的定 义，因为它只是因为 φ j 在(19)中是归一化了的（ || φ j ||= 1 ），只要重新定义
(20)
根据上面的(19)可以定义 K (
这里：
K ( x, z ) = φ ( x ) , φ ( z ) := Σ ∞ j =1λ jφ j ( x ) φ j ( z )
φ ( x ) := ⎡ ⎣φ1 ( x ) φ2 ( x ) φ3 ( x )
⎤ ⎦
T
(21)
注意：上面的内积定义(20)和原始的欧式空间的定义有一些修改，原始的定义是：
分类器(7)依赖于内积 x n , x ，但内积的定义可以不局限在欧氏空间 训练输入点集可以通过一个给定的映射变换成：
{ y , φ ( x )} ， n = 1, 2,
n n
,N
(10)
(
)
(11)
对于第二种推广，可以进一步定义： 于是(11)成为： 其中：
N h ( x ) = sign ( Σ n =1α n yn K ( x n , x ) + b )
) 。因此 K ( x n , x ) 是内积
Λ1/2 φ ( x n ) , Λ1/2φ ( x )
(25)
和欧式空间的定义还是一样的。
5. RKHS（再生核 Hilbert 空间）
对于给定一个 Mercer 核 K ( x, z ) ，用它的分解： K ( x, z ) = Σ ∞ j =1λ jφ j ( x ) φ j ( z ) 中的 函数 φ j 定义一个线性空间： H 。（注意：根据定义， φ j 成为 H 的基，另外 H 中的 元素是关于变量 x 的函数） 首先注意对于给定一个 z ， K ( z,i ) , K ( i, z ) ∈ H ，因为：
(29)
上面的等式最左和最右就是核 K 的再生性
6. 分类器的线性空间理解
N 把(13)中的 Σ n =1α n yn K ( x n , x ) + b 记作：
N f ( x ) := Σ n =1α n yn K ( x n x ) 看成是关于参数 x 的连续函数，于是可以发现： f ( x ) 是一批（N 个）连续函数
{ }
{ }
K ( z ,i ) = p ( i ) = Σ ∞ j =1λ jφ j ( z ) φ j ( i )
(26)
表示函数 p ( i ) 是 φ j ( i ) 通过加权系数 λ jφ j ( z ) 合并出来的 （这里 z 看成是给定的常数） 。 考虑两个 H 中的元素 f 和 g ，令他们在基 φ j 上的分解为：
K ( x, z ) := φ ( x ) , φ ( z )
(12)
(13)
⎡ φ1 ( x ) ⎤ ⎢ ⎥ φ2 ( x ) ⎥ ⎢ φ ( x ) := ⎢ ⎥ ⎢ ⎥ ⎢φM ( x ) ⎦ ⎥ ⎣
(14)
是各种非线性函数。
4. 核函数
关于函数 K ( x, z ) 原始定义为：非线性映射 φ (
) 和内积
的复合函数，常规的构
造方案是先构造非线性映射 φ (
) ，再根据 K ( x, z ) 的定义把他的表达式写出来。但可以
反过来， 即： 先给定一个满足一定条件的函数 K ( x, z ) ， 然后找到直接构造出来的 K ( x, z ) 对应的 φ (
) 。要保证的确存在一个 φ ( ) 和直接构造出来的 K ( x, z ) 对应，我们需要让
因为 {α n } 和 b 的待定条件(6)是下面的方程：
N ym = sign ( Σ n =1α n yn x n , x m + b ) ， m = 1, 2,
,N
(9)
3. 分类器概念的推广
有两方面推广： 1 2 于是分类器(7)成为：
N h ( x ) = sign Σ n =1α n yn φ ( x n ) , φ ( x ) + b
K ( x, z ) 满足下面（充要）条件：
令 X 是 K ( x, z ) 的定义域， K ( x, z ) 满足 z z 半正定 对于定义域 X 为有限集合，即： 对称
K ( x, z ) = K ( z , x ) ， z , x ∈ X
(15)
X := {x1 , x 2 ,
, xN }
(16)
半正定定义为下面矩阵半正定：
K := ⎡ ⎣ K ( xm , xn )⎤ ⎦ m ,n =1
N
(17)
对于定义域 X 为 R n 的连续紧子集， 半正定定义为：
∫
X ×X
K ( x, z ) f ( x ) f ( z ) dxdz ≥ 0 ∀f ∈ L2 ( X )
支持向量机
读书笔记 uingrd@
1. 线性分类器
z 问题： 已知训练集合：
{( y , x ) , ( y , x ) , , ( y
1 1 2 2
N
, x N )} ，其中 x n 代表第 n 个训练输入，
yn = ±1 代表分类输出。
满足： 要求设计线性分类器：
(18)
根据 Mercer 定理，满足上面条件时有： 其中 φ j 称为 K (
K ( x, z ) = Σ ∞ j =1λ jφ j ( x ) φ j ( z )
(19)
) 的特征函数， λ j ≥ 0 称为 K ( ) 的特征值。另外 || φ j ||= 1 ) 和内积的关系：
以及
ˆ := λ φ φ j j j
(23)
ˆ ( x ) := ⎡φ ˆ ˆ ˆ φ ⎣ 1 ( x ) φ2 ( x ) φ3 ( x )
⎤ ⎦
T
(24)
就可以发现：
ˆ ( x) , φ ˆ ( z ) := Σ ∞ φ ˆ ˆ φ j =1 j ( x ) φ j ( z )