最小二乘支持向量机公式

设{}D=(,)|1,2,k k x y k N =⋅⋅⋅,其中n k x R ∈为输入数

据，k y R ∈为输出类比。在权w 空间中最小二乘支持

向量机分类问题可以描述如下：

21,,11(,,)22m in N

T k k w b e a b e w w e γφ==

+∑（1） 约束条件：[()]1 1,,T k k k y w x b e k

N ϕ+=-=⋅⋅⋅ （2）

定义拉格朗日函数：{}

1(,,,)(,,)[()]1T k k k k k k L w b e w b e y w x b e αφααϕ==-

+-+∑ （3）

其中，拉格朗日乘子k R α∈。对上式进行优化。

即对w ，b ，e k ，αk 的偏导数等于0。

110()0000[()]10N k k k k N k k k k k k

T

k k k k L

w y x w L y b L e e L

y w x b e e δαϕδδαδδαγδδϕδ==⎧=→=⎪⎪⎪=→=⎪⎨=→=⎪

⎪⎪=→+-+=⎪⎩∑∑（4） 上式可化为求解下面的矩阵方程：

00000000000

T T w I

Z b Y e I I I Z Y I γα⎡⎤-⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥-=⎢⎥⎢⎥⎢⎥-⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦ （5） 即 100T

T Y b I Y ZZ I αγ-⎡⎤-⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥+⎣⎦⎣⎦⎣⎦ （6）

其中，1122(),(),(),T T T T N N Z x y x y x y ϕϕϕ⎡⎤=⋅⋅⋅⎣⎦

[]12,,,,[1,1,,1],T N Y y y y I =⋅⋅⋅=⋅⋅⋅

[][]1212,,,,,,,T N N e e e e αααα=⋅⋅⋅=⋅⋅⋅。

同时将Mercer 条件代入到T ZZ Ω=,可得：

()()(,)T kl k l k l k l k l y y x x y y x x Ωφφψ== （7）

因此，式（1）的分解可以通过解式（6）和式（7） 获得。

最小二乘支持向量机分类决策函数为

1()sgn (,)N

k k k k y x y x x b αψ=⎡⎤=+⎢⎥⎣⎦∑（8）

其中：(,)ψ⋅⋅是核函数，目的是从原始空间抽取特征，将原始空间中的样本映射为高维特征空间中的一个向量，以解决原始空间中线性不可分的问题。