SVM-支持向量机Mercer核的若干性质

分类机 。
如果 K( x , x′) 是定义在 X ×X 上的连续对称 函数 ,其中是 X 是 Rn 上的紧集 ,且积分算子
∫ TK = ( TKf ) (·) = K(·, x′) f ( x′) d x′, X
Πf ∈L2 ( X)
(9)
是半正定的 。则称 K( x , x′) 为 Mercer 核 。
个使 R (η) 达到最大值的向量是 M 的特征向量 ,而
最大值就是相应的特征值 。
证明 : 由于
R (η)
=
( Mη,η) (η,η)
=
( Mη,η) | η| 2
=
ηη
M | η| ,| η|
(18)
因此 , R (η) 的最大值等于 ( Mξ,ξ) 的最大值 ,其中
向量ξ∈Rn ,且满足| ξ| = 1 。所以连续函数 ( Mξ,
(21)
令η= Mξ3 - λ1ξ3 ,我们可以证明η= 0 。
这就证明了ξ3 是 M 的特征向量 ,λ1 是对应的
特征值 。
(下转第 46 页)
46
北京联合大学学报 (自然科学版)
2005 年 3 月
等式成立的条件是 X1 = X2 = …= Xn 。
证明 : 在定理 1 中取 M = R2+ ,并令 φ1 ( x) =
∑∑ ∑ min α
1 2
l i =1
l j=1
yi yαj αi j ( xi , xj )
-
l
α j j=1
(1)
l
∑ s. t . yαi i = 0 , αi ≥0 , i = 1 , …l (2) i =1
如果所有训练样本 xi 可通过某个非线性函数
Φ映射到一个高维特征空间 H ,即 Φ: X →H ,样本
由于此式对任意的 ci , i = 1 , …, l 成立 ,故 Gram 矩
阵半正定 。必要性证毕 。
定义 2 设 A 是实数域上的 n ×n 矩阵 ,在 Rn 上给定内积
n
∑ (α,β) =
αβ ii
(16)
i =1
这里 α= (α1 ,α2 , …,αn ) T ,β= (β1 ,β2 , …,βn ) T , ,则
xi 在高维特征空间中的像分别为Φ( xi ) 。需求最
优化问题为
l
l
l
∑∑ ∑ min α
1 2
i =1
j=1
yi yαj αi j (Φ( xi )
·Φ( xj ) )
-
αj
j=1
(3)
l
∑ s. t . yαi i = 0 αi ≥0 , i = 1 , …l
(4)
i =1
为此 ,引进函数 K( xi , xj ) ,令
[ 收稿日期 ] 2004 - 11 - 18 [ 作者简介 ] 刘华富 (1961 —) ,男 ,湖南岳阳人 ,长沙大学计算机科学与技术系副教授 ,理学硕士 ,主要从事计算机网 络 、智能控制与模式识别的教学与研究 。
42
北京联合大学学报 (自然科学版)
2005 年 3 月
2 Mercer 核的若干性质
近几年来 ,支持向量机在解决机器学习问题中 出现的“维数灾难”和“过学习”等传统困难方面成 为了有力工具 。[1] 为了提高线性学习器的计算能力 和泛化能力 ,利用核函数将数据映射到高维空间 , 把高维 Hilbert 空间中两个点的内积计算 ,用原来输 入空 间 中 的 两 个 模 式 的 简 单 核 函 数 的 求 值 来 代 替 。[2] 核函数是支持向量机的重要组成部分 。[3 ,4]
Abstract : The higher dimensional generalization of an important generating function inequality is established. As by2 products , a series of different function inequalities on m2dimensional space is obtained which extend to the A2G mean inequality and Cauchy’s inequality. Key words : function inequality ;generating function inequality ;higher dimensional generalization
刘华富
(长沙大学 计算机科学与技术系 ,长沙 410003)
[ 摘 要 ] 目前支持向量机在模式分类中得到了很好的应用 。对于线性不可分的样本空间 ,需 要寻找核函数 ,将线性不可分的样本集映射到另一个高维线性空间 。在理论上 ,怎样选择核函 数 ,还是一个未解决的问题 。因此研究支持向量机的核函数性质 ,对于寻找核函数有重要意义 。 为此 ,在研究支持向量机的基础上 ,给出了核函数的若干重要性质 。 [ 关键词 ] 支持向量机 ;核函数 ;Mercer 核 ;核函数性质 [ 中图分类号 ] TP 181 [ 文献标识码 ] A [ 文章编号 ] 100520310 (2005) 0120045202
The Higher Dimensional Generalization of a Generating Function Inequality
LI Shi2jie
(Department of Teaching Research of Quzhou Education Committee of Zhejiang , Quzhou Zhejiang 324002 ,China)
称
R (α)
=
( Aα,α) (α,α)
(17)
为 Rn 中任意向量α的 Rayleigh 商 。
定理 2 设 M 是 核 函 数 的 Gram 矩 阵 ,η =
(α1 y1 , …,αl yl ) ∈Rn ,其中 yi ∈{1 , - 1} , i = 1 ,2 ,
…, l ,则 η的 Rayleigh 商的最大值是存在的 。任一
l
∑∑ ∑ min α
1 2
i =1
j=1
yi yαj αi j K( xi , xj )
-
αj
i =1
(6)
l
∑ s. t . yαi i = 0 αi ≥0 , i = 1 , …l (7) i =1
得 最 优 解 α3 = (α13 , …, αl3 ) T , 计 算 w 3 =
l
∑αi3 yi xi 。选取 α3 的一个正分量 αj3 ,并据此计算
2005 年 3 月 第 19 卷第 1 期总 59 期
北京联合大学学报 (自然科学版) Journal of Beijing Union University(Natural Sciences)
Mar. 2005 Vol. 19 No. 1 Sum No. 59
支持向量机 Mercer 核的若干性质
(责任编辑 李亚青)
(上接 42 页) [ 参考文献 ]
[1 ] Cristianini N , Shawe2Taylor J . 支持向量机导论[M] . 李国正译. 北京 :电子工业出版社 ,2004. [2 ] 邓乃扬 ,田英杰. 数据挖掘中的新方法 ———支持向量机[M] . 北京 :科学出版社 ,2004. [3 ] Scholkopf B , Burges J C , Smola A J . Advances in kernel methods support vector learning[M] . Cambridge , MA : MIT Press ,1999. [4 ] Cherkassky V , Mulier F , Vapnik V N , et al. Special issue on VC learning theory and its applications[J ] . IEEE Transactions on
本文旨在研究支持向量机的核函数 ,并给出了 若干重要性质 。
1 支持向量机的核函数
设已知训练集 T = { ( x1 , y1 ) , …, ( xl , yl ) } ∈
( X ×Y) l ( 训练集所在空间) 。其中 xi ∈X = Rn ,
yi ∈Y = {1 , - 1} , i = 1 , …l 。求解最优化问题 :[5 ,6]
ξ) 存在一个向量ξ3 ∈Rn ,且满足| ξ3 | = 1 ,使得
( Mξ3 ,ξ3 )
= max ( Mξ,ξ) | ξ| = 1
=
max
η∈Rn
( Mη,η) (η,η)
(19) 又令
λ1
=
max
η∈Rn
( Mη,η) (η,η)
=
( Mξ3 ,ξ3 )
(20)
于是对于任意 η∈Rn ,有
( Mη,η) ≤λ1 (η,η)
ln
x
,φ2 ( x)
=
α
x
,即可得证
。
限于篇幅 ,其他结果不再一一列出 。最后要说
明的是 ,定理 1 中的结论还可推广到加权的形式 ,
其证明和应用 ,将在另文中再叙 。
致谢 :石焕南教授对本文初稿提出了十分有益的修 改意见 ,谨此感谢 !
[ 参考文献 ]
[1 ] 李世杰. 一个重要的“母”函数不等式[J ] . 抚州师专学报 ,1999 , (3) :37 - 40. [2 ] 黄仁寿. 一个新的函数不等式[J ] . 数学通讯. 1993 , (6) :23. [3 ] 李世杰. 一个加权的“母”函数不等式[J ] . 中学教研 (数学) ,1999 , (1) :30 - 33.
正定的 ,定义
l
∑ g ( x) =
cδi ( x - xi )
(11)
i =1
其中 ci , i = 1 , …, l 是任意取定的实数 ,δ(·) 是定
义在 X 上的δ- 函数 ,它满足
∫δ( t) f ( t) d t = f (0)
(12)
X
由于积分算子 Tk 是半正定 ,所以对任意的 f ( x) ∈
L2 ( X) 有
∫ K( x , x′) f ( x) f ( x′) d xd x′≥0 (13) X ×X
然后由于式 (11) 定义的 g ( x) 可以看做 L2 ( x) 中的 函数的极限 ,因而对 g ( x) 也应有
∫ K( x , x′) g ( x) g ( x′) d xd x′≥0 (14) X ×X
∫ K( x , x′) f ( x) f ( x′) d xd x′< 0 (10) X ×X
∑ 所以一定存在着一种分划 ,使得 f ( xi ) f ( xj ) · i ,j
K( xi , xj ) < 0 。这与 Gram 矩阵半正定相矛盾 。充
Leabharlann Baidu
分性证毕 。
2) 必要性 :
设 K( x , x′) 为 Mercer 核 ,即积分算子 Tk 是半
又由式 (11) ～ (14) 知
∫ K( x , x′) g ( x) g ( x′) d xd x′= X ×X
l
∑ ∫ ci cj K( x , x′)δ( x - xi )δ( x′- xj ) d xd x′=
i ,j =1
X ×X
l
∑ci cj K( xi , xj ) ≥0
(15)
i ,j =1
下面给出 Mercer 核的几个重要性质 。 定义 1 ( Gram 矩阵) 对于给定的函数 K : X × X →R和 x1 , x2 …, xl ∈X , 称第 i 行第 j 列元素为 Kij = K( xi , xj ) 的 l ×l 矩阵 , M 为 K 的关于 x1 , x2 …, xl 的 Gram 矩阵 。 定理 1 设 K( x , x′) 是定义在 X ×X 上的连续 对称函数 ,其中 X 是 Rn 上的紧集 ,则 K ( x , x′) 为 Mercer 核的充要条件是关于 x1 , x2 , …, xl ∈X 的 Gram 矩阵半正定 。 证明 : 1) 充分性 : 用反证法 。设关于任意的 x1 , x2 , …, xl ∈X 的 Gram 矩阵半正定 ,如果 K( x , x′) 不为 Mercer 核 ,即 积分算子 Tk 不是半正定的 。因此存在某个 f ( x) 使得
i =1 l
b 3 = yj - ∑yαi i3 K ( xj , xi ) ,其中下标 j ∈{ j| αj3 > i =1
0} ,决策函数为
l
∑ f ( x) = sgn
α3 i
yi
K(
x
,
xi
)
+
b3
(8)
i =1
称与不为零的
α3 j
相对应的训练点 ( xj , yj ) 的输入
xj 为支持向量 ,决定决策函数的算法称为支持向量
K( xi , xj ) = Φ( xi ) ·Φ( xj )
(5)
若存在函数 K ( xi , xj ) , 使得求内积 Φ ( xi ) ·
Φ( xj ) 的值 ,可直接通过求函数 K( xi , xj ) 的值来代
替 ,那么函数 K( xi , xj ) 称为核函数 。求解最优化问
题为
l
l