核函数的性质及其构造方法

函数 ,则
k ( x , x′) = k ( x , x′) , 0,
x ∈S and x′∈S ot herwise
是 X ×X 上的核函数 ,称为 k 的零扩张 。
例 2. 4 核函数的零置换 。设 k 是 X ×X 上的核函数 , S
< X ,则
k ( x , x′) = k ( x , x′) , 0,
2. 1. 3 ,便能构造出许多新核函数 。
例 2. 1 核函数的凸组合 。设 ki , 1 ≤i ≤n 是核函数 , ai
n
n
wenku.baidu.com
≥0 且 ∑ai = 1 , 则 ∑ai k i 是核函数 , 称为 ki , 1 ≤i ≤n 的凸组
i =1
i =1
合 。如果基本核函数 ki 选取适当 ,那么新核函数能表现出更
Properties and Construction Methods of Kernel in Support Vector Machine
WAN G Guo2Sheng1 ,2
(Depart ment of Computer Science and Technology , Dezhou Univer sit y , Dezhou 253023) 1 ( School of Information Engineering , Beijing Universit y of Post s & Teleco mmunications , Beijing 100876) 2
tion invariant and co nvolution kernels. By t hem , a lot of impo rtant kernel f unctions are const ructed so me of which are
co mmonly employed in p ractice.
定理 2. 2. 1 (封闭性) 若 k1 , k2 , …是核函数 ,则
(1) k1 + k2 是核函数 ,
(2)αk1 ,α≥0 是核函数 ,
(3) k1 ·k2 是核函数 ,
(4) 若
k(
x,
x′) =
lim k
n →∞
n
(
x,
x′) 存在 , 则
k(
x,
x′) 是核函
数。
定理的结论 (1) 、(2) 、(4) 可由定义直接验证 ,此三条结论
i,j=1
i =1
j =1
i =1
( x i ) ) 2 ≥0
所以 , f ( x) f ( x′) 正定 。由 (1) 及定理 2. 1. 2 (3) 可得结论 (2) 。
证毕 。
形如定理 2. 1. 1 (1) 中的核函数 ,称为可分离的核函数 。
把一些已知的核函数作为基本模块 ,根据定理 2. 1. 2 和
Keywords Suppo rt vecto r machine , Kernel , Kernel met hod , Machine learning
1 引言
本文假设输入空间 X < R d ( d 维 Euclid 空间) ,除非另有 所指 ,不再申明 。
支持向量机自 20 世纪 90 年代初提出 ,迄今已经历了 10 年的发展 。它在应用方面 ,如模式识别 、预测以及聚类等 ,成 功的例子屡见不鲜[1 , 3 , 4 ] ,在理论上也取得了很大进展[1～3 ] 。 支持向量机由核函数与训练集完全刻画 。核函数本质上是一 个内积 (或点积) 。核函数的思想后来发展成核方法 ,即通过 引入核函数 ,把基于内积运算的线性算法非线性化 。核方法 为处理许多问题提供了一个统一的框架 。除支持向量机外 , 还有基于核的主成分分析 、基于核的 Fisher 判决等[3] 。
2. 3 核函数反映了输入数据之间的相似性
(2) f ( x) k ( x , x′) f ( x′) 是核函数 。
证明 :先证 (1) 。显然 f ( x) f ( x′) 是对称的 。对任意 m ∈ N ,任意 x1 , x2 , …, xm ∈X ,α1 ,α2 , …,αm ∈R ,有
m
m
m
m
∑ααi j f ( x i ) f ( x j ) = ( ∑αi f ( x i ) ) ( ∑αj f ( x j ) ) = ( ∑αi f
的。 证明 :设 k 是核函数 , 则存在内积空间 ( H〈, ·, ·〉) , 以
及映射 Φ∶X →H ,使得 k ( x , x′) =〈Φ( x) ,Φ( x′) 〉。对任意 m ∈N ,任意 x1 , x2 , …, xm ∈X ,α1 ,α2 , …,αm ∈R ,有
3 ) 山东省教育厅科技计划项目 (No . J 03 P52) 、德州市科技计划项目 (No . 042103) 。王国胜 副教授 ,博士研究生 ,主要研究方向为计算智能 、支 持向量机 、模式识别 。
表明核 函 数的 全体 构 成 一个 闭 凸 锥 。因 为 正 定 矩 阵 关 于
Schur 乘积 ,即对应元素直接相乘 ,是封闭的[7] ,根据定理 2.
1. 1 ,便得结论 (3) 。
定理 2. 2. 2 设 k ∶X ×X →R 是核函数 , f ∶X →R 是任
意函数 ,则
(1) f ( x) f ( x′) 是核函数 ,
强的泛化能力 ,详见文[ 8 ,9 ] 。
例 2. 2 核函数的标准化 。若核函数满足 k ( x , x) > 0 ,
Π x ∈X ,则
k ( x , x′) =
k ( x , x′) k ( x , x) k ( x′, x′)
是核函数 ,称为 k ( x , x′) 的标准化 。
例 2. 3 核函数的零扩张 。若 S < X , k 是 S ×S 上的核
∑m ααi j k ( x i , x j ) ≥0
i,j=1
即对任意训练数据 x1 , x2 , …, xm ∈X , K = ( k ( x i , x j ) ) 是正定 矩阵 。
定理 2. 1. 1 k ∶X ×X →R 是核函数当且仅当它是正定
解 。本文第 2 节分析了核函数的一些基本性质 ,第 3 节针对 3 类重要核函数 ,即平移不变核函数 、旋转不变核函数和卷积 核 ,提出了简单实用的判别准则 。在此基础上 ,验证和构造了 很多重要核函数 ,其中一些是我们经常用到的 。
实函数
Φx ( ·) = k ( x , ·) 所有这样定义的实函数的线性组合构成一个线性空间 , 记作
H0 。对 H0 中任意两点 ,
m
m′
f ( ·) = ∑αi k ( x i , ·) , g ( ·) = ∑βj k ( x′j , ·)
i =1
j =1
其中 m , m′∈N ,αi ,βj ∈R , xi , x′j ∈X ,定义
x ∈S and x′∈S ot herwise
是 X ×X 上的核函数 ,称为 k 的零置换 。
证明 : k ( x , x′) = k ( x , x′) IS ×S ( x , x′) = IS ( x) k ( x , x′) IS
( x′) ,由定理 2. 1. 3 (2) , k ( x , x′) 是核函数 。证毕 。
〈f
, g〉∶=
m
∑
∑m′αβi j
k
(
xi
,
x′j )
i = 1j = 1
可验证 ,这个定义不依赖于 f , g 的表示方式 , 并且〈 ·, ·〉满
足对称性 、双线性性 。因为 k 正定 , 可得〈 f , f 〉≥0 , 并且〈 f ,
f 〉= 0 Ζ f = 0 。因此〈, ·, ·〉是 H0 上的一个内积 。 H0 的完 备化称为 再 生 核 Hilbert 空 间 ( Rep roducing Kernel Hilbert
Abstract Support vector machine , which has been successf ully applied to pattern recognition , regression estimation ,
cluster and so on , is a typical instance of kernel met hod. It is co mpletely characterized by kernel f unctio n and t raining
·172 ·
m
m
∑ααi j k ( xi , x j ) = ∑ααi 〈j Φ( xi ) ,Φ( x j ) 〉
i,j=1
i,j=1
=〈 ∑mαiΦ( x i ) , ∑mαiΦ( xi ) 〉≥0
i =1
i =1
又内积显然是对称的 ,从而 k 正定 。
反之 ,设 k 正定 。对任一 x ∈X , 对应 (通过 k) X 上一个
Space ,R KHS) ,记作 H 。根据定义 , k 满足
k ( x , x′) =〈k ( x , ·) , k ( x′, ·〉
定义特征映射
Φ∶X →H ,Φ( x) = k ( x , ·) 则 k ( x , x′) =〈Φ( x) ,Φ( x′) 〉。证毕 。
2. 2 核函数的基本性质
set . The key to enhance perfo rmance of suppo rt vector machine is to choo se an app rop riate kernel f unction fo r t he given
p roblem ; t herefore deep understanding to kernel it self is needed. Firstly , t his paper analyzes some important p roperties of kernel , and t hen p ropo ses criterions for judgment of t hree classes of kernel f unction , i. e. t ranslation invariant , rota2
计算机科学 2006Vol1 33 №1 6
核函数的性质及其构造方法 3 )
王国胜1 ,2 (德州学院计算机系 德州 253023) 1 (北京邮电大学信息工程学院 北京 100876) 2
摘 要 支持向量机是一项机器学习技术 ,发展至今近 10 年了 ,已经成功地用于模式识别 、回归估计以及聚类等 ,并 由此衍生出了核方法 。支持向量机由核函数与训练集完全刻画 。进一步提高支持向量机性能的关键 ,是针对给定的 问题设计恰当的核函数 ,这就要求对核函数本身有深刻了解 。本文首先分析了核函数的一些重要性质 ,接着对 3 类核 函数 ,即平移不变核函数 、旋转不变核函数和卷积核 ,提出了简单实用的判别准则 。在此基础上 ,验证和构造了很多重 要核函数 。 关键词 支持向量机 ,核函数 ,机器学习 ,核方法
支持向量机创立之初 ,人们多关心基于核函数的算法的 设计 。后来认识到 ,提高支持向量机性能的关键之一 ,是设计 适合给定问题的核函数 。这就要求对核函数本身有深入了
2 核函数及基本性质
2. 1 核函数与正定矩阵 定义 2. 1. 1 称二元函数 k : X ×X →R 是核函数 ,如果存 在某个内积空间 (或 Hilbert 空间) ( H〈, ·, ·〉, 以及映射 Φ: X →H ,使得 k ( x , x′) =〈Φ( x) ,Φ( x′) 〉 称 H 为特征空间 ,Φ为特征映射 。 定义 2. 1. 2 称 k ∶X ×X →R 是正定的 , 如果它是对称 的 ,即 k ( x , x′) = k ( x′, x) ,并且对任意 m ∈N (正整数集合) , 任意 x1 , x2 , …, xm ∈X ,α1 ,α2 , …,αm ∈R ,都有
核函数理论已有很长的历史 , Mercer 定理[1] 可追溯到 1909 年 ; 再生核 ( Rep roduction Kernel) Hilbert 理论[2] 是 20 世纪 40 年代发展起来的 ;1975 年 , Poggio [5] 首次用到了多项 式核函数 。但是 ,直到 Bo ser , Guyon 和 Vap nik[6] 将之用于支 持向量机之前 ,它的重要性没有受到充分重视 。