一种确定高斯核模型参数的新方法

【Abstract】The kernel and its parameters in support vector machine are important, an effect method for determining the parameter of Gaussian kernel based on the distances among the support vectors is proposed. The characters that the optimal discriminative function is determined by the support vectors, and the support vectors are centered as the Gaussian function, are considered in the method. Experimental results show that the method exhibits the essence of image feature space and solves a difficult problem for the parameter of Gaussian kernel in application. 【Key words】Support vector machines; Gaussian kernel; Support vector
还增加了计算代价。然而，在实际过程中往往只能根据经验 来确定。
2 本文的新方法
针对交叉验证法中一组初始的高斯核函数的宽度 σi 不 易确定的问题，本文提出了一种基于支持向量之间的距离中 值的倍数来确定一组高斯核函数宽度 σi 的方法。
由于通过支持向量机方法训练，得到最优分类面的判别 函数，该判别函数仅仅由支持向量构成，与其它的训练样本 无关。由式(1)所示的判别函数可以看出，当采用高斯径向基 函数作为核函数时，支持向量为高斯核的中心。因此，借助 支持向量的这种特性，采用基于支持向量之间的距离，来确 定高斯核函数宽度的选择范围。
(1. 清华大学计算机系，北京 100084；2. 长江大学地球物理与石油资源学院，荆州 434023； 3. 武汉理工大学计算机科学与技术学院，武汉 430063)
摘 要：支持向量机中核函数及其参数的选择非常重要，该文提出了一种利用支持向量之间的距离求取高斯核函数参数的有效方法。该方 法充分利用了支持向量机方法的最优判别函数仅仅与支持向量有关，并且支持向量为高斯核中心的特点。实验结果表明，该方法较好地反 映了图像特征的本质，解决了高斯核函数参数在实际使用中不易确定的问题。 关键词：支持向量机；高斯核函数；支持向量
A New Method for Determining the Parameter of Gaussian Kernel
ZHANG Xiang1,2, XIAO Xiaoling3, Xu Guangyou1
(1. School of Computer Science, Tsinghua University, Beijing 100084; 2. College of Geophysics & Oil Resource,Yangtze University, Jinzhou 434023; 3. School of Computer Science and Technology, Wuhan University of Technology, Wuhan 430063 )
类问题的近似高斯核函数参数 σ0 及不同类中支持向量之间 距离的中值 dmed 。
3 核模型及参数的实验结果
为了验证支持向量机中高斯核函数的分类性能，以及本 文介绍的确定高斯核函数方法的有效性，笔者采用了常用的 几种核函数，分别进行了分类测试对比实验。采用含 3％的 噪声及 40％的灰度非均匀性的 T1 加权的 MR 图像体数据，图 像大小为 181×217×60 像素 3，实验选用了 26# 及 32# 两个 2 维切片，大小为 181×217 像素 2。图像特征采用文献[6]中的 4 个纹理特征与 3 种灰度特征组合的 47 个特征。训练样本数 为 1 500。采用交叉验证法估计错误率，该错误率为脑白质、 脑灰质、脑脊髓与背景 4 种目标分类的总错误率。为了检验 高斯核函数的分类性能，表 1 比较了 32# 切片作为实验图像， 采用几种常用的核函数时，支持向量机在 C 取 1 及 1 000 时 的分类错误率。
支持向量机中核函数的选择非常重要，因为特征空间的 结构由核函数决定，它设计的好坏直接影响到分类效果。尽 管只要满足 Mercer[1]条件的函数在理论上都可选为核函数， 但不同的核函数，其分类器的性能完全不同。目前，较常用 的核函数主要有 3 类：(1)线性核函数；(2)多项式核函数；(3) 高斯核函数。尽管 Brailovsky 等人依据 Mercer 条件分别构造 了全局、局部、混合及邻域等各种形式的混合的核函数[2]， 然而，在实际大多数的应用中主要还是使用高斯径向基函数 作为核函数，并且取得了很好的应用效果。
第 33 卷 第 12 期 Vol.33 No.12
计算机工程 Computer Engineering
2007 年 6 月 June 2007
·博士论文·
文章编号：1000—3428(2007)12—0052—02 文献标识码：A
中图分类号：TP391
一种确定高斯核模型参数的新方法
张 翔 1,2，肖小玲 3，徐光祐 1
采用交叉验证法，即将所有的样本分为 p (1≤ p ≤ N) 个子集，
将 (p-1)个子集构成训练集，剩余的 1 个子集用于测试；重复 进行，使所有的样本子集都参加测试，所得错误率的平均值 为最终估计的分类错误率。
由交叉验证法确定高斯核函数的宽度σ时，需要首先给 定一组 σ i ,i = 1,2,..., n 的值，然而，确定这组 σ i 参数非常关键。 一方面，参数的个数 n 的确定；另一方面，各参数 σ i 值的确 定，选择的好坏不仅直接影响最终的高斯核函数的宽度σ，
56.77 64.93 17.74 12.77 16.24 12.04 9.75 13.80
σ 2 =0.25 σ 2 =0.125
21.43 38.17
17.72 20.26
从表 1 可知，当 C 为 1 时，除线性核函数外，多项式及
高斯核函数的分类错误率强烈地依赖于所选取的参数。在使
用的 3 种核函数中，多项式核函数的支持向量机分类性能最
基 金 项 目 ： 国家自然科学基金资助项目(60273005)；湖北省自然科 学 基 金 资 助 项 目 (2004ABA043) ； 中 国 博 士 后 科 学 基 金 资 助 项 目 (2005038310) ； 湖 北 省 教 育 厅 科 学 技 术 研 究 基 金 资 助 重 点 项 目 (D200612002) 作者简介：张 翔(1969－)，男，博士、副教授、博士后，主研方向： 模式识别，图像处理，计算机视觉；肖小玲，副教授、博士生； 徐光祐，教授、博导 收稿日期：2006-06-23 E-mail：xiang-zhang@tsinghua.edu.cn
在 2 类支持向量机分类的情况下，本文提出的确定高斯
核函数参数方法基本步骤为
(1)确定近似的高斯核函数参数 σ 0
σ0 =
median i∈A
⎜⎜⎝⎛
min j∈B
xi
− xj
2 ⎟⎟⎠⎞
(2)
其中，A，B 分别表示 2 类训练样本的集合； median 表示取
中值运算； min 取最小值运算。
(2)计算 2 类中支持向量之间距离的中值 dmed
差，高斯核函数的支持向量机分类性能最好。当 C 为 1 000，
d med =
median i∈C
⎜⎜⎝⎛
min j∈D
xi
− xj
2 ⎟⎟⎠⎞
(3)
其中，C 及 D 分别为采用参数 σ 0 的高斯核函数进行训练得到
的 2 类样本中支持向量的集合，由式(4)、式(5)确定
C = {i | αi > 0, yi = −1}
(4)
D = {i | αi > 0, yi = 1}
表 1 不同核函数的支持向量机的分类错误率 (％)
核函数
C
1
1 000
线性核
14.58
10.62
d=2
65.25
56.24
多项式核 高斯核
d=3
d=4 d=5 σ 2 =8 σ 2 =4 σ 2 =2 σ 2 =1 σ 2 =0.5
28.17 72.85 17.45 9.95 10.18 11.70 14.89 19.40
计算不同类中支持向量之间距离的中值 d med ，将该中值 d med
的 倍 数 来 确 定 一 组 高 斯 核 函 数 宽 度 σi ， 如
{ } σ
2 i
∈
1 8
d
2 med
,
1 4
d
2 med
,
1 2
d
2 med
,
d
2 med
,2d
2 med
,4d
2 med
，然后依据一
组 σ i 采用交叉验证法确定最终的高斯核函数宽度参数 σ 。
∑ f ( x) = sgn(
α
* i
yi
K
(
xi
,
x
)
+
b
*
)
(1)
xi ∈SV
由于支持向量是通过对训练样本进行训练后得到的，然
而，在对训练样本进行 SVM 训练时，需要首先确定一个近
似的高斯核函数参数 σ 0 ，在此，采用不同类中训练样本之间
距离的中值近似地确定高斯核函数参数 σ 0 。
在采用参数 σ 0 的高斯核函数进行训练得到支持向量后，
相对于核函数的选择，确定核函数的参数更重要。在选 择高斯核函数后，还需要确定高斯径向基函数的宽度σ。σ对 分类器的性能比较敏感，文献[3]对取不同的σ时，高斯核支 持向量机的性能进行分析，若 σ → 0 ，则所有的训练样本点 都是支持向量，且它们全部能被正确的分类，但容易出现“过 学习”的现象，推广能力较差，对测试样本的错误识别率较 高；若 σ → ∞ ，高斯核支持向量机对所有样本一视同仁，推 广能力或对测试样本的正确判别能力为零，即它把所有样本 点判为同一类。实际上，当σ取比训练样本点之间的平均距离 小得多时，就能达到 σ → 0 的效果；当σ取比训练样本点之 间的平均距离大得多时，就能达到 σ → ∞ 的效果。
(3)当预设的错误率终止条件满足时，停止迭代，否则继 续步骤(2)。
由梯度下降法确定高斯核函数的宽度σ时，在每一步需 要计算错误率上界的梯度，然后确定σ的迭代步长 δσ ，然而， 分类错误率上界的梯度往往不易计算，同时增加了计算代价。
在采用交叉验证法确定高斯核函数的宽度σ中，首先， 给定一组 σ i ,i = 1,2,..., n 的值，然后，对每 1 个 σ i 分别进行 SVM 训练，计算各自的分类错误率，选择分类错误率最小的 σi 作为最终的高斯核函数的宽度σ。在计算分类错误率时，
(5)
其中， αi 表示判别函数中每个支持向量对应的 Lagrange
系数。
(3)利用 2 类中支持向量之间距离中值，构成一组高斯核
函数参数 σi 范围
σ
2 i
=
ki
.d
2 med
(6)
{ } 其中， ki 取不同的数，如 Ki
wk.baidu.com
∈
1 8
,
14,
1 2
,1,2,4
。
(4)采用式(6)确定的一组高斯核函数参数 σ i ，采用交叉
验证法确定最终的高斯核函数宽度参数 σ 。
对多类支持向量机分类问题，采用 2 类分类情况一样的 思路，只不过在确定近似的高斯核函数参数 σ 0 及不同类中支
持向量之间距离的中值 dmed 时，首先分别计算每两类之间的
σ 0 与 dmed ，这样对 N 类分类问题，可以得到 N (N −1)/ 2 个 σ 0 与 dmed ；然后将这 N (N −1)/ 2 个 σ 0 与 dmed 的平均值作为多
1 现有的方法及存在的问题
在确定高斯径向基函数的宽度σ时，最基本的方法是对σ 取不同的值，然后分别采用支持向量机方法进行训练，选择 最小分类错误率的一组σ参数。比较典型的方法有梯度下降 法[4]与交叉验证法[5]。
梯度下降法的基本步骤为 (1)将σ设为一个非常小的值；
—52—
(2)由分类错误率或错误率上界的梯度，计算σ变化的步 长 δσ ，然后进行迭代； σ = σ + δσ ；