支持向量回归参数的混合选择

α ,b
Gtrain = {( xi , yi )}i 和测试样本集 Gtest = {( xi , yi )}i ，其中， m 和 l
m
l
SVR 参数的混合选择算法具体操作步骤如下 (见图 1)： Step1 确 定 参 考 模 型 。 输 入 SVR 的 学 习 样 本 集 n G = {( xi , yi )}i ， 在 G 中 随 机 选 取 样 本 ， 构 成 训 练 样 本 集
—40—
其中， u、 v 为输入空间的两个向量； p 和 σ 分别为多项式和 RBF 核函数的参数。 根据最优化的充要条件（ KKT条件）知，二次规划问题 式 (5)的解中只有少数样本的系数 (α i − α i* ) 不为 0，与之对应的 样本 (xi , yi ) 称为支持向量。设支持向量的个数为 S ，得到式 (1) 的回归函数为 [1]
(10)
Step3 更新参数 C， ε 和 θ，最小化参数选择准则 T：
(C , ε ,θ ) = min T (α , b , C , ε ,θ )
0 0 0 0 0 C , ε ,θ
分别为训练集和测试集的样本数， m + l = n 。训练样本集用 于建立 SVR 回归函数， 而测试样本集用于评价参数选择准则 T，从而检验回归函数的泛化能力。算法采用测试样本集的方 均误差（ mean squared error, MSE）作为参数选择准则 T。
f ( x, α i , α i∗ ) = ∑ (α i − α i∗ ) K ( x, xi ) + b
i =1 s
确 定 SVR 参 数 的 范 围 ， 再 用 免 疫 遗 传 算 法 (immune genetic algorithm, IGA)[11]来搜索最佳的参数值。
输入学习样本集G 确定参数取值范围 编码 产生初始群体 SVR进行训练和测试评价适应度F(i) 群体进行遗传操作 No
K (u , v ) = e
− u−v 2σ
2 2
(6)
(7)
(3)
作者简介：王 强(1971－)，男，博士研究生，主研方向：管理决策 技术，信息系统数据挖掘，机器学习；陈英武，教授、博士生导师； 邢立宁，博士研究生 收稿日期：2006-08-20 E-mail：wq7504@
在式 (2)的风险函数中，第 1 项 C (1 / n)∑i =1 Lε ( yi , f ( x) i ) 表
(5)
值， n是样本数 )， SVR回归函数为 (1) f ( x ) = ωφ ( x ) + b φ ( x ) 是将数据变换到高维特征空间的非线性映射； 其中， ω和 b 为系数。 SVR 依据结构风险最小化准则，来确定系数 ω 和 b ，即 1 n 1 2 (2) RSVMs (C ) = C ∑ Lε ( yi , f ( x ) i ) + ω n i =1 2
f α ,b ,C ,ε ,θ ( n>Nev Yes 优秀个体免疫操作 No
进化代数ng>N Yes 输出最佳参数组合(C*, e ,θ ) 获得最优回归函数 结束
* *
图 1 SVR 参数的混合选择算法
∑ (α
i =1
s
i
− α i∗ ) K θ ( x , x i ) + b
（国防科技大学信息系统与管理学院，长沙 410073） 摘 要：为提高支持向量回归算法的学习能力和泛化性能，提出了一种优化支持向量回归参数的混合选择算法。根据训练样本的规模和噪 声水平等信息，确定支持向量回归参数的取值范围，用实数编码的免疫遗传算法搜索最佳参数值。混合选择算法具有较高的精度和效率， 在选择支持向量回归参数时，不必考虑模型的复杂度和变量维数。仿真实验结果表明，该算法是选择支持向量回归参数的有效方法，应用 到函数逼近问题时具有优良的性能。 关键词：支持向量回归；参数选择；训练样本信息；免疫遗传算法
Hybrid Selection of Parameters for Support Vector Regression
WANG Qiang, CHEN Ying-wu, XING Li-ning
（College of Information Systems and Management, National University of Defense Technology, Changsha 410073） 【Abstract】In order to improve support vector regression(SVR) learning ability and generalization performance, a hybrid selection algorithm for optimizing SVR parameters is proposed. The ranges of the parameters are set according to the information about the training data size and noise level in training samples, and a real-coding based immune genetic algorithm is employed to search the optimal parameters. Hybrid selection algorithm is a precise and efficient method and it need not to consider SVR dimensionality and complexity. Simulation experiments show that the proposed method is an effective approach for SVR parameters selection with good performance on function approximation problem. 【Key words】support vector regression; parameters selection; training samples information; immune genetic algorithm
示经验风险，由式 (3)中的 ε 不敏感损失函数来衡量。损失函 数使得人们可以用稀疏的数据来描述式 (1)中的回归函数；第
1 2 2 项 2 ω 是正则化项； C 是正则化参数。
约束条件不可实现时，引入松弛变量 ζ i 和 ζ i ，这样式 (2)
*
改写为
min s.t. RSVMs (ω , ζ (∗) ) =
i =1 i=1 n n
1 n n ∑∑(αi −αi∗ )(α j −α ∗j )K(xi , x j ) 2 i=1 j =1
s.t.
∑(α −α ) = 0
i =1 i ∗ i
n
0 ≤ αi ≤ C 0 ≤ αi∗ ≤ C
1
支持向量回归算法 对于样本集 G = {( xi , yi )}in (xi 是输入向量， yi 是对应的目标
第 33 卷 Vol.33
第 15 期 No.15
计 算 机 工 程 Computer Engineering
文章编号：1000—3428(2007)15—0040—03 文献标识码：A
2007 年 8 月 August 2007
中图分类号： TP18
·博士论文·
支持向量回归参数的混合选择
王 强，陈英武，邢立宁
支持向量机 (support vector machine, SVM)是 Vapnik等学 者在统计学习理论基础上提出的一种新型机器学习方法 [1]。 SVM建立在 VC维理论和结构风险最小化准则基础上， 与神经 网络等传统机器学习方法相比， SVM 具有小样本学习、泛 化能力强等特点， 能有效地避免过学习、 局部极小点以及 “维 数灾难”等问题。通过引入 ε 不敏感损失函数， Vapnik等将 SVM 推广到非线性系统的回归估计，建立了支持向量回归 算法 (support vector regression, SVR)。目前，SVR已广泛地应 用于函数估计、非线性系统建模等多个领域 [2]。 SVR 具有优良的学习能力和泛化能力， 然而其性能依赖 于参数的选取。针对参数选择问题，一些学者从不同的角度 进行了研究和探讨 [3~10] 。本文提出一种 SVR 参数的混合选择 算法，利用学习样本信息，确定 SVR 参数的一个较小范围， 再用随机优化算法搜索最佳参数值，为应用 SVR 解决实际问 题提供了一种高精度的参数选择方法。
σ y 为标准偏差。
ε = 3σ noise
在目前常用的 SVR参数选择方法中， 参数估计方法 [5~8]不 需要显式求解 SVR，计算简便快捷，但只能确定部分参数值， 且获得的参数往往只是近似值，其精确程度不高。组合优化 方法 [9,10] 无需考虑 SVR 模型的复杂度和变量维数，不需要寻 找参数选择准则 T与参数间的显式表达式， 能够得到较为精确 的参数取值，而且不受核函数类型的限制。但算法受初始解 的影响较大，且时间开销大。因此，本文提出一种 SVR 参数 的混合选择算法 (hybrid selection algorithm, HAS)，结合上述 两种方法的优点，为应用 SVR解决实际问题提供一种高精度 的参数选择方法。 算法的基本思想是以最小化参数选择准则 T 为目标，根据学习样本信息，将 SVR 参数很快锁定在一个较 小的范围，再采用随机优化算法在此参数范围内对参数进行 微调，搜索最佳参数值。具体地，采用文献 [8]提出的基于学 习样本集噪声估计 (noise estimation, NE) 的参数选择方法来
n 1 2 ω + C ∑ (ζ i + ζ i∗ ) 2 i =1 yi − ωφ ( xi ) − bi ≤ ε + ζ i ,