基于混合核函数的SVM及其应用

其中| R | ≤1 , f ( x) 为回归估计出的血样值 样本对应的每种血浆脂蛋白的胆固醇含量, y 为相应的实际含量。 如果存在一种理想的回归估计过程,也就是 说回归估计值和相应的实际值恰好完全相 同,此时R 的值为1 ,也就是说, R 越接近于 1 ,回归估计的精度就越高。
对于混合核函数Kmix = λKpoly+ (1 - λ) Krbf ,λ一般在0. 50 ～ 0. 99 之间,因此实验 中取λ = 0. 98 ,取ε = 0. 1 , C = 1000 , 对于 核函数RBF , 实验中σ = 0. 01 时不同训练 样本训练后进行拟合的R 值最好,而多项式 核函数K( x , xi) = [ ( x , xi ) + 1 ] q 中q = 1 。 由于σ= 0. 01 时单个核函数的结果很差,为 了更好地体现混合核函数的效果,实验中对 采用不同训练样本训练后进行回归的R 值 的进行了比较, 并与单个核函数的最好结果 进行了比较,如表1 所示。
从表1 中可以看出采用混合核函数进行函数 拟合的效果更好,尤其是VLDL 的精确度得 到了大幅度的提高。
表2 是混合核函数在λ = 0. 98 , q = 1 ,σ取不 同值时进行拟合的结果,由表2 可以看出σ在 0. 01 ～ 0. 5 之间时效果较好.
不仅如此, 还发现, C 值的选取影响训练时 间的长短, C值越小平均训练时间越短,但当 C值过小( C ≤102) 时,实验结果的精度会下 降。 表3 是C 取不同值时平均训练时间的值,因 此实验中采用C = 1000 是较合理的,并且有 效提高了SVM方法的训练速度。
式(6 ～ 8) 中q ,σ, c 等参数都是实常数。在 实际运用中,通常要根据问题的具体情况选 择合适的核函数以及相应的参数。
局部性核函数和全局性核函数
SVM的许多特性都是由所用核函数的类型决 定的,其非线性水平是由核函数决定的。在 SVM 中,通常所选的核函数必须满足Mercer 条件 。 归结起来,核函数有两种主要类型,即:局部性 核函数和全局性核函数。 RBF 函数即式(7) 就是一个典型的局部性核 函数
谢谢!!
图1为当σ分别取0. 1 ,0. 2 ,0. 3 ,0. 4 ,0. 5 时RBF 函数的曲线图,0. 2 为测试输入,从中 可以看出,局部性核函数仅仅在测试点附近 小领域内对数据点有影响。 而多项式核函数即式(6) 是一个典型的全局 性核函数。
图2 为当q 分别取1 ,2 ,3 ,4 ,5 时多项式核 函数的曲线图,这里依然取0. 2 为测试输入, 从图中可以看出,全局性核函数允许远离测 试输入的数据点对核函数的值也有影响。
假设所有训练数据都可以以精度ε无误差地 用线性函数拟合,即
则可以通过求下列代数式的最小值来获得 最小风险:
常数C >Hale Waihona Puke Baidu0 , C 表示对超出误差ε的样本的惩 罚程度。
采用优化方法可以得到其对偶问题。
构造拉格朗日函数求解式(4) , 可得到支持 向量机回归函数为:
其中K( x , xi ) 称为核函数, 将只有小 部分不为0 ,它们对应的样本就是支持向量。
混合核函数
函数 就是混合核函数其中的一种,并且满足 Mercer 条件。 为了保证混合核函数具有更好的学习能力 和推广性,RBF 核函数即 ,RBF K( xi , xj) = 中σ2 取值 宜在0. 01 ～ 0. 5 之间;对于多项式核函 数 , q 值一般 取1 或2 。
应用实例
随机取数据样本的三分之一进行训练,测试 时使用全部数据样本。 利用回归估计出的血样值样本对应的每种 血浆脂蛋白的胆固醇含量与相应的实际含 量之间的相关系数R 来反映回归估计性能 的优劣,即
总结
简要介绍了由混合核函数构造的支持向量 机,并将其运用于函数拟合中。 通过对3 种不同类别血浆脂蛋白样本与其 血浆胆固醇的含量的测定,验证了选择这种 混合核函数的实验具有很好的效果,实验中 VLDL 的精确度有明显提高,而且本实验中 训练时间只有2. 5 秒左右,很好地解决了训 练速度慢的问题。
用于函数拟合的支持向量机
给定训练数据{ ( xi , yi) , i = 1 ,2 , ⋯, n} ,其 中xi ∈Rd 是第i 个学习样本的输入值,且为 一d 维列量 , yi∈ R 为 对应的目标值。 对于非线性不可分问题,通过非线性变换 将x 映射到某个特征空间,因而转化成线性 可分问题,线性估计函数可定义为:
基于混合核函数的SVM及其应用
支持向量机的许多特性是由所选择的核函 数来决定的,为了得到性能更为优良的支持 向量机,一种改进的方法是把多个核函数组 合起来,形成一种混合核函数。 应用: 将混合核函数的SVM算法用于血浆脂蛋白 样本与其血浆胆固醇的含量的测定中,并将 结果与由其它核函数构造的支持向量机方 法进行比较,意在提出一个更合适的核函数 来解决函数拟合问题。
核函数
所谓核函数就是存在一非线性变换 ,使 K( xi ,xj) = 成立的一类函数。正是 核函数的引入使SVM 得以实用化,因为它避 免了显示高维空间中向量内积而造成的大 量运算。 目前研究最多的核函数主要有3类: 1) 多项式核函数:
2) 径向基核函数(RBF) :
3) Sigmoid 函数: