基于优化算法的核函数参数选择的研究

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Ｎ
Ｒ（）（）＋（ｈ／ｌ）（１） α ≤Ｒ α ｅｍｐ其中，Ｒ（）为实际风险，Ｒ（）为经验风险，（ｈ／ｌ）为置信范 α α ｅｍｐ围，ｈ为函数集的ＶＣ维，ｌ为训练样本数目。根据推广能力理论，把函数集构造为一个函数子集序列Ｓ１使各个子集按照ＶＣ维的大小（亦即ｈ的大Ｓ …Ｓ …，２ｎ小）排列，即ｈｈ … ｈ …。其结构示意如图１所示。 ≤ ２≤ ≤ ｋ ≤ １
１］ＶＣ维及训练样本的个数所构成的［。真实风险界可简化为：
１．２支持向量机算法
依据支持向量机理论，设给定的训练数据集为：｛ｘ，ｙ｝，其ｉｉ中ｉ＝１， …，ｌ，在线性不可分时，可以通过函数 φ （ · ）将原始的输入空间ｘ映射到新的高维空间 φ （ｘ）下，并在新的高维特征空间（ｘ）下实现线性可分。则最优分类超平面Ｈ的方程可以写作 φ 如下形式： ·φ （ｘ）＋ｂ＝０ ω 此时，待求解的问题可以描述为：ｍｉｎ约束条件为：ｙ（ｗ ·φ （ｘ）＋ｂ） ≥１－ ξ ｉｉｉｉ＝１， …，ｌ ξ ≥０ｉ（３）
２
（ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｉｃａｎｄＡｕｔｏｍａｔｉｏｎ，ＨｅｂｅｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ３００１３０，Ｃｈｉｎａ）
收稿日期：２００８－０７－１５。河北省科学技术研究与发展指导计划项目（０７２１３５１１２）。武优西，副教授，主研领域：机器学习。
机方法（也称支持向量分类算法），接下的几年中，又提出了用于回归的支持向量机方法（也称支持向量回归算法）。而无论是支持向量分类算法还是支持向量回归算法均是建立在统计学习理论基础之上的，遵循结构风险最小化原则，根据有限样本信息，在模型的复杂性和学习能力之间寻求最佳折中，以期获得最好泛化性能的新的机器学习方法，它在解决小样本问题、非线性问题、高维问题上有着良好的表现，它有效地克服了机器学习中的过学习和欠学习问题，使其学习精度高，且学习结果具备良好的泛化能力和良好的鲁棒性。自其诞生之后，由于其坚实的理论基础，给机器学习领域带来了新的活力和动力，因而倍受人们
ｉ＝１ｉ＝１
为线性映射系数，Ｋ（ · ）为核函数。这里Ｎ为支持向量个数， பைடு நூலகம் ｉ常用的核函数有线性核函数、多项式核函数、径向基核函数和Ｓｉｇｍｏｉｄ核函数等。由于径向基核函数的参数 σ为高斯分布的宽度，控制着函
０引言
［１］上世纪９０年代，Ｖａｐｎｉｋ率先提出了用于分类的支持向量
尽管支持向量机构建在统计学习理论基础之上，但是在选择不同的支持向量机参数后，其学习结果也相差甚远，原因在于：支持向量机在实现结构风险最小化时，是采用预先设定函数集的某种结构，并在该结构中选择适当的子集，使得该子集下期望风险与置信范围之和达到最小，因此如何预先设定函数集的某种结构成为影响其学习结果好坏的关键因素，目前多采用优化算法来实现选择函数集的某种结构。但是目前这些优化算法仍然需要预先给出函数集结构的范围，才能获得较好的结果。为此本文设计了一种分段函数的编码方式，使得函数集合结构能够在较大的参数范围内，仍然可以有效地选择到最优的参数，
１
（河北工业大学计算机科学与软件学院天津３００１３０）
２
（河北工业大学电气与自动化学院天津３００１３０）
摘要尽管支持向量机在许多问题上有着良好的表现，但是其参数和核函数的参数选取问题依然亟待解决。以往多采用优化算法进行参数选取，但也需要预先经验地获得核函数的参数的选取范围。在介绍结构风险最小化原则及支持向量机算法的基础上，给出了基于优化算法的支持向量机参数选取的一般性算法。由于径向基核函数（ＲＢＦ）的参数取值大小的不同，可导致其性质和作用不同，为此提出了一种分段函数对ＲＢＦ的参数进行选择的方法，该方法使得ＲＢＦ的参数取大值和小值的概率均等。由此可不必预先经验地指定ＲＢＦ的参数的选取范围，依然可以优化获得最优的参数。通过对头部组织电导率估算问题进行对比研究，取得了良好的效果，验证了该方法的有效性。关键词支持向量机核函数参数选择优化算法分段函数
ＡｂｓｔｒａｃｔＡｌｔｈｏｕｇｈＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）ｐｅｒｆｏｒｍｓｗｅｌｌｉｎｍａｎｙｓｉｔｕａｔｉｏｎｓ，ｉｔｉｓｓｔｉｌｌｄｉｆｆｉｃｕｌｔｔｏｓｅｌｅｃｔｉｔｓｐａｒａｍｅｔｅｒａｎｄｔｈｅｐａｒａｍｅｔｅｒｏｆｋｅｒｎｅｌｆｕｎｃｔｉｏｎ．Ｐｒｅｖｉｏｕｓｌｙ，ｏｐｔｉｍｉｓａｔｉｏｎａｌｇｏｒｉｔｈｍｓａｒｅｍｏｓｔｌｙｕｓｅｄｆｏｒｆｉｎｄｉｎｇｂｅｔｔｅｒｐａｒａｍｅｔｅｒｓｏｆＳＶＭａｎｄｉｔｓｋｅｒｎｅｌｆｕｎｃｔｉｏｎ，ｈｏｗｅｖｅｒｔｈｅｓｅｌｅｃｔｉｏｎｒａｎｇｅｏｆｔｈｅｐａｒａｍｅｔｅｒｓｏｆｋｅｒｎｅｌｆｕｎｃｔｉｏｎａｌｓｏｎｅｅｄｔｏｅｍｐｉｒｉｃａｌｌｙｏｂｔａｉｎ．ＴｈｅｐａｐｅｒｉｎｔｒｏｄｕｃｅｓｔｈｅＳｔｒｕｃｔｕｒａｌＲｉｓｋＭｉｎｉｍｉｓａｔｉｏｎ（ＳＲＭ）ｐｒｉｎｃｉｐｌｅａｎｄＳＶＭａｌｇｏｒｉｔｈｍ．Ｂａｓｅｄｏｎｔｈａｔ，ａｏｐｔｉｍｉｓａｔｉｏｎａｌｇｏｒｉｔｈｍ（ＯＡ）ｂａｓｅｄｇｅｎｅｒａｌａｌｇｏｒｉｔｈｍｆｏｒＳＶＭｐａｒａｍｅｔｅｒｓｓｅｌｅｃｔｉｏｎｉｓｂｒｏｕｇｈｔｆｏｒｗａｒｄ．ＳｉｎｃｅｄｉｆｆｅｒｅｎｔｖａｌｕｅｔａｋｉｎｇｉｎｐａｒａｍｅｔｅｒｓｏｆＲａｄｉａｌＢａｓｅｄＦｕｎｃｔｉｏｎ（ＲＢＦ）ｃａｎｃａｕｓｅｄｉｆｆｅｒｅｎｃｅｉｎｅｆｆｅｃｔｓａｎｄｐｒｏｐｅｒｔｉｅｓ，ｓｏｗｅｐｒｏｐｏｓｅａｐｉｅｃｅｗｉｓｅｆｕｎｃｔｉｏｎｍｅｔｈｏｄｆｏｒｓｅｌｅｃｔｉｎｇｔｈｅｐａｒａｍｅｔｅｒｖａｌｕｅｏｆＲＢＦ，ｗｈｉｃｈｍａｋｅｓｅｑｕａｌｐｒｏｂａｂｉｌｉｔｙｉｎｓｅｌｅｃｔｉｎｇｂｉｇｇｅｒｏｒｓｍａｌｌｅｒＲＢＦｐａｒａｍｅｔｅｒｖａｌｕｅ．ＨｅｎｃｅｔｈｅｓｅｌｅｃｔｉｏｎｒａｎｇｅｏｆＲＢＦｐａｒａｍｅｔｅｒｓｃｏｕｌｄｎｏｔｂｅｅｍｐｉｒｉｃａｌｌｙａｐｐｏｉｎｔｅｄｂｕｔｔｈｅｏｐｔｉｍｕｍｐａｒａｍｅｔｅｒｃａｎｂｅｓｔｉｌｌｇｏｔｉｎａｎｏｐｔｉｍｉｓｅｄｗａｙ．Ａｔｌａｓｔ，ｔｈｅｃｏｍｐａｒａｔｉｖｅｓｔｕｄｙｗａｓｃａｒｒｉｅｄｏｕｔｏｎｈｅａｄｔｉｓｓｕｅｃｏｎｄｕｃｔｉｖｉｔｙｅｓｔｉｍａｔｉｏｎａｎｄａｃｈｉｅｖｅｄａｇｏｏｄｏｕｔｃｏｍｅ，ｗｈｉｃｈｐｒｏｖｅｄｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｍｅｔｈｏｄ．ＫｅｙｗｏｒｄｓＳｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅＫｅｒｎｅｌｆｕｎｃｔｉｏｎＰａｒａｍｅｔｅｒｓｅｌｅｃｔｉｏｎＯｐｔｉｍｉｓａｔｉｏｎａｌｇｏｒｉｔｈｍＰｉｅｃｅｗｉｓｅｆｕｎｃｔｉｏｎ关注并被广泛地应用于多种领域。
１３８
并获得良好的学习结果。
计算机应用与软件
２０１０年
最小，则这个子集中使经验风险最小的函数就是最优函数。支持向量机方法实际上就是建立在这种解决思路上的。
１结构风险最小化原则及支持向量机算法
１．１结构风险最小化原则
依据统计学习理论，真实风险界是由两部分组成的，即经验风险和置信范围。这里置信范围是由学习机器或学习函数集的
１
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＳｏｆｔｗａｒｅ，ＨｅｂｅｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ３００１３０，Ｃｈｉｎａ）
第２７卷第１期２０１０年１月
计算机应用与软件ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｖｏｌ２７Ｎｏ．１１０Ｊａｎ．２０
基于优化算法的核函数参数选择的研究
武优西１郭磊２柴欣１王岩１
（２）
１Ｔｗ ·ｗ＋Ｃ ξ ｉ ∑ ２ｉ＝１
Ｎ
为松弛变量，Ｃ其中，参数Ｃ是对错分样本惩罚的程度， ξ ｉｉ ∑ξ
ｉ＝１
是为了控制错误分类样本的数量，参数Ｃ取值的大小可以控制学习机器模型复杂性与分类性能之间的平衡。通过对上面问题的求解，可以获得如下学习函数：
ＮＮ
４）ｆ（ｘ）＝∑ α （ｘｙ） ·φ （ｘ）＋ｂ＝∑ α ｙＫ（ｘ ·ｘ）＋ｂ（ φ ｉｉｉｉｉｉ
ＯＮＰＡＲＡＭＥＴＥＲＳＥＬＥＣＴＩＯＮＯＦＫＥＲＮＥＬＦＵＮＣＴＩＯＮＢＡＳＥＤＯＮＯＰＴＩＭＩＳＡＴＩＯＮＡＬＧＯＲＩＴＨＭ
１２１１ＷｕＹｏｕｘｉＧｕｏＬｅｉＣｈａｉＸｉｎＷａｎｇＹａｎ