libsvm简单介绍
libsvm参数说明
libsvm参数说明简介libsvm是一个支持向量机(Support Vector Machine,SVM)的软件包,由台湾大学林智仁教授等人开发。
它提供了用于二分类和多分类的高效实现,并支持回归和异常检测。
libsvm的主要优势在于其高效的内存使用和计算速度,尤其适用于处理小到中等规模的数据集。
它支持多种核函数,包括线性核、多项式核、高斯核等,可以灵活地适应不同的数据特征。
在使用libsvm进行机器学习任务时,我们需要了解它的参数设置,以便根据具体情况进行调整,以获得更好的性能。
参数说明-s type这个参数用于设置SVM的类型,即用于解决什么类型的问题。
常用的取值有:•0:C-SVC(用于多分类问题)•1:nu-SVC(用于多分类问题)•2:one-class SVM(用于异常检测问题)•3:epsilon-SVR(用于回归问题)•4:nu-SVR(用于回归问题)-t kernel_type这个参数用于设置核函数的类型。
常用的取值有:•0:线性核函数•1:多项式核函数•2:高斯核函数•3:径向基核函数•4:sigmoid核函数-c cost这个参数用于设置惩罚因子(C)的值。
C越大,对误分类的惩罚越重,容错率越低;C越小,对误分类的惩罚越轻,容错率越高。
-g gamma这个参数用于设置高斯核函数和径向基核函数的gamma值。
gamma越大,决策边界越复杂,容易过拟合;gamma越小,决策边界越简单,容易欠拟合。
-p epsilon这个参数用于设置epsilon-SVR中的epsilon值,表示对于回归问题的容错范围。
epsilon越小,容错范围越小,模型越精确;epsilon越大,容错范围越大,模型越宽松。
-n nu这个参数用于设置nu-SVC、one-class SVM和nu-SVR中的nu值,表示支持向量的比例。
nu越大,支持向量的比例越高,模型越复杂;nu越小,支持向量的比例越低,模型越简单。
Libsvm分类实验报告
一、LIBSVM介绍LIBSVM是台湾大学林智仁(Chih-Jen Lin)副教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包,他不但提供了编译好的可在Windows系列系统的执行文件,还提供了源代码,方便改进、修改以及在其它操作系统上应用;该软件还有一个特点,就是对SVM所涉及的参数调节相对比较少,提供了很多的默认参数,利用这些默认参数就可以解决很多问题;并且提供了交互检验(Cross Validation)的功能。
二、准备工作2.1软件下载安装使用的平台是Windows XP,从命令列执行。
先把一些需要的东西装好,总共需要三个软件:libsvm, python, gnuplot。
这里我选择的版本是libsvm-2.88,python26。
Libsvm:到.tw/~cjlin/libsvm/下载libsvm,然后解压缩就好了。
Python:到/download/下载完直接安装就好了。
Gnuplot:下载ftp:///pub/gnuplot/gp400win32.zip解压缩。
这里全部解压安装在c盘c:\libsvm-2.88c:\python26c:\gnuplot2.2参数修改(1)把c:\libsvm-2.88\tools中的easy.py和grid.py复制到c:\libsvm-2.91\python中(2)在c:\libsvm-2.88\python中修改easy.py和grid.py的路径:①点中easy.py在右键中选Edit with IDLE打开,将else下面的路径修改如下:else:# example for windowssvmscale_exe = r"c:\libsvm-2.88\windows\svm-scale.exe"svmtrain_exe = r"c:\libsvm-2.88\windows\svm-train.exe"svmpredict_exe = r"c:\libsvm-2.88\windows\svm-predict.exe"gnuplot_exe = r"c:\gnuplot\bin\pgnuplot.exe"grid_py = r"c:\libsvm-2.88\python\grid.py"②点中grid.py在右键中选Edit with IDLE打开,将else下面的路径修改如下: else:# example for windowssvmtrain_exe = r"c:\libsvm-2.91\windows\svm-train.exe"gnuplot_exe = r"c:\gnuplot\bin\pgnuplot.exe"三、实验步骤(1)按照LIBSVM软件包所要求的格式准备数据集;(2)对数据进行缩放操作;(3)选用适当的核函数;(4)采用交叉验证选择惩罚系数C与g的最佳参数;(5)采用获得的最佳参数对整个训练集进行训练获取支持向量机模型;(6)利用获取的模型进行测试与预测。
libsvm默认参数
libsvm默认参数摘要:1.引言2.libsvm 的概述3.libsvm 的默认参数4.如何设置libsvm 的默认参数5.结论正文:1.引言支持向量机(Support Vector Machine,SVM)是一种非常强大和灵活的监督学习算法,可以应用于各种问题,包括分类和回归。
在SVM 中,libsvm 是一个非常受欢迎的开源软件库,提供了丰富的功能和良好的性能。
然而,对于初学者来说,libsvm 的默认参数可能会让人感到困惑。
在本文中,我们将介绍libsvm 的默认参数,以及如何设置它们。
2.libsvm 的概述libsvm 是一个开源的机器学习库,它提供了支持向量机(SVM)的实现。
libsvm 包含了许多功能,如分类、回归、多任务学习等。
它还有一个易于使用的命令行界面,用户可以通过命令行界面来训练模型、进行预测等。
3.libsvm 的默认参数libsvm 中的默认参数是在其内部算法中使用的参数。
这些参数对于初学者来说可能不太容易理解,但它们对于获得良好的性能非常重要。
libsvm 中的默认参数包括以下内容:- C:C 是一个超参数,用于控制模型的复杂度。
较小的C 值会导致更简单的模型,而较大的C 值会导致更复杂的模型。
- kernel:核函数是用于将输入数据投影到高维空间的函数。
libsvm 中的默认核函数是线性核。
- degree:度数是用于指定多项式核函数的阶数。
- gamma:gamma 是一个超参数,用于控制核函数的形状。
- coef0:coef0 是一个超参数,用于控制多项式核函数中的独立项。
4.如何设置libsvm 的默认参数用户可以通过修改libsvm 的配置文件或者在命令行中设置参数来修改默认参数。
以下是一些常见的参数设置方法:- 使用配置文件:用户可以在libsvm 的安装目录下找到config.txt 文件,该文件包含了所有可用的参数及其默认值。
用户可以编辑该文件,以设置所需的参数。
libsvm参数
libsvm参数
LibSVM 是一个支持向量机的实现工具,其参数包括:
1. -s svm_type:SVM 模型的类型,可选参数有:0 C-SVC,1 nu-SVC,2 one-class SVM,3 epsilon-SVR,4 nu-SVR。
2. -t kernel_type:SVM 对应的核函数的类型,可选参数有:0 线性核,1 多项式核,2 RBF 核,3 sigmoid 核,4 precomputed kernel。
3. -c cost:C-SVC,nu-SVC 和epsilon-SVR 模型中的代价因子,值越大,模型对误分类的惩罚就越大。
4. -p epsilon:epsilon-SVR 模型中的精度控制,表示对预测值的容忍程度。
5. -n nu:nu-SVC,one-class SVM 和nu-SVR 模型中的参数,表示支持向量的占比。
6. -d degree:多项式核函数中的数值,表示多项式的次数。
7. -g gamma:RBF 核函数和多项式核函数中的数值,表示核函数的衰减速度。
8. -r coef0:多项式核函数和sigmoid 核函数中的数值。
9. -e epsilon:训练过程中的停止精度,如果误差小于该值,则停止优化。
以上是一些常用的LibSVM 参数,根据不同的任务和数据特征,需要结合具体情况选择适合的参数。
libsvm参数说明
libsvm参数说明(实用版)目录1.引言2.LIBSVM 简介3.LIBSVM 参数说明4.使用 LIBSVM 需要注意的问题5.结束语正文1.引言支持向量机(Support Vector Machine, SVM)是一种非常强大和灵活的监督学习算法,它可以用于分类和回归任务。
在 SVM 的研究和应用中,LIBSVM 是一个非常重要的工具,它为 SVM 的实现和应用提供了强大的支持。
本文将对 LIBSVM 的参数进行详细的说明,以帮助读者更好地理解和使用这个工具。
2.LIBSVM 简介LIBSVM 是一个开源的 SVM 实现库,它提供了丰富的功能和接口,可以支持多种操作系统,包括 Windows、Linux 和 Mac OS 等。
LIBSVM 主要包括三个部分:svm-train、svm-predict 和 svm-plot。
svm-train 用于训练 SVM 模型,svm-predict 用于预测新数据,svm-plot 用于绘制各种图表,以便于观察和分析模型性能。
3.LIBSVM 参数说明LIBSVM 的参数设置对于模型的性能至关重要。
以下是一些常用的参数及其说明:- -train:用于指定训练数据的文件名。
- -test:用于指定测试数据的文件名。
- -model:用于指定模型文件的名称。
- -参数:用于设置 SVM 模型的参数,例如 C、核函数等。
- -cache-size:用于设置缓存大小,以加速训练过程。
- -tolerance:用于设置收敛阈值,控制训练过程的终止条件。
- -shrinking:用于设置是否使用启发式方法进行训练。
- -probability:用于设置是否计算预测概率。
4.使用 LIBSVM 需要注意的问题在使用 LIBSVM 时,需要注意以下问题:- 设置合适的参数:LIBSVM 的参数设置对模型性能有很大影响,需要根据具体问题和数据集进行调整。
- 特征选择:在实际应用中,特征选择对于模型性能至关重要。
LIBSVM使用方法
LIBSVM1 LIBSVM简介LIBSVM是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包,他不但提供了编译好的可在Windows 系列系统的执行文件,还提供了源代码,方便改进、修改以及在其它操作系统上应用;该软件还有一个特点,就是对SVM所涉及的参数调节相对比较少,提供了很多的默认参数,利用这些默认参数就可以解决很多问题;并且提供了交互检验(Cross -SVM回归等问题,包括基于一对一算法的多类模式识别问题。
SVM用于模式识别或回归时,SVM方法及其参数、核函数及其参数的选择,目前国际上还没有形成一个统一的模式,也就是说最优SVM算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件包提供的交互检验功能进行寻优。
ν-SVM回归和ε-SVM分类、νValidation)的功能。
该软件包可以在.tw/~cjlin/免费获得。
该软件可以解决C-SVM分类、-SVM回归等问题,包括基于一对一算法的多类模式识别问题。
SVM用于模式识别或回归时,SVM方法及其参数、核函数及其参数的选择,目前国际上还没有形成一个统一的模式,也就是说最优SVM算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件包提供的交互检验功能进行寻优。
2 LIBSVM使用方法LibSVM是以源代码和可执行文件两种方式给出的。
如果是Windows系列操作系统,可以直接使用软件包提供的程序,也可以进行修改编译;如果是Unix类系统,必须自己编译,软件包中提供了编译格式文件,我们在SGI工作站(操作系统IRIX6.5)上,使用免费编译器GNU C++3.3编译通过。
2.1 LIBSVM 使用的一般步骤:1) 按照LIBSVM软件包所要求的格式准备数据集;2) 对数据进行简单的缩放操作;3) 考虑选用RBF 核函数;4) 采用交叉验证选择最佳参数C与g;5) 采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型;6) 利用获取的模型进行测试与预测。
libsvm参数说明
libsvm参数说明摘要:一、libsvm 简介- 什么是libsvm- libsvm 的作用二、libsvm 参数说明- 参数分类- 参数详细说明- 核函数参数- 松弛参数- 惩罚参数- 迭代次数参数- 其他参数三、libsvm 参数调整- 参数调整的重要性- 参数调整的方法正文:【libsvm 简介】libsvm 是一款广泛应用于机器学习领域的开源软件,全称是“LIBSVM”,它提供了支持向量机(SVM)的完整实现,可以用于分类和回归等多种任务。
libsvm 不仅支持常见的数据集格式,还提供了丰富的API 接口,方便用户进行二次开发和应用。
libsvm 的主要作用是帮助用户解决高维数据分类和回归问题。
在面对高维数据时,传统的分类算法可能会遇到“维数灾难”,导致分类效果不佳。
而libsvm 通过使用核函数技术,将高维数据映射到低维空间,从而有效地解决了这个问题。
【libsvm 参数说明】libsvm 提供了丰富的参数供用户调整,以达到最佳分类效果。
这些参数主要分为以下几类:1.核函数参数:包括核函数类型(如线性核、多项式核、径向基函数核等)和核函数参数(如径向基函数核的核径宽)。
2.松弛参数:用于控制分类间隔的大小,对最终分类结果有一定影响。
3.惩罚参数:控制模型对误分类的惩罚力度,对分类效果有重要影响。
4.迭代次数参数:控制支持向量机算法的迭代次数,影响模型的收敛速度。
5.其他参数:如学习率、最小化目标函数的迭代次数等。
【libsvm 参数调整】参数调整是libsvm 使用过程中非常重要的一环,合适的参数设置可以使模型达到更好的分类效果。
参数调整的方法主要有以下几种:1.网格搜索法:通过遍历参数空间的各个点,找到最佳参数组合。
这种方法适用于参数空间较小的情况。
2.随机搜索法:在参数空间中随机选取一定数量的点进行遍历,找到最佳参数组合。
这种方法适用于参数空间较大,且网格搜索法效果不佳的情况。
3.贝叶斯优化法:利用贝叶斯理论,对参数进行加权调整,以提高搜索效率。
Libsvm分类实验报告
一、LIBSVM介绍LIBSVM是台湾大学林智仁(Chih-Jen Lin)副教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包,他不但提供了编译好的可在Windows系列系统的执行文件,还提供了源代码,方便改进、修改以及在其它操作系统上应用;该软件还有一个特点,就是对SVM所涉及的参数调节相对比较少,提供了很多的默认参数,利用这些默认参数就可以解决很多问题;并且提供了交互检验(Cross Validation)的功能。
二、准备工作2.1软件下载安装使用的平台是Windows XP,从命令列执行。
先把一些需要的东西装好,总共需要三个软件:libsvm, python, gnuplot。
这里我选择的版本是libsvm-2.88,python26。
Libsvm:到.tw/~cjlin/libsvm/下载libsvm,然后解压缩就好了。
Python:到/download/下载完直接安装就好了。
Gnuplot:下载ftp:///pub/gnuplot/gp400win32.zip解压缩。
这里全部解压安装在c盘c:\libsvm-2.88c:\python26c:\gnuplot2.2参数修改(1)把c:\libsvm-2.88\tools中的easy.py和grid.py复制到c:\libsvm-2.91\python中(2)在c:\libsvm-2.88\python中修改easy.py和grid.py的路径:①点中easy.py在右键中选Edit with IDLE打开,将else下面的路径修改如下:else:# example for windowssvmscale_exe = r"c:\libsvm-2.88\windows\svm-scale.exe"svmtrain_exe = r"c:\libsvm-2.88\windows\svm-train.exe"svmpredict_exe = r"c:\libsvm-2.88\windows\svm-predict.exe"gnuplot_exe = r"c:\gnuplot\bin\pgnuplot.exe"grid_py = r"c:\libsvm-2.88\python\grid.py"②点中grid.py在右键中选Edit with IDLE打开,将else下面的路径修改如下: else:# example for windowssvmtrain_exe = r"c:\libsvm-2.91\windows\svm-train.exe"gnuplot_exe = r"c:\gnuplot\bin\pgnuplot.exe"三、实验步骤(1)按照LIBSVM软件包所要求的格式准备数据集;(2)对数据进行缩放操作;(3)选用适当的核函数;(4)采用交叉验证选择惩罚系数C与g的最佳参数;(5)采用获得的最佳参数对整个训练集进行训练获取支持向量机模型;(6)利用获取的模型进行测试与预测。
libsvm参数说明
libsvm参数说明【原创版】目录1.概述2.安装与配置3.参数说明4.应用实例5.总结正文1.概述LIBSVM 是一个开源的支持向量机(SVM)算法库,它可以在多种平台上运行,包括 Windows、Linux 和 Mac OS。
LIBSVM 提供了一系列用于解决分类和回归问题的工具和算法,它的核心是基于序列最小化算法的支持向量机。
2.安装与配置在使用 LIBSVM 之前,需要先安装它。
在 Windows 平台上,可以直接下载LIBSVM 的二进制文件,然后设置环境变量。
对于 Linux 和 Mac OS 平台,需要先安装相应的依赖库,然后编译并安装 LIBSVM。
在安装完成后,需要配置 LIBSVM 的参数,包括选择核函数、设置惩罚参数等。
这些参数对于支持向量机的性能至关重要,需要根据实际问题进行调整。
3.参数说明LIBSVM 的参数主要包括以下几个方面:- 核函数:LIBSVM 支持多种核函数,包括线性核、多项式核、径向基函数(RBF)核和 Sigmoid 核。
核函数的选择取决于问题的性质,需要根据实际问题进行选择。
- 惩罚参数:惩罚参数用于控制模型的复杂度,避免过拟合。
惩罚参数的取值范围是 0 到 1,取值越小,模型的复杂度越高,过拟合的风险也越高。
- 迭代次数:迭代次数用于控制算法的收敛速度,取值越大,收敛速度越快,但可能会影响模型的精度。
- 随机种子:随机种子用于生成随机数,影响模型的初始化和迭代过程。
在实际应用中,建议设置随机种子,以保证模型的可重复性。
4.应用实例LIBSVM 在实际应用中可以用于多种问题,包括分类、回归和排序等。
例如,在人脸检测、车牌识别和文本分类等问题中,可以使用 LIBSVM 来实现支持向量机算法。
5.总结LIBSVM 是一个功能强大的支持向量机库,它提供了多种核函数和参数设置,可以用于解决多种实际问题。
第1页共1页。
LibSVM_快速入门
"./testData/test.1.txt" "train.1_mode.txt" "test1.result.txt“
接口调用:
C, Python, java各有一套接口
Thanks
Q&A
Gnuplot:复制到本地,不需安装 \\192.168.0.135\public\DST\共享资源\工具 \gp426win32 Python: \\192.168.0.135\public\DST\共享资源\工具\pyhton-2.6.2.msi
SVM训练工具svm-train.exe
对所有数据使用同一组参数 量纲相同则不使用该归一化
示例:
>"./libsvm-2.91/windows/svm-scale.exe" -l -1 -u 1 -s "./scale_param.txt" "./trainData/train.1.txt" >"./train.1_scale.txt" >"./libsvm-2.91/windows/svm-scale.exe" -l -1 -u 1 -r "./scale_param.txt" "./testData/test.1.txt" >"./test.1_scale.txt“
LibSVM训练
参数选择:
c, g是SVM训练阶段需要指定的的参数.
这个选择不是人能做on 脚本),可以自动搜索最佳的c,g.
示例: "./libsvm-2.91/tools/grid.py" -svmtrain "E:/分类聚类实践/LibSVM/libsvm2.91/windows/svm-train.exe" -gnuplot "E:/Downloads/gp426win32/gnuplot/bin/pgnuplot.exe" -v 10 "E:/分类聚类实践 /LibSVM/Train.1_scale.txt" 支持:grid.py需要gnuplot 和python支持(available from )
libsvm简易说明
LOGO教你认识SVM 和使用开源工具LibSVM夏睿rxia@v SVM能解决什么问题?§从机器学习谈起§分类与回归v为什么选择SVM?§从ANN到SVM§SVM的两个核心思想§SVM算法v怎么用SVM?§用LibSVM做分类§用LibSVM做回归§Python平台下的LibSVM 提纲从机器学习谈起v目的根据给定的训练样本,对某系统输入输出之间依赖关系的估计,使它能够对未知输出作出尽可能准确的预测。
v机器学习的三个基本问题§模式识别——分类§函数拟合——回归§概率密度估计v数学表述§给定条件:n个独立同分布观测样本§目标:求一个最优函数§最理想的要求:最小化期望风险v机器学习方法的代表§人工神经网络(ANN)& 支持向量机(SVM)1122(,),(,),(,)n nx y x y x yL*(,)f x w()(,(,))(,)R w L y f x w dF x y=∫全局最优解容易陷入局部最小训练较快训练较慢这个黑匣子要透明一点,怎么个透明法?(过人之处2)完全的黑匣子,高度非线性,人工难以理解和干预推广能力的控制(过人之处1)过学习结构风险最小化(SRM)经验风险最小化(ERM)统计学习理论传统统计学SVM使分类间隔最大实际上就是对推广能力的控制这是一个不等式约束下的二次函数寻优问题:优化方法将原问题转化为其对偶问题。
非线性的解决v解决非线性问题通过合理的非线性变化,将非线性问题转化为某个高维空间的线性问题。
vSVM怎么实现低维到高维的变换§从广义最优分类面能得到什么启示?§关键问题:怎么计算需要知道变换的具体形式吗?灾难维数?NO!****1(),()()sgn{}sgn{(()())}ni i iih x g x f h w h b y x x bφαφφ====⋅+=⋅+∑()()ix xφφ⋅(x ϕ=⋅v为什么选择LibSVM(.tw/~cjlin/libsvm)§Different SVM formulations§Efficient multi-class classification§Cross validation for model selection§Probability estimates§Weighted SVM for unbalanced data§Both C++ and Java sources§GUI demonstrating SVM classification and regression§Python, R(also Splus), MATLAB, Perl, Ruby, Weka, Common LISP and LabVIEW interfaces. C# .NET code is available.§Automatic model selection which can generate contour of cross valiation accuracy. v使用LibSVM的一些准备工作§平台•Win32+python+pnuplot•Linux+python+pnuplot§数据•Training Set•Test Set§SVM基础知识SVM开源工具——LibSVMv文本编码ASCII/ANSIv数据存储格式§每行格式:label feature1:value1 index2:value2 ...•label为类别标号,feature为特征序号,value为特征的值•value为0时该项可以省略(大规模数据时节省存储空间)§示例:iris.tr(UCI / Iris Plant, 4 features, 3 classes)v格式检验脚本checkdata.pypython checkdata.py iris.tr.txt1 1:-0.555556 2:0.5 3:-0.694915 4:-0.753 1:-0.166667 2:-0.333333 3:0.38983 4:0.9166672 1:-0.333333 2:-0.75 3:0.0169491 4:-4.03573e-081 1:-0.833333 3:-0.864407 4:-0.9166671 1:-0.611111 2:0.0833333 3:-0.864407 4:-0.9166673 1:0.611111 2:0.333333 3:0.728813 4:13 1:0.222222 3:0.38983 4:0.5833332 1:0.222222 2:-0.333333 3:0.220339 4:0.1666672 1:-0.222222 2:-0.333333 3:0.186441 4:-4.03573e-08…样本文件格式LibSVM数据标准化v svm-scale命令(使用的是极值标准化)§格式:svm-scale [options] filenameoptions:•上下界(默认[-1,1]):-l lower -u upper•存储标准化尺度:-s scalefile•加载标准化尺度:-r scalefile•标签的标准化(用于回归):-y lower upper§使用提醒•训练集和测试集一起scale,将所有数据缩放到[lower, upper]•新来的测试样本,应该使用训练时候的标准化尺度进行标准化§示例svm-scale-s iris.scale iris.trainsvm-scale-l -0.8 -u 0.8 -s iris.scale iris.train> iris.train.scaledsvm-scale-r iris.scale iris.testv示例§最简单的训练,所有参数均默认§任务类型默认(C-SVC)、核函数默认(RBF),10-fold, c=100, g=0.01, 保存训练模型§任务类型默认(C-SVC),选用线性核函数,10-fold, c=100§采用概率模型,其余同上v一个重要问题,怎么选择参数?§自动:libSVM提供的寻优脚本§手动:用试的!!svm-train-v 10 iris.train iris.modelsvm-train-t 0 –v 10 –c 100 –g 0.01 iris.train iris.modelsvm-train iris.trainsvm-train–b 1 -t 0 –v 10 –c 100 –g 0.01 iris.train iris.modelLibSVM训练参数寻优v参数自动寻优的训练脚本grid.py(Cross-validation and Grid-search)§适用任务:分类问题& RBF核(或linear核)§格式:python [options] grid.py trainingfilename§options•-svmtrain pathname•-gnuplot pathname•-out pathname•-png pathname•-log2c begin,end,step•-log2g begin,end,step•additional same options for svm-train§示例§linear核怎么使用?——设置一个虚拟的gamma参数: -log2g 1,1,1 python grid.py iris.trainpython grid.py–svmtrain d:\libsvm\svm-train.exe–gnuplot d:\gnuplot\bin\pgnuplot.exe-png d:\iris.gird.png–log2c -8,8,2 –log2g 8,-8,-2 –v 10 iris.trainpython grid.py–log2c -8,8,2 –log2g 1,1,1 –t 0 –v 10 iris.train寻优结果v 参数寻优图示LibSVM测试v格式:svm-predict [options] testfile modelfile resultfile options§-b probability : -b 0只输出类别;-b 1输出各类概率v返回结果§各测试样本的类别(-b 1时为各类后验概率)§正确率v 示例v 值得注意的§部分任务不支持概率输出(比如SVR, one-class SVM)§-b参数需要svm-train的时候建立概率模型与之对应§新来的样本按照训练集标准化的尺度进行标准化svm-train–b 1 iris.train iris.modelsvm-predict iris.test iris.model iris.resultsvm-predict –b 1iris.test iris.model iris.resultsvm-scale-r iris.train.scale iris.test> iris.test.scaled怎么用LibSVM做回归?v数据标准化§对label 同时进行标准化(量纲较小的时候可以忽略该步)v参数寻优§脚本:grid.pyàgridregression.py§寻优的参数:-c -g à-c -g –pv训练建模§任务的选择:-s 3 (epsilon -SVR)§核函数的选择:通常选择-t 2 (RBF核,默认)或-t 0(linear核)§与分类任务相比,多了一个基本参数p,建模时就用寻优找到的参数v测试§评估指标:Rate àMSE§返回值需要经过反标准化,恢复原来的量纲:好像要你自己做了!svm-scale-y -1 1 regression.train.scaled regression.modelsvm-train–s 3 -c 100 –g 0.01 –p 0.1regression.train.scaled regression.modelpython gridregression.py–log2c -8,8,2 –log2g 8,-8,-2 –log2p -8,8,2 –v 10 regression.trainsvm-predict regression.test regression.model regression.resultv安装§将已经编译好的svmc.pyd文件(位于libsvm\windows\python\目录下)拷贝到系统环境变量目录(如python根目录)§将svm.py文件拷贝到当前文件夹§将cross_validation.py拷贝到当前文件夹v使用§导入模块§设置训练参数(包含svm_type, kernel_type, gamma, C…)§加载数据from svm import *param= svm_parameter(svm_type= C_SVC, kernel_type= LINEAR)param.kernel_type= RBFListLable= [1, -1]ListValue= [[1, 0, 1], [-1, 0 ,-1]]# ListValue= [{1:1, 3:1}, {1:-1, 3:-1}]prob= svm_problem(ListLabel, ListValue)§建模§模型保存与加载§测试mod = svm_model(prob, param)r = mod.predict([1, 1, 1])d = mod.predict_values([1, 1, 1])prd, prb= m.predict_probability([1, 1, 1]) mod.save(‘modelfile’)mod2 = svm_model(‘modelfile’)target = cross_validation(prob, param, n) LOGOQ? / AThank you!。
LibSVM使用的简单介绍
LIBSVM使用的详细说明一、基本介绍LIBSVM是台湾大学林智仁教授2001年开发的一套支持向量机的库,运算速度快,可以很方便的对数据做分类或回归。
由于LIBSVM程序小,运用灵活,输入参数少,并且是开源的,易于扩展,因此成为目前国内应用最多的SVM的库。
这套库目前已经发展到2.9版。
主要有5个文件夹和一些c++源码文件。
Java主要是应用于java平台;Python是用来参数优选的工具,稍后介绍;svm-toy是一个可视化的工具,用来展示训练数据和分类界面,里面是源码,其编译后的程序在windows文件夹下;tools—主要包含四个python文件,用来数据集抽样(subset),参数优选(grid),集成测试(easy), 数据检查(check data);windows包含libSVM四个exe程序包,我们所用的库就是他们。
其中svm-scale.exe是用来对原始样本进行缩放的;svm-train.exe主要实现对训练数据集的训练,并可以获得SVM模型;svmpredict 是根据训练获得的模型,对数据集合进行预测。
还有一个svm-toy.exe之前已经交待过,是一个可视化工具。
里面还有个heart_scale,是一个样本文件,可以用记事本打开,用来测试用的。
二、LIBSVM的使用规范1. libSVM的数据格式Label 1:value 2:value …Label是类别的标识,比如上节train.model中提到的1 -1,你可以自己随意定,比如-10,0,15。
如果是回归,这是目标值,就要实事求是了。
Value就是要训练的数据,从分类的角度来说就是特征值,数据之间用空格隔开,比如:-15 1:0.708 2:1056 3:-0.3333需要注意的是,如果特征值为0,特征冒号前面的(姑且称做序号)可以不连续。
如:-15 1:0.708 3:-0.3333表明第2个特征值为0,从编程的角度来说,这样做可以减少内存的使用,并提高做矩阵内积时的运算速度。
SVM学习之一:libsvm中的数据预处理
SVM学习之一:libsvm中的数据预处理2007.1.15 11:04 作者:axywestwind名词解释:(1) SVM(Support Vector Machine)是从瓦普尼克(Vapnik)的统计学习理论发展而来的,主要针对小样本数据进行学习、分类和预测(有时也叫回归)的一种方法,能解决神经网络不能解决的过学习问题。
作者以为,类似的根据样本进行学习的方法还有基于案例的推理(Case-Based Reasoning),决策树归纳算法C4.5等,以后将详细阐述这两种方法。
(2)过学习问题:训练误差过小导致推广能力下降,即真实风险的增加。
(3)推广能力:generalization ability,也可以说是泛化能力,就是对未知样本进行预测时的精确度。
原文:A practical guide to support vector classification.libsvm中的样本预处理的原则有2个:1 非数值属性(Categorical Feature)由于SVM要求被处理的数据都是实数,因此对于属性值为类别的属性要进行转换。
例如{red, green, blue},可以转换成3个属性red (1, 0, 0)green (0, 1, 0)blue (0, 0, 1)来表示。
经验表明当这样的非数值属性的取值不是太多(这个具体数字不明确)的时候,这种编码比用一个数字来表示属性的类别要稳定的多,比如用1, 2, 3来分别表示red, green, blue就不太合适了。
目前,这个过程没有实现自动处理,需要使用者根据属性取值的多少自己动手去修改。
2 缩放(scaling)进行缩放的原因和使用神经网络时的考虑是一样的,由于RBF网络中采用样本数据的欧式距离来计算。
主要优点就是避免数值范围较大的属性控制数值范围较小的属性。
另一个优点就是避免计算时的numerical difficulties. 因为核值通常依赖特征向量的内积(inner product),而较大的属性值可能导致numerical问题。
libsvm 参数范围
libsvm 参数范围libsvm参数范围libsvm是一个用于支持向量机的机器学习库,它提供了一系列的参数来调整模型的性能和效果。
本文将介绍libsvm的参数范围,并解释它们的作用和影响。
1. -s 参数(选择SVM类型)-s 参数用于选择SVM的类型,有四种可选值:0代表C-SVC,1代表v-SVC,2代表一类SVM,3代表e-SVR。
- C-SVC是一种多类分类器,v-SVC是一种多类分类器,一类SVM是一种单类分类器,e-SVR是一种回归器。
- 这些不同的类型适用于不同的问题,选择合适的类型可以提高模型的性能。
2. -t 参数(选择核函数类型)-t 参数用于选择核函数的类型,有四种可选值:0代表线性核函数,1代表多项式核函数,2代表高斯核函数,3代表径向基核函数。
- 核函数决定了特征空间映射的方式,不同的核函数适用于不同的数据集和问题。
- 线性核函数适用于线性可分问题,多项式核函数适用于多项式可分问题,高斯核函数适用于非线性可分问题,径向基核函数适用于非线性可分问题。
3. -d 参数(多项式核函数的度数)-d 参数用于设置多项式核函数的度数,它决定了特征空间映射的维度。
- 对于多项式核函数,较高的度数可以提高模型的复杂度和拟合能力,但也容易导致过拟合。
- 选择合适的度数需要根据数据集和问题的要求进行调整。
4. -g 参数(高斯核函数的gamma值)-g 参数用于设置高斯核函数的gamma值,它决定了数据点在特征空间中的影响范围。
- 较小的gamma值可以使得支持向量的影响范围更广,容易导致模型过拟合;较大的gamma值可以使得支持向量的影响范围更窄,容易导致模型欠拟合。
- 选择合适的gamma值需要根据数据集和问题的要求进行调整。
5. -r 参数(径向基核函数的系数)-r 参数用于设置径向基核函数的系数,它决定了支持向量与超平面之间的距离。
- 较小的系数可以使得支持向量与超平面之间的距离更大,容易导致模型过拟合;较大的系数可以使得支持向量与超平面之间的距离更小,容易导致模型欠拟合。
使用libsvm对MNIST数据集进行实验---浅显易懂!
使⽤libsvm对MNIST数据集进⾏实验---浅显易懂!在学SVM中的实验环节,⽼师介绍了libsvm的使⽤。
当时看完之后感觉简单的说不出话来。
1. libsvm介绍虽然原理要求很⾼的数学知识等,但是libsvm中,完全就是⼀个⼯具包,拿来就能⽤。
当时问了好⼏遍⽼师,公司⾥做svm就是这么简单的?敲⼏个命令⾏就可以了。
貌似是这样的。
当然,在⼤数据化的背景下,还会有⽐如:并⾏SVM、多核函数SVM等情况的研究和应⽤。
实验环节⽼师给的数据很简单,也就1000个数据点,使⽤svm进⾏分类。
没有太多好说的。
于是⾃⼰想要试试做⼿写字体分类检测,类似于⾏车违章拍照后的车牌识别。
从⽹上搜到了数据集为MNIST数据集,是⼀个⼊门的基本数据集。
关于libsvm的介绍和使⽤参考:。
不过,svm-toy是最多⽀持三分类的,⽽不是只是⼆分类。
使⽤windows⽂件夹下的svm-train.exe,svm-predict.exe命令可以来进⾏建模和预测,具体参数看⽂档。
svm-train的主要可选参数有:-s 选择SVM类型。
⼀般选的是C-SVM-c 选择松弛变量的权重系数。
C越⼤,对松弛变量的惩罚越⼤,两个⽀持向量直线之间的间隔就越⼩,模型就越精确苛刻,对噪声数据点容忍⼩,越容易过拟合;C越⼩,两个⽀持向量直线之间的距离越⼤,对噪声的容忍能⼒就越⼤,最终效果越好。
但是,模型分错的数据点就越多,容易⽋拟合。
-t 选择核函数。
⼀般是线性和RBF做对⽐,线性速度更快,但要求数据可分;RBF更通⽤,默认选择RBF。
-g garma系数。
是exp(-gamma*|u-v|^2),相当于gamma=1/(2τ^2)。
τ表⽰⾼斯函数中的宽度,g与τ成反⽐。
g越⼤,τ越⼩,则⾼斯函数越窄,覆盖⾯积⼩,这样需要的⽀持向量越多,模型越复杂,容易过拟合。
-wi 对样本分类的权重分配。
因为,在分类中,某些分类可能更加重要。
-v 交叉验证的参数。
libsvm参数说明
libsvm参数说明摘要:一、libsvm 简介1.libsvm 的作用2.libsvm 的安装和使用二、libsvm 参数说明1.核函数选择2.C 参数调整3.罚参数选择4.迭代次数选择5.其他参数三、libsvm 参数调整策略1.交叉验证2.网格搜索3.启发式方法四、libsvm 在实际应用中的案例分析1.情感分析2.文本分类3.图像分类正文:一、libsvm 简介libsvm 是一款常用的支持向量机(SVM)开源实现库,它提供了C、Python、Java 等语言的接口,方便用户在不同平台上进行使用。
libsvm 具有较高的效率和准确性,被广泛应用于数据挖掘、机器学习、模式识别等领域。
1.libsvm 的作用libsvm 主要作用是实现支持向量机算法,它可以解决分类和回归问题,包括线性分类和非线性分类。
此外,libsvm 还提供了核函数,使得它可以处理高维数据和复杂数据的分类问题。
2.libsvm 的安装和使用libsvm 的安装过程比较简单,只需要按照官方文档的指导进行操作即可。
安装完成后,可以通过调用libsvm 提供的API 进行模型的训练和预测。
二、libsvm 参数说明libsvm 提供了丰富的参数供用户调整,以达到最佳的效果。
1.核函数选择核函数是libsvm 的重要组成部分,它决定了libsvm 如何处理输入数据。
libsvm 提供了多种核函数,如线性核、多项式核、径向基函数核等。
用户可以根据问题的特点选择合适的核函数。
2.C 参数调整C 参数是libsvm 中的一个重要参数,它控制了模型的软约束程度。
较小的C 值会使得模型更加灵活,可能导致过拟合;较大的C 值会使得模型更加严格,可能导致欠拟合。
因此,合理调整C 参数对于模型的性能至关重要。
3.罚参数选择罚参数是libsvm 中的另一个重要参数,它控制了模型对训练数据的惩罚程度。
较小的罚参数会导致模型对训练数据的拟合程度过高,可能会导致过拟合;较大的罚参数会使得模型对训练数据的拟合程度降低,可能会导致欠拟合。
高光谱 libsvm 分类
高光谱libsvm 分类全文共四篇示例,供读者参考第一篇示例:高光谱图像是一种具有连续且密集的光谱信息的遥感影像类型,具有丰富的光谱特征,可以提供大量反映地物表面特征的信息。
在高光谱图像应用中,分类和识别是一个重要的研究内容,而支持向量机(Support Vector Machine,简称SVM)是一种常用的分类方法之一。
本文将介绍高光谱图像分类中使用libsvm工具进行分类的方法及其应用。
一、高光谱图像分类概述高光谱图像是通过遥感技术获取的一种具有丰富光谱信息的影像,其可以捕捉地物表面的特定光谱特征,有助于对地物进行精准分类和识别。
高光谱数据拥有数百个波段,使得在分类过程中可以更加精细地区分不同的地物类型。
在高光谱图像分类中,传统的分类方法通常会面临维度灾难和过拟合等问题,而支持向量机能够有效应对这些问题,是一种被广泛应用的分类方法之一。
二、支持向量机分类算法介绍支持向量机是一种基于统计学习理论的二元分类方法,其核心思想是通过建立一个最优的超平面来完成分类任务。
在支持向量机分类中,训练数据被映射到高维空间中,找到能够最大化间隔的超平面,并通过支持向量来确定分类决策边界。
支持向量机具有良好的泛化能力和鲁棒性,在分类问题中表现出色,特别适用于高维数据和小样本数据的分类任务。
三、libsvm工具介绍libsvm是一种快速且高效的支持向量机库,由台湾国立大学林智仁博士团队开发,支持向量机的分类和回归等任务。
libsvm具有简洁的代码结构和友好的接口,使得用户可以方便地进行模型训练和预测。
libsvm还提供了多种核函数的选择,可以根据不同任务需求进行灵活的设置。
在高光谱图像分类任务中,libsvm可以帮助研究者高效地进行地物分类和识别。
四、高光谱图像分类中libsvm的应用在高光谱图像分类中,libsvm可以用于对高光谱数据进行地物分类和识别。
需要将高光谱数据进行预处理,包括数据校正、特征提取等步骤。
然后,将处理后的数据输入到libsvm中进行模型训练,通过调整参数和选择合适的核函数对模型进行优化。
libsvm参数说明
libsvm参数说明(实用版)目录1.LIBSVM 简介2.LIBSVM 参数说明3.LIBSVM 的使用方法4.LIBSVM 的应用场景5.总结正文1.LIBSVM 简介LIBSVM 是一个开源的支持向量机(Support Vector Machine,简称SVM)算法库,它可以帮助我们解决分类和回归问题。
支持向量机是一种非常强大和有效的机器学习算法,它可以在各种领域中得到广泛的应用,如人脸检测、车牌识别等。
2.LIBSVM 参数说明在使用 LIBSVM 时,我们需要了解一些基本的参数,这些参数可以影响模型的性能。
以下是一些常用的 LIBSVM 参数及其说明:- -train:训练数据文件- -test:测试数据文件- -model:模型文件- -param:参数文件- -predict:预测数据文件此外,还有一些其他参数,如-v(显示详细信息)、-n(核函数的阶数)、-c(惩罚参数)等。
通过调整这些参数,我们可以优化模型的性能。
3.LIBSVM 的使用方法使用 LIBSVM 的过程可以分为以下几个步骤:(1)准备数据:将数据分为训练集和测试集,确保数据是线性可分的。
(2)训练模型:使用训练集和相应的参数训练 SVM 模型。
(3)预测结果:使用测试集和训练好的模型进行预测。
(4)评估性能:评估模型的性能,并根据需要调整参数以优化性能。
4.LIBSVM 的应用场景LIBSVM 可以广泛应用于各种分类和回归问题中,如人脸检测、车牌识别、文本分类、图像分类等。
在实际应用中,我们需要根据具体问题选择合适的核函数(如线性核、多项式核、径向基函数等)并调整相关参数,以获得最佳的模型性能。
5.总结总之,LIBSVM 是一个功能强大的支持向量机库,可以帮助我们解决各种分类和回归问题。
LIBSVM的简单介绍
LIBSVM的简单介绍2006-09-20 15:59:481. LIBSVM 软件包简介LIBSVM 是台湾大学林智仁(Chih-Jen Lin)博士等开发设计的一个操作简单、易于使用、快速有效的通用SVM 软件包,可以解决分类问题(包括C- SVC、n - SVC )、回归问题(包括e - SVR、n - SVR )以及分布估计(one-class-SVM )等问题,提供了线性、多项式、径向基和S形函数四种常用的核函数供选择,可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。
LIBSVM 是一个开源的软件包,需要者都可以免费的从作者的个人主页.tw/~cjlin/处获得。
他不仅提供了LIBSVM的C++语言的算法源代码,还提供了Python、Java、R、MATLAB、Perl、Ruby、LabVIEW以及C#.net 等各种语言的接口,可以方便的在Windows 或UNIX 平台下使用。
另外还提供了WINDOWS 平台下的可视化操作工具SVM-toy,并且在进行模型参数选择时可以绘制出交叉验证精度的等高线图。
2. LIBSVM 使用方法简介LibSVM是以源代码和可执行文件两种方式给出的。
如果是Windows系列操作系统,可以直接使用软件包提供的程序,也可以进行修改编译;如果是Unix类系统,必须自己编译。
LIBSVM 在给出源代码的同时还提供了Windows操作系统下的可执行文件,包括:进行支持向量机训练的svmtrain.exe;根据已获得的支持向量机模型对数据集进行预测的svmpredict.exe;以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。
它们都可以直接在DOS 环境中使用。
如果下载的包中只有C++的源代码,则也可以自己在VC等软件上编译生成可执行文件。
3. LIBSVM 使用的一般步骤是:1)按照LIBSVM软件包所要求的格式准备数据集;2)对数据进行简单的缩放操作;3)考虑选用RBF 核函数;4)采用交叉验证选择最佳参数C与g ;5)采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型;6)利用获取的模型进行测试与预测。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
在用林智仁老师的LIBSVM-2.82做SVM回归的过程中,深深得益于网上共享的学习笔记以及一些热心网友的帮助(哪怕只是一句提醒),前面想着一定要写个学习笔记。
自己会用了之后,突然发现原来值得讲出来的实在很少,甚至不想再写什么。
想到自己花大概两个月才把一个程序跑明白,觉得还是因为其中有些让自己头疼的问题的,想必其他学习者未尝不需要多花功夫琢磨这些,未免浪费时间(技术问题嘛),还是写一个简单的学习笔记,把自己觉得最要弄明白的难点记下来吧。
装microsoft Visualstudio 6.0(是装python需要的,可能是需要c语言的环境吧)装gnuplot :gp400win32装python试运行程序中遇到的问题读PYTHON写的GRID.PY程序问题1:程序的路径指定问题在程序的相关语句中指出调用的程序的路径注意类似:D:\programm files\gnuplot.exe 这样的路径会报错,因为程序在读语句时在programm后面断句,而不是把programm files整体当作一个路径问题2:命令行运行PYTHON 以及输入参数E:\libsvm-2.82\tools>python gridregcopy.py,首先进入到PYTHON程序的上一级路径然后用python接程序名称以及参数当时的问题是怎么也弄不明白PYTHON程序自带的几个操作窗口都不能进行程序的运行。
呵呵,好像都只是脚本编辑器(反正我能用命令行运行就可以了——何况加一个"!"就可以在MA TLAB中执行)。
另外关于参数,读原程序怎么也不懂,看了魏忠的学习笔记才明白的:OS.ARGV可以在命令行输入,作为OS.ARGV列表的值。
但是注意OS.ARGV[0]默认的就是所执行的程序本身,也就是除了输入的N个参数,OS.ARGV列表实际上有N+1个值,其中输入的第一个参数就是OS.ARGV[1],也就是它的第二个参数。
问题3:参数选择程序跑不动提示:worker local quit晕了几天后面终于明白不是程序有问题,是因为数据量太大,程序直接溢出的缘故:注意有一个参数-M 用来选择缓存的大小。
subset这个程序仍然运行不了——不知道自己的数据和程序包里给出的例子有什么区别。
不过我的s数据量小,这个不能用不碍事。
注意:testing data/training data(不同文件) 需要一起scale。
也就是要把测试集和训练集在一个框架下进行归一化处理,很容易想见的道理(可是容易忽略)。
n-fold cross validationn 就是要拆成几组,像n=3 就会拆成三組,然后先拿1和2来train model 并predict 3 以得到正确率;再来拿2和3 train 并predict 1,最后用1和3 train并predict 2。
其它以此类推。
一般数据选5-或10 fold cross validation就可以。
不过n越大,数据浪费的就越少(用于训练集的信息就多),但是运算量增加,极端的就是n等于数据的个数(叫做LEA VE-ONE OUT)。
回归的参数选择程序:paiup的笔记里面说GRID程序只能用于分类的参数选择,不过还好林智仁老师开发了专门用于回归的参数选择程序。
GRID程序的原理很简单:就是把要选择的参数当作一个坐标格子上的点,选择的过程就是遍历空间(当然可以有一定的范围)中的各个方向的参数组合的空间点。
如果是两个参数,就是在二维的平面中找到一个合适的点(这种离散的选择参数的方法,应该只是找到一个比较好的收敛的参数吧)。
至于GRID选择参数,在我做的回归里头还是相当要紧的。
选好了参数R2会是0.99,但是参数(C,g,p)参数稍微变动一下,可能使R2降低到0.2。
而参数v,即用来做cross validation 的数据组数对参数的选择影响并不太大——就是说v选为5和10并不会导致最后选到的参数大相径庭。
支持向量机工具libsvm简单介绍关键词:支持向量机libsvm林智仁Matlab1. LIBSVM 软件包简介LIBSVM 是台湾大学林智仁(Chih-Jen Lin)博士等开发设计的一个操作简单、易于使用、快速有效的通用S VM 软件包,可以解决分类问题(包括C- SVC、n - SVC )、回归问题(包括e - SVR、n - SVR )以及分布估计(one-class-SVM )等问题,提供了线性、多项式、径向基和S形函数四种常用的核函数供选择,可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。
LIBS VM 是一个开源的软件包,需要者都可以免费的从作者的个人主页.tw/~cjlin/处获得。
他不仅提供了LIBSVM的C++语言的算法源代码,还提供了Python、Java、R、MATLAB、Perl、Ruby、LabVIEW以及C#.net 等各种语言的接口,可以方便的在Windows 或UNIX 平台下使用。
另外还提供了WINDOWS 平台下的可视化操作工具SVM-toy,并且在进行模型参数选择时可以绘制出交叉验证精度的等高线图。
2. LIBSVM 使用方法简介LibSVM是以源代码和可执行文件两种方式给出的。
如果是Windows系列操作系统,可以直接使用软件包提供的程序,也可以进行修改编译;如果是Unix类系统,必须自己编译。
LIBSVM 在给出源代码的同时还提供了Windows操作系统下的可执行文件,包括:进行支持向量机训练的svmtrain.exe;根据已获得的支持向量机模型对数据集进行预测的svmpredict.exe;以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。
它们都可以直接在DOS 环境中使用。
如果下载的包中只有C++的源代码,则也可以自己在VC等软件上编译生成可执行文件。
3. LIBSVM 使用的一般步骤是:1)按照LIBSVM软件包所要求的格式准备数据集;2)对数据进行简单的缩放操作;3)考虑选用RBF 核函数;4)采用交叉验证选择最佳参数C与g ;5)采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型;6)利用获取的模型进行测试与预测。
4. LIBSVM使用的数据格式1)训练数据和检验数据文件格式如下:<label> <index1>:<value1> <index2>:<value2> ...其中<label> 是训练数据集的目标值,对于分类,它是标识某类的整数(支持多个类);对于回归,是任意实数。
<index> 是以1开始的整数,可以是不连续的;<value>为实数,也就是我们常说的自变量。
检验数据文件中的label只用于计算准确度或误差,如果它是未知的,只需用一个数填写这一栏,也可以空着不填。
在程序包中,还包括有一个训练数据实例:heart_scale,方便参考数据文件格式以及练习使用软件。
可以编写小程序,将自己常用的数据格式转换成这种格式2)Svmtrain和Svmpredict的用法LIBSVM软件提供的各种功能都是DOS命令执行方式。
我们主要用到两个程序,svmtrain(训练建模)和sv mpredict(使用已有的模型进行预测),下面分别对这两个程序的使用方法、各参数的意义以及设置方法做一个简单介绍:(1)Svmtrain的用法:svmtrain [options] training_set_file [model_file]Options:可用的选项即表示的涵义如下-s svm类型:SVM设置类型(默认0)0 -- C-SVC1 --v-SVC2 –一类SVM3 -- e -SVR4 -- v-SVR-t 核函数类型:核函数设置类型(默认2)0 –线性:u'v1 –多项式:(r*u'v + coef0)^degree2 –RBF函数:exp(-r|u-v|^2)3 –sigmoid:tanh(r*u'v + coef0)-d degree:核函数中的degree设置(默认3)-g 函数设置(默认1/ r(gama):核函数中的γk)-r coef0:核函数中的coef0设置(默认0)-c cost:设置C-SVC,ε-SVR和ν-SVR的参数(默认1)-n nu:设置ν-SVC,一类SVM和ν- SVR的参数(默认0.5)-pε-SVR 中损失函数εe:设置的值(默认0.1)-m cachesize:设置cache内存大小,以MB为单位(默认40)-e ε:设置允许的终止判据(默认0.001)-h shrinking:是否使用启发式,0或1(默认1)-wi weight:设置第几类的参数C为weight⨯C(C-SVC中的C)(默认1)-v n: n-fold交互检验模式其中-g选项中的k是指输入数据中的属性数。
option -v 随机地将数据剖分为n部分并计算交互检验准确度和均方根误差。
以上这些参数设置可以按照SVM的类型和核函数所支持的参数进行任意组合,如果设置的参数在函数或SVM类型中没有也不会产生影响,程序不会接受该参数;如果应有的参数设置不正确,参数将采用默认值。
training_set_file是要进行训练的数据集;model_file是训练结束后产生的模型文件,文件中包括支持向量样本数、支持向量样本以及lagrange系数等必须的参数;该参数如果不设置将采用默认的文件名,也可以设置成自己惯用的文件名。
(2)Svmpredict的用法:svmpredict test_file model_file output_filemodel_file 是由svmtrain产生的模型文件;test_file是要进行预测的数据文件;Output_file是svmpredict 的输出文件。
svm-predict没有其它的选项。
下面是具体的使用例子svmtrain -s 0 -c 1000 -t 1 -g 1 -r 1 -d 3 data_file训练一个由多项式核(u'v+1)^3和C=1000组成的分类器。
svmtrain -s 1 -n 0.1 -t 2 -g 0.5 -e 在RBF核函数exp(-0.5|u-v|^2)和终止允许限0.00001的条件下,训练一个ν-SVM (ν0.00001 data_file = 以线性核函数u'v和C=10及损失函数ε0.1)分类器。
svmtrain -s 3 -p 0.1 -t 0 -c 10 data_file = 0.1求解SVM回归。