libsvm详细训练步骤
最新LibSVM分类的实用指南
L i b S V M分类的实用指南LibSVM分类的实用指南摘要SVM(support vector machine)是一项流行的分类技术。
然而，初学者由于不熟悉SVM，常常得不到满意的结果，原因在于丢失了一些简单但是非常必要的步骤。
在这篇文档中，我们给出了一个简单的操作流程，得到合理的结果。
(译者注：本文中大部分SVM实际指的是LibSVM)1入门知识SVM是一项非常实用的数据分类技术。
虽然SVM比起神经网络(Neural Networks)要相对容易一些，但对于不熟悉该方法的用户而言，开始阶段通常很难得到满意的结果。
这里，我们给出了一份指南，根据它可以得到合理结果。
需要注意，此指南不适用SVM的研究者，并且也不保证一定能够获得最高精度结果。
同时，我们也没有打算要解决有挑战性的或者非常复杂的问题。
我们的目的，仅在于给初学者提供快速获得可接受结果的秘诀。
虽然用户不是一定要深入理解SVM背后的理论，但为了后文解释操作过程，我们还是先给出必要的基础的介绍。
一项分类任务通常将数据划分成训练集和测试集。
训练集的每个实例，包含一个"目标值(target value)"(例如，分类标注)和一些"属性(attribute)"(例如，特征或者观测变量)。
SVM的目标是基于训练数据产出一个模型(model)，用来预测只给出属性的测试数据的目标值。
给定一个训练集，"实例-标注"对，，支持向量机需要解决如下的优化问题：在这里，训练向量xi通过函数Φ被映射到一个更高维(甚至有可能无穷维)空间。
SVM在这个高维空间里寻找一个线性的最大间隔的超平面。
C 0是分错项的惩罚因子(penalty parameter of the error term)。
被称之为核函数(kernel function)。
新的核函数还在研究中，初学者可以在SVM书中找到如下四个最基本的核函数：(线性、多项式、径向基函数、S型)1.1实例表1是一些现实生活中的实例。
Matlab下libsvm的配置使用【转】
Matlab下libsvm的配置使⽤【转】LIBSVM是⼀个由台湾⼤学林智仁(Lin Chih-Jen)教授等开发的SVM模式识别与回归的软件包，使⽤简单，功能强⼤，能够在matlab中使⽤。
⼀、安装1.下载在LIBSVM的主页上下载最新版本的软件包（libsvm-3.20），并解压到合适⽬录中。
2.编译如果你使⽤的是64位的操作的系统和Matlab，那么不需要进⾏编译步骤，因为⾃带软件包中已经包含有64位编译好的版本：libsvmread.mexw64、libsvmwrite.mexw64、svmtrain.mexw64、svmpredict.mexw64。
否则，需要⾃⼰编译⼆进制⽂件。
⾸先在matlab中进⼊LIBSVM根⽬录下的matlab⽬录（如C:\libsvm-3.20\matlab），在命令窗⼝输⼊>>mex -setup然后Matlab会提⽰你选择编译mex⽂件的C/C++编译器，就选择⼀个已安装的编译器。
之后Matlab会提⽰确认选择的编译器，输⼊y进⾏确认。
然后可以输⼊以下命令进⾏编译。
>>make注意，Matlab或VC版本过低可能会导致编译失败，建议使⽤最新的版本。
编译成功后，当前⽬录下会出现若⼲个后缀为mexw64（64位系统）或mexw32（32位系统）的⽂件。
3.重命名（可选，但建议执⾏）编译完成后，在当前⽬录下回出现svmtrain.mexw64、svmpredict.mexw64（64位系统）或者svmtrain.mexw32、svmpredict.mexw32（32位系统）这两个⽂件，把⽂件名svmtrain和svmpredict相应改成libsvmtrain和libsvmpredict。
这是因为Matlab中⾃带有SVM的⼯具箱，⽽且其函数名字就是svmtrain和svmpredict，和LIBSVM默认的名字⼀样，在实际使⽤的时候有时会产⽣⼀定的问题，⽐如想调⽤LIBSVM的变成了调⽤Matlab SVM。
svm
2 数据缩放
• 简单的数据缩放操作说明。 • svm-scale空格[-l lower]空格[-u upper]空格[-s name1]空格[-r name2]空格filename • [ ]的内容是可以省略的。 • -l：数据下限标记；-u：数据上限标记；如缺省表示范围为[-1,1] • -s name1：表示将缩放的规则保存为文件name1； • -r name2：表示将缩放规则文件name2载入后按此缩放； • filename：待缩放的数据文件
核函数
• 径向基函数(RBF)主要是利用“两个向量夹角越小其内积越 大”的思想。其定义 ，当 u 和 v 比较接近 是(u-v)的模值较小，其核函数值接近1，当 u 和 v 相差很大 时，其核函数值接近0。因其函数类似于高斯分布，故也 称其为高斯核函数。 • 将原问题中内积的运算，换为核函数，则得到svm算法的 规划问题。 • 当然选取不同的核函数得到的结果是不一样的，针对一个 数据集什么样的核函数是最佳的，这也是一个问题。
测试数据1， 模型数据1.model 输出结果1.out
显示准确率，一共270组数据，270组预测正确
• 在训练时我们选用惩罚因子c=2048（svm-train –c 2048 1），此参数 是进行优化选择后推荐的，可以达到100%的准确率。
参数优化选择
• 针对C-SVC，主要待定参数为：
• -g r：核函数中的r参数设置（默认1/ k) • -c c：设置C-SVC的惩罚因子C（默认1）
作为对这种偏离
C-SVC 模型
3.1常用options说明
• -c c：设置C-SVC的惩罚因子C（默认c选1） • -wi weight：设置参数C（weight*C ）（默认weight 1）
svm使用的一般步骤
svm使⽤的⼀般步骤LIBSVM 使⽤的⼀般步骤是：1）准备数据集，转化为 LIBSVM⽀持的数据格式：[label] [index1]:[value1] [index2]:[value2] ...即 [l类别标号] [特征1]:[特征值] [特征2]:[特征值] ...2）对数据进⾏简单的缩放操作（scale）；（为什么要scale，这⾥不解释了）3）考虑选⽤核函数（通常选取径函数，程序默认）；4）采⽤交叉验证（⼀般采⽤5折交叉验证），选择最佳参数C与g ；5）⽤得到的最佳参数C与g 对整个训练集进⾏训练得到SVM模型；6）⽤得到的SVM模型进⾏测试Libsvm 是⼀个简单的，易⽤的，⾼效的SVM分类和回归软件。
它解决了 C-SVM 分类，nu-SVM 分类，one-class-SVM，epsilon-SVM 回归，nu-SVM 回归（的问题）。
它也提供了⼀个⾃动的 C-SVM 分类的模型选择⼯具。
本⽂档解释了Libsvm 的⽤法。
Libsvm 的获取：.tw/~cjlin/libsvm请在使⽤ Libsvm 之前阅读 COPYRIGHT ⽂档。
⽬录：=======================- 快速开始- 安装与数据格式- 使⽤ ‘svm-train’- 使⽤ ‘svm-predict’- 使⽤ ‘svm-scale’- 实际应⽤的⼩贴⼠- 例⼦- ⾃定义核函数- 库的使⽤- Java 版本- 编译 Windows ⼆进制⽂件- 附加⼯具：Sub-sampling, Parameter Selection, Format checking, 等- MATLAB/OCTAVE 接⼝- Python 接⼝- 补充快速开始=======================如果你刚接触 SVM 并且数据不⼤，安装完毕之后请⽤ ‘tools' ⽂件夹下的 easy.py。
它⾃动做好所有的事情——从数据缩放到参数选择。
LIBSVM使用方法
LIBSVM1 LIBSVM简介LIBSVM是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包，他不但提供了编译好的可在Windows 系列系统的执行文件，还提供了源代码，方便改进、修改以及在其它操作系统上应用；该软件还有一个特点，就是对SVM所涉及的参数调节相对比较少，提供了很多的默认参数，利用这些默认参数就可以解决很多问题；并且提供了交互检验(Cross -SVM回归等问题，包括基于一对一算法的多类模式识别问题。
SVM用于模式识别或回归时，SVM方法及其参数、核函数及其参数的选择，目前国际上还没有形成一个统一的模式，也就是说最优SVM算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件包提供的交互检验功能进行寻优。
ν-SVM回归和ε-SVM分类、νValidation)的功能。
该软件包可以在.tw/~cjlin/免费获得。
该软件可以解决C-SVM分类、-SVM回归等问题，包括基于一对一算法的多类模式识别问题。
SVM用于模式识别或回归时，SVM方法及其参数、核函数及其参数的选择，目前国际上还没有形成一个统一的模式，也就是说最优SVM算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件包提供的交互检验功能进行寻优。
2 LIBSVM使用方法LibSVM是以源代码和可执行文件两种方式给出的。
如果是Windows系列操作系统，可以直接使用软件包提供的程序，也可以进行修改编译；如果是Unix类系统，必须自己编译，软件包中提供了编译格式文件，我们在SGI工作站(操作系统IRIX6.5)上，使用免费编译器GNU C++3.3编译通过。
2.1 LIBSVM 使用的一般步骤：1) 按照LIBSVM软件包所要求的格式准备数据集；2) 对数据进行简单的缩放操作；3) 考虑选用RBF 核函数；4) 采用交叉验证选择最佳参数C与g；5) 采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型；6) 利用获取的模型进行测试与预测。
libsvm使用说明_光环大数据培训机构
libsvm使用说明_光环大数据培训机构libsvm简介LIBSVM 是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使用和快速有效的 SVM 模式识别与回归的软件包，他不但提供了编译好的可在 Windows 系列系统的执行文件，还提供了源代码，方便改进、修改以及在其它操作系统上应用；该软件还有一个特点，就是对 SVM 所涉及的参数调节相对比较少，提供了很多的默认参数，利用这些默认参数就可以解决很多问题；并且提供了交互检验(Cross-SVM回归等问题，包括基于一对一算法的多类模式识别问题。
SVM 用于模式识别或回归时， SVM方法及其参数、核函数及其参数的选择，目前国际上还没有形成一个统一的模式，也就是说最优 SVM 算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件包提供的交互检验功能进行寻优的功能。
该软件包可以在.tw/~cjlin/免费获得。
——简介摘录自《LIBSVM使用方法.pdf》libsvm编译安装以Java版为例，下载libsvm-3.20.zip后，从java目录中得到全部源码，其他不以.java结尾的都是无关的文件。
新建Maven项目，或者直接clone我的Maven repository，项目结构如图：数据集获取数据集libsvm-3.20.zip中附带了一个heart_scale数据集，其主页上也提供了很多数据集，我整理了三个作为例子：数据集格式libsvm每行使用的格式如下：<label> <index1>:<value1> <index2>:<value2> …label为类别标号，index为特征序号，value为特征的值value为0时该项可以省略（大规模数据时节省存储空间）比如dataset/iris.scale.txt：1 1:-0.555556 2:0.5 3:-0.694915 4:-0.753 1:-0.166667 2:-0.333333 3:0.38983 4:0.9166672 1:-0.333333 2:-0.75 3:0.0169491 4:-4.03573e-081 1:-0.833333 3:-0.864407 4:-0.9166671 1:-0.611111 2:0.0833333 3:-0.864407 4:-0.9166673 1:0.611111 2:0.333333 3:0.728813 4:13 1:0.222222 3:0.38983 4:0.5833332 1:0.222222 2:-0.333333 3:0.220339 4:0.1666672 1:-0.222222 2:-0.333333 3:0.186441 4:-4.03573e-08…这是（UCI / Iris Plant, 4 features, 3 classes）提供的数据集，一共4个特征，3种类：1. sepal length in cm2. sepal width in cm3. petal length in cm4. petal width in cm5. class:— Iris Setosa— Iris Versicolour— Iris Virginica分别描述了3种鸢尾花。
LibSVM_快速入门
"./testData/test.1.txt" "train.1_mode.txt" "test1.result.txt“
接口调用：
C, Python， java各有一套接口
Thanks
Q&A
Gnuplot：复制到本地，不需安装 \\192.168.0.135\public\DST\共享资源\工具 \gp426win32 Python： \\192.168.0.135\public\DST\共享资源\工具\pyhton-2.6.2.msi
SVM训练工具svm-train.exe
对所有数据使用同一组参数 量纲相同则不使用该归一化
示例：
>"./libsvm-2.91/windows/svm-scale.exe" -l -1 -u 1 -s "./scale_param.txt" "./trainData/train.1.txt" >"./train.1_scale.txt" >"./libsvm-2.91/windows/svm-scale.exe" -l -1 -u 1 -r "./scale_param.txt" "./testData/test.1.txt" >"./test.1_scale.txt“
LibSVM训练
参数选择：
c, g是SVM训练阶段需要指定的的参数.
这个选择不是人能做on 脚本)，可以自动搜索最佳的c,g.
示例： "./libsvm-2.91/tools/grid.py" -svmtrain "E:/分类聚类实践/LibSVM/libsvm2.91/windows/svm-train.exe" -gnuplot "E:/Downloads/gp426win32/gnuplot/bin/pgnuplot.exe" -v 10 "E:/分类聚类实践 /LibSVM/Train.1_scale.txt" 支持：grid.py需要gnuplot 和python支持(available from )
LIBSVM使用方法
LIBSVM使用方法1libsvm简介2libsvm使用方法libsvm就是以源代码和可执行文件两种方式得出的。
如果就是windows系列操作系统，可以轻易采用软件包提供更多的程序，也可以展开修正编程；如果就是unix类系统，必须自己编程，软件包中提供更多了编程格式文件，我们在sgi工作站(操作系统irix6.5)上，采用免费编译器gnuc++3.3编程通过。
2.1libsvm使用的一般步骤：1)2)3)4)5)6)按照libsvm软件包所建议的格式准备工作数据集；对数据展开直观的翻转操作方式；考量采用rbf核函数；使用交叉检验挑选最佳参数c与g；使用最佳参数c与g对整个训练集展开训练以获取积极支持向量机模型；利用以获取的模型展开测试与预测。
2.2libsvm使用的数据格式该软件采用的训练数据和检验数据文件格式如下：::...其中就是训练数据集的目标值，对于分类，它就是标识某类的整数(积极支持多个类)；对于重回，就是任一实数。
就是以1已经开始的整数，可以就是不已连续的；为实数，也就是我们常说道的自变量。
检验数据文件中的label只用作排序准确度或误差，如果它就是未明的，只需用一个数核对这一栏，也可以空着不填上。
在程序包中，还包括存有一个训练数据实例：heart_scale，便利参照数据文件格式以及练采用软件。
可以撰写大程序，将自己常用的数据格式转换成这种格式。
2.3svmtrain和svmpredict的用法svmtrain(训练建模)的用法：svmtrain[options]training_set_file[model_file]options：需用的选项即为则表示的涵义如下-ssvm类型：svm设置类型(默认0)0--c-svc1--v-svc2–一类svm3--e-svr4--v-svr-t核函数类型：核函数设置类型(默认2)0–线性：u'v1–多项式：(r*u'v+coef0)^degree2–rbf函数：exp(-r|u-v|^2)3–sigmoid：tanh(r*u'v+coef0)-ddegree：核函数中的degree设置(预设3)-gr(gama)：核函数中的?函数设置(默认1/k)-rcoef0：核函数中的coef0设置(预设0)-ccost：设置c-svc，?-svr和?-svr的参数(默认1)-nnu：设置?-svc，一类svm和?-svr的参数(预设0.5)-pe：设置?-svr中损失函数?的值(默认0.1)-mcachesize：设置cache内存大小，以mb为单位(预设40)-eε：设置允许的终止判据(默认0.001)-hshrinking：与否采用启发式，0或1(预设1)-wiweight：设置第几类的参数c为weight?c(c-svc中的c)(默认1)-vn:n-fold可视化检验模式其中-g选项中的k是指输入数据中的属性数。
SVM多分类问题libsvm在matlab中的应用
SVM多分类问题libsvm在matlab中的应⽤转载⾃对于⽀持向量机，其是⼀个⼆类分类器，但是对于多分类，SVM也可以实现。
主要⽅法就是训练多个⼆类分类器。
⼀、多分类⽅式1、⼀对所有（One-Versus-All OVA）给定m个类，需要训练m个⼆类分类器。
其中的分类器 i 是将 i 类数据设置为类1（正类），其它所有m-1个i类以外的类共同设置为类2（负类），这样，针对每⼀个类都需要训练⼀个⼆类分类器，最后，我们⼀共有 m 个分类器。
对于⼀个需要分类的数据 x，将使⽤投票的⽅式来确定x的类别。
⽐如分类器 i 对数据 x 进⾏预测，如果获得的是正类结果，就说明⽤分类器 i 对 x 进⾏分类的结果是: x 属于 i 类，那么，类i获得⼀票。
如果获得的是负类结果，那说明 x 属于 i 类以外的其他类，那么，除 i 以外的每个类都获得⼀票。
最后统计得票最多的类，将是x的类属性。
2、所有对所有（All-Versus-All AVA）给定m个类，对m个类中的每两个类都训练⼀个分类器，总共的⼆类分类器个数为 m(m-1)/2 .⽐如有三个类，1，2，3，那么需要有三个分类器，分别是针对：1和2类，1和3类，2和3类。
对于⼀个需要分类的数据x,它需要经过所有分类器的预测，也同样使⽤投票的⽅式来决定x最终的类属性。
但是，此⽅法与”⼀对所有”⽅法相⽐，需要的分类器较多，并且因为在分类预测时，可能存在多个类票数相同的情况，从⽽使得数据x属于多个类别，影响分类精度。
对于多分类在matlab中的实现来说，matlab⾃带的svm分类函数只能使⽤函数实现⼆分类，多分类问题不能直接解决，需要根据上⾯提到的多分类的⽅法，⾃⼰实现。
虽然matlab⾃带的函数不能直接解决多酚类问题，但是我们可以应⽤libsvm⼯具包。
libsvm⼯具包采⽤第⼆种“多对多”的⽅法来直接实现多分类，可以解决的分类问题（包括C- SVC、n - SVC ）、回归问题（包括e - SVR、n - SVR ）以及分布估计（one-class-SVM ）等，并提供了线性、多项式、径向基和S形函数四种常⽤的核函数供选择。
LibSVM使用的简单介绍
LIBSVM使用的详细说明一、基本介绍LIBSVM是台湾大学林智仁教授2001年开发的一套支持向量机的库，运算速度快，可以很方便的对数据做分类或回归。
由于LIBSVM程序小，运用灵活，输入参数少，并且是开源的，易于扩展，因此成为目前国内应用最多的SVM的库。
这套库目前已经发展到2.9版。
主要有5个文件夹和一些c++源码文件。
Java主要是应用于java平台；Python是用来参数优选的工具，稍后介绍；svm-toy是一个可视化的工具，用来展示训练数据和分类界面，里面是源码，其编译后的程序在windows文件夹下；tools—主要包含四个python文件，用来数据集抽样(subset)，参数优选（grid），集成测试(easy), 数据检查(check data)；windows包含libSVM四个exe程序包，我们所用的库就是他们。
其中svm-scale.exe是用来对原始样本进行缩放的；svm-train.exe主要实现对训练数据集的训练，并可以获得SVM模型；svmpredict 是根据训练获得的模型，对数据集合进行预测。
还有一个svm-toy.exe之前已经交待过，是一个可视化工具。
里面还有个heart_scale，是一个样本文件，可以用记事本打开，用来测试用的。
二、LIBSVM的使用规范1. libSVM的数据格式Label 1:value 2:value …Label是类别的标识，比如上节train.model中提到的1 -1，你可以自己随意定，比如-10，0，15。
如果是回归，这是目标值，就要实事求是了。
Value就是要训练的数据，从分类的角度来说就是特征值，数据之间用空格隔开，比如：-15 1:0.708 2:1056 3:-0.3333需要注意的是，如果特征值为0，特征冒号前面的(姑且称做序号)可以不连续。
如：-15 1:0.708 3:-0.3333表明第2个特征值为0，从编程的角度来说，这样做可以减少内存的使用，并提高做矩阵内积时的运算速度。
初步体验libsvm用法3（matlab实例）
初步体验libsvm⽤法3（matlab实例） 本次所讲的是libsvm在matlab中的2个应⽤实例，是本学期模式识别的2个编程作业题。
⼀、16棋盘格数据分类试验⽬的：产⽣16棋盘的训练数据，⽤svm训练出⼀个模型，然后对新来的样本进⾏分类预测。
试验说明：1. 训练数据样本数为1600个，即每个格⼦中随机产⽣100个数据点，分为2类，2种颜⾊分布在16个格⼦中，相交分布。
测试数据样本点数为320个，即每个格⼦中的数据点为20个。
2. 如果分类预测正确，则⽤绿⾊画出，预测错误，则⽤红⾊画出。
实验结果： 产⽣的训练样本分布图如下所⽰： 训练样本分布图如下： 预测结果如下(如果分类正确⽤绿⾊显⽰，否则⽤红⾊显⽰)：实验结果评价指标： 最后的预测准确度，MSE等指标如下所⽰：实验源码即注释：%% 随机产⽣16棋盘格数据点作为训练样本，每个数据格100个样本%%样本数据放在checkerboard_16数组中train_num=100;num=0;for i=1:4for j=1:4num=num+1;yellowflag=mod(num+i,2);%d当redflag=1时，产⽣样本点⽤红⾊表⽰，否则⽤绿⾊表⽰，主要这⾥是num+i对2取模 x=randi([100*(i-1) 100*i],train_num,1); %产⽣100个横坐标y=randi([100*(j-1) 100*j],train_num,1); %产⽣100个列坐标if yellowflagz=randi([11],train_num,1);elsez=randi([00],train_num,1);endcheckerboard_16b(:,:,num)=[x y z];if num==1checkerboard_16=checkerboard_16b(:,:,num);elseif(num>1)checkerboard_16=[checkerboard_16;checkerboard_16b(:,:,num)];%递归调⽤时⼀定要⼩⼼endendend%% 画出产⽣的16棋盘样本训练数据分布⽰意图for k=1:1600if checkerboard_16(k,3)==1plot(checkerboard_16(k,2),checkerboard_16(k,1),'yo');elseplot(checkerboard_16(k,2),checkerboard_16(k,1),'go');endhold on %每次画完后要hold on，当然也可以使plot的2个参数为向量endtitle('训练数据分布');axis([-10420 -20420]);%% ⽤svm训练分类模型checkerboard_16_label=checkerboard_16(:,end);%取出样本类标签checkerboard_16_data=checkerboard_16(:,1:end-1);%取出样本属性model=svmtrain(checkerboard_16_label,checkerboard_16_data)%% 随机产⽣16棋盘格数据点作为训练样本，每个数据格100个样本%%样本数据放在checkerboard_16_test数组中train_num=20;num=0;for i=1:4for j=1:4num=num+1;redflag=mod(num+i,2);%d当redflag=1时，产⽣样本点⽤红⾊表⽰，否则⽤绿⾊表⽰x=randi([100*(i-1) 100*i],train_num,1); %产⽣100个横坐标y=randi([100*(j-1) 100*j],train_num,1); %产⽣100个列坐标if redflagz=randi([11],train_num,1);elsez=randi([00],train_num,1);endcheckerboard_16_test_b(:,:,num)=[x y z];if num==1checkerboard_16_test=checkerboard_16_test_b(:,:,num);elseif(num>1)checkerboard_16_test=[checkerboard_16_test;checkerboard_16_test_b(:,:,num)];%递归调⽤时⼀定要⼩⼼endendend%% 画出%% 画出产⽣的16棋盘样本测试数据分布⽰意图figure;for k=1:320if checkerboard_16_test(k,3)==1plot(checkerboard_16_test(k,2),checkerboard_16_test(k,1),'yo');elseplot(checkerboard_16_test(k,2),checkerboard_16_test(k,1),'go');endhold on %每次画完后要hold on，当然也可以使plot的2个参数为向量endtitle('测试原数据分布');axis([-10420 -20420]);%% ⽤svm进⾏预测checkerboard_16_test_label=checkerboard_16_test(:,end);checkerboard_16_test_data=checkerboard_16_test(:,1:end-1);[checkerboard_16_predict_label,checkerboard_16_accuarcy]=svmpredict(checkerboard_16_test_label,checkerboard_16_test_data,model)%% 画出预测数据样本点的分布,并将预测错误的点⽤红⾊标记出来,正确预测的⽤绿⾊标记出来figure;for k=1:320if checkerboard_16_predict_label(k)==1 && checkerboard_16_test_label(k)==1plot(checkerboard_16_test(k,2),checkerboard_16_test(k,1),'go');elseif checkerboard_16_predict_label(k)==0 && checkerboard_16_test_label(k)==0plot(checkerboard_16_test(k,2),checkerboard_16_test(k,1),'go');elseplot(checkerboard_16_test(k,2),checkerboard_16_test(k,1),'ro');endhold on %每次画完后要hold on，当然也可以使plot的2个参数为向量endtitle('分类预测数据分布');axis([-10420 -20420]);实验总结：由实验结果可知，预测准确度才65.9375%，⽐较低。
Libsvm分类步骤
用svm（libsvm，lssvm、hssvm）等等进行分类预测，要进行三个步骤:1、训练2、测试3、预测
1、训练——大家都知道，就是用训练数据集，不管你采用那种寻优方式，得到相对的最优参数，训练模型。
2、测试——就是用刚刚得到的模型，对测试数据进行测试，此时测试数据集的label是已知的，这主要是用来对刚刚的模型的检测，或者是对参数的检测、或者是对模型的泛化能力的检测。
此时会得到一个准确率，这时的准确率是有用的，是有实际意义的，因为原来的label 是已知的。
3、预测——预测就是对未知类别的样本在测试确定了模型有好的泛化能力的情况下的预测分类，这步才是真的预测能力功能的实现。
此时数据的label随便给了，这样是为了满足libsvm对数据格式的要求。
此时也会得到一个准确率，但是这个是没有实际意义的，因为原始的label是随便给的，没有意义，我们只是关心的是最后得到的类别号——达到分类的目的。
libsvm详细训练步骤
1、正样本的大小一定要与检测窗口大小保持一致。
2、Dalal的训练可以分为3步：a 、正样本图像若干（窗口大小），负样本图像若干，负样本图像的尺寸任意。
从负样本图像的随机位置抽取窗口大小的图像，作为真正参与训练的负样本。
然后从所有样本图像中提取特征（对每一个64*128的图像Dalal提取一个3780维的特征向量），然后用svm训练，得到一个初始的分类器。
b、这一步要在前面的负样本图像中抽取大量的具有窗口尺寸的负样本。
对每一个负样本图像，可以经过若干次缩放处理得到不同层次上的金字塔图像（pyramid），不过要保证其大于等于窗口尺寸。
（这里面就用到了-startscale, -endscale, -scaleratio这三个参数。
）检测窗也可以在这些金字塔图像上平移滑动，每一个位置都对应了一个窗口大小的负样本。
用初始分类器检测这些负样本，记录所有分类错误的负样本，这就是所谓的(hard samples）c、把分类错误的负样本集加入到初始的训练集中，重新训练，生成最终的分类器。
We selected 1239 of the images as positivetraining examples, together with their left-right reflections(2478 images in all). A xed set of 12180 patches sampledrandomly from 1218 person-free training photos providedthe initial negative set. For each detector and parameter combinationa preliminary detector is trained and the 1218 negativetraining photos are searched exhaustively for false positives(`hard examples'). The method is then re-trained usingthis augmented set (initial 12180 + hard examples) to producethe nal detector. The set of hard examples is subsampledif necessary, so that the descriptors of the nal trainingset it into 1.7 Gb of RAM for SVM training.1. 程序介绍和环境设置windows下的libsvm是在命令行运行的Console Program。
SVM训练过程范文
SVM训练过程范文SVM（Support Vector Machine，支持向量机）是一种经典的机器学习算法，用于分类和回归问题。
本文将介绍SVM的训练过程，包括数据预处理、特征选择、模型参数选择和模型训练等步骤。
1.数据预处理首先，我们需要对原始数据进行预处理。
预处理的目的是将原始数据转换为适合SVM模型的格式，并进行一些必要的处理，如特征缩放、离群值处理等。
特征缩放：由于SVM模型是基于欧几里得距离进行计算的，因此特征的尺度差异会严重影响模型的性能。
为了避免这个问题，通常需要对特征进行缩放，使得所有的特征具有相似的尺度。
常用的特征缩放方法包括标准化（将特征缩放到均值为0，方差为1的范围内）和归一化（将特征缩放到[0,1]的范围内）。
离群值处理：离群值是指偏离其他大部分数据点的异常值。
由于SVM 模型对离群值很敏感，它们可能会对模型的性能产生很大的影响。
因此，我们需要进行离群值处理，可以使用统计方法（如Z-score）或基于距离的方法（如LOF）来检测和处理离群值。
2.特征选择特征选择是指选择对目标变量有预测能力的特征。
在实际应用中，往往存在很多冗余或无用的特征，这些特征会增加模型的复杂度，降低模型的泛化能力。
因此，特征选择是非常重要的一步。
常用的特征选择方法包括过滤法、包装法和嵌入法。
过滤法通过统计或相关性分析来评估特征与目标变量之间的关系，并选择相关性较高的特征。
包装法通过给定一个评估准则（如交叉验证分数），从特征子集中选择最优的特征组合。
嵌入法是将特征选择融入模型训练过程中，通过正则化项或特征权重来选择特征。
3.模型参数选择SVM模型有一系列的参数需要选择，包括核函数、正则化参数C和核函数参数等。
选择合适的参数是很关键的，它会直接影响模型的性能。
核函数：SVM模型可以通过核函数来实现非线性决策边界。
常用的核函数包括线性核函数、多项式核函数和径向基函数（RBF）核函数等。
选择合适的核函数需要根据数据的特点和问题的要求来决定。
SVM训练过程范文
SVM训练过程范文SVM（支持向量机）是一种二分类模型，它通过找到一个最优的超平面来将不同的数据样本分开。
在SVM的训练过程中，主要包括数据预处理、特征选择、模型训练和模型评估等步骤。
1.数据预处理：数据预处理是SVM训练的第一步，它包括数据清洗和数据归一化等操作。
数据清洗主要是去除噪声数据、缺失值和异常值等，以提高数据的质量。
数据归一化是将数据调整到同一尺度范围内，以避免模型在训练过程中受到过大或过小的特征影响。
2.特征选择：特征选择是从原始数据中选择最具有代表性和区分性的特征，以减少维度并提高模型的性能。
常用的特征选择方法有相关系数法、卡方检验和互信息等。
选择好的特征可以提高模型的精确度和泛化能力。
3.模型训练：SVM模型训练的核心是寻找一个最优的超平面来将不同类别的样本分开。
在线性可分的情况下，可以通过最小化目标函数求解。
而在线性不可分的情况下，需要引入松弛变量来允许一定程度的分类错误，同时通过引入惩罚项来平衡分类边界的复杂度与分类错误的数量。
常用的惩罚项有L1范数和L2范数。
4.超参数选择：SVM模型中有一些超参数需要在训练过程中选择最优值。
包括正则化参数C、核函数的类型和参数等。
正则化参数C用于平衡分类错误与分类边界的复杂度，过小的C会导致模型过拟合，过大的C会导致模型欠拟合。
选择合适的核函数和参数也会影响模型的性能。
5.模型评估：在训练过程中，需要根据一定的评价指标来评估模型的性能。
常用的评价指标有准确率、召回率、F1值等。
准确率用于衡量分类正确的样本占总样本的比例，召回率用于衡量模型找出的正样本占所有正样本的比例，F1值是准确率和召回率的综合评价指标。
6.参数调优：模型训练完成后，可以通过网格、交叉验证等方法来选择最优的超参数。
网格是指在预定义的超参数范围内进行穷举，然后选择在验证集上性能最好的模型。
交叉验证是将数据集划分为多个子集，然后多次重复训练和验证，以获得更可靠的模型评估结果。
LIBSVM 使用方法简介
LIBSVM 使用方法简介LIBSVM 在给出源代码的同时还提供了Windows操作系统下的可执行文件，包括：进行支持向量机训练的svmtrain.exe；根据已获得的支持向量机模型对数据集进行预测的svmpredict.exe；以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。
它们都可以直接在DOS 环境中使用。
如果下载的包中只有C++的源代码，则也可以自己在VC等软件上编译生成可执行文件。
LIBSVM 使用的一般步骤是：1）按照LIBSVM软件包所要求的格式准备数据集；2）对数据进行简单的缩放操作；3）考虑选用RBF 核函数2 K(x,y) e x y = -g - ；4）采用交叉验证选择最佳参数C与g ；5）采用最佳参数C与g 对整个训练集进行训练获取支持向量机模型；6）利用获取的模型进行测试与预测。
一. LIBSVM 使用的数据格式LIBSVM使用的训练数据和测试数据文件格式如下：：：< value2> …其中是训练数据集的目标值，对于分类，它是标识某类的整数(支持多个类)；对于回归，是任意实数。
是以1 开始的整数，表示特征的序号；为实数，也就是我们常说的特征值或自变量。
当特征值为0 时，特征序号与特征值value都可以同时省略，即index可以是不连续的自然数。
与第一个特征序号、前一个特征值与后一个特征序号之间用空格隔开。
测试数据文件中的label 只用于计算准确度或误差，如果它是未知的，只需用任意一个数填写这一栏，也可以空着不填。
例如：+1 1:0.708 2:1 3:1 4:-0.320 5:-0.105 6:-1 8:1.21二. svmscale 的用法对数据集进行缩放的目的在于：1）避免一些特征值范围过大而另一些特征值范围过小；2）避免在训练时为了计算核函数而计算内积的时候引起数值计算的困难。
因此，通常将数据缩放到[ -1,1]或者是[0,1]之间。
libsvm参数说明
libsvm参数说明（实用版）目录1.LIBSVM 简介2.LIBSVM 参数说明3.LIBSVM 的使用方法4.LIBSVM 的应用场景5.总结正文1.LIBSVM 简介LIBSVM 是一个开源的支持向量机（Support Vector Machine，简称SVM）算法库，它可以帮助我们解决分类和回归问题。
支持向量机是一种非常强大和有效的机器学习算法，它可以在各种领域中得到广泛的应用，如人脸检测、车牌识别等。
2.LIBSVM 参数说明在使用 LIBSVM 时，我们需要了解一些基本的参数，这些参数可以影响模型的性能。
以下是一些常用的 LIBSVM 参数及其说明：- -train：训练数据文件- -test：测试数据文件- -model：模型文件- -param：参数文件- -predict：预测数据文件此外，还有一些其他参数，如-v（显示详细信息）、-n（核函数的阶数）、-c（惩罚参数）等。
通过调整这些参数，我们可以优化模型的性能。
3.LIBSVM 的使用方法使用 LIBSVM 的过程可以分为以下几个步骤：（1）准备数据：将数据分为训练集和测试集，确保数据是线性可分的。
（2）训练模型：使用训练集和相应的参数训练 SVM 模型。
（3）预测结果：使用测试集和训练好的模型进行预测。
（4）评估性能：评估模型的性能，并根据需要调整参数以优化性能。
4.LIBSVM 的应用场景LIBSVM 可以广泛应用于各种分类和回归问题中，如人脸检测、车牌识别、文本分类、图像分类等。
在实际应用中，我们需要根据具体问题选择合适的核函数（如线性核、多项式核、径向基函数等）并调整相关参数，以获得最佳的模型性能。
5.总结总之，LIBSVM 是一个功能强大的支持向量机库，可以帮助我们解决各种分类和回归问题。
svm训练流程
svm训练流程下载温馨提示:该文档是我店铺精心编制而成，希望大家下载以后，能够帮助大家解决实际的问题。
文档下载后可定制随意修改，请根据实际需要进行相应的调整和使用，谢谢!并且，本店铺为大家提供各种各样类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，如想了解不同资料格式和写法，敬请关注!Download tips: This document is carefully compiled by theeditor. I hope that after you download them,they can help yousolve practical problems. The document can be customized andmodified after downloading,please adjust and use it according toactual needs, thank you!In addition, our shop provides you with various types ofpractical materials,such as educational essays, diaryappreciation,sentence excerpts,ancient poems,classic articles,topic composition,work summary,word parsing,copy excerpts,other materials and so on,want to know different data formats andwriting methods,please pay attention!SVM 训练流程一、数据准备阶段。
在进行 SVM 训练之前，首先要进行充分的数据准备工作。
SVM训练过程
SVM训练及预测过程(2012-07-18 20:57:22)转载▼分类：2012.7标签：svm训练预测过程方法网上有很多关于LibSVM的教程，LibSVM提供了多平台下的可执行文件，在win平台下可以直接通过命令行执行，可以利用提供的可执行文件方便的进行离线的训练和预测，这里不再赘述。
这篇文章要做的是把SVM的训练及预测的过程移植到程序当中的方法进行简单阐述，而不是使用提供的可执行文件。
过程首先要建立工程，这里以VC6.0为例，建立好工程后，需要将LibSVM中的svm.h和svm.cpp文件加入到工程当中，文件中包含我们要用到的svm_train,svm_pridect等函数，建立好这些以后需要做的就是填写SVM为我们准备好的模板。
训练的数据以文本识别为依据，将字符定位和切割（字符的定位和切分是需要好好研究的）并且二值化后，就得到如下图的二值化图像，-----我们就可以对二值化图像提取想要的特征，文本识别较为简单，提取简单的特征就可以实现比较好的识别效果，如可以将图片归一化为统一大小后平均分成八部分，计算每一份的黑色像素点数作为特征等，这里选取了125维的向量作为每一幅图像的特征。
做好这些准备工作后，就可以开始SVM模型的训练了，就像做菜，原料准备好了，接下来就是煎炒焖炖了，训练可以分为三步：1、将提取的特征存入一个文本文件当中，方便以后的使用，这里不用特殊的格式，每一幅图像一个特征向量的存好就行了。
2、将提取的特征格式化，SVM训练提取数据的时候需要按照特殊的格式，也就是SVM给我们规定的模板。
SVM包含几个重要的元素：struct svm_problem{int l;//记录样本的总数double *y;//指向样本所属类别的数组struct svm_node **x;//指向一个存储内容为指针的数组};简单的说，svm_problem用来存储本次参加运算的所有样本（数据集）以及所属类别，成员变量l存储样本总数，y存储样本的分类，x存储的是样本的特征值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、正样本的大小一定要与检测窗口大小保持一致。
2、Dalal的训练可以分为3步：a 、正样本图像若干（窗口大小），负样本图像若干，负样本图像的尺寸任意。
从负样本图像的随机位置抽取窗口大小的图像，作为真正参与训练的负样本。
然后从所有样本图像中提取特征（对每一个64*128的图像Dalal提取一个3780维的特征向量），然后用svm训练，得到一个初始的分类器。
b、这一步要在前面的负样本图像中抽取大量的具有窗口尺寸的负样本。
对每一个负样本图像，可以经过若干次缩放处理得到不同层次上的金字塔图像（pyramid），不过要保证其大于等于窗口尺寸。
（这里面就用到了-startscale, -endscale, -scaleratio这三个参数。
）检测窗也可以在这些金字塔图像上平移滑动，每一个位置都对应了一个窗口大小的负样本。
用初始分类器检测这些负样本，记录所有分类错误的负样本，这就是所谓的(hard samples）c、把分类错误的负样本集加入到初始的训练集中，重新训练，生成最终的分类器。
We selected 1239 of the images as positivetraining examples, together with their left-right reflections(2478 images in all). A xed set of 12180 patches sampledrandomly from 1218 person-free training photos providedthe initial negative set. For each detector and parameter combinationa preliminary detector is trained and the 1218 negativetraining photos are searched exhaustively for false positives(`hard examples'). The method is then re-trained usingthis augmented set (initial 12180 + hard examples) to producethe nal detector. The set of hard examples is subsampledif necessary, so that the descriptors of the nal trainingset it into 1.7 Gb of RAM for SVM training.1. 程序介绍和环境设置windows下的libsvm是在命令行运行的Console Program。
所以其运行都是在windows的命令行提示符窗口运行（运行，输入cmd）。
运行主要用到的程序，由如下内容组成：libsvm-2.9/windows/文件夹中的：svm-train.exesvm-predict.exesvm-scale.exelibsvm-2.9/windows/文件夹中的：checkdata.pysubset.pyeasy.pygrid.py另外有：svm-toy.exe，我暂时知道的是用于演示svm分类。
其中的load按钮的功能，是否能直接载入数据并进行分类还不清楚，尝试没有成功；python文件夹及其中的svmc.pyd，暂时不清楚功能。
因为程序运行要用到python脚本用来寻找参数，使用gnuplot来绘制图形。
所以，需要安装python和Gnuplot。
（Python v3.1 Final可从此下载：/detail/33/320958.shtml）（gnuplot可从其官网下载：）为了方便，将gnuplot的bin、libsvm-2.9/windows/加入到系统的path中，如下：gnuplot.JPGlibsvm.JPG这样，可以方便的从命令行的任何位置调用gnuplot和libsvm的可执行程序，如下调用svm-train.exe:pathtest.JPG出现svm-train程序中的帮助提示，说明path配置成功。
至此，libsvm运行的环境配置完成。
下面将通过实例讲解如何使用libsvm进行分类。
2. 使用libsvm进行分类预测我们所使用的数据为UCI的iris数据集，将其类别标识换为1、2、3。
然后，取3/5作为训练样本，2/5作为测试样本。
使用论坛中“将UCI数据转变为LIBSVM使用数据格式的程序”一文将其转换为libsvm所用格式，如下：训练文件tra_iris.txt1 1:5.4 2:3.4 3:1.7 4:0.21 1:5.1 2:3.7 3:1.5 4:0.41 1:4.6 2:3.6 3:1 4:0.21 1:5.1 2:3.3 3:1.7 4:0.51 1:4.8 2:3.4 3:1.9 4:0.2……2 1:5.9 2:3.2 3:4.8 4:1.82 1:6.1 2:2.8 3:4 4:1.32 1:6.3 2:2.5 3:4.9 4:1.52 1:6.1 2:2.8 3:4.7 4:1.22 1:6.4 2:2.9 3:4.3 4:1.3……3 1:6.9 2:3.2 3:5.7 4:2.33 1:5.6 2:2.8 3:4.9 4:23 1:7.7 2:2.8 3:6.7 4:23 1:6.3 2:2.7 3:4.9 4:1.83 1:6.7 2:3.3 3:5.7 4:2.13 1:7.2 2:3.2 3:6 4:1.8……测试文件tes_iris.txt1 1:5.1 2:3.5 3:1.4 4:0.21 1:4.9 2:3 3:1.4 4:0.21 1:4.7 2:3.2 3:1.3 4:0.21 1:4.6 2:3.1 3:1.5 4:0.21 1:5 2:3.6 3:1.4 4:0.21 1:5.4 2:3.9 3:1.7 4:0.4……2 1:7 2:3.2 3:4.7 4:1.42 1:6.4 2:3.2 3:4.5 4:1.52 1:6.9 2:3.1 3:4.9 4:1.52 1:5.5 2:2.3 3:4 4:1.32 1:6.5 2:2.8 3:4.6 4:1.5……3 1:6.3 2:3.3 3:6 4:2.53 1:5.8 2:2.7 3:5.1 4:1.93 1:7.1 2:3 3:5.9 4:2.13 1:6.3 2:2.9 3:5.6 4:1.83 1:6.5 2:3 3:5.8 4:2.2……libsvm的参数选择一直是令人头痛的问题。
不过，对于初学者，如果数据不是很大，在libsvm 的tools文件中为大家提供了easy.py。
它可以自动完成从归一化到参数选择的一切所需操作。
使用方法为：easy.py training_file [testing_file]另外有其他参数选择工具，可以参考tools中的readme说明。
下面，我们先使用easy.py进行分类实验。
（1）使用libsvm进行多分类——利用easy.py工具在使用前，要确保上面环境变量已经配置。
然后将tra_iris.txt、tes_iris.txt拷贝到tools文件夹，以防止写长路径名。
同时，因为gnuplot的安装路径人人都不相同，所以，需要在easy.py 中做相应修改，如下将CODE:else:# example for windowssvmscale_exe = r"..\windows\svm-scale.exe"svmtrain_exe = r"..\windows\svm-train.exe"svmpredict_exe = r"..\windows\svm-predict.exe"gnuplot_exe = r"D:\greensoft\gnuplot\bin\pgnuplot.exe"grid_py = r".\grid.py"中D:\greensoft\gnuplot\bin\pgnuplot.exe，改为你的pgnuplot.exe所在位置。
【syr 补充：在“交叉验证寻找最优参数”之前，需要在grid.py中：CODE:else:# example for windowssvmtrain_exe = r"..\windows\svm-train.exe"gnuplot_exe = r"G:\Program Files\gnuplot\bin\pgnuplot.exe"其中的"G:\Program Files\gnuplot\bin\pgnuplot.exe"改为你的pgnuplot.exe所在的路径。
】接着，“运行”中输入cmd打开命令行，转到\libsvm-2.9\tools所在目录，然后，输入命令CODE:easy.py svmtra_iris.txt svmtes_iris.txt执行，程序会自动调用训练、交叉验证、预测将结果保存到同目录的文件中。
运行情况如下：easy.JPG程序自动寻参情况图示如下：svmtra_iris_scale.png程序执行的结果在svmtes_iris.txt.predict文件中，规范化结果在svmtra_iris.txt.scale.out中。
从运行情况可看出，其预测精度为Accuracy = 96.6667% (58/60)。
libsvm_iris.rar(2009-12-04 09:58:34, Size: 9.34 KB, Downloads: 51)（2）对应上实验，手动使用libsvm进行多分类的方法下面方法是通过分析easy.py所得，均在“运行”cmd命令行执行。
规范化训练样本CODE:svm-scale -s svmtra_iris.txt.range svmtra_iris.txt > svmtra_iris.txt.scale交叉验证寻找最优参数CODE:grid.py -svmtrain svm-train -gnuplot gnuplot svmtra_iris.txt.scale利用寻找的参数训练模型CODE:svm-train -c 8.0 -g 0.03125 svmtra_iris.txt.scale svmtra_iris.txt.model规范化测试样本CODE:svm-scale -r svmtra_iris.txt.range svmtes_iris.txt > svmtes_iris.txt.scale使用模型进行分类预测CODE:svm-predict svmtes_iris.txt.scale svmtra_iris.txt.model svmtes_iris.txt.predictsvm-train、svm-scale、svm-predict等名字为windows文件夹中exe文件的名字。