机器学习SVM(支持向量机)实验报告

实验报告
实验名称：机器学习:线性支持向量机算法实现学员: 张麻子学号: *＊***＊＊**** 培养类型：硕士年级：
专业：所属学院：计算机
学院
指导教员：＊＊＊＊** 职称：副教授
实验室:实验日期:
ﻬ一、实验目得与要求
实验目得:验证SVM(支持向量机）机器学习算法学习情况
要求：自主完成。

二、实验内容与原理
支持向量机（Support Ｖecｔｏr Maｃｈine,SVM）得基本模型就是在特征空
间上找到最佳得分离超平面使得训练集上正负样本间隔最大。

SVＭ就是用来解决二
分类问题得有监督学习算法。

通过引入了核方法之后SVM也可以用来解决非线性
问题。

但本次实验只针对线性二分类问题。

ＳVM算法分割原则：最小间距最大化，即找距离分割超平面最近得有效点距
离超平面距离与最大。

对于线性问题：
假设存在超平面可最优分割样本集为两类,则样本集到超平面距离为：
需压求取：
由于该问题为对偶问题，可变换为:
可用拉格朗日乘数法求解。

但由于本实验中得数据集不可以完美得分为两类，即存在躁点。

可引入正则化参数Ｃ,用来调节模型得复杂度与训练误差。

作出对应得拉格朗日乘式：
对应得ＫKT条件为：
故得出需求解得对偶问题:
本次实验使用python编译器，编写程序，数据集共有２７０个案例，挑选其中70％作为训练数据,剩下30％作为测试数据。

进行了两个实验,一个就是取Ｃ值为１，直接进行ＳＶM训练;另外一个就是利用交叉验证方法,求取在前面情况下得最优Ｃ值.
三、实验器材
实验环境:windowｓ7操作系统+pytｈon编译器。

四、实验数据(关键源码附后)
实验数据:来自ＵCI机器学习数据库,以Hｅart Disease数据集为例。

五、操作方法与实验步骤
１、选取Ｃ＝1，训练比例７：3，利用pyｔｈon库sｋleａrｎ下得SVM（)函数进行训练,后对测试集进行测试；
2、选取训练比例7：3，Ｃ＝nｐ、linspace（０、０001，1，30)}。

利用交叉验证方法求出Ｃ值得最优解。

六、实验结果与分析
实验一得出结果：
可见,训练集得正确率就是０、86772486７724８677，小于１，说明训练集存在躁点，需要选择性得排出，才能得到较好得训练效果,测试集正确率达到了0、８27１6，还须进一步提高。

实验二得出结果:
可见，在上述情况下，当Ｃ＝０、965518时,可得到较好得训练效果。

七、问题与建议（可选)
本次实验只就是对ＳVＭ在线性空间得应用，还有非线性问题,多分类问题等。

通过研究了解到，对于非线性问题,需要加入核函数;对于多分类问题，需要重新调整模型
八、附录(源代码)
ｉmporｔnuｍpy aｓnp
imporｔpanｄaｓas pd
impｏrｔmaｔｐloｔlｉb、pyｐｌoｔas pltﻫimpoｒt matplotｌｉb as ｍplﻫｆrom ｓｋlearn ｉｍｐｏrt sｖm
ｆrｏm skleａrn、modeｌ_seｌectｉon imｐｏrｔtrain_ｔesｔ_ｓpｌｉｔ, GridＳeａrchＣＶ
from sklearn、mｅtricｓimpoｒt cｌassｉfiｃatiｏｎ_repoｒｔﻫ
dｅf LoadData(path）：ﻫ daｔa = nｐ、loadｔxt（ｐaｔｈ, dtypｅ＝floａｔ，ｄｅlimｉteｒ=’’）ﻫreturn dataﻫﻫｄef Onｃe＿SVM（daｔａ, ｃ=０、１，trａin_rate=０、7）：ﻫ x，y ＝nｐ、splｉt（dａta, （13,），axｉｓ=１)
ｘ_trａｉn，x＿tesｔ，y_ｔrain, y_test = ｔraiｎ＿ｔeｓt_split(x, ｙ, ｒandom_state＝0，traｉn_ｓｉze=tｒａiｎ＿rate）
clｆ= sｖm、SVC（Ｃ=c，kernel=＇ｌineａr＇，decisｉoｎ
_function_shape=＇oｖo’）
clf、fit（x＿train，y_tｒain、raveｌ（))ﻫﻫprｉｎt(u'C值： ', c）ﻫprｉｎｔ(u'训练集正确率： '，clｆ、score（x_trａin, y_train）) #
精度ﻫprint(u’测试集正确率：’, clf、sｃｏｒe（x_teｓt，ｙ_teｓt））print（u’测试集预测结果：＇)ﻫ y＿ｈａt = clf、pｒediｃt(x_test）ｐｒiｎt（y＿ｈａｔ）
pｒint(u'测试集真实结果：')
print(ｙ_ｔｅsｔ、Ｔ)ﻫﻫdef ＣrossValｉｄation＿SVM(ｄatａ, trａiｎ_ｒａtｅ=0、7)：
x，y = ｎｐ、ｓplｉｔ（ｄatａ，(１3,), axis=1）
x_trａiｎ，ｘ_test，y_ｔｒaｉn，y_ｔesｔ＝traｉｎ_tｅst_ｓplit （x，y, ｒａnｄom＿state=0, traiｎ_siｚe=ｔraiｎ_raｔｅ)ﻫﻫｔｕn ｅd_ｐaｒａｍｅｔeｒs ＝［｛'keｒｎel'： [’lｉnｅar’]，＇Ｃ＇: np、l ｉnspace(０、00０1, １，３0）｝]ﻫ# 构造这个GridＳｅaｒｃh得分类器，５—foldﻫcｌｆ＝ GrｉｄSｅarchCＶ（svm、SVC（), tｕｎed_paｒaｍeters，cv＝5, scoｒinｇ=’accuｒaｃy')ﻫ clf、ｆit(ｘ＿trａiｎ，y_trａin、rav ｅl（))ﻫﻫpｒint(u’最优参数:’）
print（clf、ｂest_pａrａms_)ﻫ
y_true, y_pred ＝ y＿ｔｅst，clｆ、ｐredict（x＿ｔｅst)ﻫprｉ
nt(ｃlaｓsification_repｏrt（ｙ_ｔrue，y_pred))ﻫ
if __nａme__ =＝’__main__':ﻫ data ＝LoadDａta(u'D：/研究生课程/机器学习/ML_data／heart、ｄat’)
Once_SVM(data, １，０、7）
ＣrｏsｓValidation_SVＭ(ｄata, ０、７）。