机器学习SVM(支持向量机)实验报告
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
.
.
实验报告
实验名称:机器学习:线性支持向量机算法实现
学员:张麻子学号: *********** 培养类型:硕士年级:
专业:所属学院:计算机学院
指导教员: ****** 职称:副教授
实验室:实验日期:
.
.
一、实验目的和要求
实验目的:验证SVM(支持向量机)机器学习算法学习情况
要求:自主完成。
二、实验内容和原理
支持向量机(Support V ector Machine, SVM)的基本模型是在特征空间上找到最
佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。
但本次实验只针对线性二分类问题。
SVM算法分割原则:最小间距最大化,即找距离分割超平面最近的有效点距离超平面距离和最大。
对于线性问题:
w T x+b=0
假设存在超平面可最优分割样本集为两类,则样本集到超平面距离为:
ρ = min{|w T x+b|
||w||
}=
a
||w||
需压求取:
max
a ||w||
s.t. y i(w T x+b)≥a 由于该问题为对偶问题,可变换为:
min 1
2
||w||2
s.t. y i(w T x+b)≥1
可用拉格朗日乘数法求解。
但由于本实验中的数据集不可以完美的分为两类,即存在躁点。可引入正则化参数C,用来调节模型的复杂度和训练误差。
.
.
min 1
2||w||2+C ∑εi
s.t. y i (w T x +b)≥1−εi ,
εi >0
作出对应的拉格朗日乘式:
对应的KKT条件为:
故得出需求解的对偶问题:
{min 1∑∑αi αj y i y j (x i T x j )−∑αi
s.t. ∑αi y j = 0 , C≥αi ≥0,
本次实验使用python 编译器,编写程序,数据集共有270个案例,挑选其中70%作为训练数据,剩下30%作为测试数据。进行了两个实验,一个是取C值为1,直接进行SVM训练;另外一个是利用交叉验证方法,求取在前面情况下的最优C值。
三、实验器材
实验环境:windows7操作系统+python 编译器。
.
.
四、实验数据(关键源码附后)
实验数据:来自UCI机器学习数据库,以Heart Disease数据集为例。
五、操作方法与实验步骤
1、选取C=1,训练比例7:3,利用python库sklearn下的SVM()函数进
行训练,后对测试集进行测试;
2、选取训练比例7:3,C=np.linspace(0.0001, 1, 30)}。利用交叉验证方法求出C值的最优解。
六、实验结果与分析
实验一得出结果:
可见,训练集的正确率是0.8677248677248677,小于1,说明训练集存在躁点,需要选择性的排出,才能得到较好的训练效果,测试集正确率达到了0.8271604938271605,还须进一步提高。
实验二得出结果:
.
. 可见,在上述情况下,当C=0.06905862068965518时,可得到较好的训练效果。
七、问题与建议 (可选)
本次实验只是对SVM在线性空间的应用,还有非线性问题,多分类问题等。
通过研究了解到,对于非线性问题,需要加入核函数;对于多分类问题,需要重新调整模型
八、附录(源代码)
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn import svm
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.metrics import classification_report
def LoadData(path):
data = np.loadtxt(path, dtype=float, delimiter=' ')
return data
def Once_SVM(data, c=0.1, train_rate=0.7):
.
x, y = np.split(data, (13,), axis=1)
x_train, x_test, y_train, y_test = train_test_split(x, y,
random_state=0, train_size=train_rate)
clf = svm.SVC(C=c, kernel='linear', decision_function_shape='ovo') clf.fit(x_train, y_train.ravel())
print(u'C值: ', c)
print(u'训练集正确率: ', clf.score(x_train, y_train)) # 精度
print(u'测试集正确率: ', clf.score(x_test, y_test))
print(u'测试集预测结果:')
y_hat = clf.predict(x_test)
print(y_hat)
print(u'测试集真实结果:')
print(y_test.T)
def CrossValidation_SVM(data, train_rate=0.7):
x, y = np.split(data, (13,), axis=1)
x_train, x_test, y_train, y_test = train_test_split(x, y,
random_state=0, train_size=train_rate)
tuned_parameters = [{'kernel': ['linear'], 'C': np.linspace(0.0001, 1, 30)}]
# 构造这个GridSearch的分类器,5-fold
clf = GridSearchCV(svm.SVC(), tuned_parameters, cv=5,
scoring='accuracy')
clf.fit(x_train, y_train.ravel())
print(u'最优参数:')
.