机器学习SVM(支持向量机)实验报告

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

.

.

实验报告

实验名称:机器学习:线性支持向量机算法实现

学员:张麻子学号: *********** 培养类型:硕士年级:

专业:所属学院:计算机学院

指导教员: ****** 职称:副教授

实验室:实验日期:

.

.

一、实验目的和要求

实验目的:验证SVM(支持向量机)机器学习算法学习情况

要求:自主完成。

二、实验内容和原理

支持向量机(Support V ector Machine, SVM)的基本模型是在特征空间上找到最

佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。

但本次实验只针对线性二分类问题。

SVM算法分割原则:最小间距最大化,即找距离分割超平面最近的有效点距离超平面距离和最大。

对于线性问题:

w T x+b=0

假设存在超平面可最优分割样本集为两类,则样本集到超平面距离为:

ρ = min{|w T x+b|

||w||

}=

a

||w||

需压求取:

max

a ||w||

s.t. y i(w T x+b)≥a 由于该问题为对偶问题,可变换为:

min 1

2

||w||2

s.t. y i(w T x+b)≥1

可用拉格朗日乘数法求解。

但由于本实验中的数据集不可以完美的分为两类,即存在躁点。可引入正则化参数C,用来调节模型的复杂度和训练误差。

.

.

min 1

2||w||2+C ∑εi

s.t. y i (w T x +b)≥1−εi ,

εi >0

作出对应的拉格朗日乘式:

对应的KKT条件为:

故得出需求解的对偶问题:

{min 1∑∑αi αj y i y j (x i T x j )−∑αi

s.t. ∑αi y j = 0 , C≥αi ≥0,

本次实验使用python 编译器,编写程序,数据集共有270个案例,挑选其中70%作为训练数据,剩下30%作为测试数据。进行了两个实验,一个是取C值为1,直接进行SVM训练;另外一个是利用交叉验证方法,求取在前面情况下的最优C值。

三、实验器材

实验环境:windows7操作系统+python 编译器。

.

.

四、实验数据(关键源码附后)

实验数据:来自UCI机器学习数据库,以Heart Disease数据集为例。

五、操作方法与实验步骤

1、选取C=1,训练比例7:3,利用python库sklearn下的SVM()函数进

行训练,后对测试集进行测试;

2、选取训练比例7:3,C=np.linspace(0.0001, 1, 30)}。利用交叉验证方法求出C值的最优解。

六、实验结果与分析

实验一得出结果:

可见,训练集的正确率是0.8677248677248677,小于1,说明训练集存在躁点,需要选择性的排出,才能得到较好的训练效果,测试集正确率达到了0.8271604938271605,还须进一步提高。

实验二得出结果:

.

. 可见,在上述情况下,当C=0.06905862068965518时,可得到较好的训练效果。

七、问题与建议 (可选)

本次实验只是对SVM在线性空间的应用,还有非线性问题,多分类问题等。

通过研究了解到,对于非线性问题,需要加入核函数;对于多分类问题,需要重新调整模型

八、附录(源代码)

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import matplotlib as mpl

from sklearn import svm

from sklearn.model_selection import train_test_split, GridSearchCV

from sklearn.metrics import classification_report

def LoadData(path):

data = np.loadtxt(path, dtype=float, delimiter=' ')

return data

def Once_SVM(data, c=0.1, train_rate=0.7):

.

x, y = np.split(data, (13,), axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y,

random_state=0, train_size=train_rate)

clf = svm.SVC(C=c, kernel='linear', decision_function_shape='ovo') clf.fit(x_train, y_train.ravel())

print(u'C值: ', c)

print(u'训练集正确率: ', clf.score(x_train, y_train)) # 精度

print(u'测试集正确率: ', clf.score(x_test, y_test))

print(u'测试集预测结果:')

y_hat = clf.predict(x_test)

print(y_hat)

print(u'测试集真实结果:')

print(y_test.T)

def CrossValidation_SVM(data, train_rate=0.7):

x, y = np.split(data, (13,), axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y,

random_state=0, train_size=train_rate)

tuned_parameters = [{'kernel': ['linear'], 'C': np.linspace(0.0001, 1, 30)}]

# 构造这个GridSearch的分类器,5-fold

clf = GridSearchCV(svm.SVC(), tuned_parameters, cv=5,

scoring='accuracy')

clf.fit(x_train, y_train.ravel())

print(u'最优参数:')

.

相关文档
最新文档