数据挖掘实训总结报告

项目1：基于sklearn的数据分类挖掘

一、项目任务

①熟悉sklearn数据挖掘的基本功能。

②进行用朴素贝叶斯、KNN、决策树C4.5、SVM算法进行数据分类分析。

二、项目环境及条件

➢sklearn-0.18.0

➢python-2.7.13

➢numpy-1.11.3+mkl-cp27-cp27m-win_amd64

➢scipy-0.19.0-cp27-cp27m-win_amd64

➢matplotlib-1.5.3-cp27-cp27m-win_amd64

三、实验数据

Iris数据集

Iris数据集是常用的分类实验数据集，由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性。可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类。

Digits数据集

美国著名数据集NIST的子集，模式识别常用实验数据集，图像属于灰度图像。分辨率为8x8

四、项目内容及过程

1.读取数据集

从sklearn中读取iris和digits数据集并测试打印

from sklearn import datasets

iris = datasets.load_iris()

digits = datasets.load_digits()

print 'iris:',iris.data,'\ndigits:',digits.data

打印的数据集存在numpy.ndarray中，ndarray会自动省略较长矩阵的中间部分。

Iris数据集的样本数据为其花瓣的各项属性

Digits数据集的样本数据为手写数字图像的像素值

2.划分数据集

引入sklearn的model_selection使用train_test_split划分digits数据集，训练集和测试集比例为8:2

from sklearn.model_selection import train_test_split

x_train,x_test,y_train,y_test=train_test_split(digits.data,digits.target,test_size=0.2)

print 'x_train:',x_train,'\nx_test:',x_test,'\ny_train:',y_train,'\ny_test:',y_test

3.使用KNN和SVM对digits测试集分类

引用sklearn的svm.SVC和neighbors.KNeighborsClassifier模块调用算法，使用classification_report查看预测结果的准确率和召回率

from sklearn.metrics import classification_report

from sklearn import neighbors

clf = neighbors.KNeighborsClassifier()

clf.fit(x_train,y_train)

y_pred=clf.predict(x_test)

print classification_report(y_test, y_pred)

from sklearn.svm import SVC

clf = SVC()

clf.fit(x_train,y_train)

y_pred=clf.predict(x_test)

print classification_report(y_test, y_pred)

KNN的预测结果：所有数字的预测正确率几乎达到了100%

SVM的预测结果：对部分数字的预测误差较大，基本情况不如KNN

考虑SVM分类器的特性，在分类前对特征值进行标准化后再分类：from sklearn import preprocessing

min_max_scaler = preprocessing.MinMaxScaler()

x_train = min_max_scaler.fit_transform(x_train)

x_test = min_max_scaler.fit_transform(x_test)

标准化数据后SVM的预测结果达到了KNN的准度：

4.使用贝叶斯和决策树对iris数据集分类

from sklearn.model_selection import train_test_split

x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,test_size=0.4) from sklearn.metrics import classification_report

from sklearn import naive_bayes

clf = naive_bayes.GaussianNB()

clf.fit(x_train,y_train)

y_pred=clf.predict(x_test)

print classification_report(y_test, y_pred)

from sklearn import tree

clf = tree.DecisionTreeClassifier()

clf.fit(x_train,y_train)

y_pred=clf.predict(x_test)

print classification_report(y_test, y_pred)