数据挖掘聚类算法课程设计报告

数据挖掘聚类问题(Plants Data Set)实验报告

1.数据源描述

1.1数据特征

本实验用到的是关于植物信息的数据集，其中包含了每一种植物(种类和科属)以及它们生长的地区。数据集中总共有68个地区，主要分布在美国和加拿大。一条数据(对应于文件中的一行)包含一种植物(或者某一科属)及其在上述68个地区中的分布情况。可以这样理解，该数据集中每一条数据包含两部分内容，如下图所示。

图1 数据格式

例如一条数据:abronia fragrans,az,co,ks,mt,ne,nm,nd,ok,sd,tx,ut,wa,wy。其中abronia fragrans是植物名称(abronia是科属，fragrans是名称)，从az一直到wy 是该植物的分布区域，采用缩写形式表示，如az代表的是美国Arizona州。植物名称和分布地区用逗号隔开，各地区之间也用逗号隔开。

1.2任务要求

聚类。采用聚类算法根据某种特征对所给数据集进行聚类分析，对于聚类形成的簇要使得簇内数据对象之间的差异尽可能小，簇之间的差距尽可能大。

2.数据预处理

2.1数据清理

所给数据集中包含一些对聚类过程无用的冗余数据。数据集中全部数据的组织结构是：先给出某一科属的植物及其所有分布地区，然后给出该科属下的具体植物及其分布地区。例如：

①abelmoschus,ct,dc,fl,hi,il,ky,la,md,mi,ms,nc,sc,va,pr,vi

②abelmoschus esculentus,ct,dc,fl,il,ky,la,md,mi,ms,nc,sc,va,pr,vi

③abelmoschus moschatus,hi,pr

上述数据中第①行给出了所有属于abelmoschus这一科属的植物的分布地区，接下来的②③两行分别列出了属于abelmoschus科属的两种具体植物及其分布地区。从中可以看出后两行给出的所有地区的并集正是第一行给出的地区集合。在聚类过程中第①行数据是无用的，因此要对其进行清理。

2.2数据变换

本实验是依据植物的分布区域进行聚类，所给数据集中的分布区域是字符串形式，不适合进行聚类，因此将其变换成适合聚类的数值形式。具体思想如下：数据集中总共包含68个区域，每一种植物的分布区域是这68个区域中的一部分。本实验中将68个区域看成是数据对象的68个属性，这68个属性是二元类型的变量，其值只能去0或者1。步骤如下：

1.把68个区域按一定顺序存放在字符串数组(记为str)中(顺序可以自己定，确定后不能改变)。

2.为数据集中的每个数据对象设置一个长度为68字符串数组，初始元素值全为0。将数据对象的分布区域逐个与str中的所有元素比较。如果存在于str 中下标i的位置，就将该数据对象的字符串数组的第i位置为1。

例如，一个数据对象为：abies fraseri,ga,nc,tn,va。其分布区域包含ga,nc,tn和va四个地区，将这四个地区逐个与str中全部68个元素比较。假设这四个地区分别存在于str中的第0,1,2,3位置，则将为该数据对象设置的字符串数组中第0,1,2,3位置全部置为1。

★数据预处理代码(包括数据清理和数据变换)：

public ArrayList getRaw_DataSet() {

ArrayList raw_dataSet = new ArrayList();// 定义集合存储从本地获取的数据

BufferedReader bufferedReader = null;

FileReader fileReader = null;

File dataFile = new File(this.fileName);

if (dataFile.exists()) {// 如果数据文件存在

try {

fileReader = new FileReader(this.fileName);

bufferedReader = new BufferedReader(fileReader);

String data = null;

while ((data = bufferedReader.readLine()) != null) {

if (isRightData(data))

raw_dataSet.add(data);

}

} catch (Exception e) {

e.printStackTrace();

}

} else

this.isFileExit = false;

return raw_dataSet;

}// getRaw_DataSet,从本地txt文件获取数据集

public ArrayList getFinished_DataSet() {// 获取经过预处理，用来进行聚类的数据

ArrayList finished_DataSet = new ArrayList();

ArrayList temp_DataSet = this.getRaw_DataSet();

for (int i = 0; i < temp_DataSet.size(); i++) {

ArrayList eachRomItem = null;

eachRomItem = this.spilt(temp_DataSet.get(i), ',');// 除去","后的每一行数据

DataItem data_Item = new DataItem(eachRomItem, true);

finished_DataSet.add(data_Item);

}// for

return finished_DataSet;

}

public boolean isRightData(String data) {// 筛选出合适的数据

ArrayList tempArrayList = new ArrayList();

tempArrayList = spilt(data, ' ');

if (tempArrayList.size() <= 1)

return false;

return true;

}// isRightData,筛选出合适的数据

public ArrayList spilt(String str, char ch) {

ArrayList words = new ArrayList();// 用来存放找到的单词int beginIndex = 0;

for (int i = 0; i < str.length(); i++) {

if (str.charAt(i) != ch) {

if (i != str.length() - 1)

continue;

else {

words.add(str.substring(beginIndex));

}

} else {

String temp = str.substring(beginIndex, i);

words.add(temp);

beginIndex = i + 1;

}

}// for

return words;

}