创新设计云南大学软件学院期末课程报告

云南大学软件学院期末课程报告Final Course ReportSchool of Software, Yunnan University个人成绩学期: 2015春季学期课程名称: 创新设计任课教师:实践题目: 基于k-means算法的分析实现小组长:联系电话:电子邮件:完成提交时间：2015 年7 月 2 日作业截止时间：2015 年7 月 2 日云南大学软件学院2014-2015学年上学期创新设计成绩考核表专业实践课程名称：创新设计指导教师：年级：专业：软件工程学号： 159 姓名：专业实践题目：基于k-means算法的分析和实现综合得分：82 （满分100分）指导教师签名：目录1.项目名称 (1)2.项目立项 (1)3需求分析 (2)3.1需求概述 (2)3.2功能需求 (2)3.3非功能需求 (3)4系统设计 (4)4.1概要设计 (5)4.2总体设计 (6)4.3数据结构设计 (6)5系统实现 (9)6研发成果 (10)7总结 (14)参考文献 (15)附录 (15)1.项目名称基于K-means算法的分析实现2.项目立项面对信息技术的日新月异，人们利用信息技术生产和搜集数据的能力大幅度提高，大量的数据库被用于商业管理、政府办公、科学研究和工程开发等等，要想使数据真正成为一个公司的资源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则大量的数据可能成为包袱，数据挖掘和知识发现技术应运而生，并得以蓬勃发展，越来越显示出其强大的生命力。

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。

人们把原始数据看作是形成知识的源泉，就像从矿石中采矿一样。

原始数据可以是结构化的，如关系数据库中的数据，也可以是半结构化的，如文本、图形、图像数据，甚至是分布在网络上的异构型数据。

发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。

挖掘出的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以用于数据自身的维护。

因此，数据挖掘是一门交叉学科，涉及人工智能技术、统计技术与数据库技术等多种技术。

它汇聚了不同领域的研究者，尤其是数据库、人工智能、数理统计、可视化、并行计算等方面的学者和工程技术人员。

聚类分析将大量数据划分为性质相同的子类，便于了解数据的分布情况。

因此，它广泛应用于模式识别、图像处理、数据压缩等许多领域，例如：①在市场分析中，通过聚类分析能帮助决策者识别不同特征的客户群以及各客户群的行为特征；②在生物工程研究中，聚类分析能够用于推导动植物的分类，按照功能对基因进行划分并获取种群中的固有结构特征；③在非关系数据库领域(如空间数据库领域)，聚类分析能够识别具有相同地理特征的区域以及该区域的环境和人的特征：④在web信息检索领域，聚类分析能够对web文档进行分类，提高检索效率。

3需求分析3.1需求概述聚类分析是数据挖掘中的一个重要研究领域，是一种数据划分或分组处理的重要手段和方法。

聚类无论是在商业领域，还是在生物学、Web文档分类、图像处理等其他领域都得到了有效应用。

目前聚类算法大体上分为基于划分的方法、基于层次的方法、基于密度的方法、基于网络的方法、基于模型的方法以及模糊聚类。

3.2功能需求k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。

聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。

k-means算法的工作过程说明如下：首先从n个数据对象任意选择k个对象作为初始聚类中心，而对于所剩下的其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类。

然后，再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值），不断重复这一过程直到标准测度函数开始收敛为止。

一般都采用均方差作为标准测度函数，具体定义如下：其中E为数据库中所有对象的均方差之和，p为代表对象的空间中的一个点，mi为聚类Ci的均值(p和mi均是多维的)。

公式(1)所示的聚类标准，旨在使所获得的k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。

3.3非功能需求3.3.1可用性（1）对于整个聚类流程，要求对操作有容错性，即使操作没有按照标准的流程操作，但是系统依然能够完成聚类功能。

（2）当正在聚类时发生意外,比如操作者的电脑突然断电或浏览器突然崩溃或服务器方突然发生意外，致使操作过程突然中断，系统要具有记住用户在突然中断之前的数据的功能。

（3）对用户的一些敏感性操作需要具有日志记录的管理。

3.3.2安全性（1）要求对读入文件有一定要求，防止系统崩溃；3.3.3可移植性为保证系统在开发和部署过程中更加方便和安全，对于开发环境和部署环境有一定的要求，开发环境硬件配置不得高于部署环境，保证了系统的可移植性。

3.3.4可靠性系统要求能够7x24连续运行，年非计划宕机时间不高于8个小时，要求能快速的部署，特别是在系统发生故障时，要求可以快速切换到备用机。

4系统设计程序流程：开始选择K个聚类中心计算每一个点到聚类中心之间的距离，并把它归到最近的一个类N重新计算聚类中心点是否收敛Y输出聚类结果结束K-means算法的基本原理k-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型(类别中心)的某种距离和作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。

K-means算法以欧式距离作为相似性测度，它是求对应某一初始聚类中心向量最优分类，使得评价指标Jc值最小。

算法常采用误差平方和准则函数作为聚类准则函数，误差平方和准则函数定义为：。

其中，Mi是类Ci中数据对象的均值，P是类e中的空间点。

分析误差平方和准则函数发现：K-means算法是一个最优化求解问题，目标函数存在着许多局部极小点，只有一个是全局最小点。

目标函数的搜索方向总是沿着误差平方和准则函数减小的方向进行。

不同的初始值使得聚类中心向量v 沿着不同的路径使目标函数减少。

K-means算法采用迭代更新的方法：在每一轮迭代中，依据k个聚类中心将周围的点分别组成k个簇，而重新计算的每个簇的质心(即簇中所有点的平均值，也就是几何中心)将被作为下一轮迭代的参照点。

迭代使得选取的参照点越来越接近真实的簇质心，所以目标函数越来越小，聚类效果越来越好。

k-means算法的java实现：General.java代表要进行聚类的对象,Distance.java距离类计算各个对象到中心K之间的距离,Cluster.java聚类对象包含一个中心点和该聚类中所有的对象,Kmeans.java核心的聚类算法类,Tool.java工具类用于转换对象聚类参数为数字等操作,TestKmeans.java测试类即入口文件,DomParser.java用于读取xml中的681个聚类对象。

具体思路：先从general.xml文件中读取681个要聚类的对象，然后随机选取初始类中心，计算各个对象到中心点的距离，根据最小的距离进行聚类，然后重新根据平均值新的聚类的类中心，重新计算各个武将到新的中心武将的距离，直到更新后的聚类与原来的聚类包含的对象不再改变，即收敛时结束。

4.3数据结构设计原始K-means算法思想描述如下：算法：K-means（S,K），S={x1,x2,······xn}；输入：n个数据对象集合Xi；输出：K个聚类中心Zj及K个聚类数据对象集合Cj；Begin m=1;initialize K protolypes Zj,j ∈[1,K];Repeat For i=1 to n do BeginFor j=1 to n doCompute D(Xi,Zj)=|Xi-Zj|;If D(Xi,Zj)=min[D(Xi,Zj)]thenXi ∈Cj;EndIf m=1 then Jc(m)= ∑k j=1∑|Xi −Zj|Xi ∈Cj *| Xi −Zj |;m=m+1;for j=1 to k do Zj=1/nj ∑x j nji=0; Jc(m)= ∑k j=1∑|Xi −Zj|Xi ∈Cj *| Xi −Zj |;Until|Jc(m)-Jc(m-1) |<$ end在本次学习研究中，我使用的方法是随机生成K 个聚类中心，经过迭代的方法计算聚类，每进行一次操作重新确定聚类的中心一次，直到收敛为止；具体算法描述如下：K-means 算法是将样本聚类成k 个簇（cluster ），具体算法描述如下：1、 随机生成k 个聚类质心点（cluster centroids ）为2、 重复下面过程直到收敛 {对于每一个样例i ，计算其应该属于的类对于每一个类j，重新计算该类的质心}K是我们事先给定的聚类数，c（i）代表样例i与k个类中距离最近的那个类，c（i）的值是1到k中的一个。

质心uj代表我们对属于同一个类的样本中心点的猜测，拿星团模型来解释就是要将所有的星星聚成k个星团，首先随机选取k个宇宙中的点（或者k个星星）作为k个星团的质心，然后第一步对于每一个星星计算其到k个质心中每一个的距离，然后选取距离最近的那个星团作为c （i），这样经过第一步每一个星星都有了所属的星团；第二步对于每一个星团，重新计算它的质心uj（对里面所有的星星坐标求平均）。

重复迭代第一步和第二步直到质心不变或者变化很小。

下图展示了对n个样本点进行K-means聚类的效果，这里k取2。

K-means面对的第一个问题是如何保证收敛，前面的算法中强调结束条件就是收敛，可以证明的是K-means完全可以保证收敛性。

下面我们定性的描述一下收敛性，我们定义畸变函数（distortion function）如下：5系统实现主要代码展示：（1）随机产生N个聚类public Set<Integer> firstRandom() {Set<Integer> center = new HashSet<Integer>();// 聚类中心的点的id,采用set保证不会有重复idRandom ran = new Random();int roll = ran.nextInt(totalNumber);while (center.size() < K) {roll = ran.nextInt(totalNumber);center.add(roll);}return center;}（2）对对象进行聚类public ArrayList<Cluster> juLei(Set<Integer> center,ArrayList<Cluster> cluster) {ArrayList<Distance> distence = new ArrayList<Distance>();// 存放距离信息,表示每个点到各个中心点的距离组成的数组（3）重新聚类public ArrayList<Cluster> updateJuLei(ArrayList<Cluster> update,ArrayList<Cluster> cluster) {ArrayList<Distance> distence = new ArrayList<Distance>();// 存放距离信息,表示每个点到各个中心点的距离组成的数组6研发成果首先 3 个中心点被随机初始化，所有的数据点都还没有进行聚类，默认全部都标记为红色，如下图所示：然后进入第一次迭代：按照初始的中心点位置为每个数据点着上颜色，重新计算 3 个中心点，结果如下图所示：可以看到，由于初始的中心点是随机选的，这样得出来的结果并不是很好，接下来是下一次迭代的结果：可以看到大致形状已经出来了。