(完整版)聚类算法总结
常用的聚类算法及聚类算法评价指标
常⽤的聚类算法及聚类算法评价指标1. 典型聚类算法1.1 基于划分的⽅法代表：kmeans算法·指定k个聚类中⼼·（计算数据点与初始聚类中⼼的距离）·（对于数据点，找到最近的{i}ci(聚类中⼼)，将分配到{i}ci中）·(更新聚类中⼼点，是新类别数值的均值点)·（计算每⼀类的偏差）·返回返回第⼆步1.2 基于层次的⽅法代表：CURE算法·每个样本作为单独的⼀个类别··合并,为·遍历完本次样本，合并成新的类别后，若存在多个类别，则返回第⼆步·遍历完本次样本，合并成新的类别后，若所有样本为同⼀类别，跳出循环，输出每层类别1.3 基于⽹格的⽅法代表：STING算法·将数据集合X划分多层⽹格结构，从某⼀层开始计算·查询该层⽹格间的属性值，计算属性值与阈值的关系，判定⽹格间的相关情况，不相关的⽹格不作考虑·如果⽹格相关，则进⼊下⼀层的相关区域继续第⼆步，直到下⼀层为最底层·返回相关⽹格结果1.4 基于密度的⽅法代表：DBSCAN算法·输⼊数据集合X，随机选取⼀点，并找出这个点的所有⾼密度可达点·遍历此点的所有邻域内的点，并寻找这些密度可达点，判定某点邻域内的点，并寻找这些点密度可达点，判定某点的邻域内的点数是否超过阈值点数，超过则构成核⼼点·扫描数据集，寻找没有被聚类的数据点，重复第⼆步·输出划分的类，并输出异常值点（不和其他密度相连）1.5 神经⽹络的⽅法代表：SOM算法·数据集合，权重向量为，，归⼀化处理·寻找获胜的神经元，找到最⼩距离，对于每⼀个输⼊数据，找到与之最相匹配的节点令为为的距离，更新权重：·更新临近节点，，其中代表学习率1.6 基于图的聚类⽅法代表：谱聚类算法·计算邻接矩阵，度矩阵，·计算拉普拉及矩阵·计算归⼀化拉普拉斯矩阵·计算的特征值和特征向量·对Q矩阵进⾏聚类，得到聚类结果2. 聚类算法的评价指标⼀个好的聚类⽅法可以产⽣⾼品质簇，是的簇内相似度⾼，簇间相似度低。
常用的聚类算法
常用的聚类算法
1聚类算法概述
聚类算法是一种无监督学习算法，它可以根据样本的内在特征将它们分组到不同的簇中，而不需要人工的参与。
它的实质是把同类的对象划分到同一个簇，把不同类的对象分到不同的簇，以达到将类似的物体进行自动分组的目的。
聚类的结果要求能将类似的对象划分到同一簇，而将不同的对象划分到不同簇，相邻簇中可以有极少数据点的相异。
2常用聚类算法
1.K-Means
K-means是最流行的聚类算法，它简单、速度快，可以根据数据特征把数据点分成K个不同簇，是一种基于划分的聚类算法。
2.层次聚类算法
层次聚类算法是一种树形聚类算法，将数据按照层级结构编码成树结构，采用分支和合并的方法，将给出的数据逐步聚合。
3.谱聚类算法
谱聚类算法对密集网络数据具有很好的分类能力，将相似性LR矩阵作为分析基础，使用其提取节点之间的相似程度，将节点分为多个簇。
4.EM聚类算法
EM聚类算法是一种高效的聚类算法，主要利用期望最大算法，利用概率模型对数据进行聚类，通过计算数据的对应度和估计模型参数，将数据划分到若干个类中。
总的来说，聚类算法最终的目的都是将一些数据表示的对象，根据某种特征的相似性，划分到不同的组中，以构建一种新的结构，使具有相似特征的样本分为一组，从而帮助更好地理解数据并协助作出正确的决策。
数据分析中的聚类算法
数据分析中的聚类算法在当今数据风暴的时代，海量数据给人们的工作和生活带来了极大的便利，但同时也对我们的数据分析能力提出了更高的要求。
如果我们能够从海量数据中发现其中隐藏的规律和规律，在不断的迭代中，我们可逐步做出更优的决策，从而获得更好的效果和竞争优势。
而聚类算法便是众多数据分析算法中的一种，是一种非监督式学习方法，旨在将数据对象分成若干个互不重叠的类簇，每个类簇中的对象比较相似，而不同类簇之间的对象差异较大。
以下我们将从聚类的基本原理到算法实现的方法进行讲解。
一、聚类算法的基本原理1. 相似性度量聚类算法以相似性度量为基础，也就是通过某些距离、相似性或差异指标来计算数据对象之间的差异程度，然后根据这些度量标准将不同的对象分到不同的类别中。
一般来说，相似性度量可以通过欧式距离、曼哈顿距离、余弦相似性等方式来实现，选择哪种方法取决于数据的特点和需求。
2. 类划分准则聚类算法的目标是将数据对象分成若干个互不重叠的类，不同的类之间相似度较低。
类划分准则是指在相似性度量的基础上，通过某些自定义规则或指标来进行类的划分。
例如，常见的划分准则有最小距离法、最大距离法、平均距离法等。
3. 类中心表示聚类算法需要对划分出的每一个类进行表示，也就是通过某些方式来描述每一个类的中心、半径、密度等。
因为类中的数据对象最好是以某种数学中心来表示，这样如果我们需要针对这一类进行一些数据统计，可以方便地计算每个类的中心值和离差，进行数据分析和决策。
二、聚类算法的主要流派1. 划分聚类算法划分聚类算法是指先初始化一些聚类中心点，然后通过迭代过程不断将数据对象划分到最优的聚类中心点上。
其优点是计算效率高、实现简单，但其缺点也很明显，就是对聚类中心点的选择非常敏感，可能会导致分类结果波动较大，难以保证分类结果的准确度。
最常用的划分聚类算法是 k 均值聚类算法，它是一种通过不断迭代的方式不断调整聚类中心点位置的算法，例如：假设我们想将数据分为 k 类，首先需要随机选择 k 个中心点，然后通过计算每个数据对象和 k 个中心点之间的距离来确定每个对象所属的类别，直到聚类中心点不再变化或达到预先设定的迭代次数为止。
聚类算法一（Kmeans、层次类聚、谱类聚）
聚类算法⼀（Kmeans、层次类聚、谱类聚）⼀、 K-means 1、基础1 Clustering 中的经典算法，数据挖掘⼗⼤经典算法之⼀2 算法接受参数 k ；然后将事先输⼊的n个数据对象划分为 k个聚类以便使得所获得的聚类满⾜： 同⼀聚类中的对象相似度较⾼；⽽不同聚类中的对象相似度较⼩。
3 算法思想：以空间中k个点为中⼼进⾏聚类，对最靠近他们的对象归类。
通过迭代的⽅法，逐次更新各聚类中⼼的值，直⾄得到最好的聚类结果4 算法描述：（1）适当选择c个类的初始中⼼；（2）在第k次迭代中，对任意⼀个样本，求其到c各中⼼的距离，将该样本归到距离最短的中⼼所在的类；（3）利⽤均值等⽅法更新该类的中⼼值；（4）对于所有的c个聚类中⼼，如果利⽤（2）（3）的迭代法更新后，值保持不变，则迭代结束；否则，则继续迭代。
2、算法流程：输⼊：k, data[n];（1）选择k个初始中⼼点，例如c[0]=data[0],…c[k-1]=data[k-1];（2）对于data[0]….data[n], 分别与c[0]…c[k-1]⽐较，假定与c[i]差值最少，就标记为i;（3）对于所有标记为i点，重新计算c[i]={ 所有标记为i的data[j]之和}/标记为i的个数；（4）重复(2)(3),直到所有c[i]值的变化⼩于给定阈值。
3、优缺点 优点：速度快，简单 缺点：最终结果跟初始点选择相关，容易陷⼊局部最优，需直到k值⼆、层次类聚 上篇k-means算法却是⼀种⽅便好⽤的聚类算法，但是始终有K值选择和初始聚类中⼼点选择的问题，⽽这些问题也会影响聚类的效果。
为了避免这些问题，我们可以选择另外⼀种⽐较实⽤的聚类算法-层次聚类算法。
顾名思义，层次聚类就是⼀层⼀层的进⾏聚类，可以由上向下把⼤的类别（cluster）分割，叫作分裂法；也可以由下向上对⼩的类别进⾏聚合，叫作凝聚法；但是⼀般⽤的⽐较多的是由下向上的凝聚⽅法。
1、分裂法： 分裂法指的是初始时将所有的样本归为⼀个类簇，然后依据某种准则进⾏逐渐的分裂，直到达到某种条件或者达到设定的分类数⽬。
列举常用聚类算法
列举常用聚类算法聚类算法是一种将数据集中的相似数据分组的方法。
它是无监督学习的一种应用，可以在没有标签或类别信息的情况下对数据进行分类。
在机器学习和数据挖掘中，聚类算法被广泛应用于数据分析、图像处理、模式识别等领域。
本文将列举常用的聚类算法。
一、K均值聚类算法（K-means Clustering）K均值聚类算法是一种基于距离度量的聚类方法，它将数据集划分为K 个簇，每个簇包含距离其它簇最近的点。
该算法首先随机选择K个点作为初始质心，然后将每个点分配到与其距离最近的质心所在的簇中，并计算每个簇内所有点的平均值作为新的质心。
重复以上过程直到质心不再改变或达到预定迭代次数。
二、层次聚类算法（Hierarchical Clustering）层次聚类算法是一种自下而上或自上而下逐步合并或拆分簇来建立层次结构的方法。
该算法有两种实现方式：凝聚层次聚类和分裂层次聚类。
凝聚层次聚类从每个数据点开始，将它们逐步合并成越来越大的簇，直到所有点都被合并为一个簇。
分裂层次聚类从整个数据集开始，将其逐步拆分成越来越小的簇，直到每个簇只包含一个点。
三、DBSCAN聚类算法（Density-Based Spatial Clustering of Applications with Noise）DBSCAN聚类算法是一种基于密度的聚类方法，它可以识别任意形状的簇，并能够自动排除离群值。
该算法首先选择一个未访问的核心点作为起始点，并找到其可达范围内的所有点，并将它们加入同一簇中。
然后继续寻找未访问的核心点，并重复以上过程直到所有核心点都被访问完毕。
四、谱聚类算法（Spectral Clustering）谱聚类算法是一种基于图论和线性代数的聚类方法，它将数据集看作是一个图，在图上进行划分。
该算法首先构建一个相似度矩阵或邻接矩阵，并通过特征值分解或奇异值分解来获取特征向量和特征值。
然后将特征向量作为新的数据集，使用K均值或层次聚类等方法对其进行聚类。
(完整版)聚类算法总结
1.聚类定义“聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset）,这样让在同一个子集中的成员对象都有一些相似的属性” ——wikipedia“聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。
它是一种重要的人类行为。
聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。
”——百度百科说白了，聚类（clustering）是完全可以按字面意思来理解的——将相同、相似、相近、相关的对象实例聚成一类的过程。
简单理解，如果一个数据集合包含N 个实例，根据某种准则可以将这N 个实例划分为 m 个类别，每个类别中的实例都是相关的，而不同类别之间是区别的也就是不相关的，这个过程就叫聚类了。
2.聚类过程:1) 数据准备:包括特征标准化和降维.2) 特征选择:从最初的特征中选择最有效的特征,并将其存储于向量中.3) 特征提取:通过对所选择的特征进行转换形成新的突出特征.4) 聚类(或分组):首先选择合适特征类型的某种距离函数(或构造新的距离函数)进行接近程度的度量;而后执行聚类或分组.5) 聚类结果评估:是指对聚类结果进行评估.评估主要有 3 种:外部有效性评估、内部有效性评估和相关性测试评估.3 聚类算法的类别没有任何一种聚类技术(聚类算法)可以普遍适用于揭示各种多维数据集所呈现出来的多种多样的结构，根据数据在聚类中的积聚规则以及应用这些规则的方法,有多种聚类算法.聚类算法有多种分类方法将聚类算法大致分成层次化聚类算法、划分式聚类算法、基于密度和网格的聚类算法和其他聚类算法,如图 1 所示的4 个类别.3.聚类算法基于层次聚类算法：采用抽样技术先对数据集 D 随机抽取样本，再CURE：采用分区技术对样本进行分区，然后对每个分区局部聚类，最后对局部聚类进行全局聚类也采用了随机抽样技术，该算法在计算两个对ROCK：象的相似度时，同时考虑了周围对象的影响首先由数据集构造成一个 K-最近邻图Gk ,再通过一个图的划分算法将图 Gk 划分成大量CHEMALOEN（变色龙的子图,每个子图代表一个初始子簇,最后用算法）：一个凝聚的层次聚类算法反复合并子簇，找到真正的结果簇SBAC：BIRCH：BUBBLE：BUBBLE-FM：SBAC 算法则在计算对象间相似度时，考虑了属性特征对于体现对象本质的重要程度，对于更能体现对象本质的属性赋予较高的权值BIRCH 算法利用树结构对数据集进行处理，叶结点存储一个聚类，用中心和半径表示，顺序处理每一个对象，并把它划分到距离最近的结点，该算法也可以作为其他聚类算法的预处理过程BUBBLE 算法则把 BIRCH 算法的中心和半径概念推广到普通的距离空间BUBBLE-FM 算法通过减少距离的计算次数，提高了BUBBLE 算法的效率基于划分聚类算法（partition clustering)是一种典型的划分聚类算法，它用一个聚类的中心来代表一个簇，即在迭代过程中选择的聚k-means：点不一定是聚类中的一个点，该算法只能处理数值型数据K-Means 算法的扩展，采用简单匹配方法来度量k-modes：分类型数据的相似度结合了 K-Means 和 K-Modes 两种算法，能够处k-prototypes：理混合型数据在迭代过程中选择簇中的某点作为聚点，PAM k-medoids：是典型的k-medoids 算法CLARA 算法在PAM 的基础上采用了抽样技术，能CLARA：够处理大规模数据CLARANS 算法融合了PAM 和CLARA 两者的优点，CLARANS：是第一个用于空间数据库的聚类算法采用了空间索引技术提高了 CLARANS 算法的效Focused CLARAN：率模糊集合理论引入聚类分析中并提出了 PCM 模PCM：糊聚类算法基于密度聚类算法：DBSCAN 算法是一种典型的基于密度的聚类算法，该算法采用空间索引技术来搜索对象的邻域，引入DBSCAN：了“核心对象”和“密度可达”等概念，从核心对象出发，把所有密度可达的对象组成一个簇算法通过泛化 DBSCAN 算法中邻域的概念，以适应GDBSCAN：空间对象的特点DBLASD：OPTICS 算法结合了聚类的自动性和交互性，先生OPTICS：成聚类的次序，可以对不同的聚类设置不同的参数，来得到用户满意的结果FDC 算法通过构造 k-d tree 把整个数据空间划分FDC：成若干个矩形空间，当空间维数较少时可以大大提高DBSCAN 的效率基于网格的聚类算法：利用网格单元保存数据统计信STING：息，从而实现多分辨率的聚类在聚类分析中引入了小波变换的原理，主要应用于信号处理领域。
基于聚类算法总结(必备11篇)
基于聚类算法总结第1篇层次聚类是一种常用的聚类方法，它通过构建数据点之间的层次结构来进行聚类。
层次聚类不需要预先指定簇的数量，并且结果可以表示为树状图（称为树状图或层次树），提供了数据点之间关系的丰富视图。
类型算法步骤（以凝聚型为例）距离公式层次聚类中，簇之间的相似性通常用距离来衡量，常用的距离度量有：其中和是不同的簇，是簇内点和之间的距离。
Python 实现接下来，使用 Python 的scipy库来实现层次聚类，并使用matplotlib库绘制树状图。
我们将使用相同的模拟数据来展示层次聚类的结果。
上图展示了层次聚类的树状图，也称为树状图。
在这个图中：通过这个树状图，我们可以观察数据的层次聚类结构，并根据需要选择适当的截断点来确定簇的数量。
例如，通过在不同的高度水平切割树状图，可以得到不同数量的簇。
层次聚类特别适用于那些簇的数量不明确或数据具有自然层次结构的场景。
与 K-means 等算法相比，它不需要预先指定簇的数量，但计算复杂度通常更高。
基于聚类算法总结第2篇Mean Shift算法是一种基于密度的非参数聚类算法。
其核心思想是通过迭代过程寻找数据点密度的峰值。
这个算法不需要预先指定簇的数量，它通过数据本身的分布特性来确定簇的数量。
算法概述相关公式假设是数据点，核函数通常是一个高斯核，带宽为，则 mean shift 向量为：其中，是在点周围带宽内的邻近点集合。
Python 实现以下是 Mean Shift 算法的一个基本 Python 实现，使用了scikit-learn库：这段代码首先生成一些样本数据，然后应用 Mean Shift算法对数据进行聚类，并将结果可视化。
每个聚类的中心用红色的 'x' 标记。
基于聚类算法总结第3篇DBSCAN（Density-Based Spatial Clustering of Applications withNoise）是一种基于密度的聚类算法，特别适用于具有噪声的数据集和能够发现任意形状簇的情况。
k-means聚类算法实验总结 -回复
k-means聚类算法实验总结-回复K-means聚类算法是一种常用的无监督学习算法，广泛应用于数据挖掘、图像分割、文本分类等领域。
本文将基于我对K-means聚类算法的实验总结，分步详细介绍这一算法的原理、实验设置、实验结果及其分析。
希望通过本文的总结，读者能够对K-means算法有一个更全面的了解。
一、算法原理K-means聚类算法的原理比较简单，其基本步骤如下：1. 初始化k个聚类中心，可以是随机选择样本或根据经验预设；2. 对于每个样本，计算其与各个聚类中心的距离，并将其划分到距离最近的聚类中心所属的类别；3. 调整聚类中心的位置，将各个类别内的样本点的均值作为新的聚类中心，重复步骤2，直到聚类中心的位置不再变化或达到预设的最大迭代次数。
二、实验设置为了验证K-means聚类算法的性能，我选择了UCI机器学习库中的Iris 数据集作为实验数据集。
该数据集包含150个样本，每个样本有4个属性。
为了方便可视化，将数据集中的前两个属性作为横纵坐标，将样本点分布在二维平面上。
在实验中，我使用Python编程语言实现了K-means聚类算法，并使用matplotlib库绘制了聚类结果的散点图。
实验中设置聚类的类别数k为3，迭代次数上限为100。
三、实验结果及分析执行K-means聚类算法后，得到了如下图所示的聚类结果：[图1 聚类结果图]根据聚类结果可以看出，三个类别的样本点被分别用不同的颜色表示，并且通过散点图可以很直观地看到各个样本点与聚类中心的距离。
为了更客观地评估K-means的聚类性能，我采用了两项指标：聚类准确率和轮廓系数。
聚类准确率是将聚类结果与原始类别进行对比，计算分类正确的样本数量占总样本数量的比例。
通过计算实验结果，我得到了聚类准确率为85.33。
轮廓系数是一种评价聚类结果的衡量指标，其数值范围在-1到1之间，越接近于1表示聚类越紧密、样本点越相似，越接近于-1表示聚类越分散、样本点越不相似。
常见聚类算法范文
常见聚类算法范文常见的聚类算法有层次聚类算法、划分聚类算法、模型聚类算法和密度聚类算法。
1. 层次聚类算法（Hierarchical Clustering Algorithm）：层次聚类算法是将数据点按照层次结构进行聚类的一种方法。
在这种方法中，数据点被组织成一个层次树的结构。
其中，自底向上的层次聚类算法（Agglomerative Clustering）逐步合并相似的数据点，而自顶向下的层次聚类算法（Divisive Clustering）则逐步拆分不相似的数据点。
2. 划分聚类算法（Partitioning Clustering Algorithm）：划分聚类算法是将数据点划分成互不重叠的簇的一种方法。
其中，最常见的划分聚类算法是K-means算法。
该算法通过迭代的方式将数据点划分成K个簇，使得簇内的数据点之间的距离最小，而簇与簇之间的距离最大。
3. 模型聚类算法（Model-based Clustering Algorithm）：模型聚类算法基于概率模型或统计模型，将数据点分配到概率模型或统计模型中。
其中，最常见的模型聚类算法是高斯混合模型（Gaussian Mixture Model）和潜在狄利克雷分配（Latent Dirichlet Allocation）算法。
高斯混合模型将数据点分配到多个高斯分布中，而潜在狄利克雷分配将数据点分配到多个主题中。
4. 密度聚类算法（Density-based Clustering Algorithm）：密度聚类算法基于数据点之间的密度来进行聚类。
其中，最常见的密度聚类算法是DBSCAN（Density-Based Spatial Clustering ofApplications with Noise）算法。
该算法通过判断一个数据点周围的密度是否超过一定的阈值来决定是否将其作为核心点，从而将核心点连接起来形成簇。
在实际应用中，根据数据集和任务的不同，我们可以选择合适的聚类算法进行数据的分类和分析。
kmeans聚类算法总结
kmeans聚类算法总结
kmeans聚类算法是一种常见的无监督机器学习算法，它主要用于将数据分组并将相似的数据点归为同一类别。
下面是kmeans聚类算法的总结：
1. kmeans聚类算法通常需要指定类别数量k，在输入数据分类时会将数据分为k个类别，并且每个类别都有一个代表（即聚类中心）。
2. kmeans聚类算法是一种迭代算法，其主要步骤包括初始化聚类中心、分配数据点到最近的聚类中心、更新聚类中心并重复直到收敛。
3. kmeans聚类算法尝试最小化每个数据点到其所属聚类中心的距离平方和（即SSE），这个过程可以通过最小化聚类中心与每个数据点之间的平方欧几里得距离来实现。
4. kmeans聚类算法对数据分布的假设是数据点可以分为均匀大小的凸形小团，这也导致了其对异常值和噪声敏感。
5. kmeans聚类算法在处理大型数据集时可能会面临时间和内存限制的挑战。
6. kmeans聚类算法可以用于各种应用，如图像分割、市场细分、客户分类和信用评级等。
综上所述，kmeans聚类算法是一种经典的、简单但有效的聚类算法。
它具有易于解释、易于实现等优点，在处理一些相关应用时表现不俗。
但是，它对于数据集的分布假设较为苛刻，对于异常值和噪声敏感，并且处理大型数据集时可能会面临一些挑战。
常用聚类算法介绍
常用聚类算法介绍聚类算法是数据分析和机器学习中的重要技术之一，它能够根据数据的特征将其分成不同的组别，使得组内的数据点尽可能相似，而组间的数据点尽可能不同。
聚类算法在各种领域广泛应用，包括市场分析、生物信息学、社交网络分析等。
本文将介绍几种常用的聚类算法，包括K均值聚类、层次聚类、DBSCAN聚类以及高斯混合模型聚类，帮助读者了解它们的原理、特点及适用场景。
一、K均值聚类二、层次聚类层次聚类是一种基于树形结构的聚类方法，主要分为凝聚聚类和分裂聚类两种。
凝聚聚类从每个数据点作为一个单独的簇开始，逐步合并最相似的簇，直到满足某种停止条件。
分裂聚类则从一个包含所有数据点的簇开始，逐步分割直到每个簇包含一个数据点。
层次聚类的优点是不需要预先指定聚类的个数，且可以可视化地展示聚类的层次结构。
其计算复杂度较高，不适用于大规模数据集。
三、DBSCAN聚类四、高斯混合模型聚类高斯混合模型（Gaussian Mixture Model, GMM）是一种基于概率分布的聚类方法，假设数据集由若干个高斯分布组成。
该算法通过最大化数据点的似然概率来估计每个高斯分布的参数，并根据数据点的后验概率进行聚类。
GMM适用于数据点服从正态分布的情况，并能够给出每个数据点属于每个簇的概率。
其优点是能够灵活地处理各种形状的聚类，并且不需要预先指定聚类的个数。
GMM对于数据量大或维度高的情况下计算量较大，且对初始参数选择敏感。
五、选择适合的聚类算法数据特点：数据的分布、维度、噪声程度等特点将影响聚类算法的选择。
聚类形状：预期的聚类形状是密集球形、任意形状还是具有不同密度的聚类。
计算资源：算法的计算复杂度和可扩展性，是否能够处理大规模数据集。
需求和目标：聚类的目的是发现模式、降维、分类等，不同算法有不同的适用场景。
六、聚类算法作为数据分析和机器学习的重要工具，能够帮助我们理解数据背后的结构和模式，发现隐藏在数据中的规律。
本文介绍了几种常用的聚类算法，包括K均值聚类、层次聚类、DBSCAN聚类和高斯混合模型聚类，希望读者能通过本文对这些算法有一个初步的了解，并能够根据实际问题选择合适的算法进行应用和实践。
数据挖掘聚类算法总结
聚类算法总结划分方法每个数据被归入相互不同重叠的k个cluster之一目标：cluster内距离最小一、K-Means 算法：（1）算法思想：指定cluster数目为k;随机划分数据到k个子集；计算每个子集的“中心”数据；*计算所有数据到k个“中心”距离；*将每个数据所属类别调整到里数据最近“中心”所代表的cluster/子集；重复上述两个步骤，直至收敛。
（2）算法优点：简单，实现简单；运行时间复杂度较低:0（元组数n * cluster数k *迭代次数t）。
目标明确：最小化类内距离。
（3）算法不足：易陷入局部最优解（和初始值密切相关）；“中心”计算时，如何处理标称数据？；需要预置k值；对噪声数据/孤立点敏感；非凸cluster的识别能力弱。
（4）算法改进：K-Means算法的“中心”点是虚拟数据，不一定在数据集合中存在，改成某实际靠近中心点且存在的数据，得到“k-中心点”算法；降低了噪声、离群点的影响，增加了时间代价；标称属性的“中心”用众数代替均值，及改进的距离计算方法；改进初始时刻数据划分方法或中心点选择方法，如PAM算法。
二、PAM算法（围绕中心点划分方法）（1）算法思想：随机选择k个种子为中心点，即cluster的代表，将数据点划归到最近中心点/种子代表的cluster；对所有（种子，非种子）对，尝试交换它们，检查是否能提高聚类质量：所有元组到各自中心”的距离和。
选择最好的能提升结果质量所对应的交换，实施交换，直至算法收敛。
（2）算法评述：K-medoids算法的改进；可以用一些启发式方法选择交换的种子和非种子；易陷入局部最优。
三、针对大规模数据集改进算法（1）主要解决问题：数据集无法一次载入内存；重复多次计算一个点/数据到其它数据的距离;（2）CLARA 算法：对数据集中的数据进行采样，在采样得到的子集上寻找中心点，执行PAM算法；（3）CLARANS 算法：执行PAM算法，其中没有搜索所有可能的实施交换的对，仅仅执行L次（种子，非种子）对的交换;层次方法层次聚类：在不同概念层次上各自形成clusters，构成一•棵树状图①endrogram）重点考虑优化目标：cluster之间的距离最大化核心问题：两个cluster之间的距离如何计算的问题（最小、最大、平均距离、虚拟中心、Medoid距离）一、主要层次算法：（1）AGNES算法（凝聚思想）：自底向上，找两个簇，它们中最相似两个数据的距离最小，则合并这两个簇；迭代该过程，直至所有对象最终合并形成一个簇。
聚类分析法总结
聚类分析法先用一个例子引出聚类分析一、聚类分析法的概念聚类分析又叫群分析、点群分析或者簇分析，是研究多要素事物分类问题的数量，并根据研究对象特征对研究对象进行分类的多元分析技术，它将样本或变量按照亲疏的程度，把性质相近的归为一类，使得同一类中的个体都具有高度的同质性，不同类之间的个体都具有高度的异质性。
聚类分析的基本原理是根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。
描述亲属程度通常有两种方法：一种是把样本或变量看出那个p维向量，样本点看成P 维空间的一个点，定义点与点之间的距离；另一种是用样本间的相似系数来描述其亲疏程度。
有了距离和相似系数就可定量地对样本进行分组，根据分类函数将差异最小的归为一组，组与组之间再按分类函数进一步归类，直到所有样本归为一类为止。
聚类分析根据分类对象的不同分为Q型和R型两类，Q--型聚类是对样本进行分类处理，R--型聚类是对变量进行分类处理。
聚类分析的基本思想是，对于位置类别的样本或变量，依据相应的定义把它们分为若干类，分类过程是一个逐步减少类别的过程，在每一个聚类层次，必须满足“类内差异小，类间差异大”原则，直至归为一类。
评价聚类效果的指标一般是方差，距离小的样品所组成的类方差较小。
常见的聚类分析方法有系统聚类法、动态聚类法（逐步聚类法）、有序样本聚类法、图论聚类法和模糊聚类法等。
二、对聚类分析法的评价聚类分析也是一种分类技术。
与多元分析的其他方法相比，该方法较为粗糙，理论上还不完善，但应用方面取得了很大成功。
与回归分析、判别分析一起被称为多元分析的三大方法。
聚类的目的：根据已知数据，计算各观察个体或变量之间亲疏关系的统计量（距离或相关系数）。
根据某种准则（最短距离法、最长距离法、中间距离法、重心法），使同一类内的差别较小，而类与类之间的差别较大，最终将观察个体或变量分为若干类。
二、聚类分析的方法可以画图表四、聚类分析的应用。
聚类算法方法归纳
聚类算法方法归纳
1. K-Means 聚类：这是一种最常见的聚类算法，它通过确定 k 个初始中心点，并将每个数据点分配给最近的中心点，然后不断更新中心点的位置，直到达到最优的聚类结果。
2. 层次聚类：这种方法通过构建一棵树来表示数据的层次结构，从而实现聚类。
它可以是凝聚的（自下而上）或分裂的（自上而下）。
3. DBSCAN 聚类：基于密度的空间聚类应用程序和噪声（DBSCAN）是一种基于密度的聚类算法，它通过计算样本点之间的距离来判断样本点的密度，将样本点分为不同的簇。
4. 高斯混合模型（GMM）：GMM 是一种概率模型，它假设数据是由多个高斯分布混合而成的。
通过最大化似然函数来估计模型参数，从而实现聚类。
5. OPTICS 聚类：这是一种基于密度的聚类算法，它通过计算样本点之间的距离来判断样本点的密度，将样本点分为不同的簇。
6. Agglomerative 聚类：这种方法通过不断合并最相似的两个簇来构建聚类层次结构。
7. 模型-based 聚类：这种方法使用统计模型（如混合模型、隐马尔可夫模型等）来描述数据的分布，并通过最大化模型的对数似然来确定最佳的聚类数量和成员。
这些是聚类算法的一些常见方法，每种方法都有其优缺点，适用于不同类型的数据和应用场景。
在选择聚类算法时，需要考虑数据的特征、聚类的目标以及计算效率等因素。
高中信息技术 聚类算法
聚类算法是一类无监督的机器学习算法，其目的是将数据集分成不同的组，使得同组内的数据对象相似，并且组与组之间差异较大。
以下是几种常见的聚类算法：1. K-Means 聚类算法K-Means 算法是最常用的聚类算法之一。
它基于中心点的思想，将样本分成K 个簇，并使得每个簇的内部样本的距离较小，簇与簇之间的距离较大。
具体来说，算法需要设置聚类中心的个数K，然后通过贪心迭代的方式逐步优化聚类结果，直到找到最优解。
K-Means算法有以下几个缺点：i）初始中心点的选取对最终结果影响很大；ii）对离群点和异常值比较敏感；iii）缺乏理论支持。
2. 层次聚类算法层次聚类算法是基于树的节点结构的构建，以不断分割数据集，并生成树状结构。
这种算法分为两种类型：聚合式层次聚类（AGNES）和分裂式层次聚类（DIANA）。
在聚合式层次聚类算法中，每个样本开始时都被视为一个簇，然后通过层次化的方式将不同的簇连接起来，生成树状结构。
在分裂式层次聚类算法中，所有样本一开始被视为一个簇，然后通过递归地将簇分成更小的簇来生成树形结构。
3. DBSCAN 算法DBSCAN 算法是一种密度聚类算法，它根据数据点的密度来进行聚类。
该算法假设一个簇内的数据点在被邻近的数据点包围时会形成高密度区域。
根据这个假设，DBSCAN算法将密度相邻的数据点划分为簇，同时可以自动确定簇的数量。
4. GMM (高斯混合模型) 算法GMM 算法是基于概率模型的聚类算法，它假定样本由多个高斯分布的混合体组成。
该算法首先假定每个簇是由若干个高斯分布组成的，然后使用EM算法进行参数估计，并通过计算每个样本点被分配到各个簇的概率来进行聚类。
聚类算法在数据挖掘、图像处理、自然语言处理等领域都具有广泛的应用，可以帮助数据科学家和分析人员更好地划分数据，发现数据的隐含规律和结构。
聚类的算法
聚类的算法聚类算法是一种将数据集中的对象按照某种相似性度量进行分组的算法。
通过将具有相似特征的对象聚集在一起，聚类算法能够帮助我们发现数据集中的隐藏模式和结构。
在本文中，我们将介绍几种常见的聚类算法，包括K均值聚类、层次聚类和DBSCAN聚类。
一、K均值聚类K均值聚类是一种基于距离度量的聚类算法。
它的核心思想是将数据集划分为K个簇，每个簇代表一个聚类中心。
算法的过程如下：1. 随机选择K个点作为初始聚类中心。
2. 计算每个点到聚类中心的距离，并将每个点划分到距离最近的聚类中心所在的簇。
3. 更新聚类中心，将每个簇内的点的均值作为新的聚类中心。
4. 重复步骤2和3，直到聚类中心不再发生变化或达到最大迭代次数。
K均值聚类的优点是简单易实现，计算效率高。
然而，它对初始聚类中心的选择非常敏感，容易陷入局部最优解。
二、层次聚类层次聚类是一种将数据集进行层次划分的聚类算法。
它的核心思想是通过计算数据点之间的相似性度量，逐步将数据点合并为越来越大的簇。
算法的过程如下：1. 将每个数据点视为一个独立的簇。
2. 计算每个簇之间的相似性度量，并将最相似的簇合并为一个新的簇。
3. 更新相似性矩阵，重新计算每个簇之间的相似性度量。
4. 重复步骤2和3，直到所有的数据点都被合并为一个簇，或者达到预设的簇的数量。
层次聚类的优点是不需要预先指定簇的数量，且能够发现不同层次的聚类结构。
然而，它的计算复杂度较高，对数据集的大小和维度敏感。
三、DBSCAN聚类DBSCAN聚类是一种基于密度的聚类算法。
它的核心思想是将高密度的数据点视为一个簇，并通过连接密度可达的数据点将簇扩展为更大的簇。
算法的过程如下：1. 随机选择一个未访问的数据点作为种子点。
2. 计算种子点的邻域内的数据点数量，如果满足密度条件，则将这些点加入当前簇。
3. 递归地将邻域内的数据点加入当前簇，直到邻域内没有更多的数据点满足密度条件。
4. 选择一个新的未访问的数据点，重复步骤2和3，直到所有的数据点都被访问。
聚类算法详解
聚类算法详解
聚类算法是一种将数据集中的对象分组成相关性较高的子集的技术。
该算法寻找数据点之间的相似性，并根据这些相似性将它们划分到不同的群组中。
常见的聚类算法包括K均值聚类、层次聚类和密度聚类。
其中，K均值聚类是一种基于距离的聚类方法，它将数据点划分到K个聚类中心，使得每个数据点到其所属聚类中心的距离最小化。
层次聚类是通过建立数据点之间的层次结构来进行聚类，它可以是自下而上的聚合聚类或自上而下的分裂聚类。
密度聚类是基于密度的聚类方法，它通过定义一个密度阈值来划分数据点，将高密度区域视为聚类。
聚类算法在许多应用领域中都有广泛的应用，如市场细分、社交网络分析和图像处理等。
它可以帮助我们揭示数据的内在结构，发现相似的样本，并提供有关数据集的全局概览。
需要注意的是，聚类算法需要根据实际问题选择适当的算法和参数。
此外，为了确保聚类结果的质量，还需要对数据进行预处理，如特征选择、特征缩放和异常值处理等。
总之，聚类算法是一种重要的数据分析技术，它可以帮助我们理解数据集中的模式和关系。
通过应用适当的算法，我们可以从复杂的数据中提取有用的信息，并为进一步的分析和决策提供支持。
常见的聚类算法
常见的聚类算法聚类算法是数据挖掘中常用的一种算法，它可以将原始数据根据其内在特性划分为多个组别。
常见的聚类算法有：（一）K-means聚类K-means聚类是最常用的聚类算法，具有易于实现的特点。
它的基本思想是：将相似的数据分组，使每个组的数据尽可能的相似。
它的核心就是把数据划分到K个不同的簇中，K一般通过轮廓系数来设置，轮廓系数越大，簇内数据差异性越低。
K-means聚类算法的缺点是容易受到噪声和异常值影响，并且计算非常耗时、无法选择最优K值。
（二）层次聚类层次聚类是基于层次分层的聚类方法，它可以根据数据间的相似度自动划分出簇，不需要设置K值，具有很好的可解释性。
它一般分为两种：综合层次聚类法和分裂层次聚类法。
综合层次聚类法是将所有的元素链接起来，然后再从上到下进行分割，最终得到若干个簇。
分割层次聚类法，则是将每个元素单独作为一个簇，然后再从下到上进行合并、分割，最终得到簇的结果。
层次聚类的缺点是受到噪声和异常值的影响比较严重，计算量比较大，不适用于数据量较大的情况。
（三）DBSCAN聚类DBSCAN是一种基于密度的聚类算法，它能够发现任意形状的簇，是最为灵活的聚类算法。
它的基本思想是：如果一个点的邻域（epsilon 距离内的点）足够的密集，那么这个点就是核心对象，属于某一类；而其他点如果与任何一个核心对象的距离都小于给定的值，也就是说他们都和核心对象关联在一起，这就是噪声点。
DBSCAN聚类算法的优点是具有良好的可解释性，而且不需要预先估计K值；它的缺点是受到数据结构和分布影响较大，且计算量较大，效率不够高。
（四）密度聚类密度聚类要求数据点有一定的密度，只有一定的密度的数据才能够被归为一类。
其核心思想是：把距离较近的数据归为一类，距离较远的数据归为不同的类。
它最大的优点在于可以有效的发现异常数据，并且改善数据分布密度不均的情况；它的缺点是受到噪音的影响比较严重，易带偏，聚类效果不尽如人意。
聚类算法心得体会
聚类算法心得体会【篇一：聚类算法总结】聚类算法总结一、概述聚类，就是把整个数据集分成不同的簇，并且要使簇与簇之间的区别尽可能的大，而簇内的数据的差异尽可能的小。
簇是数据样本的集合，聚类分析使得每簇内部的样本之间的相关性比其他簇中样本之间的相关性更紧密，即簇内的任意两个样本之间具有较高的相似度，而属于不同簇的两个样本间具有较高的相异度。
相异度可以根据描述样本的属性值来计算，样本间的“距离”是最常采用的度量标准。
聚类分析（cluster analysis ）又称群分析，是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法,同时也是数据挖掘的一个重要算法。
通过聚类分析，可以在没有任何模式可供参考或依循，即在没有先验知识的情况下，将大量数据样本按各自的特性来进行合理的分类。
在开始聚类之前，用户并不知道要把数据集分成几个簇，也不知道划分的具体标准，在聚类分析时数据集的特征是未知的，聚类算法的任务正是要发现这些特征，并把具有相同特征的数据样本聚在一起。
聚类与分类有相似之处，都是将数据进行分组，但两者又有本质的区别。
分类中组（类别）是事先已经定义好的，但聚类中的组（在聚类分析中称为“簇”）不是预先定义的，而是根据实际数据的特征按照数据之间的相似性来定义的。
二、聚类算法的性能评价指标数据挖掘对聚类的典型要求如下：（1）可伸缩性：当聚类对象由几百上升到几百万，我们希望最后的聚类结果的准确度能一致。
（2）处理不同类型属性的能力：有些聚类算法，其处理对象的属性的数据类型只能为数值类型，但是实际应用场景中，我们往往会遇到其他类型的数据，比如二元数据，分类数据等等。
当然，在处理过程我们是可以将这些其他类型的数据预处理成数值型数据的，但是在聚类效率上或者聚类准确度上往往会有折损。
（3）发现任意形状的类簇：因为许多聚类算法是用距离（eg: 欧几里得距离或者曼哈顿距离）来量化对象之间的相似度的，基于这种方式，我们往往只能发现相似尺寸和密度的球状类簇或者成为凸形类簇。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.聚类定义
“聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset）,这样让在同一个子集中的成员对象都有一些相似的属性”——wikipedia
“聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。
它是一种重要的人类行为。
聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。
”——百度百科
说白了，聚类（clustering）是完全可以按字面意思来理解的——将相同、相似、相近、相关的对象实例聚成一类的过程。
简单理解，如果一个数据集合包含N个实例，根据某种准则可以将这N 个实例划分为m个类别，每个类别中的实例都是相关的，而不同类别之间是区别的也就是不相关的，这个过程就叫聚类了。
2.聚类过程:
1) 数据准备:包括特征标准化和降维.
2) 特征选择:从最初的特征中选择最有效的特征,并将其存储于向量中.
3) 特征提取:通过对所选择的特征进行转换形成新的突出特征.
4) 聚类(或分组):首先选择合适特征类型的某种距离函数(或构造新的距离函数)进行接近程度的度量;而后执行聚类或分组.
5) 聚类结果评估:是指对聚类结果进行评估.评估主要有3 种:外部有效性评估、内部有效性评估和相关性测试评估.
3聚类算法的类别
没有任何一种聚类技术(聚类算法)可以普遍适用于揭示各种多维数据集所呈现出来的多种多样的结构，根据数据在聚类中的积聚规则以及应用这些规则的方法,有多种聚类算法.聚类算法有多种分类方法将聚类算法大致分成层次化聚类算法、划分式聚类算法、基于密度和网格的聚类算法和其他聚类算法,如图1 所示
的4 个类别.
3.聚类算法
基于层次聚类算法：
基于划分聚类算法（partition clustering)
基于密度聚类算法：
基于网格的聚类算法：
STING ：
利用网格单元保存数据统计信
息，从而实现多分辨率的聚类
WaveCluster：在聚类分析中引入了小波变换的原理，主要应用于信号处理领域。
（备注：小波算法在信号处理，图形图像，加密解密等领域有重要应用，是一种比较高深和牛逼的东西）
CLIQUE：
是一种结合了网格和密度的聚
类算法
OPTIGRID：
K-Means算法
KMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。
然后按平均法重新计算各个簇的质心，从而确定新的簇心。
一直迭代，直到簇心的移动距离小于某个给定的值。
在聚类问题中，给我们的训练样本是，每个
K-means算法是将样本聚类成k个簇（cluster），具体算法描述如下：
(1)第一步是为待聚类的点寻找聚类中心
(2)第二步是计算每个点到聚类中心的距离，将每个点聚类到离该
点最近的聚类中去,对于每一个样例i，计算其应该属于的类
(3)第三步是计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心对于每一个类j，重新计算该类的质
心,
反复执行(2)、(3)，直到聚类中心不再进行大范围移动或者聚类次数达到要求为止.
K是我们事先给定的聚类数，代表样例i与k个类中距离最近的那个类，的值是1到k中的一个。
质心代表我们对属于同一个类的样本中心点的猜测，拿星团模型来解释就是要将所有的星星聚成k个星团，首先随机选取k个宇宙中的点（或者k个星星）作为k个星团的质心，然后第一步对于每一个星星计算其到k个质心中每一个的距离，然后选取距离最近的那个星团作为，这样经过第一步每一个星星都有了所属的星团；第二步对于每一个星团，重新计算它的质心（对里面所有的星星坐标求平均）。
重复迭代第一步和第二步直到质心不变或者变化很小。
下图展示了对n个样本点进行K-means聚类的效果，这里k取2：
(a)未聚类的初始点集
(b)随机选取两个点作为聚类中心
(c)计算每个点到聚类中心的距离，并聚类到离该点最近的聚类中去
(d)计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心
(e)重复(c),计算每个点到聚类中心的距离，并聚类到离该点最近的聚类中去
(f)重复(d),计算每个聚类中所有点的坐标平均值，并将这个平均z 值作为新的聚类中心
聚类结果
K均值聚类存在的问题
K-means 算法的特点——采用两阶段反复循环过程算法，结束的条件是不再有数据元素被重新分配：
指定聚类
即指定数据到某一个聚类，使得它与这个聚类中心的距离比它到其它聚类中心的距离要近。
修改聚类中心
优点：本算法确定的K 个划分到达平方误差最小。
当聚类是密集的，且类与类之间区别明显时，效果较好。
对于处理大数据集，
这个算法是相对可伸缩和高效的，计算的复杂度为O(NKt)，其中N是数据对象的数目，t是迭代的次数。
一般来说，K<<N，t<<N 。
算法缺点
k-means 算法缺点
①在K-means 算法中K 是事先给定的，这个K 值的选定是非常难以估计的。
很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。
这也是K-means 算法的一个不足。
②在K-means 算法中，首先需要根据初始聚类中心来确定一个初始划分，然后对初始划分进行优化。
这个初始聚类中心的选择对聚类结果有较大的影响，一旦初始值选择的不好，可能无法得到有效的聚类结果，这也成为K-means算法的一个主要问题。
③从K-means 算法框架可以看出，该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时，算法的时间开销是非常大的。
所以需要对算法的时间复杂度进行分析、改进，提高算法应用范围。
④K-means算法对噪声数据敏感。
如：类簇C1中已经包含点A(1,1)、B(2,2)、C(1,2)、D(2,1)，假设N(100,100)为异常点，当它纳入类簇C1时，计算质心Centroid((1+2+1+2+100)/5,(1+2+2+1+100)/5)=centroid(21,21),此时可能造成了类簇C1质点的偏移，在下一轮迭代重新划分样本点的时候，将大量不属于类簇C1的样本点纳入，因此得到不准
确的聚类结果。
K-medoids算法在类中选取中心点而不是求类所有点的均值，某种程度上解决了噪声敏感问题。
K-means算法2个核心问题：
1.度量记录之间的相关性的计算公式，一般采用欧式距离
2.更新簇内质心的方法，采用平均值法，即means；
K-modes算法是按照k-means算法的核心内容进行修改，针对分类属性的的1.度量。
2.更新质心的问题而改进。
具体如下
1.度量记录之间的相关性D的计算公式是比较两记录之间，属性相同为0，不同为1.并所有相加。
因此D越大，即他的不相关程度越强（与欧式距离代表的意义是一样的）；
2.更新modes，使用一个簇的每个属性出现频率最大的那个属性值作为代表簇的属性值(如｛[a,b] [a,c] [c,b] [b,c]｝)代表模式为[a,b]或者[a,c];
4 介绍k-prototypes算法
k-modes算法可以处理分类数据、高维数据、大数据集，再加上用图的深度搜索方法求初始簇数、基于频率模式更新簇中心向量值、用相异度平均值求阈值t，可以说是很有效的聚簇分类数据方法。
但在实际应用中非常容易见到的数据类型是这样的：它的数据对象属性是既有数值数据描述的，又有分类数据描述的混合情况。
对于这个问题，k-prototypes算法是结合了k-means算法和k-modes 算法来解决的，用数学公式表示其相异度测量方法如下。
两个混合型的对象X和Y，它们的属性描述是A1r，A2r，…，Apr，Ap+1c，…，Amc，前p个属性是数值数据，后m–p个属性是分类数据，这样的两个数据对象X和Y的相异度是：
d(X，Y
γ1
(
m
j
j p
x
δ
=+
∑
，)j y
其中，第1部分是欧几里德距离测量数值属性，第2部分是简单匹配相异度测量处理分类属性，γ是权值，用来衡量数值属性和分类属性在聚簇测量中所占权重。
每个簇的模式Q的前p个属性是数值型的，就用每个属性i在簇中的平均值作为Q的属性qi的值，后m–p个属性用相对频率最大的一个作为属性值。
对这种混合型数据对象的相异度测量，k-prototypes算法结合了k-means算法和
k-modes算法的技术。