聚类分析-动态聚类
聚类分析
6
§2 相似系数和距离 一、变量测量尺度的类型 为了将样本进行分类，就需要研究样品之间的关 系；而为了将指标进行分类，就需要研究指标之间 的关系。但无论是样品之间的关系，还是指标之间 的关系，都是用变量来描述的，变量的类型不同， 描述方法也就不同。通常，变量按照测量它们的尺 度不同，可以分为三类。 (1)间隔尺度。指标度量时用数量来表示，其数 值由测量或计数、统计得到，如长度、重量、收入、 支出等。一般来说，计数得到的数量是离散数量， 测量得到的数量是连续数量。
dij2 (xi x j ) 1 (xi x j )
分别表示第i个样品和第j样品的p指标观测值所 组成的列向量，即样本数据矩阵中第i个和第j个行 向量的转置，表示观测变量之间的协方差短阵。 在实践应用中，若总体协方差矩阵未知，则可用 样本协方差矩阵作为估计代替计算。
16
马氏距离又称为广义欧氏距离。显然，马氏距离与上 述各种距离的主要不同就是马氏距离考虑了观测变量之间
18
• 相似系数 • 聚类分析方法不仅用来对样品进行分类，而且可用 来对指标（或变量）进行分类，在对变量进行分类 时，常常采用相似系数来度量变量之间的相似性。相 似系数越大（或其绝对值越大），认为变量之间的相 似程度就越高；反之，则越低。聚类时，比较相似的 变量倾向于归为一类，不太相似的变量归属不同的 类。
37
2、最长距离法 用最长距离法对5个样品进行分类。首 先采用绝对距离计算距离矩阵：
G1 G1 G2 G3 G4 G5
0
G2
0
1.5 5 7
G3
G4
G5
1
2.5 6 8
0 3.5 5.5 0 2 0
38
然后和被聚为新类，得：
G6 G6 G3
聚类分析
距离
1 | xi yi |
p i xi yi
类Gp与类Gq之间的距离Dpq (d(xi,xj)表示点xi∈ Gp和xj ∈ Gq之间的距离)
最短距离法:
最长距离法:
Dpq min d (xi , x j )
Dpq max d (xi , x j )
重心法:
Dpq
类平均法:
• 在饮料数据中，每种饮料都有四个变量值。这 就是四维空间点的问题了。
两个距离概念
• 按照远近程度来聚类需要明确两个概念： 一个是点和点之间的距离，一个是类和类 之间的距离。
• 点间距离有很多定义方式。最简单的是歐 氏距离。
• 当然还有一些和距离相反但起同样作用的 概念，比如相似性等，两点越相似度越大， 就相当于距离越短。
主成分分析除了可以单独用来处理上面所讨论的这一类问题外，还可以与其它方法结
合起来使用，例如与回归分析结合起来就是主成分回归，它可以克服回归问题中由于自变 量之间的高度相关而产生的分析困难。
2019/11/13
27
2 基本思想
主成分分析就是设法将原来众多具有一定相关性的指标(比如p个指标)，重新组合成一 组新的相互无关的综合指标来代替原来指标。通常数学上的处理就是将原来p个指标作线 性组合，作为新的综合指标，但是这种线性组合，如果不加限制，则可以有很多，我们应 该如何去选取呢?如果将选取的第一个线性组合即第一个综合指标记F1， 自然希望F1尽可 能多的反映原来指标的信息，这里的“信息”用什么来表达?最经典的方法就是用F1的方 差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1 应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个指标的信 息，再考虑选取 F 2 即选第二个线性组合，为了有效地反映原来信息， F1已有的信息就不 需要再出现在F2中，用数学
聚类分析简介原理与应用
问题
Q型与R型聚类区别？
Q型聚类：当聚类把所有的观测记录（cases）进行分类时，它把性 质相似的观测分在同一个类，性质差异较大的观测分在不同的类。
R型聚类：当聚类把变量（variables）作为分类对象时。这种聚类 用在变量数目比较多、且相关性比较强的情形，目的是将性质相近 的变量聚类为同一个类，并从中找出代表变量，从而减少变量个数 以达到降维的效果。
系统聚类——方法
最长距离法
设两个类G l，G m 分别含有n1和n2个样本点
d lm m d i,j X a i G l x ,X j G m
min
iGp , jGk
dij
系统聚类——方法
若某步聚类将 G p 和 G q 合并为新类 G r ,即 Gr GpGq ,新类G r 与其他类 G k 间的距离递推公式为
Q型聚类统计量——距离
明氏距离测度 明考夫斯基(Minkowski)距离
设 x ix i1,
x i2,
, x ip 和
x (x,x, ,x)
j
j1 j2
jp
是第i和 j 个样品的观测值，则二者之间的距离为：
1
dij ( p | xik xjk |g)g k1
p
当q 1 时， dij
| xik xjk |
动态聚类步骤
动态聚类——凝聚点选择
凭经验选择，如果对问题已经有一定的了解，可将所有 的的样品大致分类，在每类选择一个有代表性的样品作 为聚类点 将所有的样品随机地分成k类，计算每一类的均值，将 这些均值作为凝聚点 采用最大最小原则，假设样品最终分为k类，先选择所 有样品中相距最远的两个样品为凝聚点，即选择 xi1, xi2 ， 使 d(xi1,xi2)madxij)(.选择第三个凝聚点 x i 3 与前面两个聚 类点的距离最小者等于所有其余的样品与 xi1, xi2 的最小距 离中最大的。
第十四章-聚类分析
也叫快速聚类\动态聚类、逐步聚类、迭代 聚类）（quick cluster method、kmeans model ）
适用于样本量很大的情形，用系统聚类法 计算的工作量极大，作出的树状图也十分复 杂, 不便于分析
1、原理
➢选择初始凝聚点 ➢根据欧氏距离将每个样品归类 ➢各类的重心代替初始凝聚点 ➢根据欧氏距离将每个样品归类，…… ➢直至达到指定的迭代次数或达到终止迭代的 判据要求
8.Mcquitty的相似分析法(Mcquitty's similarity analysis)
9.最大似然估计法(EML)
10.密度估计(density linkage)
11.两阶段密度估计法(two-stage density linkage)等。
4、系统聚类法的性质
➢ 单调性
中间距离法、重心法不具有单调性 ➢ 空间的浓缩与扩张
4、菜单：
Analyze-classify-K means Cluster
5、分析实例(P416 data13-02)
三、Hierarchical Cluster 过程 1、系统聚类的基本思想
➢ 相近的聚为一类(以距离表示，样品聚类) ➢ 相似的聚为一类(以相似系数表示，变量聚类)
2、方法原理
9、共线性问题
对纪录聚类结果有较大的影响 最好先进行预处理
10、变量的标准化
变量变异程度相差非常大时需要进行 标准化后会削弱有用变量的作用
11、异常值
影响较大 还没有比较好的解决办法 应尽力避免
12、分类数
从实用角度讲，2～8类比较合适
13、专业意义
一定要结合专业知识进行分析
二、K-means Cluster 过程
聚类分析
（1）以专业知识而定。
（2）以并类距离Ipq 依分类数（g）作图，这是一个 单调降的曲线，寻找Ipq 的陡增点，曲线随g的增加 （减少）陡然减少（增加）作为合理分组的标志。
（3）采用多元方差分析方法，在可能分组的范围内， 计算组内平方乘积和阵(W)和组间平方乘积和阵(B)， 再计算Λ=det(W)/det(W+B)，使其在可能的分组范围 内最小化。最小的Λ（或最小概率）对应的g，即是 可能合适的分组。 （4）采用g2|W|作标准，使其在可能的分组范围内最 小化。
继续寻找最小的平方距离（组内平方和增量的两 倍）的两组合并，直至成为1组。
3.2.5 系统聚类的性质和优缺点：
1、系统聚类的性质 1）组数的确定 系统聚类把 n 个个体从 n 类聚集到1类，得 到了一个树状分枝图(dendrogram)，好像放倒 的一棵树，每一个体像是树干、树枝上的一 片叶子。但聚类分析的目的并非如此，而是 分成若干个（g）类群，也即是在树枝的适当 位置截断，截成 g 个类群。如何截取？
2、系统聚类的优缺点：
1）能图形显示个体间、组间的相互关系，
直观醒目；
2）在选定一种聚类方法后，不受数据初始 顺序的影响，结果是唯一的； 3）方法简单，编成的程序很短，也有很多 现成的软件可供选用，使用方便。
4）不同的方法可能产生很不相同的聚类树， 不同方法的优点不可兼得。相对而言，最小 组内平方和法（较适合用于每组个体数大致 相等的情形）和组平均法效果较好，其他方 法效果相对较差或只适用于某些场合； 5）图形聚类树的表现能力有限，不适合用于 大量数据； 6）系统聚类的分类结果在大多数情况下并不 合理。
如将（1、2、5、7、9、10）6个一维数据点聚 成两类时，所有的系统聚类方法都会得到第一类 G1=(1, 2), 第二类G2=(5, 7, 9, 10)的结果。而若将 其分成G1=(1, 2, 5), G2=(7, 9, 10)两类，不论用何 种标准度量，均比前述的分类结果要好，但系统 聚类方法无法实现此种分法。当涉及的分类单位 较多时，这样的缺陷更加明显，任何系统聚类方 法都无力改正这样的缺陷。 这些系统聚类方法在上一世纪50-60年代定型， 以后几乎没有进展，由于其先天存有缺陷，确实 很难有能取代前述方法的新系统聚类方法面世。
聚类分析法
2020/7/31
30
2.模糊聚类分析步骤 第二步：建立模糊相似矩阵。
2020/7/31
31
2.模糊聚类分析步骤 第三步：获得模糊分类关系。
2020/7/31
3糊相似矩阵 进行聚类处理。将 类逐渐合并，最后得到聚类谱系图，从而进行合理的分类。
2020/7/31
6
xij
1.1 聚类与聚类分析
1.1.2聚类分析的原理
▪中心化变换
对于一个样本数据，观测p各指标，n个样品的数据资料
阵为
x11 x12
X
x21
x22
x1 p
x2
p
xn1 xn2
xnp
2020/7/31
7
xij
1.1 聚类与聚类分析
1.1.2聚类分析的原理 ▪标准化变换
②动态聚类分析法。是将n个样品初步分类，然后根据分类函数尽可能小的 原则，对初步分类进行调整优化，直到分类合理为止。这种分类方法一般称为 动态聚类法，也称调优法。
③模糊聚类分析法。是利用模糊数学中模糊集理论来处理分类问题的方法， 他对经济领域中具有模糊特征的两态数据或多态数据具有明显的分类效果。
④图论聚类分析法。是利用图论中最小支撑树（MST）的概念来处理分类问 题，是一种独具风格的方法。
1.2 聚类分析的种类
1.2.1 系统聚类分析法
1.2.2 动态聚类分析法
1.2.3 模糊聚类分析法
1.2.4 图论聚类分析法
2020/7/31
13
1.2.1 系统聚类分析法
1.基本思想和分析步骤
（1）基本思想 系统聚类分析的基本思想是，把n个样品看成p维（p个 指标）空间的点，而把每个变量看成p维空间的坐标轴，根据
数学建模里的聚类分析
聚类分析聚类，或称分集，即所谓“物以类聚”，它是按某种相似规则对给定样本集、指标簇进行某种性质的划分，使之成为不同的类．将数据抽象化为样本矩阵()ij n m X X ⨯=，ij X 表示第i 个样本的第j 个变量的值．聚类目的，就是从数据出发，将样本或变量分成类．其方法大致有如下几个．（1） 聚类法．即谱系聚类法．将n 个样本看成n 类，将性质最接近的两类并为一新类，得1-n 类；再从1-n 类中找出最接近的两类加以合并，得2-n 类；继之，最后所有样本都成一类，得一聚类谱系，从谱系中可确定划分多少类，每类含有哪些样本．（2） 分解法．它是系统聚类的逆过程，将所有样本视为一类，按某种最优准则将它分成两类，继之，每一类都分到只含一个样本为止．（3） 动态聚类．即快速聚类法．将n 个样本粗糙地分成若干类，然后用某种最优准则进行调整，直至不能调整为止．（4） 有序样本聚类．按时间顺序，聚在一类的样本必须是次序相邻的样本．（5） 模糊聚类．它是将模糊数学用于样本聚类．（6） 运筹学聚类．它是将聚类问题化为线性规划、动态规划、整数规划模型的聚类．（7） 神经网络聚类．它是将样本按自组织特征映射的方法进行，也是我们要加以叙述的一个重点．（8） 预测中聚类．它是聚类在预测中的应用，以弥补非稳定信号回归的预测与分析．这里主要介绍谱系聚类法和快速聚类法． 一、距离定义样本矩阵()ij n m X x ⨯=，是m 维空间中n 个点，以距离度量样本之间的贴近度，就是距离聚类方法．最常用的第i 个与第j个样本的Minkowski 距离为p mk p jk ik ijx x d /11)||(∑=-=式中p 为一正整数．当2=p , ij d 就是欧几里德距离；当1=p ，ij d 就是绝对距离，或称“布洛克（cityblock ）”距离．而切比雪夫距离为||max 1jk ik mk ij x x d -=≤≤设m m C ⨯是变量的协方差矩阵，i x ,j x 为第i 行与第j 行m 个变量构成的向量，则马哈兰罗比斯距离定义为1()()T ij i j i j d x x C x x -=-- 根据距离的定义，就获得距离矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=nn n n n n d d d d d d d d d d 212222111211 由距离性质可知，d 为实对称矩阵，ij d 越小，两样本就越相似，其中01211====nn d d d ，根据)(j i d ij ≠的n 个点分类，依聚类准则分为不同的类．对d 常用的系统聚类准则有： 1、类间距离定义（1） 最短距离；,min p qpq ij i Gj GD d ∈∈= （2） 最长距离；,maxpqpq ij i G j GD d ∈∈=（3） 质心距离；(,)pq p q D d x x = （4） 平均距离；1p qpq iji G j G p qD d n n ∈∈=∑∑（5） 平方距离：2()()p q T pqp q p q p qn n D x x x x n n =--+2．类间距离的递推公式（1）最短距离：min{,}rk pk qk D D D = （2）最长距离：max{,}rk pk qk D D D = （3）类平均距离：p q rk pk qk rrn n D D D n n =+（4）重心距离：2222pqp q rkpkqkpq r r r rn n n n D D D D n n n n =+-⋅（5）离差平方和距离：2222p k q k krkpk qk pq r kr kr kn n n n n D D D D n n n n n n ++=+-+++二、谱系聚类法例: 假如抽取5个样本，每个样本只测一个指标，即数据为x =[1，0；2，0；4.5，0；6，0；8，0] 试以最短距离准则进行距离聚类说明．解 这时，样本间的绝对距离、欧几里德距离或切比雪夫距离均一致，见表3.1．以最短距离准则聚类．根据定义，当令p Ω与q Ω中分别有pn 与q n 个样本，则最短距离为：},|min{),(q p ij nearj i d q p Ω∈Ω∈=δ于是，对于某步，假定具有样本为p n 的第p 集合与样本为q n 的第q 集合，聚成为具有样本为q p s n n n +=的第s 集合，则第k 集合与第s 集合的最短距离，可写为)},(),,(min{),(q k p k s k near near nearδδδ=(1)表1 绝对距离数据表中数据1、2、4.5、6、8视为二叉树叶子，编号为1、2、3、4、5．当每一个样本看成一类时，则式子(1)变为ij neard j i =),(δ，最小距离为1，即1与2合聚于6号，得表2．表中5.2)5.2,5.3min()}2,3(),1,3(min{)6,3(===δδδnear near near表2 一次合聚表2中最小距离为1.5，即4.5与6合聚于7，得表3．表中(6,7)min{(6,4.5),(6,6)}min(2.5,4) 2.5near nearnearδδδ===．表3 二次合聚表3中最小距离为2，即{4.5，6}元素（为7号）与8（为5号）合聚于8号，得表4．表中5.2)6,4,5.2min()}8,6(),6,6(),5.4,6(min{)8,6(===δδδδnear near near near表4 三次合聚最后集合{1，2}与{4.5，6，8}聚成一集丛．此例的Matlab 程序如下：x =[1，0；2，0；4.5，0；6，0；8，0])();'sin ',();'',(z dendrogram gle y linkage z CityBlock x pdist y ==绘得最短距离聚类谱系如图1所示，由图看出分两类比较合适．1号、2号数据合聚于6号，最小聚距为1；3号、4号数据合聚于7号，最小聚距为1.5；7号于5号数据合聚于8号，最小聚距为2；最后6号和8号合聚，最小聚距为2.5。
聚类分析算法
第二章聚类分析2·4 聚类的算法2.4.1 聚类的技术方案⑴简单聚类根据相似性阈值和最小距离原则聚类∀x i∈Ω={ x1,x2,…,x n} = ω1⋃ω2⋃…⋃ωc；if D(xi ,mj)≤T, mj=(1/nj)∑xi(j)，xi(j)∈ωj，nj是ωj中的样本个数，T是给定的阀值。
Then xi ∈ωi类心一旦确定将不会改变。
⑵谱系或层次聚类按最小距离原则不断进行两类合并类心不断地修正，但模式类别一旦指定后就不再改变。
⑶依据准则函数动态聚类影响聚类结果的主要因数：类心、类别个数、模式输入顺序。
所谓动态聚类，是指上述因数在聚类过程中是可变的。
规定一些分类的目标参数，定义一个能刻划聚类过程或结果优劣的准则函数，聚类过程就是使准则函数取极值的优化过程。
这类方法有—均值法、ISODATA法、近邻函数法以及运用图论理论的最小张树法。
2.4.2 简单聚类方法㈠根据相似性阈值和最小距离原则的简单聚类方法⒈条件及约定设待分类的模式为，选定类内距离门限。
⒉算法思想计算模式特征矢量到聚类中心的距离并和门限比较而决定归属该类或作为新的一类中心。
通常选择欧氏距离。
⒊算法原理步骤⑴取任意的一个模式特征矢量作为第一个聚类中心。
例如，令第一类的中心。
⑵计算下一个模式特征矢量到的距离。
若，则建立新的一类，其中心；若，则。
⑶假设已有聚类中心，计算尚未确定类别的模式特征矢量到各聚类中心的距离，如果，则作为新的一类的中心，；否则，如果( 2-4-1)则指判。
检查是否所有的模式都分划完类别，如都分划完了则结束；否则返到⑶。
⒋性能●计算简单。
●聚类结果很大程度上依赖于距离门限的选取、待分类特征矢量参与分类的次序和聚类中心的选取。
当有特征矢量分布的先验知识来指导门限及初始中心的选取时，可以获得较合理结果。
⒌改进通常采用试探法，选用不同的门限及模式输入次序来试分类，并对聚类结果。
例如，计算每一聚类中心与该类中最远样本点进行检验,即用聚类准则函数J1的距离，或计算类内及类间方差，用这些结果指导及的重选。
聚类分析
1聚类分析内涵1.1聚类分析定义聚类分析（Cluster Analysis）是一组将研究对象分为相对同质的群组(clusters)的统计分析技术. 也叫分类分析(classification analysis)或数值分类(numerical taxonomy)，它是研究（样品或指标）分类问题的一种多元统计方法，所谓类，通俗地说，就是指相似元素的集合。
聚类分析有关变量类型:定类变量,定量(离散和连续)变量聚类分析的原则是同一类中的个体有较大的相似性，不同类中的个体差异很大。
1.2聚类分析分类聚类分析的功能是建立一种分类方法，它将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类．聚类分析的内容十分丰富，按其聚类的方法可分为以下几种：(1)系统聚类法：开始每个对象自成一类，然后每次将最相似的两类合并，合并后重新计算新类与其他类的距离或相近性测度．这一过程一直继续直到所有对象归为一类为止．并类的过程可用一张谱系聚类图描述．(2)调优法(动态聚类法)：首先对n个对象初步分类，然后根据分类的损失函数尽可能小的原则对其进行调整，直到分类合理为止．(3)最优分割法(有序样品聚类法)：开始将所有样品看成一类，然后根据某种最优准则将它们分割为二类、三类，一直分割到所需的K类为止．这种方法适用于有序样品的分类问题，也称为有序样品的聚类法．(4)模糊聚类法：利用模糊集理论来处理分类问题，它对经济领域中具有模糊特征的两态数据或多态数据具有明显的分类效果．(5)图论聚类法：利用图论中最小支撑树的概念来处理分类问题，创造了独具风格的方法．(6)聚类预报法：利用聚类方法处理预报问题，在多元统计分析中，可用来作预报的方法很多，如回归分析和判别分析．但对一些异常数据，如气象中的灾害性天气的预报，使用回归分析或判别分析处理的效果都不好，而聚类预报弥补了这一不足，这是一个值得重视的方法。
聚类分析根据分类对象的不同又分为R型和Q型两大类，R型是对变量(指标)进行分类，Q 型是对样品进行分类。
动态聚类法
versicolour
virgi nica
第一类
26
0
0
第二类
24
0
0
第三类
0
48
14
第四类
0
2
36
(3)
表17时ISODATA算法实验结果
setosa
versicolour
virgi nica
第一类
50
0
0
第二类
0
48
14
第三类
0
2
36
(4)
表18时ISODATA算法实验结果
setosa
（2）（3）（4）对比可以看出，增大聚类中心之间的距离时，可以使聚类数 目减少，同属于setosa得两类可以合并；但同时可以看出，versicolour和virgi nica的分类已经不会变化，仍有错误。
从以上分析可以看出，改变的大小会影响最后的聚类个数，但是对于分类
效果的改善没有很明显的作用
3・2.2改变一个类别中样本距离分布标准差对聚类结果的影响
第八步：分裂处理
计算每个聚类 中各样本到聚类中心的标准差矢量
其中表示n维中的第i个分量，
第九步：对各个标准差｛ ｝求其最大分量
(1)和
(2)
做分裂处理，将 分裂成两个新中心，和，同时 步，否则继续。
合并：
第步：计算全部类中心间的距离
第十二步：比较和给定的最小距离，将的值排序
第十三步：将距离为的两个中心 ， 合并
实验时，在进行聚类分裂时，有一个指标为样本距离分布标准差。现在研
究其他初始条件不变，仅改变对于聚类结果的影响。
（1）
表15时ISODATA算法实验结果
聚类分析(第4节_动态聚类法)
K- 均值法和系统聚类法一样，都是以距离的远近 或样品（或变量）的亲疏为标准进行聚类的，但是 两者的不同之处也是明显的：系统聚类对不同的类 数产生一系列的聚类结果，而 K- 均值法只能产生指 定类数的聚类结果。具体类数的确定，离不开实践 经验的积累；有时也可以借助系统聚类法以一部分 样品为对象进行聚类，其结果作为 K- 均值法确定类 数的参考。下面通过一个具体问题说明 K- 均值法的 计算过程。
第四节 动态聚类法
◆
●
逐步聚类法（动态聚类法） 按批修改法 ⑴ 按批修改法的具体步骤：
step1 选择一批凝聚点（个数为k个），并选定所采 用的距离定义（通常采用欧氏距离情形较为普遍）； step2 将所有的样品按与其距离最近的凝聚点归类 （“就近归类原则”）；
第四节 动态聚类法
step3 计算每一类的重心（即平均值），将重心作为新 的凝聚点，然后转到步骤2 。如果某一步骤所有的新凝聚 点与前一次的老凝聚点重合，则过程终止。有时并不绝 对要求这个过程收敛，而可以人为地规定这个修正过程 重复若干次后停止计算即可（有时确实无法收敛）。 ⑵ 分类准则函数。分类准则函数的定义方法很多，这 里介绍最直观的形式：设 X (i ) (i 1,2,, n)为n个样品点， 初始分类为k类： G1 , G2 ,, Gk , 它们的重心记为
两个正数必须取得适当。然后以每个样品为中心，
第四节 动态聚类法
d1 为半径，想象成一个圆，凡距离≤ d1 的样品数称
为该样品的密度。把每个样品的密度都求出后，按密 度大小依次考察各样品是否可作为凝聚点。以密度最 大的样品作为第一凝聚点；考察密度次大的样品，如 果它与第一凝聚点的距离大于d 2 ，就可作为第二凝聚 点，否则考察下一个密度次大的样品，直到找到第二 凝聚点。在考察下一个密度次大的样品，如果它与第 一、第二凝聚点的距离都大于 d 2 ，就可作为第三凝聚 点，直至所有的样品都考察一遍为止。
聚类分析方法
聚类分析方法
俗话说，物以类聚，聚类分析（cluster analysis）就是通过观测数据将对象进行分类的统计方法。
聚类分析的主要思想就是相近（或相似）的样品（或指标）归为一类，该方法最早是由考古学家在对考古分类中研究中发展起来的，如今已经被广泛的应用在天气、地质、生物、金融、保险、图像处理等许多领域。
在食品安全领域，可以通过食品污染物数据对地域进行分类或拓展到更多方面。
聚类方法有很多，不过大致可分为两类：系统聚类（hierachical clustering）方法和动态聚类(dynamic clustering)方法,系统聚类方法中最常用的是层次聚类，动态聚类中最常用的是K-均值聚类。
1层次聚类法
层次聚类方法对给定的数据集进行层次的分解，直到某种条件满足为止。
具体又可分为凝聚的，分解的两种方案。
层次聚类法中凝聚法就是先将n个样本各自看成一类，然后规定样品之间的距离和类与类之间的距离，将距离最小的一对并成一个新类，然后，计算新类和其他类的距离，再将距离最近的两类合并，这样每次减少一类，直到所有的样品都成一类为止。
凝聚法是类由多到少的方法，而分解法是类由少到多的算法，是先将所有的样品看成一类，然后将所有的样品分成两类，使得两类之间的样品尽量的远，接着再将各小类继续分类，直到所有的样品各成一类为止。
不管是凝聚法还是分解法，最终都是将根据各类之间的亲疏关系，逐步画成一张完整的分类系统图，即谱系图或树状聚类图。
类间距离等于两类对象之间的最小距离，根据经验，由离差平方和法所得的谱系聚类图的凝聚聚类方法最为清晰。
整个过程就是建立一个树结构，类似于下图。
聚类分析
的类别中。
思路总结： 先找中心后分类；关键：怎样开新类，聚类中心如何定。
为使聚类中心更有代表性，可取各类的样本均值作为聚类中心。 20
例3 对图示模式样本用最大最小距离算法进行聚类分析。
x2
7 5
②距Z1最远，选为Z2。计算T。
集出现不同聚类结果的现象。
5
x2 (mm )
x2 (mm )
5
4 c(0.1,4)
3
2
1 a(0,1)
0
d(0.4,5)
b(0.5,0) 12
(b)
5 c(1,4)
4
d(4,5)
3
2
1 a(0,1)
b(5,0)
0
1
23 4
(a)
5 x1 (mm )
x2 (cm)
3 x1 (cm)
3 2 1 c(1,0.4)
对结果验算，类内各样
本点间距离方差之和太大
T1
T1
T2
减小T，修改中心Z。
图5 选取不同阈值和聚类中心时得到的不同 聚类结果
18
2 最大最小距离算法（小中取大距离算法 ）
1） 问题已知N个待分类的模式 X1, X 2,, X N ，
分类到聚类中心 Z1, Z2,对应的类别中 。
2） 算法描述
j
相似性测度函数的共同点都涉及到把两个相比较的向量Xi，Xj 的分量值组合起来，但怎样组合并无普遍有效的方法，对具体的
模式分类，需视情况作适当选择。
11
2 聚类准则
聚类准则：根据相似性测度确定的，衡量模式之间是否相似的标 准。即把不同模式聚为一类还是归为不同类的准则。
第七章聚类分析
第七章聚类分析第七章聚类分析§7.1聚类分析方法一、基本思想根据一批样品的多个观测指标，具体找出一些能够度量样品或指标间相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度较大的样品聚为一类。
关系密切的聚为一个小的分类单位，关系疏远的聚为一个大的分类单位，直到把所有样品或指标都聚类完毕，这样就可以形成一个由小到大的分类系统。
聚类分析分类：按聚类变量分为样品聚类（Q聚类）和指标聚类（R聚类）；按聚类方法分为系统聚类和动态聚类二、相似性测度1、对样品进行聚类时，相似性一般用距离来衡量：（1）绝对值距离（2）欧氏距离（欧几里得距离）（3）平方欧氏距离（4）切比雪夫距离（5）闵可夫斯基距离2、对指标进行聚类时，相似性通常根据相关系数或某种关联性来决定（1）夹角余弦（2）皮尔逊相关系数（简单相关系数）§7.2系统聚类法一、基本思想系统聚类法分类：聚集法和分解法。
聚集法：首先将每个个体各自看成一群，将最相似的两个群合并，重新计算群间距离，再将最相似的两群合并，每步减少一群，直至所有个体聚为一群为止。
分解法：首先将所有个体看成一群，将最不相似的个体分成两群，每步增加一群，直至所有个体各自成为一群。
二、群间距离的定义1、最短距离法将两变量间的距离定义为一个群中所有个体与另一个群中的所有个体距离最小者。
设为群中的任一个体，为群中的任一个体，表示个体与间的距离，表示群与群间的距离，则最短距离法把两群间距离定义为：设类合并成一个新类记为，则任一类的距离为最短距离法进行聚类分析的步骤如下：（1）定义样品间距离，计算样品的两两距离，得一距离阵记为,开始每一个样品即为一类，显然这时（2）找出距离最小元素，设为，则将合并成一个新类，记为，即（3）按类间距离计算新类与其他类的距离（4）重复（2）（3）步，直到所有元素并成一类。
如果某一步距离最小的元素不止一个，则对应这些最小元素的类可以同时合并。
例7.1设有六个样品，每个只测量一个指标，分别是1, 2,5,7,9,10，试用最短距离法将它们分类。
动态聚类法
YOUR SITE HERE
物以类聚，人以群分
聚类分析是一种研究分类问题的多元统计方法。 聚类分析的职能是建立一种分类方法，它将一批样品或变量，按 照它们在性质上的亲疏、相似程度进行分类。 聚类分析的出发点是研究对象之间可能存在的相似性和亲疏关系。 所以，根据研究对象之间各种特征标志的相似程度或相关程度的大小， 可将它们进行分类归组。
2. Q型聚类分析(对样品的聚类)
研究样品之间的相似程度，对样品 进行分类。从几何意义上说，是以P个 变量为坐标轴，每个样品视为p维空间 中一点或一个向量，研究样本空间样品 点之间的关系。
样品1
变量3 样品3 样品2
变量1
变量2
YOUR SITE HERE
对矿床统计预测来说，主要是进行Q型聚类。 （1）对研究区所划分的单元，可视为样品，各单元所测定的各种地 质特征作为变量构成原始数据组。 （2）各单元成矿远景的好坏，决定于单元内有利成矿地质因素及矿 化标志的发育程度，根据这些地质因素和标志的相似程度对单元进行归类 分组。这实际上是一种对地质环境的分类。 （3）然后，据分类中已知有矿和已知无矿单元的分类归组，结合地 质条件分析，相对地评价各未知单元的成矿远景。
根据已知数据，计算各观察个体或变量之间亲疏关系的统计量（距 离、相关系数等），根据某种准则（最短距离法、最长距离法、中间距 离法、重心法等），使同一类内的差别较小，而类与类之间的差别较大， 最终将观察个体或变量分为若干类。
YOUR SITE HERE
两个“距离”概念
按照远近程度来聚类需要明确两个概念： 一个是点和点之间的距离，一个是类和类之间的距离。 点间距离有很多定义方式。最简单的是欧氏距离，还有其他的距离。 当然还有一些和距离相反但起同样作用的概念，比如相似性等，两点越 相似度越大，就相当于距离越短。 由一个点组成的类是最基本的类；如果每一类都由一个点组成，那么点 间的距离就是类间距离。但是如果某一类包含不止一个点，那么就要确定类 间距离，
动态聚类法—实验报告
（b）Nc≤K/2，则将Zj分裂为两个新的聚类中心 ,且类别数加Nc+1。
分裂方法是在 加上k* σjmax，在 的相应分量减去k*σjmax，其中k=0.5；。如果本步完成了分裂运算，则跳回第二步；否则，继续。
第十一步：计算全部聚类中心的距离： ,其中i=1,2, …,Nc-1
类别数Nc
类别
第一类
第二类
第三类
总体正确率
3
正确分类个数
50
36
49
0.90
正确率
1
0.72
0.98
7、[Ktheta_Ntheta_Stheta_CLI]=[6 8 1 137]时，
类别数Nc
类别
第一类
第二类
第三类
总体正确率
3
正确分类个数
50
44
44
0.92
正确率
1
0.88
0.88
8、[Ktheta_Ntheta_Stheta_CLI]=[6 8 1 1310]时，
二、算法设计
第一步：将个模式样本{ ,i=1,2,3,…, }读入，确定C个初始聚类中心和6个初始参数（K，θN，θc，θs，L，I）。
第二步：将N个模式样本分给最近的聚类，假如
Dj=min(‖x-zj‖,i=1,2,…,),即‖x-zj‖的距离最小，则x∈Sj。
第三步：如果Sj中的样本数Nj<θN,取消样本子集。
总体正确率
3
正确分类个数
50
45
41
0.91
正确率
1
0.90
0.82
3、[Ktheta_Ntheta_Stheta_CLI]=[6 100.5138]时，
聚类分析
FASTCLUS过程的语句格式： Proc fastclus 选择项 ； Var 变量 ; Id 变量 ； By 变量 ； Run ;
例：根据北京地区1951～1976 年共26 个观测 的气温资料, 用动态聚类法把它们进行聚类, 调用FASTCLUS 过程, 采用如下SAS 程序 分析.
data temperat; input year Dec Jan Feb; cards; 1951 1.0 -2.7 -4.3 1952 -5.3 -5.9 -3.5 1953 -2.0 -3.4 -0.8 1954 -5.7 -4.7 -1.1 1955 -0.9 -3.8 -3.1 1956 -5.7 -5.3 -5.9 1957 -2.1 -5.0 -1.6 1958 0.6 -4.3 -0.2 1959 -1.7 -5.7 2.0 1960 -3.6 -3.6 1.3 1961 -3.0 -3.1 -0.8 ;
dij 1 rij , 或dij 1 rij2
用以上距离阵作为CLUSTRE过程的输入矩 阵进行变量聚类。
练习： 例 6.3.2 P201 习题 6.2
变量分类的分裂聚类法——VARCLUS
VARCLUS过程的一般格式： Proc varclus <选择项> ； Var variables ; Freq variables ; By variables ;
因此利用聚类分析方法，把相似性强的指 标聚为一类，而相似性较弱的指标聚为不同的 类，然后在每一类中选择一个代表性指标，并利 用这些代表性指标进行有关统计分析，考察研究 对象的特性即可得到研究的目的。 SAS系统对变量聚类提供了两大方法：一类是 系统聚类法，另一类是分裂聚类法。
变量聚类的系统聚类法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
品它们的相似系数则越接近于 0 ，相似的为一类，
不相似的为不同类；另一种叫距离，它是将每一个
样品看作 p 维空间的一个点，并用某种度量测量点
与点之间的距离，距离较近的归为一类，距离较远 的点应属于不同的类。
15
变量之间的聚类即 R型聚类分析，常用相 似系数来测度变量之间的亲疏程度。而样品 之间的聚类即 Q 型聚类分析，则常用距离来 测度样品之间的亲疏程度。
这是一个自身标准化的量，由于它对大的奇异 值不敏感，这样使得它特别适合于高度偏倚的数据。 虽然这个距离有助于克服明氏距离的第一个缺点， 但它也没有考虑指标之间的相关性。
21
(4)马氏距离 这是印度著名统计学家马哈拉诺比斯 (P ． C ． Mahalanobis) 所定义的一种距离，其计算 公式为：
i 1, 2 ,,n
* 0 xij 1
10
经过正规化变换后，数据矩阵中每列即每 个变量的最大数值为1，最小数值为0，其余数 据取值均在 0～1 之间；并且变换后的数据都不 再具有量纲，便于不同的变量之间的比较。
11
3、标准化变换
标准化变换也是对变量的数值和量纲进行类似于
规格化变换的一种数据处理方法。首先对每个变量进 行中心化变换，然后用该变量的标准差进行标准化。
x11• x12•
市场交易中的买和卖等都是此类变量。 显然，
对于具有多个特性状态的变量，可通过并类 的方法将其转化为二性状态变量。
6
二、数据的变换处理
所谓数据变换，就是将原始数据矩阵中 的每个元素，按照某种特定的运算把它变成
为一个新值，而且数值的变化不依赖于原始
数据集合中其它数据的新值。
7
1、中心化变换
中心化变换是一种坐标轴平移处理方法，它
8
中心化变换的结果是
1. 使每列之和均为0，即每个变量的均值为0；
2. 协方差阵不变；
3. 每列数据的平方和是该列变量样本方差的 (n-1) 倍；
4. 任何不同两列数据之交叉乘积是这两列变量样
本协方差的(n-1)倍，所以这是一种很方便地计算
方差与协方差的变换。
9
2、极差正规化变换
正规化变换是从数据矩阵的每一个变量中找出其最大值
第六章 聚类分析
1
系统聚类分析 直观，易懂。
动态聚类 快速，动态。
有序聚类
保序(时间顺序或大小顺序)。
2
§2 距离和相似系数
一、变量测量尺度的类型
为了将样本进行分类，就需要研究样品之间
的关系；而为了将变量进行分类，就需要研究
变量之间的关系。但无论是样品之间的关系，
还是变量之间的关系，都是用变量来描述的， 变量的类型不同，描述方法也就不同。通常， 变量按照测量它们的尺度不同，可以分为三类。
述各种距离的主要不同就是马氏距离考虑了观测变量之间
的相关性。如果假定各变量之间相互独立，即观测变量的
协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测
马氏距离不仅考虑了观测变量之间的相关性，而且也考虑 到了各个观测指标取值的差异程度，为了对马氏距离和欧 氏距离进行一下比较，以便更清楚地看清二者的区别和联
dij (xi x j ) (xi x j )
2 1
分别表示第i个样品和第j样品的p指标观测值所组成 的列向量，即样本数据矩阵中第 i个和第j个行向量的
转置，表示观测变量之间的协方差短阵。在实践应
用中，若总体协方差矩阵 未知，则可用样本协方差
矩阵作为估计代替计算。
22
马氏距离又称为广义欧氏距离。显然，马氏距离与上
特别，欧氏距离
dij
k 1
( xik
p
x jk ) 2
18
闵科夫斯基距离主要有以下两个缺点： ①闵氏距离的值与各指标的量纲有关，而各指标 计量单位的选择有一定的人为性和随意性，各变量 计量单位的不同不仅使此距离的实际意义难以说清， 而且，任何一个变量计量单位的改变都会使此距离 的数值改变从而使该距离的数值依赖于各变量计量 单位的选择。 ②闵氏距离的定义没有考虑各个变量之间的相关 性和重要性。实际上，闵氏距离是把各个变量都同 等看待，将两个样品在各个变量上的离差简单地进 行了综合。
理，则通常就可采用欧氏距离，而不必选用斜交空间距
离。此外，所选择的亲疏测度指标，还须和所选用的聚 类分析方法一致。如聚类方法若选用离差平方和法，则 距离只能选用欧氏距离。
30
(3) 适当地考虑计算工作量的大小。如对大样本的 聚类问题，不适宜选择斜交空间距离，因采用该距离处 理时，计算工作量太大。样品间或变量间亲疏测度指标 的选择是一个比较复杂且带主规性的问题，我们应根据 研究对象的特点作具体分折，以选择出合适的亲疏测度 指标。实践中，在开始进行聚类分析时，不妨试探性地 多选择几个亲疏测度指标，分别进行聚类，然后对聚类 分析的结果进行对比分析，以确定出合适的亲疏测度指 标。
19
(2)杰氏距离 这是杰斐瑞和马突斯塔(Jffreys & Matusita)所定 义的一种距离，其计算公式为：
d ij ( J )
k 1
p
( xik x jk )
2
12
20
(3)兰氏距离
这是兰思和维廉姆斯(Lance & Williams)所给定的
一种距离，其计算公式为：
1 m xik x jk d ij ( L) m k 1 xik x jk
x21•
x12•
33
ቤተ መጻሕፍቲ ባይዱ
最长距离（Furthest Neighbor ）
•
x11• •
x21•
d12
•
• •
•
34
组间平均连接（Between-group Linkage)
•
•
•
•
• •
d1 d 9 9
35
1 、组内平均连接法（Within-group Linkage)
d1 d 2 d3 d 4 d5 d6 6
31
至此，我们已经可以根据所选择的距离构成 样本点间的距离表,样本点之间被连接起来。
Gq
Gp
G1
0
G2
d12
0
…
Gn
d1n
d2n
┇
G1 G2
┇ ┇
…
d 21
┇
Gn
d n1
dn2
…
0
32
四、样本数据与小类、小类与小类之间的度量
1 、最短距离（Nearest Neighbor)
x11•
d13
x22•
换后，数据短阵中任何两列数据乘积之和是两个
变量相关系数的（n-1）倍，所以这是一种很方便
地计算相关矩阵的变换。
13
4．对数变换 对数变换是将各个原始数据取对数，将原始数 据的对数值作为变换后的新值。即：
* xij log( xij )
14
三、样品间亲疏程度的测度
研究样品或变量的亲疏程度的数量指标有两种， 一种叫相似系数，性质越接近的变量或样品，它们 的相似系数越接近于1或-1，而彼此无关的变量或样
和最小值，这两者之差称为极差，然后从每个变量的每个 原始数据中减去该变量中的最小值，再除以极差，就得到 正规化数据。即有：
* xij
xij min( xij )
i 1, 2 ,, n
Rj
i 1, 2 ,,n
(i 1,2,3,, n; j 1,2,3,, p)
R j max ( xij ) min( xij )
3
(1)间隔尺度。指标度量时用数量来表示，
其数值由测量或计数、统计得到，如长
度、重量、收入、支出等。一般来说，
计数得到的数量是离散数量，测量得到
的数量是连续数量。在间隔尺度中如果 存在绝对零点，又称比例尺度。
4
(2)顺序尺度。指标度量时没有明确的数量 表示，只有次序关系，或虽用数量表示，但相
邻两数值之间的差距并不相等，它只表示一个
设A(1,1)和B (1,1)两点。
d A (M ) 1.05 d B (M ) 20
d A (U ) 2 d B (U ) 2
24
(5) 斜交空间距离
由于各变量之间往往存在着不同的相关 关系，用正交空间的距离来计算样本间的 距离易变形，所以可以采用斜交空间距离。
1 p p dij 2 ( xih x jh )( xik x jk ) hk p h1k 1
cij cos ij
n
x j x1 j , x2 j ,, xnj
k 1 n 2 n ki k 1 k 1
xki xkj
2 xkj
x
2 2 dij 1 Cij
27
五、距离和相似系数选择的原则
一般说来，同一批数据采用不同的亲疏测度指标，
会得到不同的分类结果。产生不同结果的原因，主要 是由于不同的亲疏测度指标所衡量的亲疏程度的实际 意义不同，也就是说，不同的亲疏测度指标代表了不 同意义上的亲疏程度。因此我们在进行聚类分析时，
是先求出每个变量的样本平均值，再从原始数据中
减去该变量的均值，就得到中心化变换后的数据。
设原始观测数据矩阵为：
x11 x 21 X x n1
* ij
x12 x1 p x22 x2 p xn 2 xnp
令x xij x j (i 1,2,3,, n; j 1,2,3,, p)
应注意亲疏测度指标的选择。通常，选择亲疏测度指
标时，应注意遵循的基本原则主要有：
28
(1) 所选择的亲疏测度指标在实际应用中应有