第3章 聚类分析

顾客 1 2 3 4 5 式样 0 1 1 1 1 图案 1 1 1 0 0 颜色 0 1 0 1 1 材料 1 1 0 1 0
例3：对某公司50名销售人员业绩（包括销售增长 、销售利润及新客户销售额3项指标）进行分析， 根据业绩将这50人分为三类。 例4：测量成年女子的上体长、手臂长、胸围、颈 围、总肩宽、腰围等14个变量，测量3454名成年 女子的数据，将这些变量分成几类，以便考虑能 否合并或简化一些变量。
③ ⑥
⑦ 9 .43 14.87
5、 d 36 = 6 为最小，⑧= {3,6}
d 87 = min{d 37 , d 67 } = 9.43
6、按聚类的过程画聚类谱系图
并 类 距 离 ⑨
d 4,5 = 2 d1, 2 = 3.6 d 3, 6 = 6 d 7 ,8 = 9.43
⑧
4
5
3
1
2
7、
类的 图
提供的产品，得到的数据如表，试对这4家产 品聚类。
供货商 甲 乙 丙 丁 样本均值 18.002 17.997 18.050 18.200 样本标准差 0.003 0.004 0.002 0.500
例2：对5个女顾客调查她们对某件服装的看法
，分别取5个变量：式样，图案，颜色，材料； 喜欢取1，不喜欢取0。所得数据见下表，试将 她们分类。
§1 什么是聚类分析
聚类分析是研究分类问题的一种多元统计方法。 所谓类，就是指相似元素的集合。 类 相似元素的集合。 相似元素的集合 聚类分析的研究目的 把相似的东西归成类，根据相似的程度将研 究目标进行分类。 为了进一步了解聚类分析概念，我们看看下面 的六个例子。
例1：某零件标准长度为18，检验4家供货商
(1) 明氏距离
x11 x 设n个样本，m个变量， 21 M 构成样本矩阵为 x n1
令
x12 L x1m x22 L x2 m M M M xn 2 L xnm
d ij
表示样品
xi
与
m
xj
的距离
k 1 k
m
明氏距离
dij = (∑| xil − xjl | )
2、变量间的相似性 、
（1）相关系数
变量
xj
和
xk
n i =1
的相关系数：
− x j )( xik − xk )
1 2
rjk =
∑ (x
ij
n n 2 (xij − x j ) ∑ ( xik − xk )2 ∑ i =1 i =1
（2）夹角余弦
c jk =
∑x
i =1
n
ij
(
)
(
)
=
∑
l =1
m
(x
il
− x jl sl2
)
2
或者先将原始矩阵标准化，再计算欧氏距离： 或者先将原始矩阵标准化，再计算欧氏距离：
x11 − x1 s1 x21 − x1 s 1 M M xn1 − x1 s1
x12 − x2 s2 x22 − x2 s2 M M xn 2 − x2 s2
类 5 3类
{1,2} 、3} 、{4,5} {
二、最长距离法
定义类p与 之间的距离为两类最远样品的距离 之间的距离为两类最远样品的距离， 定义类 与q之间的距离为两类最远样品的距离，即
d pq = max {d ij }
i∈ p , j∈q
• x11• •
x21•
d12
• • •
•
设类p与 q合并成一个新类，记为k，则k与任一类r 的距离是
, dqr }
k p q r
【例】最短距离法
设抽样调查5位中年男性，调查如下2个指标 x1 ：每月大约喝多少瓶啤酒？ x2 ：喜欢喝啤酒吗？ 调查数据如下，对这5位男性分类。
x1
1 2 3 4 5 20 18 10 4 4
x2
7 10 5 5 3
1.计算5个样品两两之间的距离 记为距离矩阵
d ij（采用欧氏距离），
这些问题都是聚类问题，它们的共同点是： 这些问题都是聚类问题，它们的共同点是： （1）有若干变量或指标，例1的两个变量是样本均值，样 有若干变量或指标， 变量或指标 的两个变量是样本均值， 本标准差， 本标准差，例2的4个变量是对服装的式样、颜色等的态度， 个变量是对服装的式样、颜色等的态度， 例3的变量是销售增长、销售利润等。 的变量是销售增长、销售利润等。 （2）有若干次观测值，每次观测值成为一个样品，构成若 有若干次观测值，每次观测值成为一个样品， 观测值 干个样本。 干个样本。 （3）要求分类或分组，有的要求对样本分类，有的要求对 要求分类或分组，有的要求对样本分类， 分类或分组 变量分类。 变量分类。 通常将这些分类称为聚类。 通常将这些分类称为聚类。 聚类
x − x jm + ... + im sm
2
d ij =
=
xi 1 − x j 1 xi 2 − x j 2 + s1 s2
2
1 1 1 2 2 2 xi 1 − x j 1 + 2 xi 2 − x j 2 + ... + 2 (xi m − x jm ) s12 s2 sm
xik
1 2
n 2 n 2 ∑ xij ∑ xik i =1 i =1
下面介绍两种主要的聚类方法： 下面介绍两种主要的聚类方法：
系统聚类法 快速聚类法（动态聚类法） 快速聚类法（动态聚类法）
§3 系统聚类法
系统聚类法的基本思想
先将n个样品各自看成一类，然后规定样品之 间的“距离”和类与类之间的距离。选择距离最近 距离最近 的两类合并成一个新类，计算新类和其它类（各当 前类）的距离，再将距离最近的两类合并。这样， 每次合并减少一类，直至所有的样品都归成一类为 直至所有的样品都归成一类为 止。
得距离矩阵如下： ② 3.6 ③ 10.2 9.43 ⑥ 16.12 14.87 6
① ② ③
4、重复步骤2、3，合并距离最近的两类为新类，直到所有 的类并为一类为止。
d12 = 3.6 为最小， ⑦= { ,2} 1
d 73 = min{d13 , Βιβλιοθήκη 23 } = 9.43⑥ 6
d 76 = min{d16 , d 26 } = 14.87
1≤l ≤3
明考夫斯基距离有以下两个缺点： 明考夫斯基距离有以下两个缺点：
①明氏距离的数值与指标的量纲 量纲有关。当各 量纲 变量的测量值相差悬殊时，常发生“大数吃小数” 的现象，为消除量纲的影响，通常先将每个变量 进行标准化。 ②明氏距离的定义没有考虑各个变量之间相 关性的影响。
甲 乙 年龄 30 40 收入 3000 3200 家庭人口数 1 3
第三章 系统模型与模型化
工业工程教研室
第三章 系统模型与模型化
第一节： 第一节：系统模型与模型化概述 第二节： 第二节：系统结构模型化技术 第三节： 第三节：主成份分析及聚类分析 第四节： 第四节：状态空间模型 第五节： 第五节：系统工程模型技术的新进展
第三节 聚类分析
§1 什么是聚类分析 §2 相似性的测度 §3 系统聚类法 §4 动态聚类法
d甲乙 = ( 30 − 40) 2 + ( 3000 − 3200) 2 + (1 − 3) 2
(2) 标准化的欧氏距离
设原始矩阵为 标准化的欧氏距离为
x11 x 21 M x n1
2
x12 L x1m x22 L x2 m M M M xn 2 L xnm
1≤l ≤m
x1
1 2 3 4 5 欧氏距离 20 18 10 4 4
x2
7 10 5 5 3
3
x3
25.2 36.3 28.9 11.5 17
计 d24 算
d24 =
(x2l − x4l )2 ∑
l =1
= (18 − 4)2 + (10 − 5)2 + (36.3 −11.5)2
切比雪夫距离
d24 = m x2l − x4l = 36.3−11.5 = 24.8 ax
d kr = max{d pr
, d qr }
k p q r
例 最长距离法
1.计算5个样品两两之间的距离 记为距离矩阵
定义类p与 之间的距离为两类最近样品的距离 之间的距离为两类最近样品的距离， 定义类 与q之间的距离为两类最近样品的距离，即
d pq = min {d ij }
i∈ p , j∈q
xq1• xp2• xp1•
d pq
xq2•
xq3•
设类p与 q合并成一个新类，记为k，则k与任一类r 的距离是
d kr = min{d pr
例5：对10位应聘者做能力测试。3项指标X、Y和Z分 别表示数学推理能力、空间想象能力和语言理解能力。 其得分如下，选择合适的统计方法对应聘者进行分类。
应聘者 X Y Z 1 28 29 28 2 18 23 18 3 11 22 16 4 21 23 22 5 26 29 26 6 20 23 22 7 16 22 22 8 14 23 24 9 24 29 24 10 22 27 24
聚类分析的研究对象
R型分析----对变量进行分类 Q型分析----对样品进行分类
聚类分析研究的主要内容
如何度量事物之间的相似性 ? 怎样构造聚类的具体方法以达到分类的目的?
§2 相似性的测度
1、样本之间的相似性 、 距离：测度样品之间的亲疏程度。将每一个 距离 样品看作p维空间的一个点，并用某种度量测 量点与点之间的距离，距离较近的归为一类， 距离较远的点应属于不同的类。