第八章-聚类分析

聚类分析
什么是自然分组结构？ 看一下的例子： 现有16张扑克牌，问如何将它们进行分组？
聚类分析
按照花色是否相同： ❖ 分成四组； ❖ 组与组之间花色相异。
聚类分析
按照符号是否相同： ❖ 分成四组； ❖ 符号相同的牌为一组。
聚类分析
按照颜色是否相同： ❖ 分成两组； ❖ 颜色相同的牌为一组。
聚类分析
➢一个连续的顺序变量，值的相对位置要比它的实际数值有意 义的多，如某个比赛的相对排名（金牌、银牌和铜牌）可能比 实际得分更重要。
有序尺度变量
有序尺度变量的处理与间隔尺度变量非常类似，假设f是用于描 述n个对象的一组顺序变量之一，关于f的距离计算如下：
接下来就可以用间隔尺度变量中所描述的任意一组距离度量方 法进行计算相异度。
恒定的相似度
➢如果一个二值变量取0或1所表示的内容同等价值，且有相同
的权重，则该二元变量是对称的。如，属性“性别”，有两个
值“女性”和“男性”，两个取值都没有优先权 。
➢基于对称二元变量的相似度，称为恒定的相似度。
➢对恒定相似度而言，评价对象i和j间相异度的最著名的方式
是简单匹配系数：
q表示在对象i和对象j中均取1的二值变量个数； r表示在对象i取1但对象 j中取0的二值变量个数； s表示在对象i中取0而在对象j中取1的二值变量 个数； t则表示在对象i和对象j中均取0的二值变量个数。
蜥蜴,蛇, 麻雀，海鸥, 金鱼,青蛙
金鱼, 鲨鱼
羊பைடு நூலகம்狗,猫,蜥蜴, 蛇,麻雀，海鸥, 青蛙
(a)繁衍后代的方式
羊,狗,猫,
金鱼,
蜥蜴,蛇,麻雀， 鲨鱼
海鸥,
青蛙
(c) 生存环境
(b) 肺的存在
蜥蜴,蛇,麻 雀，海鸥, 青蛙
金鱼
羊,狗, 猫,
鲨鱼
(d)繁衍后代的方式和是否存在肺
距离测度对聚类结果的影响
测量点与点之间的距离，距离较近的归为一类，距离 较远的点应属于不同的类。
样本资料矩阵
设： X i (x i1 ,x i2 , ,x i) p i 1 ,2 , ,n
样本资料矩阵
X1 x11 x12 x1p
X
X2
x21
x22
x2
p
Xn
xn1
xn2
xnp
定义距离的准则
定义第i个和第j个样本间的距离要求满足如下四个条 件（距离可以自己定义，只要满足距离的条件）：
➢常用的距离有：只适用于度量数值型变量（间隔尺度变量） 明可夫斯基距离（包括欧氏距离、切比雪夫距离、曼哈顿距 离）； 马氏距离； 其他距离。
2）R型聚类：对变量进行聚类（列聚类）；
❖用变量之间的相似系数来度量距离。
一、Q型聚类（对样本聚类）
距离的意义
距离：
❖ 测度样本之间的亲疏程度； ❖ 将每一个样本看作p 维空间的一个点，并用某种度量
年龄 收入 家庭人口数
甲
30
3000
1
乙
40
3200
3
d(3 0 4)2 0 (30 3 02 )0 2 0 (1 0 3 )2
示例：
另外，明氏距离的数值与指标的量纲有关。如，二维样本 （身高、体重），有三个样本：
a(180,50); b(190,50); c(180,60) 则a与b之间的明氏距离（欧氏距离、切比雪夫距离）等 于a与c之间的距离 ❖但问题是，身高的10cm真的等价于体重的10kg吗？ ❖因此，明氏距离无法消除量纲的影响，在衡量这类样本 的相似度时容易出现问题。
准差越小，数值越集中。
（2）计算标准化测量（z-score）：
x* ij
xij x j Sj
( i 1 , 2 , 3 , ,n ;j 1 , 2 , 3 , ,p )
度量值的标准化
❖ 经过标准化变换处理后，每个变量的平均值为 0，方差为1，且也不再具有量纲，这便于不同 变量之间的比较。
❖ 接下来就可以用前面所描述的任意一组距离 度量方法进行计算相异度。
数据的粗聚类是两类,细聚类为4类
聚类分析无处不在
挖掘有价值的客户，并制定相应的促销策略：
如，对经常购买酸奶的客户； 对累计消费达到12个月的老客户。
针对潜在客户派发广告，比在大街上乱发传单命中率更高， 成本更低。
聚类分析无处不在
谁是银行卡的黄金客户？：
利用储蓄额、刷卡消费金额、诚信度等变量对客户分类， 找出“黄金客户”！； 这样银行可以： 制定更吸引客户的服务，留住客户，如：
3、名义尺度变量 （符号变量）
名义尺度变量
名义尺度变量（符号变量）：
➢ 二元变量：只有两个状态：0或者1。其中0代表变量所表示 的状态不存在；1则代表相应的状态存在。
▪ 如：电路的开和关，天气的有雨和无雨，人口性别的男和女，医 疗诊断中的“十”和“一”，市场交易中的买和卖等都是此类变 量
➢ 名义变量：是二元变量的推广，可具有多于两个的状态值
度量值的标准化
一种方法是将初始测量值转换为无单位变量。给定一个属性
变量f，可用如下公式对其进行标准化：
（1）计算标准差
Sj n11i n1(xijxj)2
，而 xj1 n(1xjx2j...xn)j.
标准差描述的是变量的各个取值到均值的距离之平均，反映
的是数值分布的离散度。标准差越大，数值越分散；反之，标
设原始数据为
x11 x12 x1 p
x
21
x22
x
2
p
x
n
1
xn2
x np
令 d ij 表示样品 x i 与 x j 的距离
明氏距离
1
dij
(
p
|
xil
xjl
|k
k
)
l1
第七章：d ( a , b ) x a 1 x b 1 p x a 2 x b 2 p x a x n b p n 1 / p
该例子告诉我们： ❖ 分组的意义在于我们怎样定义并度量“相似性”？ ❖ 因此衍生出一系列度量相似性的方法。
7.2 距离和相似系数
聚类分析的原则：
❖同一个组内的数据对象具有较高的相似度； ❖ 而不同组中的数据对象是不相似的。
7.2 距离和相似系数
相似性（Similar）的度量（统计学角度）： 1） Q型聚类：对样本进行聚类（行聚类）
，对比例数值变量进行处理，然
后将yif当做区间标度变量来处理。
40
2、有序(ordinal)尺度变量
有序尺度变量
有序尺度变量（顺序变量）：
➢一个离散的顺序变量类似于符号变量，但不同的是顺序变量 的M个状态是以有意义的顺序进行排列的。
➢如专业等级是一个顺序变量，是按照助教、讲师、副教授和教授 的顺序排列的。
明氏距离
1
dij
(
p
|
xil
x
jl
|k
k
)
l 1
特别地，
p
当k＝1时，即为曼哈顿（绝对值）距离： dij xil x jl l 1
p
当k＝2时，即为欧氏距离： dij
(xil x jl )2
l 1
当k＝∞时，即为切比雪夫距离：dij
max
1l p
xil
x jl
x1
1 20 2 18 3 10 44 54
示例：
➢ 另外，即使是同一个变量，选用的度量单位的不同，也 将直接影响聚类分析的结果：
▪ 如：将高度的度量单位由“米”变为“英尺”，或将重量的 单位由“千克”变为“英镑”，可能会产生非常不同的聚类
结构。 ➢ 一般，度量单位越小，变量可能的值域越大，对聚类结
果的影响也越大。因此，为避免对度量单位选择的依赖， 数据应当标准化。
聚类分析无处不在
生物学领域：
推导植物和动物的分类； 对基因分类，获得对种群的认识； 。。。。。。
数据挖掘领域：
作为其他数学算法的预处理步骤，获得数据分布状况，集 中对特定的类做进一步研究。
聚类分析
聚类分析的目的是寻找数据中：
潜在的自然分组结构 (structure of natural grouping)。 感兴趣的关系 relationship
▪ 如颜色变量（红、橙、黄、绿、蓝等）。
1）二元变量的相异度计算
差异矩阵法：
如果假设所有的二元变量有相同的权重，则可以得到一个两 行两列（2*2）的条件表。
二元变量的相异度计算
其中： ➢ q表示在对象i和对象j中均取1的二值变量个数； ➢ r表示在对象i取1但对象j中取0的二值变量个数； ➢ s表示在对象i中取0而在对象j中取1的二值变量个数； ➢ t则表示在对象i和对象j中均取0的二值变量个数。 ➢ 二值变量的总数为p，则：p=q+r+s+t。
组的数目已知，目标是将一个新的对象分派给这些组之一； 有（教师）监督的学习方法；示例式学习。
第7章
聚类分析
第7 章
7.1 什么是聚类分析？ 7.2 距离和相似系数 7.3 类的定义和类间距离 7.4 基于划分的聚类方法 7.5 基于层次的聚类方法 7.6 基于密度的聚类方法
学习目的
掌握各种距离的计算方法。 掌握聚类的常用方法。
特例：比例数值变量
比例数值变量（比例标度型变量）：
➢一个比例数值变量指在非线性的标度上取正的度量值的变量， 如指数比例：
39
特例：比例数值变量
在计算比例数值变量所描述对象间的距离时，有两种处理方 法：
1）将比例数值变量看作区间标度变量，采用相同的方法处理， 但不佳，因为比例尺度是非线性的；
2）采用对数变换
类。
再如：同学间的交往（家庭情况、性格、学习 成绩、业余爱好等）