第15章聚类分析1统计学原理.
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2008年8月
12 - 11
统计学
STATISTICS (第三版)
相似性的度量
(样本点间距离的计算方法)
在对样本进行分类时，度量样本之间的相似 性使用点间距离 点间距离的计算方法主要有
12 - 12
欧氏距离(Euclidean distance) 平方欧氏距离(Squared Euclidean distance) Block距离(Block distance) Chebychev距离(Chebychev distance) 马氏距离(Minkovski distance) 最常用的是平方欧氏距离
2
x
i 1
i
yi
max xi yi
q
x
i 1
p
i
yi
q
2008年8月
统计学
STATISTICS (第三版)
相似性的度量
(变量相似系数的计算方法)
在对变量进行分类时，度量变量之间的相似 性常用相似系数，测度方法有
cos xy
x y
i i i i
i
夹角余弦
2 2 x y i i
按照多项经济指标(变量)对不同的地区(样本)进行分 类 按照不同地区的样本数据对多个经济变量进行分类
按照样本对多个变量进行分类，则称为R型聚类
两种聚类没有什么本质区别，实际中人们更感兴 趣的通常是根据变量对样本进行分类(Q型聚类)
12 - 8 2008年8月
统计学
STATISTICS (第三版)
统计学
STATISTICS (第三版)
第15章 聚类分析
12 - 1
2008年8月
聚类分析
1 聚类分析的基本原理 2 系统聚类 3 K-均值聚类
统计学
STATISTICS (第三版)
学习目标
聚类分析的基本思想和原理
层次聚类和K-均值聚类的基本过程
解释聚类的结果 层次聚类和K-均值聚类的差异及应用条件 聚类分析的注意事项 用SPSS进行聚类分析
12 - 3
2008年8月
统计学
STATISTICS (第三版)
聚类分析
(cluster analysis)
根据经济发展水平把各个国家分成发达国家、中等发达 国家、发展中国家 按照消费者的特征对消费者分类，按照产品特征对产品 分类
在现实生活中，分类问题是十分常见的
12 - 4
这些分类中，有的事先并不知道存在什么类别，完 全按照反映对象特征的数据把对象进行分类，这在 统计上称为聚类分析；有的则是在事先有了某种分 类标准之后，判定一个新的研究对象应该归属到哪 一类别，这在统计上则称为判别分析 (discriminant analysis) 本章主要介绍聚类分析方法
2008年8月
12 - 9
聚类分析的思想和原理 1.2 相似性的度量
统计学
STATISTICS (第三版)
相似性的度量
聚类分析中是用“距离”或“相似系数”来度量对象 之间的相似性 31 个地区的人均 GDP 数据就是直线上的 31 个点，每 一个点对应一个地区 如果按照人均GDP对它们进行分类，就可以把在直线 上离得比较近的那些点归为一类。如果再考虑财政收 入，那么人均GDP和财政收入就是二维平面上的一个 点，31个地区就是平面中的31个点 多个变量就是高维空间中的一个点，31个地区就是高 维空间中的31个点 各个点之间距离的远近就是分类的依据
2008年8月
聚类分析
1 聚类分析的基本原理
1.1 什么是聚类分析? 1.2 相似性的度量
聚类分析的思想和原理 1.1 什么是聚类分析？
统计学
STATISTICS (第三版)
什么是聚类分析？
(cluster analysis)
这些类不是事先给定的，而是直接根据数据的特 征确定的
把“对象”分成不同的类别
2008年8月
统计学
STATISTICS (第三版)
系统聚类
(合并法)
将每一个样本作为一类，如果是k个样本就分k成类 按照某种方法度量样本之间的距离，并将距离最近 的两个样本合并为一个类别，从而形成了k-1个类别 再计算出新产生的类别与其他各类别之间的距离， 并将距离最近的两个类别合并为一类。这时，如果 类别的个数仍然大于1，则继续重复这一步，直到所 有的类别都合并成一类为止 总是先把离得最近的两个类进行合并
把相似的东西放在一起，从而使得类别内部 的“差异”尽可能小，而类别之间的“差异 ”尽可能大 聚类分析就是按照对象之间的“相似”程度 把对象进行分类
12 - 7
2008年8月
统计学
STATISTICS (第三版)
什么是聚类分析？
(两种分类方式)
聚类分析的“对象”可以是所观察的多个样本， 也可以是针对每个样本测得的多个变量 按照变量对所观察的样本进行分类称为Q型聚类
统计学
STATISTICS (第三版)
系统聚类
(hierarchical cluster)
系统聚类又称层次聚类 事先不确定要分多少类，而是先把每一个 对象作为一类，然后一层一层进行分类 根据运算的方向不同，层次聚类法又分为 合并法和分解法，两种方法的运算原理一 样，只是方向相反
12 - 17
2008年8月
统计学
STATISTICS (第三版)
相似性的度量
(样本点间距离的计算方法)
2 ( x y ) i i i 1 p
Euclidean距离
Squared Euclidean距离
Block距离 Chebychev距离 Minkovski距离
12 - 13
(x
i 1
p
p
i
yi )
什么是聚类分析？
(按什么分类)
按对象的“相似”程度分类 根据样本的观测数据测度变量之间的相似性 程度可以使用夹角余弦、 Pearson 相关系数 等工具，也称为相似系数
ຫໍສະໝຸດ Baidu
变量间的相似系数越大，说明它们越相近
根据变量来测度样本之间的相似程度则使用 “距离”
把离得比较近的归为一类，而离得比较远的放在 不同的类
Pearson相关系数
rxy
(x
i i
i
x )( y i y )
i
2 2 ( x x ) ( y y ) i i
12 - 14
2008年8月
聚类分析
2 系统聚类
2.1 系统聚类的两种方式 2.2 类间距离的计算方法 2.3 系统聚类的应用
2 系统聚类 2.1 系统聚类的两种方式
12 - 11
统计学
STATISTICS (第三版)
相似性的度量
(样本点间距离的计算方法)
在对样本进行分类时，度量样本之间的相似 性使用点间距离 点间距离的计算方法主要有
12 - 12
欧氏距离(Euclidean distance) 平方欧氏距离(Squared Euclidean distance) Block距离(Block distance) Chebychev距离(Chebychev distance) 马氏距离(Minkovski distance) 最常用的是平方欧氏距离
2
x
i 1
i
yi
max xi yi
q
x
i 1
p
i
yi
q
2008年8月
统计学
STATISTICS (第三版)
相似性的度量
(变量相似系数的计算方法)
在对变量进行分类时，度量变量之间的相似 性常用相似系数，测度方法有
cos xy
x y
i i i i
i
夹角余弦
2 2 x y i i
按照多项经济指标(变量)对不同的地区(样本)进行分 类 按照不同地区的样本数据对多个经济变量进行分类
按照样本对多个变量进行分类，则称为R型聚类
两种聚类没有什么本质区别，实际中人们更感兴 趣的通常是根据变量对样本进行分类(Q型聚类)
12 - 8 2008年8月
统计学
STATISTICS (第三版)
统计学
STATISTICS (第三版)
第15章 聚类分析
12 - 1
2008年8月
聚类分析
1 聚类分析的基本原理 2 系统聚类 3 K-均值聚类
统计学
STATISTICS (第三版)
学习目标
聚类分析的基本思想和原理
层次聚类和K-均值聚类的基本过程
解释聚类的结果 层次聚类和K-均值聚类的差异及应用条件 聚类分析的注意事项 用SPSS进行聚类分析
12 - 3
2008年8月
统计学
STATISTICS (第三版)
聚类分析
(cluster analysis)
根据经济发展水平把各个国家分成发达国家、中等发达 国家、发展中国家 按照消费者的特征对消费者分类，按照产品特征对产品 分类
在现实生活中，分类问题是十分常见的
12 - 4
这些分类中，有的事先并不知道存在什么类别，完 全按照反映对象特征的数据把对象进行分类，这在 统计上称为聚类分析；有的则是在事先有了某种分 类标准之后，判定一个新的研究对象应该归属到哪 一类别，这在统计上则称为判别分析 (discriminant analysis) 本章主要介绍聚类分析方法
2008年8月
12 - 9
聚类分析的思想和原理 1.2 相似性的度量
统计学
STATISTICS (第三版)
相似性的度量
聚类分析中是用“距离”或“相似系数”来度量对象 之间的相似性 31 个地区的人均 GDP 数据就是直线上的 31 个点，每 一个点对应一个地区 如果按照人均GDP对它们进行分类，就可以把在直线 上离得比较近的那些点归为一类。如果再考虑财政收 入，那么人均GDP和财政收入就是二维平面上的一个 点，31个地区就是平面中的31个点 多个变量就是高维空间中的一个点，31个地区就是高 维空间中的31个点 各个点之间距离的远近就是分类的依据
2008年8月
聚类分析
1 聚类分析的基本原理
1.1 什么是聚类分析? 1.2 相似性的度量
聚类分析的思想和原理 1.1 什么是聚类分析？
统计学
STATISTICS (第三版)
什么是聚类分析？
(cluster analysis)
这些类不是事先给定的，而是直接根据数据的特 征确定的
把“对象”分成不同的类别
2008年8月
统计学
STATISTICS (第三版)
系统聚类
(合并法)
将每一个样本作为一类，如果是k个样本就分k成类 按照某种方法度量样本之间的距离，并将距离最近 的两个样本合并为一个类别，从而形成了k-1个类别 再计算出新产生的类别与其他各类别之间的距离， 并将距离最近的两个类别合并为一类。这时，如果 类别的个数仍然大于1，则继续重复这一步，直到所 有的类别都合并成一类为止 总是先把离得最近的两个类进行合并
把相似的东西放在一起，从而使得类别内部 的“差异”尽可能小，而类别之间的“差异 ”尽可能大 聚类分析就是按照对象之间的“相似”程度 把对象进行分类
12 - 7
2008年8月
统计学
STATISTICS (第三版)
什么是聚类分析？
(两种分类方式)
聚类分析的“对象”可以是所观察的多个样本， 也可以是针对每个样本测得的多个变量 按照变量对所观察的样本进行分类称为Q型聚类
统计学
STATISTICS (第三版)
系统聚类
(hierarchical cluster)
系统聚类又称层次聚类 事先不确定要分多少类，而是先把每一个 对象作为一类，然后一层一层进行分类 根据运算的方向不同，层次聚类法又分为 合并法和分解法，两种方法的运算原理一 样，只是方向相反
12 - 17
2008年8月
统计学
STATISTICS (第三版)
相似性的度量
(样本点间距离的计算方法)
2 ( x y ) i i i 1 p
Euclidean距离
Squared Euclidean距离
Block距离 Chebychev距离 Minkovski距离
12 - 13
(x
i 1
p
p
i
yi )
什么是聚类分析？
(按什么分类)
按对象的“相似”程度分类 根据样本的观测数据测度变量之间的相似性 程度可以使用夹角余弦、 Pearson 相关系数 等工具，也称为相似系数
ຫໍສະໝຸດ Baidu
变量间的相似系数越大，说明它们越相近
根据变量来测度样本之间的相似程度则使用 “距离”
把离得比较近的归为一类，而离得比较远的放在 不同的类
Pearson相关系数
rxy
(x
i i
i
x )( y i y )
i
2 2 ( x x ) ( y y ) i i
12 - 14
2008年8月
聚类分析
2 系统聚类
2.1 系统聚类的两种方式 2.2 类间距离的计算方法 2.3 系统聚类的应用
2 系统聚类 2.1 系统聚类的两种方式