聚类分析演示版

10
最短距离法: 最长距离法: D pq = min d ( xi , x j ) D pq = max d ( xi , x j ) 类平均法: 1 重心法: D pq = D pq = min d ( x p , xq ) ∑ x∑ d ( xi , x j ) n1n2 xi ∈G p j ∈Gq 离差平方和: D1 = ∑ ( xi − x p ) '( xi − x p ), D2 = ∑ ( x j − xq ) '( x j − xq ), (Wald) x ∈G x ∈G
6
如何度量距离远近？
如果想要对 100 个学生进行分类，而仅 知道他们的数学成绩，则只好按照数 学成绩分类；这些成绩在直线上形成 100 个点。这样就可以把接近的点放到 一类。 如果还知道他们的物理成绩，这样数 学和物理成绩就形成二维平面上的 100 个点，也可以按照距离远近来分类。 三维或者更高维的情况也是类似；只 不过三维以上的图形无法直观地画出 来而已。
i p j q
类Gp与类Gq之间的距离Dpq (d(xi,xj)表示点xi∈ Gp和xj ∈ Gq之间的距离)
D1+ 2 =
xk ∈G p ∪Gq
∑
( xk − x ) '( xi − x ) ⇒ D pq = D1+ 2 − D1 − D2
(中间距离, 可变平均法,可变法等可参考各 书).有了这些距离概念，即可介绍聚类。这 里介绍两个最简单的：K-means和分层聚类
12
k-均值聚类步骤图示
13
事先不用确定分多少类：分层聚类
另一种聚类称为分层聚类或系统聚类 （ hierarchical cluster ）。 开始时，有多少 点就是多少类。 它第一步先把最近的两类（点）合并成一 类，然后再把剩下的最近的两类合并成一 类； 这样下去，每次都少一类，直到最后只有 一大类为止。越是后来合并的类，距离就 越远。
i i
∑ (x − x ) ∑ ( y − y)
2 i i i i
i
2
当变量的测量值相差悬殊时,要先进行标准化. 如R为极差, s 为标准差, 则标准化的数据为每个观测值减去均值后再除 以R或s. 当观测值大于0时, 有人采用Lance和Williams的距 | xi − yi | 1 离
∑ p
i
xi + yi
C xy (1) = cos θ xy = xi 2 ∑ yi 2 ∑
i i
Pearson correlation
(相似系数2):
Chebychev: Maxi|xi-yi|
Minkowski:⎛ ∑ ( xi − yi ) q ⎞ ⎜ ⎟ ⎝ i ⎠
1 q
C xy (2) = rxy =
∑ ( x − x )( y − y )
17
7
Hale Waihona Puke 两个距离概念按照远近程度来聚类需要明确两个概念：一个 是 点和点之间 的距离，一个是 类和类之间的距 离。 点间距离 有很多定义方式。最简单的是歐氏距 离。 当然还有一些和距离相反但起同样作用的概 念，比如相似性等，两点越相似度越大，就相 当于距离越短。 由一个点组成的类是最基本的类；如果每一类 都由一个点组成，那么点间的距离就是类间距 离。但是如果某一类包含不止一个点，那么就 要确定类间距离
14
案例：
15
碎石图
16
聚类要注意的问题
聚类结果主要受所选择的变量影响。如果去掉一 些变量，或者增加一些变量，结果会很不同。 相比之下，聚类方法的选择则不那么重要。因 此，聚类之前一定要目标明确。 就分成多少类来说，也要有道理。只要你高兴， 从分层聚类的计算机结果可以得到任何可能数量 的类。 但是，聚类的目的是要使各类之间的距离尽可能 地远，而类中点的距离尽可能的近，并且分类结 果还要有令人信服的解释。这一点就不是数学可 以解决的了。
8
两个距离概念
类间距离是基于点间距离定义的：比如两类之间 最近点之间的距离可以作为这两类之间的距离， 也可以用两类中最远点之间的距离或各类的中心 之间的距离来作为类间距离。 在计算时，各种点间距离和类间距离的选择是通 过统计软件的选项实现的。不同的选择的结果会 不同，但一般不会差太多。
9
向量x=(x1,…, xp)与y=(y1,…, yp)之间的距离或相似系数: 欧氏距离: 平方欧氏距离: ( xi − yi ) 2 ( xi − yi ) 2 ∑ Euclidean ∑ Squared Euclidean i i 夹角余弦(相似系数1) : Block(绝对距离): Σi|xi-yi| ∑ xi yi cosine i
聚类分析 Cluster Analysis
1
结构
什么是聚类分析? 聚类分析做什么? 聚类分析怎样使用? 市场细分和定位计划?
2
聚类的概念
把研究目标分割成为具有相同属性的小的群 体
.... . ... . ........ .... ..... .. . ... ........ . . .... . ....
11
事先要确定分多少类：k-均值聚类
聚类可以走着瞧，不一定事先确定有多少类；但是这 里 的 k- 均 值 聚 类 （ k-means cluster ， 也 叫 快 速 聚 类， quick cluster ） 却要求你先说好要分多少类。 看起来有些主观。 假定分3类，这个方法还进一步要求你事先确定3个点 为 “ 聚类种子 ” ( 多数软件会自动选种子 ) ；也就是 说，把这3个点作为三类中每一类的基石。 然后根据和这三个点的距离远近，把所有点分成三类。 再把这三类的中心(均值)作为新的基石或种子(原来 “种子”就没用了)，再重新按照距离分类。 如此叠代下去，直到达到停止叠代的要求（比如，各 类最后变化不大了，或者叠代次数太多了）。显然， 前面的聚类种子的选择并不必太认真，它们很可能最 后还会分到同一类中呢。
4
聚类分析怎样使用?
市场研究
去识别细分市场 —了解购买行为 为市场测试确定相匹配的城市 在市场结构分析中去识别竞争者 减少数据以便进一步的分析
其他
上市公司业绩聚类 城市化水平 ….
5
聚类用途
对一个数据，既可以对变量(指标)进行分类(相 当于对数据中的列分类 )，也可以对观测值(事 件，样品)来分类(相当于对数据中的行分类)。 当然，不一定事先假定有多少类，完全可以按 照数据本身的规律来分类。 本章要介绍的分类的方法称为聚类分析 （cluster analysis）。对变量的聚类称为R型聚 类，而对观测值聚类称为Q型聚类。它们在数 学上是无区别的。 聚类的基本想法：根据距离，把最近的聚在一 起
Variable B
Correspondence matrix
Variable A
数学原理：
3
聚类分析做什么?
把研究对象（人，城市，品牌等）分割成 为更加同质的细分群体 描述对象的整体结构或者各个簇之间的组 织关系 根据每个簇的描述资料进行该簇特征的定 位 决定判别群体之间区别的显著性水平（例 如：总体的%） 评价一种判别簇类之间定性区别的方法 (例如：根据背景、品牌使用、心理因素)