应用多元统计分析习题解答_第五章(1)

第五章 聚类分析
5.1 判别分析和聚类分析有何区别？
答：即根据一定的判别准则，判定一个样本归属于哪一类。

具体而言，设有n 个样本，对每个样本测得p 项指标（变量）的数据，已知每个样本属于k 个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。

聚类分析是分析如何对样品（或变量）进行量化分类的问题。

在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。

通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。

5.2 试述系统聚类的基本思想。

答：系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。

5.3 对样品和变量进行聚类分析时， 所构造的统计量分别是什么？简要说明为什么这样构造？
答：对样品进行聚类分析时，用距离来测定样品之间的相似程度。

因为我们把n 个样本看作p 维空间的n 个点。

点之间的距离即可代表样品间的相似度。

常用的距离为 （一）闵可夫斯基距离：1/1
()()
p
q q
ij ik jk k d q X X ==-∑
q 取不同值，分为 （1）绝对距离（1q =）
1
(1)p
ij ik jk k d X X ==-∑
（2）欧氏距离（2q =）
21/2
1
(2)()
p
ij ik jk k d X X ==-∑
（3）切比雪夫距离（q =∞）
1()max ij ik jk
k p
d X X ≤≤∞=-
（二）马氏距离
（三）兰氏距离
对变量的相似性，我们更多地要了解变量的变化趋势或变化方向，因此用相关性进行衡量。

2
1()()()ij i j i j d M -'=--X X ΣX X 11()p ik jk
ij k ik jk X X d L p X X =-=+∑
将变量看作p 维空间的向量，一般用
（一）夹角余弦
（二）相关系数
5.4 在进行系统聚类时，不同类间距离计算方法有何区别？选择距离公式应遵循哪些原则？
答： 设d ij 表示样品X i 与X j 之间距离，用D ij 表示类G i 与G j 之间的距离。

（1）. 最短距离法
,min
i k j r
kr ij X G X G D d ∈∈=
min{,}kp kq D D =
（2）最长距离法
,max
i p j q
pq ij X G X G D d ∈∈=
,max
i k j r
kr ij X G X G D d ∈∈=
max{,}kp kq D D =
（3）中间距离法
其中
（4）重心法
2()()pq p q p q D X X X X '=-- )(1
q q p p r
r
X n X n n X +=
12
211cos ()()
p
ik jk
k ij p p
ik jk k k X X X X θ====∑
∑∑
12211()()()()p
ik i jk j k ij p p
ik i jk j k k X X X X r X X X X ===--=--∑∑∑
ij G X G X ij d D j
j i i ∈∈=
,min
2
2222
121pq kq kp kr D D D D β++=
22222
p q p q kr
kp
kq
pq r
r
r n n n n D D D D n n n =
+
-
（5）类平均法
2
21
i p j j
pq ij X G X G p q
D d n n ∈∈=
∑∑
221
i k j r
kr ij
X G X G k r
D d n n ∈∈=
∑∑
2
2
p q kp kq
r
r
n n D D n n =+
（6）可变类平均法
其中?是可变的且? <1
（7）可变法
2222
1()2
kr kp kq pq D D D D ββ-=
++ 其中?是可变的且? <1 （8）离差平方和法
1
()()t
n t it t it t t S X X X X ='=--∑
2222
k p k q k kr
kp
kq pq r k
r k
r k
n n n n n D D D D n n n n n n ++=
+
-
+++
通常选择距离公式应注意遵循以下的基本原则：
（1）要考虑所选择的距离公式在实际应用中有明确的意义。

如欧氏距离就有非常明确的空间距离概念。

马氏距离有消除量纲影响的作用。

（2）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方法。

如在进行聚类分析之前已经对变量作了标准化处理，则通常就可采用欧氏距离。

（3）要考虑研究对象的特点和计算量的大小。

样品间距离公式的选择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象的特点不同做出具体分折。

实际中，聚类分析前不妨试探性地多选择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分析，以确定最合适的距离测度方法。

5.5试述K 均值法与系统聚类法的异同。

2222
(1)(
)p
q kr kp
kq pq
r
r
n n D D D D n n ββ=-+
+
答：相同：K —均值法和系统聚类法一样，都是以距离的远近亲疏为标准进行聚类的。

不同：系统聚类对不同的类数产生一系列的聚类结果，而K —均值法只能产生指定类数的聚类结果。

具体类数的确定，离不开实践经验的积累；有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为K —均值法确定类数的参考。

5.6 试述K 均值法与系统聚类有何区别？试述有序聚类法的基本思想。

答：K 均值法的基本思想是将每一个样品分配给最近中心（均值）的类中。

系统聚类对不同的类数产生一系列的聚类结果，而K —均值法只能产生指定类数的聚类结果。

具体类数的确定，有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为K 均值法确定类数的参考。

有序聚类就是解决样品的次序不能变动时的聚类分析问题。

如果用)()2()1(,,,n X X X 表示
n 个有序的样品，则每一类必须是这样的形式，即)()1()(,,,j i i X X X +，其中,1n i ≤≤且
n j ≤，简记为},,1,{j i i G i +=。

在同一类中的样品是次序相邻的。

一般的步骤是（1）
计算直径{D （i,j ）}。

（2）计算最小分类损失函数{L[p(l,k)]}。

(3)确定分类个数k 。

（4）最优分类。

5.7 检测某类产品的重量， 抽了六个样品， 每个样品只测了一个指标，分别为1，2，3，6，9，11.试用最短距离法，重心法进行聚类分析。

（1）用最短距离法进行聚类分析。

采用绝对值距离，计算样品间距离阵
0 1 0 2 1 0
5 4 3 0 8 7
6 3 0 10 9 8 5 2 0
由上表易知 中最小元素是 于是将，，聚为一类，记为
计算距离阵
3 0
6 3 0
8 5 2 0
中最小元素是=2 于是将，聚为一类，记为
计算样本距离阵
3 0
6 3 0
中最小元素是于是将，聚为一类，记为因此，
（2）用重心法进行聚类分析
计算样品间平方距离阵
1 0
4 1 0
25 16 9 0
64 49 36 9 0
100 81 64 25 4 0
易知中最小元素是于是将，，聚为一类，记为
计算距离阵
16 0
49 9 0
81 25 4 0
注：计算方法,其他以此类推。

中最小元素是=4 于是将，聚为一类，记为
计算样本距离阵
16 0
64 16 0
中最小元素是于是将，聚为一类，记为
因此，
5.8 下表是15个上市公司2001年的一些主要财务指标，使用系统聚类法和K－均值法分别对这些公司进行聚类，并对结果进行比较分析。

公司编号净资产
收益率
每股净
利润
总资产
周转率
资产负
债率
流动负
债比率
每股净
资产
净利润
增长率
总资产
增长率
111.090.210.0596.9870.53 1.86-44.0481.99
211.960.590.7451.7890.73 4.957.0216.11
300.030.03181.99100-2.98103.3321.18
411.580.130.1746.0792.18 1.14 6.55-56.32
5-6.19-0.090.0343.382.24 1.52-1713.5-3.36
6100.470.4868.486 4.7-11.560.85
710.490.110.3582.9899.87 1.02100.2330.32
811.12-1.690.12132.14100-0.66-4454.39-62.75
9 3.410.040.267.8698.51 1.25-11.25-11.43
10 1.160.010.5443.7100 1.03-87.18-7.41
1130.220.160.487.3694.880.53729.41-9.97
128.190.220.3830.31100 2.73-12.31-2.77
1395.79-5.20.5252.3499.34-5.42-9816.52-46.82
1416.550.350.9372.3184.05 2.14115.95123.41
15-24.18-1.160.7956.2697.8 4.81-533.89-27.74
解:令净资产收益率为X1，每股净利润X2，总资产周转率为X3，资产负债率为X4，流动负债比率为X5，每股净资产为X6，净利润增长率为X7，总资产增长率为X8，用spss对公司聚类分析的步骤如下：
a)系统聚类法:
1.在SPSS窗口中选择Analyze→Classify→Hierachical Cluster，调出系统聚
类分析主界面，并将变量X8
-
X1移入Variables框中。

在Cluster栏中选择Cases单选按钮，即对样品进行聚类（若选择Variables，则对变量进
行聚类）。

在Display栏中选择Statistics和Plots复选框，这样在结果输
出窗口中可以同时得到聚类结果统计量和统计图。

图5.1 系统分析法主界面
2.点击Statistics按钮，设置在结果输出窗口中给出的聚类分析统计量。

我
们选择Agglomeration schedule与Cluster Membership中的Range of solution 2-4，如图5.2所示，点击Continue按钮，返回主界面。

（其中，Agglomeration schedule表示在结果中给出聚类过程表，显示系统聚类的详细步骤；Proximity matrix 表示输出各个体之间的距离矩阵；
Cluster Membership 表示在结果中输出一个表，表中显示每个个体被分配到的类别，Range of solution 2-4即将所有个体分为2至4类。

）
3.点击Plots按钮，设置结果输出窗口中给出的聚类分析统计图。

选中
Dendrogram复选框和Icicle栏中的None单选按钮，如图5.3，即只给出聚类树形图，而不给出冰柱图。

单击Continue按钮，返回主界面。

图5.2 Statistics子对话框图5.3Plots子对话框
4.点击Method按钮，设置系统聚类的方法选项。

Cluster Method下拉列表
用于指定聚类的方法，这里选择Between-group inkage（组间平均数连接距离）；Measure栏用于选择对距离和相似性的测度方法，选择Squared Euclidean distance（欧氏距离）；单击Continue按钮，返回主界面。

图5.4 Method子对话框图5.5 Save子对话框
5.点击Save按钮，指定保存在数据文件中的用于表明聚类结果的新变量。

None表示不保存任何新变量；Single solution表示生成一个分类变量，
在其后的矩形框中输入要分成的类数；Range of solutions表示生成多个
分类变量。

这里我们选择Range of solutions，并在后面的两个矩形框中
分别输入2和4，即生成三个新的分类变量，分别表明将样品分为2类、3类和4类时的聚类结果,如图5.5。

点击Continue，返回主界面。

6.点击OK按钮，运行系统聚类过程。

聚类结果分析:
下面的群集成员表给出了把公司分为2类，3类，4类时各个样本所属类别的情况，另外，从右边的树形图也可以直观地看到，若将15个公司分为2类，则13独自为一类，其余的为一类；若分为3类，则公司8分离出来，自成一类。

以此类推。

表5.1 各样品所属类别表
图5.6 聚类树形图
b)K均值法的步骤如下：
1.在SPSS窗口中选择Analyze→Classify→K-Means Cluster，调出K均值聚
类分析主界面，并将变量X1-X8移入Variables框中。

在Method框中选
择Iterate classify，即使用K-means算法不断计算新的类中心，并替换旧
的类中心（若选择Classify only，则根据初始类中心进行聚类，在聚类过
程中不改变类中心）。

在Number of Cluster后面的矩形框中输入想要把样品聚成的类数，这里我们输入3，即将15个公司分为3类。

（Centers按钮，则用于设置迭代的初始类中心。

如果不手工设置，则系统会自动设置初始类中心，这里我们不作设置。

）
图5.7K均值聚类分析主界面
2.点击Iterate按钮，对迭代参数进行设置。

Maximum Iterations参数框用
于设定K-means算法迭代的最大次数，输入10，Convergence Criterion 参数框用于设定算法的收敛判据，输入0，只要在迭代的过程中先满足了其中的参数，则迭代过程就停止。

单击Continue，返回主界面。

图5.8 Iterate子对话框
3.点击Save按钮，设置保存在数据文件中的表明聚类结果的新变量。

我们
将两个复选框都选中，其中Cluster membership选项用于建立一个代表聚类结果的变量，默认变量名为qcl_1；Distance from cluster center选项建立一个新变量，代表各观测量与其所属类中心的欧氏距离。

单击Continue按钮返回。

图5.9Save子对话框
4.点击Options按钮，指定要计算的统计量。

选中Initial cluster centers和
Cluster information for each case复选框。

这样，在输出窗口中将给出聚类的初始类中心和每个公司的分类信息，包括分配到哪一类和该公司距
所属类中心的距离。

单击Continue返回。

图5.10Options子对话框
5.点击OK按钮，运行K均值聚类分析程序。

聚类结果分析:
以下三表给出了各公司所属的类及其与所属类中心的距离，聚类形成的类的中心的各变量值以及各类的公司数。

由以上表格可得公司13与公司8各自成一类，其余的公司为一类。

通过比较可知，两种聚类方法得到的聚类结果完全一致。

5.9下表是某年我国16个地区农民支出情况的抽样调查数据，每个地区调查了反映每人平均生活消费支出情况的六个经济指标。

试通过统计分析软件用不同的方法进行系统聚类分
析，并比较何种方法与人们观察到的实际情况较接近。

地区食品衣着燃料住房交通和
通讯
娱乐教
育文化
北京190.3343.779.7360.5449.019.04
天津135.236.410.4744.1636.49 3.94
河北95.2122.839.322.4422.81 2.8
山西104.7825.11 6.49.8918.17 3.25
内蒙128.4127.638.9412.5823.99 2.27
辽宁145.6832.8317.7927.2939.09 3.47
吉林159.3733.3818.3711.8125.29 5.22
黑龙江116.2229.5713.2413.7621.75 6.04
上海221.1138.6412.53115.6550.82 5.89
江苏144.9829.1211.6742.627.3 5.74
浙江169.9232.7512.7247.1234.355
安徽135.1123.0915.6223.5418.18 6.39
福建144.9221.2616.9619.5221.75 6.73
江西140.5421.517.6419.1915.97 4.94
山东115.8430.2612.233.633.77 3.85
河南101.1823.268.4620.220.5 4.3
解:令食品支出为X1，衣着支出为X2，燃料支出为X3，住房支出为X4，交通和通讯支出为X5，娱乐教育文化支出为X6，用spss对16各地区聚类分析的步骤如5.8题，不同的方法在第4个步骤的Method子对话框中选择不同的Cluster method。

1.Between-group inkage（组间平均数连接距离）
上表给出了把全国16个地区分为2类、3类和4类时，各地区所属的类别，另外从右边的树形图也可以直观地观察到，若用组间平均数连接距离将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

2.Within-group linkage（组内平均连接距离）
若用组内平均数连接距离将这些地区分为3类，则9（上海）独自为一类，1（北京）独自为一类，剩余地区为一类。

3.Nearest neighbor（最短距离法）
若用最短距离法将这些地区分为3类，则9（上海）独自为一类，1（北京）独自为一类，剩余地区为一类。

4.Furthest neighbor（最远距离法）
若用最远距离法将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

5.Centroid cluster（重心法）
若用重心法将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

6.Median cluster（中位数距离）
若用中位数距离法将这些地区分为3类，则9（上海）独自为一类，1（北京）和11（浙江）为一类，剩余地区为一类。

7.Ward method（离差平方和）
若用离差平方和法将这些地区分为3类，则9（上海），1（北京）和11（浙江）为一类，2（天津）、6（辽宁）、7（吉林）、10（江苏）、12（安徽）、13（福建）和14（江西）为一类，剩余地区为一类。

5.10 根据上题数据通过SPSS 统计分析软件进行快速聚类运算，并与系统聚类分析结果进行比较。

解：快速聚类运算即K 均值法聚类，具体步骤同5.8，聚类结果如下：
聚类的结果为9（上海）独自为一类，1（北京）、2（天津）、6（辽宁）、7（吉林）、10（江苏）、11（浙江）、13（福建）和14（江西）为一类，剩余地区为一类。

5.11下表是2003年我国省会城市和计划单列市的主要经济指标：人均GDP 1x （元）、人均工业产值2x （元）、客运总量3x （万人）、货运总量4x （万吨）、地方财政预算内收入5x （亿元）、固定资产投资总额6x （亿元）、在岗职工占总人口的比例7x （％）、在岗职工人均工资额8x （元）、城乡居民年底储蓄余额9x （亿元）。

试通过统计分析软件进行系统聚类分
析，并比较何种方法与人们观察到的实际情况较接近。

资料来源：《中国统计年鉴2004》
解:用spss对37个地区聚类分析的步骤如5.8题，不同的方法在第4个步骤的Method子对话框中选择不同的Cluster method。

1.Between-group inkage（组间平均数连接距离）
从上面的树形图可以直观地观察到，若用组间平均数连接距离将这些地区分为3类，则24（深圳）独自为一类，10（上海）和16（厦门）为一类，剩余地区为一类。

2.Within-group linkage（组内平均连接距离）
若用组内平均数连接距离将这些地区分为3类，则24（上海）独自为一类，27（重庆）和28(成都)为一类，剩余地区为一类。

3. Nearest neighbor（最短距离法）
若用最短距离法将这些地区分为2类，则24（深圳）独自为一类，剩余地区为一类。

4.Furthest neighbor（最远距离法）
若用最远距离法将这些地区分为3类，则24（深圳）独自为一类，1（北京）、2（天津）、7（大连）、10（上海）、11（南京）、12（杭州）、13（宁波）、16（厦门）、19（青岛）、23（广州）、36（海宁）和37（海口）为一类，剩余地区为一类。

5.Centroid cluster（重心法）
若用重心法将这些地区分为3类，则24（深圳）独自为一类，10（上海）和16（厦门）为一类，剩余地区为一类。

6.Median cluster（中位数距离）
若用中位数距离法将这些地区分为3类，则24（深圳）独自为一类，1（北京）、2（天津）、7（大连）、10（上海）、11（南京）、12（杭州）、13（宁波）、16（厦门）、19（青岛）、23（广州）、36（海宁）和37（海口）为一类，剩余地区为一类。

7.Ward method（离差平方和）
若用离差平方和法将这些地区分为3类，则24（深圳）独自为一类，1（北京）、2（天津）、7（大连）、10（上海）、11（南京）、12（杭州）、13（宁波）、16（厦门）、19（青岛）、23（广州）、36（海宁）和37（海口）为一类，剩余地区为一类。

经过比较，各种方法得到的结果又相似点也有不同点。

笔者认为，其中最远距离法、中位数距离、离差平方和这三种方法所得到的结果与现实生活中人们的感觉比较相近。

5.12 下表是我国1991-2003年的固定资产投资价格指数，试对这段时期进行分段，并
年份1991199219931994199519961997
指数109.5115.3126.6110.4105.9104.0101.7
年份199819992000200120022003
指数99.899.6101.1100.4100.2100.2。