模式识别第二篇习题解答

题1：画出给定迭代次数为n的系统聚类法的算法流程框图
题2：对如下5个6维模式样本，用最小聚类准那么进行系统聚类分析
x1: 0, 1, 3, 1, 3, 4
x2: 3, 3, 3, 1, 2, 1 x3: 1, 0, 0, 0, 1, 1 x4: 2, 1, 0, 2, 2, 1 x5: 0, 0, 1, 0, 1, 0
第1步：将每一样本看成单唯一类，得
(0)(0)
(0)112233(0)(0)4
45
5{},{},{}
{},{}
G x G x G x G
x G
x =====
计算各类之间的欧式距离，可得距离矩阵(0)
D
第2步：矩阵(0)
D 中最小元素为(0)3G 和(0)
5G 之间的距离，将他们归并为一类，
得新的分类为
(1)(0)(1)(0)(1)(0)(0)(1)(0)112233544{},{},{,},{}G G G G G G G G G ====
计算聚类后的距离矩阵(1)
D
第3步：由于(1)
D 它是(1)3G 与(1)4G 之间的距离，于是归并(1)3G 和(1)
4G ，
得新的分类为
(2)(1)(2)(2)(2)(1)(1)1122334{},{},{,}G G G G G G G ===
一样，按最小距离准那么计算距离矩阵(2)
D ，得
第4步：同理得
(3)(2)(3)(2)(2)
11223{},{,}G G G G G ==
知足聚类要求，如聚为2类，聚类完毕。

题3：选2k =，11210(1),(1)z x z x ==，用K-均值算法进行聚类分析
第一步：选取1121007(1),(1)06z x z x ⎛⎫⎛⎫==== ⎪ ⎪⎝⎭⎝⎭
第二步：依照聚类中心进行聚类，取得
1123456782910111220(1){,,,,,,,}(1){,,,,
}
S x x x x x x x x S x x x x x ==
第三步：计算新的聚类中心
121128(1)
1291020(1)2 1.250011
(2)() 1.125087.666711
(2)()7.333312x S x S z x x x x N z x x x x N ∈∈⎛⎫==++
+= ⎪
⎝⎭
⎛⎫==+++= ⎪
⎝⎭∑∑
第四步：因(2)(1),1,2j j z z j ≠=，故回到第二步 第二步：依照新的聚类中心从头进行聚类，取得
1123456782910111220(2){,,,,,,,}(2){,,,,
}
S x x x x x x x x S x x x x x ==
第三步：计算新的聚类中心
121128(2)
1291020(2)2 1.250011
(3)() 1.125087.666711
(3)()7.333312x S x S z x x x x N z x x x x N ∈∈⎛⎫=
=++
+= ⎪
⎝⎭
⎛⎫==+++= ⎪
⎝⎭∑∑
第四步：(3)(2),1,2j j z z j ==，因此算法收敛，得聚类中心为
121.25007.6667,1.12507.3333z z ⎛⎫⎛⎫== ⎪ ⎪⎝⎭⎝⎭
迭代终止。

题4：画出ISODATA算法的流程框图
END
题5：试用ISODATA 算法对如下模式散布进行聚类分析：
{x1(0, 0), x2(3,8), x3(2,2), x4(1,1), x5(5,3), x6(4,8), x7(6,3), x8(5,4), x9(6,4), x10(7,5)}
从题目中咱们可知，10N =。

假设取初始值1c N =，100z ⎛⎫= ⎪⎝⎭
，那么具体运算步骤为： 第一步：取参数2,1,1,4,0,4N s c K L I θθθ======。

第二步：因只有一个聚类中心，故11210{,,,}S x x x =和110N =。

第三步：因1N N θ>，无子集可抛弃。

第四步：修改聚类中心
1
11 3.901
3.80x S z x N ∈⎛⎫=
= ⎪⎝⎭
∑ 第五步：计算j D
1
1111
|||| 3.0749x S D x z N ∈=
-=∑ 第六步：计算D
1 3.0749D D ==
第七步：因还不是最后一次迭代，且/2c N K =，故进入第八步。

第八步：求1S 中的标准差向量
1 2.21132.5219σ⎛⎫
=
⎪⎝⎭
第九步：1σ中最大分量是2.5219，因此1max 2.5219σ=
第十步：因1max S σθ>且/2c N K =，可将1z 割裂成两个新的聚类。

设max 0.5 1.26j j r σ==，那么
1 3.905.06z ⎛⎫= ⎪⎝⎭，
2 3.902.54z ⎛⎫
= ⎪⎝⎭，c N 增加1，跳回到第二步。

第二步：新的样本集为
1268910{,,,,}S x x x x x =，213457{,,,,}S x x x x x =
则125N N ==。

第三步：因1N 和2N 都大于N θ，无子集可抛弃。

第四步：修改聚类中心
1 5.005.80z ⎛⎫= ⎪⎝⎭，
2 2.801.80z ⎛⎫= ⎪⎝⎭
第五步：计算,1,2j D j =
1 2.28D =，
2 2.41D =
第六步：计算D
2.3450D =
第七步：因这是偶迭代次数，因此进入第十一步
第十一步：因0L =，故聚类中心不发生归并，转至第十四步
第十四步：因还不是最后一次迭代，且经判定不需要修改给定的参数，回到第二步 第二步：新的样本集为
12678910{,,,,,}S x x x x x x =，21345{,,,}S x x x x =
则126,4N N ==。

第三步：因1N 和2N 都大于N θ，无子集可抛弃。

第四步：修改聚类中心
1 5.175.33z ⎛⎫= ⎪⎝⎭，
2 2.001.50z ⎛⎫
= ⎪⎝⎭
第五步：计算,1,2j D j =
1 2.27D =，
2 1.87D =
第六步：计算D
2.11D =
第七步：该步中没有一种情形可被知足，继续执行第八步。

第八步：计算12678910{,,,,,}S x x x x x x =和21345{,,,}S x x x x =中的标准差
121.34 1.87,1.97 1.12σσ⎛⎫⎛⎫
==
⎪ ⎪⎝⎭⎝⎭
第九步：1max 1.97S σθ=>，且1D D >和12(1)N N θ>+ 那么将1z 割裂成两个新的聚类。

设max 0.50.99j j r σ==，那么
1235.17 5.17 2.00,,6.32 4.35 1.50z z z ⎛⎫⎛⎫⎛⎫=== ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭
，c N 增加1，跳回到第二步。

第二步：新的样本集为：
126{,}S x x =，2578910{,,,,}S x x x x x =，3134{,,}S x x x = 1232,5,3N N N ===
第三步：因1N ，2N 和3N 都大于N θ，无子集可抛弃。

第四步：修改聚类中心
1233.50 5.80 1.00,,8.00 3.80 1.00z z z ⎛⎫⎛⎫⎛⎫=== ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭
第五步：计算,1,2,3j D j =
10.50D =，20.95D =，30.94D =
第六步：计算D
0.86D =
第七步：因为最后一次迭代，跳到第十四步
第十四步：最后一次迭代，故算法终止。

最终将原样本集聚成三类
126{,}S x x =，2578910{,,,,}S x x x x x =，3134{,,}S x x x =。