基于MATLAB的模糊ISODATA算法设计

基于MATLAB的模糊ISODATA算法设计目录一、前言 (1)二、模糊ISODATA算法的基本原理 (1)三、模糊ISODATA算法的基本步骤 (3)四、模糊ISODATA算法MATLAB程序实现 (7)（一）模糊ISODATA算法MATLAB程序流程图 (7)（二）模糊ISODATA算法程序运行结果及分析 (7)1、初始化数据 (8)2、修改初始化数据e，其他同1 (14)3、修改初始化数据m，其他同1 (16)五、后22组样本的聚类结果 (19)六、结论 (20)参考文献 (21)程序 (23)一、前言G. H. Ball 与D. J. Hall 于1965年提出的ISODATA 算法是一个通过逐步修改聚类中心的个数与位置来达到分类目的的集群算法，后来不断有人提出它的各种改进算法，其中包括Ball 和Hall 1967年提出的改进算法、CLASS 、Asp 等。

1974年J. C. Dunn 首次提出应用模糊数学判据的ISODATA 集群算法——Fuzzy ISODATA （Iterative Self-Organizing Data Analysis Technique ）。

算法通过每样本点对各类的隶属度矩阵表示分类结果。

通过不断修改聚类中心的位置来进行分类。

1976年J. C. Bezdek 把Dunn 的方法推广到更一般的情形，并得到了一些有益的结论，其中包括新的判据，隶属度函数与聚类中心的计算公式。

Bezdek 于1979年用W. Zangwill 的理论证明了Fuzzy ISODATA 的收敛性。

该方法已在行星跟踪系统，心脏病分析和天气预报等方面得到了应用。

[1]二、模糊ISODATA 算法的基本原理J. C. Bezdek 在普通分类基础上, 利用模糊集合的概念提出了模糊分类问题。

认为被分类对象集合X 中的样本i X 以一定的隶属度属于某一类,即所有的样本都分别以不同的隶属度属于某一类。

[2]因此,每一类就被认为是样本集X 上的一个模糊子集,于是,每一种这样的分类结果所对应的分类矩阵,就是一个模糊矩阵。

模糊ISODATA 聚类方法从选择的初始聚类中心出发,根据目标函数,用数学迭代计算的方法反复修改模糊矩阵和聚类中心,并对类别进行合并、分解和删除等操作，直到合理为止。

[3]设有限样本集(论域) 12{,,...,}N X X X X =,每一个样本有s 个特征12(,,...,) , (1,2,...,)j j j js X x x x j N == 。

即样本的特征的矩阵:11112122122212s s N sn N N Ns x x x x x x x x X x x x x ⨯⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭┉┉┋┋┋┋┋┉欲把它分为K 类（2K N ≤≤），则N 个样本划分为K 类的模糊分类矩阵为：11121121222212N N K NK K KN K U μμμμμμμμμμμμ⨯⎛⎫⎛⎫⎪ ⎪ ⎪⎪== ⎪⎪ ⎪⎪⎝⎭⎝⎭┉┉┋┋┋┋┋┉其满足下列三个条件：Ⅰ、01,1,2,...;1,2,...,ij i K j N μ≤≤== Ⅱ、11,1,2,...,Nij i j N μ===∑Ⅲ、10,1,2,...,Nij j N i K μ=<<=∑条件Ⅱ表明每一样本属于各类的隶属度之和为1；条件Ⅲ表明每一类模糊集不可能是空集合，即总有样本不同程度的隶属于某类。

[4]定义K 个聚类中心{}12,,...,K Z Z Z Z =。

其中：{}12,,...,,1,2,...,i i i is Z z z z i K ==。

11121121222212s s K sK K Ks K z z z Z z z z ZZ z z z Z ⨯⎛⎫⎛⎫⎪ ⎪ ⎪⎪== ⎪ ⎪ ⎪⎪⎝⎭⎝⎭┉┉┋┋┋┋┋┉第i 类的中心i Z 即人为假想的理想样本，它对应的s 个指标值是该类样本所对应的指标值的平均值：11(),1,2,...,;1,2,...,()Nm ikkjk ij N mikk X Z i K j s μμ=====∑∑构造准则函数：211[(1)]KNm ij j ii j J L X Z μ===+-∑∑其中，j i X Z -表示第j 个样本与第i 类中心之间的欧式距离；J 表示所有待聚类样本与所属类的聚类中心之间距离的平方和。

[5]为了确定最佳分类结果，就是寻求最佳划分矩阵U 和对应的聚类中心Z ，使J 达到极小。

Dunn 证明了求上述泛函的极小值的问题可解。

[6]三、模糊ISODATA 算法的基本步骤（1）选择初始聚类中心(0)i Z 。

例如，可以将全体样本的均值作为第一个聚类中心，然后在每个特征方向上加和减一个均方差，共得(21)n +个聚类中心，n 是样本的维数（特征数）。

也可以用其他方法选择初始聚类中心。

（2）若已选择了K 个初始聚类中心，接着利用模糊K-均值算法对样本进行聚类。

由于现在得到的不是初始隶属度矩阵(0)U ，而是各类聚类中心，所以算法应从模糊K-均值算法的第四步开始，即直接计算下一步的隶属度矩阵(0)U 。

[7]继续K-均值算法直到收敛为止，最终得到隶属度矩阵U 和K 个聚类中心{}12,,...,K Z Z Z Z =。

然后进行类别调整。

①计算初始隶属度矩阵(0)U ，矩阵元素的计算方法为2/(1)11(0),1,2,...,;1,2,...,;2()ij Kijm p pji K j N m d dμ-====≥∑式中，ij d 是第j 个样本到第i 类初始聚类中心(0)i Z 的距离。

为避免分母为零，特规定：若0ij d =，则(0)1ij μ=， (0)0()pj p i μ=≠；可见，ij d 越大，(0)ij μ越小。

②求各类的新的聚类中心()i Z L ，L 为迭代次数。

11[()](),1,2,...,[()]Nm ijjj i N mijj L X Z L i K L μμ====∑∑式中，参数2m ≥，是一个控制聚类结果模糊程度的常数。

可以看出各聚类中心的计算必须用到全部的N 个样本，这是与非模糊的K-均值算法的区别之一。

在K-均值算法中，某一类的聚类中心仅由该类样本决定，不涉及其他类。

[8]③计算新的隶属度矩阵(1)U L +，矩阵元素的计算方法为2/(1)11(1),1,2,...,;1,2,...,;2()ij Kijm p pjL i K j N m d dμ-=+===≥∑式中，ij d 是第L 次迭代完成时，第j 个样本到第i 类聚类中心()i Z L 的距离。

为避免分母为零，特规定：若0ij d =，则(1)1ij L μ+=， (1)0()pj L p i μ+=≠；可见，ij d 越大，(1)ij L μ+越小。

④回到第③步，重复至收敛。

收敛条件为,{(1)()}max ij ij i jL L μμε+-≤ ，其中，ε为规定的参数。

[9] （3）类别调整。

调整分三种情形： ①合并。

假定各聚类中心之间的平均距离为D ，则取合并阈值为[1()]ind M D F K =-其中，()F K 是人为构造的函数，0()1F K ≤≤，而且()F K 应是K 的减函数，通常取()1/F K K α=，α是一个可选择的参数。

可见，若D 确定，则K 越大时ind M 也越大，即合并越容易发生。

若聚类中心i Z 和j Z 间的距离小于ind M ，则合并这两个点而得到新的聚类中心L Z ，L Z 为1111()()N Nip i ip jp p L NNip jpp p Z Z Z μμμμ====+=+∑∑∑∑式中，N 为样本个数。

可见，L Z 是i Z 和j Z 的加权平均，而所用的权系数便是全体样本对i ω和j ω两类的隶属度。

[10]②分解。

首先计算各类在每个特征方向上的“模糊化方差”。

对于i ω类的第j 个特征，模糊化方差的计算公式为2211(),1,2,....,;1,2,...,1N ijip pj ij p S x z j n i K N βμ==-==+∑ 式中β是参数，通常选1β=。

pj x ，ij z 分别表示样本p X 和聚类中心i Z 的第j个特征值。

ij S =，全体ij S 的平均值记作S ，然后求阈值[1()]std F S G K =+()G K 是类数K 的增函数，通常取()G K K γ=，γ是参数。

上式表明，当S 确定时，类数K越大，越不易分解。

下面分两步进行分解：[11]第一步，检查各类的“聚集程度”。

对于任一类i ω，取1Ni ip ip p Sum t μ==∑,其中，0,1,ip ip ip t μθμθ≤⎧⎪=⎨>⎪⎩当当，然后取1N i ip p T t ==∑，/i i i C Sum T =,其中，θ为一参数，00.5θ<<。

i C 表示i ω类的聚集程度。

上两式的含义是对于每一类i ω，首先舍去那些对它的隶属度太小的样本，然后计算其他各样本对该类的平均隶属度i C 。

[12]若i vms C A >（vms A 为参数），则表示i ω类的聚集程度较高，不必进行分解；否则考虑下一步。

第二步，分解。

对于任一不满足i vms C A >的i ω类考虑其每个ij S ，若ij std S F >，便在第j个特征方向上对聚类中心i Z 加和减ij kS （k 为分裂系数，01k <≤），得到两个新的聚类中心。

注意，这里每个量的计算都考虑到了全体样本对各类的隶属度。

③删除。

删除某个类i ω或聚类中心i Z 的条件有两个。

条件1：/i T N K δ≤，δ是参数，i T 见上式，它表示对i ω类隶属度超过θ的点数。

这一条件表示对i ω类隶属度高的点很少，应该删除。

条件2：i vms C A ≤，但i ω类不满足分解条件，即对所有的j ，ij std S F ≤。

这个条件表明，在i Z 的周围存在着一批样本点，它们的聚集程度不高，但也不是非常分散。

这时，我们认为i Z 也不是一个理想的聚类中心。

[13]符合以上两个条件之一者，将被删除。

如果在第（3）步类别调整中进行了合并、分解或删除，则在每次处理后都应进行下面所指出的讨论，并在全部处理结束后做出一个选择：停止在某个结果上，或者转到第（2）步重新迭代。

如果在第（3）步中没有进行任何类别调整，则表示已经不需要改进结果，计算停止。

[14]（4）关于最佳类数或最佳结果的讨论上述所得为预选定分类数K 时的最优解，为局部最优解。

最优聚类数K 可借助下列判定聚类效果的指标值得到：分类系数：2111()K N ij i j F R n μ===∑∑ ，F 越接近1，聚类效果越好；平均模糊熵：111()ln()K Nij ij i j H R n μμ===∑∑ ，H 越接近于0，聚类效果越好。