基于图论的加权熵聚类

pi
Li
L
i 1

m
i
Li是未断开的连接点的边的和
关于加权熵的权的计算

加权熵的定义
H w ( x) wi pi ln( pi )
i 1
n
权的计算依赖两个概念 1）分类的类内数据点要尽量相似 2）不同类的类间数据之间要尽量的不相似


所以定义的加权熵的权Wi是
SI (i)max m wi ( A ( ) ) SO(i)min
n
加权熵的定义
H w ( x) wi pi ln( pi )
i 1
Байду номын сангаас


将数据集合看成一个随机 系统，一旦数据集合给定， 系统就给定，它的最小支 撑树是确定唯一的。 最小支撑树的连接边的值 是固定的了。

断开某一边值后，图中的点就分 类了，根据剩余的边，得到这个 分类图的一个概率分布
目标函数聚类
目前很流行的一类聚类方法，如FCM（模
糊C均值）聚类， 将聚类问题视为一个具体约束的优化问题， 建立一个目标函数，使得基于类内误差或 类间误差的某种聚类准则的目标函数值达 到最小或最大。 在给出初始聚类中心点后，用迭代法找出 使准则函数取极值的最好聚类划分结果 。
图论聚类
基于图论的加权熵聚类 及应用到医学图像处理
生物医学工程系
一、背景
聚类是数据分析的重要方法，聚类分
析就是按事物间的相似性作为类属划 分的准则将数据集划分成若干个子集， 使相似的样本尽可能归为一类，不相 似的样本尽量划分到不同的类中 。

目前的聚类方法很多，有分层聚类，图论聚类， 目标函数聚类，神经网络聚类等；
i 1
l
熵是平均信息量，是系统信息量的一个度
量，熵越大，系统所提供状态的平均信息 量就越大。
一般情况下事件的重要性与事件发生的客
观概率不一致，事件的权重可以反映主观 的特性，也可以反映事件本身的某些客观 性质。设引入事件的权重后，其概率空间 为
x1 x2 xn X P p( x ) p( x ) p( x ) 2 n 1 W w1 w2 wn

将数据点看成一个无向图，

断开最长的边，点分成了两类

断开某一阈值的边，分成三类

断开更小阈值的边，分成四类，还有一些分散点
关于加权熵的定义
根据香农信息论
，对于一个有n个状态的 系统，其概率分别 p1 , p2 ,, pl 为，则把该子 系统的熵定义为：
H ( p1 , p2 ,, pl ) pi ln pi

Wi越大，权越大，分类越合理
ni / n



ni是除了独立点之外的该类样本数目，n是数据集样本数 m是指标控制参数。 A是一个大于1的定值 ，使得 wi 0 SI (i)max 各个类边中的最大值，反映类内样本的差 SO(i)min 类间的差
断开不同阈值的边，可 以得到不同的树状态， 计算响应的加权熵 加权熵最大时的分类就 是这个数据集的最佳分 类，因为可以提供的信 息量最大。

d max{H w ( x)}
dyDa
实验结果
本聚类方法用于医学图像的分割
应用FCM分三类和四类的分割图
采用本文算法
应用FCM分三类和四类的分割图
采用本文算法
应用FCM分三类和四类的分割图
采用本文算法
创新点


将数据集看成一个随机系统，结合目标函数与图论的方法， 构造了一个加权熵的目标函数，这是目前还没有文献提到 过的。并将这个方法应用到医学图像的处理中。这个方法 比别的聚类方法最大的优点是不需要事先知道聚类数目， 不需要给定聚类初始值。运算量小。 目前整理的文章已经投到《电子学报》，‘2006 IEEE International Conference on Networking, Sensing and Control’，‘The 6th World Congress on Intelligent Control and Automation’,《华南理工大学 学报》等杂志和国际会议。