半监督聚类中基于密度的约束扩展方法

—13—半监督聚类中基于密度的约束扩展方法张 亮，李敏强(天津大学管理学院，天津 300072)摘 要：现有的半监督聚类方法较少利用数据集空间结构信息，限制了聚类算法的性能。

该文提出一种基于密度的约束扩展方法(DCE)，将数据集以图的形式表达，定义一种基于密度的图形相似度。

根据样本点间的距离和相似度关系，对已知约束集进行扩展，扩展后的约束集可用于各种半监督聚类算法。

以约束完全连接聚类和成对约束K 均值方法为例，说明了约束扩展方法的应用。

实验表明，DCE 能够有效地提升半监督聚类算法的性能。

关键词：半监督聚类；基于密度的距离；约束扩展Density-based Constraint Expansion Methodfor Semi-supervised ClusteringZHANG Liang, LI Min-qiang(School of Management, Tianjin University, Tianjin 300072)【Abstract 】Most of the existing semi-supervised clustering methods neglect the structural information of the data, while the few constraints available may degrade the performance of the algorithms. This paper presents a Density-based Constraint Expansion(DCE) method. The dataset is represented by a graph. It introduces a density-based graph similarity. The constraint set is expanded by the similarity of the data samples. The expanded constraint set can be used in all semi-supervised clustering algorithms, including the constraint complete link algorithm and the pairwise constraint K means algorithm. Experimental results on several synthetic datasets and real-world datasets show that the DCE method can effectively enhance the performance of the semi-supervised clustering algorithms.【Key words 】semi-supervised clustering, density-based distance, constraint expansion计 算 机 工 程Computer Engineering 第34卷 第10期Vol.34 No.10 2008年5月May 2008·博士论文·文章编号：1000—3428(2008)10—0013—03文献标识码：A中图分类号：TP311 概述在大量数据挖掘的实际问题中，人的手工标记由于成本高而难于获取，因此如何利用有限的监督信息构造正确的学习器成为当前机器学习研究领域的一个热点问题。

在很多情况下，数据集包括大量无标记的数据，并辅以少量先验知识作为监督信息。

研究人员提出了半监督学习方法处理这类问题，包括半监督聚类和半监督分类，本文研究了具有一定约束条件的半监督聚类问题。

半监督聚类中常见的先验知识表现为反映样本间相似关系的约束条件。

本文参考了文献[1]对约束条件的定义，即两个样本属于同一类为must-link ，不属于同一类的则为cannot- link 。

约束条件用于半监督聚类主要有两大类方法：基于距离的方法和基于约束的方法。

前者根据约束构造某种距离度量并以此为基础运行各种聚类算法[1]；后者是将约束作为聚类目标的一部分直接作用于聚类算法[2-3]。

已有的半监督聚类方法很少将数据集的空间结构信息加以利用。

基于距离的方法仅根据约束信息调整样本间的距离，而大部分情况下可用的约束条件数量较少，因而数据集的空间分布信息无法得到有效利用。

因此，可以将数据集结构信息以某种形式引入基于约束的聚类方法中，以超越有限的约束条件来得到更好的聚类效果。

相关工作包括半监督分类算法低密度分离(LDS)[4]，该方法通过寻找聚类之间的低密度区域来帮助半监督学习。

本文将数据集结构信息直接转化为约束条件，对约束进行扩展。

首先将全部样本视为一个无向图，并提出一种基于密度的距离来度量图上两点间距离，然后根据样本点之间的距离关系和已知约束产生新的约束条件，作为半监督聚类算法的依据。

这种做法的优点是：将数据集结构信息引入聚类，在约束条件数量较少，不足以反映数据集分布特点时，可望达到更好的聚类效果；结构信息以约束条件的形式参加学习过程，不影响原有的聚类算法，适用于现有的各种半监督聚类算法。

2 基于密度的图形相似性2.1 数据集的图形定义已知的数据集包含n 个样本点,1i x i n ≤≤。

由数据集可建立图(,)G V E =，图中的节点集是样本点1{}n i i V x ==，边集为E V V ⊂×。

根据欧氏距离2(,)i j d i j x x =−，对任意2点间的边(,),i j E i j ∈≠，定义其权重为22,exp((,)/(2))i j w d i j σ=−，其中，参数σ是用于Parzen 窗口密度估计的Gaussian 分布宽度，且,0i i w =。

2.2 基于路径的距离半监督学习和无监督学习中常依据“聚类假设”，即假定同一类中或属于同一高密度区域中的2个样本点间应存在较小的距离。

根据“聚类假设”，在由数据集生成的图中，将样基金项目：国家自然科学基金资助项目(70571057,70171002)；新世纪优秀人才支持计划基金资助项目(NECT-05-0253)作者简介：张 亮(1979－)，男，博士研究生，主研方向：信息检索和过滤，机器学习；李敏强，教授收稿日期：2007-05-30 E-mail ：zhangliang.tju@—14—本点间的相似性定义为某种基于密度的距离，与欧氏距离相比能够更好地反映数据集的结构，作为分类和聚类的指导。

文献[5-6]提出了各种基于密度的距离度量，用于半监督和无监督学习。

本文采用文献[5]的“连接核”方法，定义一种密度敏感的基于路径的距离。

令p 是长度为p 的一条路径，路径上各边表示为1(,),1l l p p k l +<≤。

定义路径p 两端点间基于路径p 的相似度为路径上各边权重的最小值：{}122,1min exp((,)/(2))pp p p l l l pw d p p σ+<=−(1)假设P i ,j 为连接点i 和连接点j 所有路径的集合，定义边(i ,j )基于路径的距离权重为连接点i 和连接点j 的所有路径的基于路径的相似度的最大值：(){},,22,,1max max min exp((,)/(2))i ji j p i j i j l l l pp P p P w w d p p σ+<∈∈==− (2)对样本相似度这种形式的定义不依赖于路径长度，因此，可能会对不同聚类中间的噪音点敏感，造成错误聚类。

文 献[4]提出了一种“低密度分离”方法以解决此问题，将式(2)转化为,22,exp min ()/(2)i ji j p P w smax p ρσ∈⎡⎤⎛⎞≈−⎢⎥⎜⎟⎝⎠⎢⎥⎣⎦(3) ()1111()=ln 1exp((,))1p l l l smax p d p p ρρρ+=⎛⎞+−∑⎜⎟⎝⎠(4)其中，参数ρ将式(2)定义的基于路径的距离以路径长度进行调整，这样可以消除噪音点的影响。

ρ可以取(0,)∞+的任何值，在后面实验中设2ρ=。

3 基于密度的约束扩展半监督聚类的监督信息通常由样本点间的约束关系表示。

约束关系包括must-link 和cannot-link ，表示两个样本点属于或不属于同一类。

一般地，已知的约束条件越多，可以越清晰地反映数据集的分布信息，半监督聚类算法的聚类效果越好。

上述定义了样本间基于密度的相似性，在此基础上提出一种对现有约束进行扩展的方法，称为基于密度的约束扩展(Density-based Constraints Expansion, DCE)。

约束扩展的提出主要基于这样的假设：关系是must-link 的样本点处于同一高密度区域；关系是cannot-link 的样本点处于不同的高密度区域。

约束扩展的方法是：根据已知的某约束中两个样本点的关系，计算它们与其他样本点的基于密度的图形相似度，寻找最相似的点，即基于密度的距离最接近的点，指定这些点之间的must-link 和cannot-link 关系，添加新的约束条件，扩展已有的约束集。

扩展后的约束集将包括更多的约束条件，而新增的约束由基于密度的距离计算得到，可以将数据集空间分布信息引入聚类方法，可获得更好的聚类效果。

下面给出基于密度的约束扩展算法(DCE)描述：输入：数据集=1={}n i i X x ，must-link 约束集={(,)}i j M x x ，cannot-link 约束集={(,)}i j C x x输出：扩展的must-link 约束集M +，扩展的cannot-link 约束集C +(1)根据样本点构造图形G ，根据式(3)、式(4)，计算样本点间基于密度的图形相似度矩阵,{}i j w =W 。

(2)初始化M +=M ，C += C 。

(3)对M +和C +中的所有点进行约束传递：对任一点x ，如果(,)i x x M +∈且(,)i j x x M +∈，则扩展M +为{(,)}j M x x +∪；如果(,)i x x M +∈且(,)i j x x C +∈，则扩展C +为{(,)}j C x x +∪。

记所有与x i 关系为must-link 的点集为+i M ，所有与x i 关系为cannot-link 的点集为+i C 。

(4)对M +中的任一约束(,)i j x x ，计算x i 和x j 的k 最近邻居节点集，分别记为={}i ih X x 和={}j j h X x ，1h k ≤≤。