数据离散化和概念分层产生

数据离散化和概念分层产生

通过将属性值域划分为区间，数据离散化技术可以用来减少给定连续属性值的个数。区间的标记可以替代实际的数据值。用少数区间标记替换连续属性的数值，从而减少和简化了原来的数据。这导致挖掘结果的简洁、易于使用的、知识层面的表示。离散化技术可以根据如何进行离散化加以分类，如根据是否使用类信息或根据进行方向（即自顶向下或自底向上）分类。如果离散化过程使用类信息，则称它为监督离散化（supervised iscretization）；否则是非监督的（unsupervised）。如果首先找出一点或几个点（称作分裂点或割点）来划分整个属性区间，然后在结果区间上递归地重复这一过程，则称它为自顶向下离散化或分裂。自底向上离散化或合并正好相反，首先将所有的连续值看作可能的分裂点，通过合并相邻域的值形成区间，然后递归地应用这一过程于结果区间。可以对一个属性递归地进行离散化，产生属性值的分层或多分辨率划分，称作概念分层。概念分层对于多个抽象层的挖掘是有用的。

对于给定的数值属性，概念分层定义了该属性的一个离散化。通过收集较高层的概念（如青年、中年或老年）并用它们替换较低层的概念（如年龄的数值），概念分层可以用来归约数据。通过这种数据泛化，尽管细节丢失了，但是泛化后的数据更有意义、更容易解释。

这有助于通常需要的多种挖掘任务的数据挖掘结果的一致表示。此外，与对大型未泛化的数据集挖掘相比，对归约的数据进行挖掘所需的I/O操作更少，并且更有效。正因为如此，离散化技术和概念分层作为预处理步骤，在数据挖掘之前而不是在挖掘过程进行。属性price的概念分层例子在图2-22给出。对于同一个属性可以定义多个概念分层，以适合不同用户的需要。

图1

属性price的一个概念分层，其中区间($X.$Y]表示从$X（不包括）到$Y （包括）的区间对于用户或领域专家，人工地定义概念分层可能是一项令人乏味、耗时的任务。幸而，可以使用一些离散化方法来自动地产生或动态地提炼数值属性的概念分层。此外，许多分类属性的分层结构蕴涵在数据库模式中，可以在模式定义级自动地定义。

我们来看看数值和分类数据的概念分层的产生。