基于相对熵的决策表连续属性离散化算法

基于相对熵的决策表连续属性离散
化算法
摘要该文提出了一种新的决策表
连续属性离散化算法.首先使用相对熵来度
量条件属性的重要性,并据此对条件属性按
照属性重要性从小到大排序,然后按排序后
的顺序,考察每个条件属性的所有断点,将
冗余的断点去掉,从而将条件属性离散化.
该算法易于理解，计算简单, 算法的时间复杂性为O(3kn2)。

关键词相对熵;互信息;
连续属性;离散化;决策表1 引言波兰科学
家Pawlak提出的粗糙集(Rough set)理论[1，2]是一种新型的处理模糊和不确定知识的
数学工具,目前已经在人工智能、知识与数
据发现、模式识别与分类、故障检测等方面得到了较为成功的应用。

在运用粗糙集理
论处理决策表时,要求决策表中的值用离散
数据表示.如果某些条件属性或决策属性的
值域为连续值(如浮点数),则在处理前必须
进行离散化处理,而且即使对于离散数据,
有时也需要通过将离散值进行合并(抽象)
得到更高抽象层次的离散值。

该文形式化地描述了决策表的离散化问题,利用相对熵定义了属性的重要性度量，提出了基于相对熵的决策表离散化算法,并分析了该算法的时间复杂度，最后用例子说明该算法的离散化过程。

2 基本概念应用粗糙集理论实现知识获取和数据分析通常是对决策表进行
处理,为此首先给出决策表的定义. 定义1. 一个决策表是一个由四元组T=(Ｕ,Ｒ,Ｖ,ｆ)构成的知识表达系统,其中Ｕ是对象的
集合,也称为论域.Ｒ=Ｃ∪Ｄ是属性的集合,子集Ｃ和Ｄ分别被称为条件属性集和决策
属性集. V = 是属性的取值范围构成的集合,其中Ｖr是属性ｒ的值域.ｆ:Ｕ×Ｒ→Ｖ是信息函数,它指定Ｕ中每一个对象各个属性的取值.Ｄ≠Φ. 在本文讨论中假设决策属性值为离散值,连续属性变量仅出现在条件属性中,不失一般性,以下仅考虑单个决策
属性的决策表。

离散化问题的描述设T=(Ｕ,Ｒ,Ｖ,ｆ)是一个决策表,其中Ｕ={ｘ1,ｘ2,…,ｘｎ}为论域,Ｒ=Ｃ∪{ｄ}, C ={C1 ,
C2,…,Ck} 为条件属性集合|C|=k,{d}为决策属性，设决策种类的个数为r(d)。

属性a 的值域Va =[l a,ra]上的一个断点可记为(a,c) ,其中a∈R,c为实数值。

在Va=[la ,ra]上的任意一个断点集合：Da
={(a,c1a),(a,c2a),…,(a ,ckaa)}定义了Va上的一个分类Pa ：Pa ={[c0a,c1a)，[c1a,c2a)，…，[ckaa,cka+1a]}la =
c0ac1ac2a… cka +1a= ra Va
=[c0a,c1a]∪[c1a,c2a]∪…∪[ckaa,cka+ 1a] 断点集合Da将属性ａ的取值分成kａ+1个等价类，这里每一个cka就称为一个断点，离散化的目的就是对所有连续属性都找到
适宜的断点集, 因此,任意的P = 定义了一个新的决策表: Tp=(U,R,Vp,fp)，f
p(xa)=if(xa)∈[cia,ci+1a] 对于
x∈U,i∈{0,1,2,…,Ka},即经过离散化之后,原来的决策表被新的决策表所代替,且
不同的断点集将同一决策表转换成不同的
新决策表。

从粗糙集的观点看,离散化的实质是在保持决策表分类能力不变,即条件属性和决策属性相对关系不变的条件下,寻找
合适的分割点集,对条件属性构成的空间进
行划分。

评价属性离散化的质量,主要看分
割点的选择和多少,以及保持信息系统所表
达的样本之间的“不可分辨关系”。

最优离散化, 即为决策表寻找最小(最优) 的断点
集是一个NP-hard 问题,为此必须寻找某种启发式算法，人们提出了许多启发式算法，可参考文献[2，3]，该文利用决策属性相对于条件属性的相对熵作为启发式算法。

知
识的信息量和相对熵下面将信息论中信息
量和相对熵[4-6]的概念引入到信息系统中。

定义2[5，6] 设K=(U，R)是一近似空间,R
在U上的划分(等价关系)为U/IND(R)
={R1,R2,…,Rn}, 知识(属性集合)R 的信
息量(也称为信息熵)定义为:；其中
=U-Ri,|Ri|/|U|表示等价类Ri在论域U上
的可能性(概率)，||/|U|表示Ri的余集在
论域U上的可能性, 也即不属于Ri的概率。

定义3 设U为论域，K1=(U，P)和K2=(U，Q)是关于U的两个知识库，U/IND(P)=
{X1,X2,…,Xn}, U/IND(Q)={Y1,Y2,…,Ym}, 知识(属性集合)Q相对于知识(属性集合)P
的相对熵E(Q|P)定义为: P与Q的互信息定义为：定义中用“相对熵”概念,而不用“条件熵”,完全是式子中已经没有了条件概率的意义.另外,定义中使用余集来表示,纯粹是为了定理的证明时简便,实际计算时不必用余集. 性质1 设U为论域，K1=(U，P)和K2=(U，Q)是关于U的两个知识库，则有：(1) E(Q)=E(Q;P)+E(Q|P) (2)
E(P)=E(P;Q)+E(P|Q) (3) E(Q;P)= E(P;Q)性质2 设U为论域，K1=(U，P)和K2=(U，Q)是关于U的两个知识库，U/IND(P)=
{X1,X2,…,Xn}, U/IND(Q)={Y1,Y2,…,Ym}, D是U上的一个决策.如果U/IND(P)
U/IND(Q)，则(1)E(D;P)≥E(D;Q) ,
(2)E(D|P)≤E(D|Q) 属性重要性度量
Rough集理论认为知识是将对象进行分类的能力，属性的重要性是建立在属性的分类能力上的, 为了衡量属性的重要性程度, 可
从表中删除这一属性,再来考察信息系统的分类会产生怎样的变化:如果去掉属性会相应地改变分类,则说明该属性重要,反之,则说明该属性的重要性低。

衡量属性重要性程。