信息熵在粗糙集理论中的应用_梁吉业

山西大学学报(自然科学版)25(3):281～284,2002
Journal of Shanx i U niv ersit y(Nat.Sci.Ed.)
文章编号:0253-2395(2002)03-0281-04
信息熵在粗糙集理论中的应用
梁吉业1,孟晓伟2
(1.山西大学计算机科学系,山西太原030006;2.山西省招生考试管理中心,山西太原030012)
摘　要:信息熵在粗糙集理论中有着重要的应用,它可用来度量知识的不确定性、属性关联的重要性及粗糙集的不确定性等。

文章综述并分析这些度量。

关键词:粗糙集理论;信息熵;度量;数据分析
中图分类号:T P18 文献标识码:A
粗糙集理论是八十年代初由波兰科学家Z.P awlak首先提出的一个分析数据的数学理论[1]。

由于该理论能够分析处理不精确、不一致和不完备信息,因此作为一种具有极大潜力和有效的知识获取工具受到各领域广泛关注,并已在机器学习、模式识别、决策分析、过程控制、数据库知识发现、专家系统等广泛领域得到成功应用[2～7]。

本文主要介绍信息熵在粗糙集理论中的应用,综述并分析这些度量,指出需进一步研究的几个问题。

1　基本概念
1.1　信息系统
四元组S=(U,A,V,f)是一个信息系统,其中U:对象的非空有限集合;A:属性的非空有限集合,A中的属性又可分为两
V a,V a是属性a的值域;f:U×A→V是一个信息函数,个不相交的子集,即条件属性集C和决策属性集D,A=C∪D;V=∪
a∈A
它为每个对象的每个属性赋予一个信息值,即P a∈A,x∈U,f(x,a)∈V a。

信息系统S=(U,A,V,f)简记为S=(U,A)。

1.2　不可区分关系
令P A A,定义由属性集P决定的不可区分关系I N D(P)为:
I N D(P)={(x,y)∈U×UûP a∈P,f(x,a)=f(y,a)}.
如果(x,y)∈I N D(P),则称x和y是P不可区分的。

容易证明P P A A,不可区分关系I N D(P)是U上的等价关系。

符号U/I N D(P)(简记为U/P)表示不可区分关系I N D(P)在U上导出的划分,即由I N D(P)决定的等价类的集合。

I N D(P)的等价类称为S中的P-基本集。

1.3　近似集
设P A A,X A U。

X关于P的下近似定义为:PX=∪{YûY∈U/P,Y A X}.X关于P的上近似定义为:PX=∪{YûY∈U/ P,X∩Y≠ }.X关于P的边界定义为:B N P(X)=P X-PX.
2　知识的不确定性度量
在粗糙集理论研究中,文[8～11]等从信息角度建立了知识与信息熵的关系,引入了知识熵和条件熵的概念。

X收稿日期:2001-02-28
基金项目:国家863计划项目(2001A A115460)
作者简介:梁吉业(1962-),男,山西晋城人,博士,山西大学计算机科学系教授,从事数据挖掘与知识发现,人工智能方面的研究.
设S =(U ,A )是一个信息系统,P ,Q A A 。

令U /P ={X 1,X 2,…,X n },U /Q ={Y 1,Y 2,…,Y m }。

记P (X i )=ûX i ûûU û。

知识P 的熵定义为:H (P )=-
∑n i =1
P (X i )lo gP (X i )记P (Y j ûX i )=ûY j ∩X i ûûX i û。

知识Q 相对于知识P 的条件熵定义为:H (Q ûP )=-∑n
i =1P (X i )∑m j =1P (Y j ûX i )log P (Y j ûX i
) P 和Q 的联合熵为:H (P ,Q )=H (P ûQ )+H (Q ).
P 和Q 的互信息为:I (P ,Q )=H (P )-H (P ûQ )=H (Q )-H (Q ûP )=H (P )+H (Q )-H (P ,Q ).
对于知识熵有如下结论:
定理2.1[9]　设S =(U ,A )是一信息系统,P ,Q A A 。

若U /I N D (Q )A U /I N D (P ),则H (P )≤H (Q )。

定理2.1表明知识熵随着信息粒度的变小(通过更细的划分)而单调增加。

如果X 是一个有限集合,则不确定的Har tley 度量定义为[12]:
H 0(X )=log ûX û.
知识熵与不确定性的Har tley 度量之间有如下关系[10]:
H (P )=-∑n i =1ûX i ûûU ûlo g ûX i ûûU û=H 0(U )-∑n i =1ûX i ûûU ûH 0(X i ).
这样,知识熵是集合U 的Har tley 度量减去划分中元素的权Har tley 度量之和。

文[8]定义已知知识P 时知识Q 的正则条件熵为:
H 0(Q ûP )=-∑n i =1P (X i )∑m j =1P (Y j
ûX i )log P(Y j ûX i )/log m.
H 0(Q ûP )反映了属性集Q 关于属性集P 的信息依赖性,常记为:
P H 0(Q ûP )Q .
H 0(Q ûP )有如下性质:
定理2.2[8]　设S =(U ,A ),P ,Q A A ,则
(1)0≤H 0(Q ûP )≤1。

(2)属性集Q 函数依赖于属性集P 当且仅当H 0(Q ûP )=0。

(3)属性集Q 完全独立于属性集P 当且仅当H 0(Q ûP )=1。

3　属性关联的信息度量
在数据挖掘与知识发现中,主要任务之一就是寻找两个属性之间的重要关系或关联。

条件熵H (Q ûP )度量了属性集P 和Q 之间的一种方式关联或函数依赖的程度。

P →Q 成立当且仅当H (Q ûP )=0([13])。

利用熵、条件熵、联合熵和互信息之间的关系,上述条件等价于H (P )=H (Q ûP )或H (Q )=I (P ,Q )。

互信息可以用来评价两个属性之间两种方式关联的程度。

如果I (P ,Q )=0,则属性集P 和属性集Q 是统计独立的。

上述条件等价于H (P )=H (P ûQ ),H (Q )=H (Q ûP ),或H (P ,Q )=H (P )+H (Q )。

条件熵和互信息可以作为度量属性关联的基本度量,通过组合和正则化,可以得到属性关联的许多信息度量方法。

文[14]总结为如下三种:
—文[8,13]:H (P ûQ ),H (Q ûP );文[13,15,16]:I (P ,Q )/H (P ),I (P ,Q )/H (Q )。

—文[16,17]:I (P ,Q );文[13]:I (P ,Q )/H (P ,Q );文[15]:2I (P ,Q )/(H (P )+H (Q ));
文[15,18]:I (P ,Q )/m ax (H (P ),H (Q ));文[15]:I (P ,Q )/min (H (P ),H (Q ))。

—文[19]:H (P ûQ )+H (Q ûP );文[20]:(H (P ûQ )+H (Q ûP ))/H (P ,Q )。

第一组度量是非对称的,其余两种度量是对称的。

第三组度量是距离度量。

这些度量之间有如下关系[14]:
282山西大学学报(自然科学版) 25(3)　2002　
(1)I (P ,Q )H (P )=1-H (P ûQ )H (P )
,(2)I (P ,Q )max (H (P ),H (Q ))=min I (P ,Q )H (P ),I (P ,Q )H (Q )
,(3)I (P ,Q )min(H (P ),H (Q ))=max I (P ,Q )H (P ),I (P ,Q )H (Q )
,(4)0≤max I (P ,Q )(H (P ),H (Q ))≤2I (P ,Q )H (P )+H (Q )≤I (P ,Q )min(H (P ),H (Q ))
,(5)H (P ûQ )+H (Q ûP )=H (P ,Q )-I (P ,Q ),(6)2I (P ,Q )H (P )+H (Q )=21-H (P ,Q )H (P )+H (Q )
,(7)H (P ûQ )+H (Q ûP )H (P ,Q )=1-I (P ,Q )H (P ,Q )
注:条件熵不同的正则化可以用来表达属性之间一种方式关联的程度,而互信息不同的正则化可以用来表达属性之间两种方式关联的程度。

4　粗糙集不确定性的信息度量
设S =(U ,A )是一个信息系统,X A U ,R A A 。

X 关于R 的近似精度定义为[1]:A R (X )=ûRX ûûRX û
,其中0≤A R (X )≤1。

X 关于R 的粗糙度定义为[1]:Q R (X )=1-A R (X ).
文[21]指出,当两个信息系统存在包含关系时,同一粗糙集关于这两个信息系统可以有相同的粗糙度或近似精度。

因此,文[21]利用信息熵的变形给出了粗糙集粗糙性的更精确度量方法。

定义4.1[21]　设S =(U ,A )是一个信息系统,X A U ,P A A ,粗糙集X 关于P 的粗糙熵定义为:
E r (X )=-Q R (X )
∑n i =1Q i log P i ,
其中
U /P ={X 1,X 2,…,X n },P i =1ûX i û,Q i =ûX i ûûU û. 上述定义表明:粗糙集的粗糙熵随着信息粒度的变小(通过更细的划分)单调减少。

进一步,文[21]还定义了粗糙关系数据库的粗糙熵。

文[22,23]将粗糙集粗糙熵的定义推广到了不完备信息系统,同时给出了不完备信息系统下知识粗糙熵的定义,并利用知识粗糙熵定义了属性的重要性,从而给出了不完备信息系统下知识约简的启发式算法。

5　结束语
本文综述并分析了信息熵在粗糙集理论中的应用,但仍有一些问题需进一步的研究,如利用信息熵建立知识不确定性和模糊性之间的联系,利用信息熵度量不完全决策表的不确定性,利用信息熵构造不完备决策表知识约简的启发式算法等。

我们相信,信息熵将会在粗糙集理论的研究中起着越来越重要的作用。

参考文献:
[1]　PA W L AK Z.Roug h Sets:T heor etical A spect s of Reasoning about Data [M ].Do rdrecht:K luw er A cademic Publisher s,
1991.
[2]　P A WL A K Z.et al .R ough sets[J].Communication of the A CM ,1995,38(11):89-95.
[3]　P A WL A K Z.Ro ugh set theo ry and it s applica tio n to da ta analy sis[J].Cy ber netics and Sy stems ,1998,9:661-668.
[4]　P OL K OW SKI L ,SK O WR ON A (Eds .).Roug h Sets in K no wledge Disco ver y 1:M ethodolog y and A pplications [M ].
P hy sica-V er lag ,Heidelber g ,1998.
[5]　P OL K OW SK I L ,SK OW RO N A (Eds .).Roug h Set s in K now ledge Disco ver y 2:A pplicatio ns ,Case St udies and Soft war e Sy stems[M ].P hy sica-V er lag ,Heidelber g ,1998.
283
梁吉业等:信息熵在粗糙集理论中的应用
284山西大学学报(自然科学版) 25(3)　2002　
[6]　梁吉业,徐宗本,李月香.包含度与粗糙集数据分析中的度量[J].计算机学报,2001,24(5):544-547.
[7]　张文修,吴伟志,梁吉业,李德玉.粗糙集理论与方法[M].北京:科学出版社,2001.
[8]　P A WL A K Z,et al.Ro ug h sets:pro babilistic v ersus deter ministic appr o ach[J].I nter national J our nal of M an-M achine
S tud ies,1998,29:81-95.
[9]　G EDIG A G,et al.U ncer taint y measures of ro ug h set pr edictio n[J].A r tif icial I ntelligence,1998,106:109-137.
[10]　W IERM A N M J.M easuring uncer tainty in r ough set theor y[J].I nter national J ournal of General Sy stems,1999,28(4):
283-297.
[11]　苗夺谦,王珏.粗糙集理论中知识粗糙性与信息熵关系的讨论[J].人工智能与模式识别,1998,11(1):34-40.
[12]　HAR T L EY R V L.T r ansmission o f infor matio n[J].T he B ell Sy stems T echnical J our nal,1928,7(3):535-563.
[13]　M A L VEST U T O F M.Statist ical tr eatment of the infor mation co ntent o f a database[J].I nf or mation Sy s tems,1986,11:
211-223.
[14]　Y AO Y Y.O n infor matio n-theo retic m easur es of att ribute impo rt ance[A].Zhong N,Zhou L Z.L ecture N o tes in
A rt ificial Intelligence1574[C],Spr ing er,1999,133-137.
[15]　K V A LSET H T O.Entr o py and cor relatio n:some comm ent s[J].I EEE T r ansactions Sy stems,M an and Cy bernetics,
1987,SMC-17:517-519.
[16]　Q U IN L AN J R.Inductio n o f decision tr ees[J].M achine L ear ning,1986,1:81-106.
[17]　L IN FO OT E H.A n infor matio nal measur e o f cor relation[J].I nf or mation and Contr ol,1957,1:85-87.
[18]　HORI BE Y.Entr opy and cor relatio n[J].I EEE T rans actions Sy stems,M an and Cy ber netics,1985,SMC-15:641-642.
[19]　WA N S J,W ong S K M.A measur e fo r att ribute dissim ila rit y and its applicatio ns in machine lear ning[A].JA N ICKI R,
K OCZK O DA J W puting and Infor mation[C].N or th-Ho lland,Amster dam,1989,267-273.
[20]　RA JSKI C.A metric space of discrete pr obability dist ributions[J].I n f or mation and Contr ol,1961,4:373-377.
[21]　BEA U BOU EF T,P ET RY F,A RO RA rmat ion-theor etic measures o f uncer taint y fo r ro ug h sets and ro ugh
relatio nal databases[J].I nf or mation Sciences,1998,109:185-195.
[22]　L IA NG Ji-y e,Q rmat ion measures o f ro ug hness o f kno wledge and r o ug h set for incomplete infor mation
systems[J].J ournal of Sy stems Science and Sy stems Eng ineer ing,2001,10(4):418-424.
[23]　L IA N G Ji-y e,XU Zong-ben.T he alg or ithm on kno wledge reduct ion in inco mplete info rmation sy stems[J].
Inter natio nal Jour nal of U ncter taint y,F uzziness and K now ledg e-based System s,2002,10(1):95-103.
Application of Information Entropy in Rough Set Theory
LIANG Ji-ye1　M ENG Xiao-w ei2
(1.Dep ar tment of Com p uter Science,S hanx i U niv er sity,T aiy uan030006,China
2.A dministration Center of U nd er gr ad uate A dmis ion of S hanx i P rov ince,T aiy uan030012)
Abstract:Infor matio n ent ro py has an impor tant application in r oug h set theor y,and it can been used to measure uncer tainty of know ledge,impor tance o f attr ibutes for discov ering one-way or two-w ay a sso ciatio ns and uncert ainty o f ro ug h set.In this paper,t hese measures w ere r eviewed.
Key words:Ro ug h set theor y;infor mation ent ro py;measur e;data analy sis。