基于信息熵的概率粗糙集在电路控制系统中的应用

Computer Knowledge and Technology 电脑知识与技术第6卷第20期(2010年7月)基于信息熵的概率粗糙集在电路控制系统中的应用王华，柳炳祥（景德镇陶瓷学院信息工程学院，江西景德镇333403）摘要：概率粗糙集模型能充分利用近似边界区域提供的统计信息，并能对给定概念一个更完整的刻画，因而可以提取带有确定性因子的决策规则，笔者将改进的基于信息熵的属性约简算法应用于概率粗糙集模型中，并将此模型应用到电路控制系统中，得到了较好的效果。

关键词：概率粗糙集；信息熵；电路控制系统中图分类号：TP301文献标识码：A 文章编号：1009-3044(2010)20-5577-02Application of Probability Rough Set based on Information Entropy in the Circuit Control SystemWANG Hua,LIU Bing-xiang(Jingdezhen Ceramic Institute,Information Engineering,Jingdezhen 333403,China)Abstract:The model of probability rough set can take full advantage of the border regions of similar statistical information,and given the concept of a more complete portrait,then we can extract with an uncertainty factor of the decision-making rules.The attribute reduction algorithm based on information entropy is applied to the probability of rough set model by the writer,this model will be applied to the cir -cuit control system and obtained good results.Key words:probability rough set;information entropy;circuit control system粗糙集理论是波兰数学家Z.Pawlak [1]于1982年提出的一种新的处理含糊性和不确定性知识的数学工具，已在模式识别、数据挖掘、机器学习等领域得到了广泛的应用。

而后很多学者对粗糙集模型进行了推广，文献[2]给出了概率粗糙集模型。

属性约简是粗糙集理论的一个重要研究课题，一般来说，知识库中的知识并不是同等重要的，存在着冗余，属性约简要求在保持分类能力不变的前提下，删除冗余属性，但这已被证明是一个NP-hard 问题，为了提高概率粗糙集分类效率，笔者将改进的基于信息熵的属性约简算法应用于概率粗糙集模型中，并将此模型应用到电路控制系统中，得到了较好的效果。

1基本理论1.1信息系统四元组S=(U,A,V,f)是一个信息系统,其中U:对象的非空有限集合;A:属性的非空有限集合,A 中的属性又可分为两个不相交的子集,即条件属性集C 和决策属性集D,A=C ∪D;,V a 是属性a 的值域;f:U ×A->V 是一个信息函数,它为每个对象的每个属性赋予一个信息值,即。

信息系统S=(U,A,V,f)简记为S=(U,A)。

1.2不可区分关系令P 哿A,定义由属性集P 决定的不可区分关系IND(P)为:IND(P)={(x,y)∈U ×U|V a ∈P,f(x,a)=f(y,a)}。

如果(x,y)∈IND(P),则称x 和y 是P 不可区分的。

容易证明坌P 哿A,不可区分关系IND(P)是U 上的等价关系。

符号U/IND(P)表示不可区分关系IND(P)在U 上导出的划分,即由IND(P)决定的等价类的集合。

IND(P)的等价类称为S 中的P-基本集。

1.3近似集设P 哿A,X 哿U 。

X 关于P 的下近似定义为:.X 关于P 的上近似定义为:.X关于P 的边界定义为:.1.4知识约简P 和Q 为U 中的等价关系,则集合叫做P 的Q 正域。

当POS IND(P)(IND(Q))=POS IND(P-R)(IND(Q))时。

称R ∈P 为P 中Q 可省略的，否则为P 中Q 不可省略的。

当P 中每个R 都为Q 不可省略时，称P 为Q 独立的。

当S 为P 的Q 独立子族，且POS S (Q)=POS P (Q)时，则族S 哿P 称为P 的Q 约简。

1.5条件熵设U 为一个论域，P,Q 奂A 为U 上的两个等价关系簇，U/P={X 1,X 2,X 3,…,X n }，U/Q={Y 1,Y 2,Y 3,…,Y n }，则P 的熵定义为：，其中p(X i )=card(X i )/card(U)。

而P 相对Q 的条件熵定义为：收稿日期：2010-04-19作者简介：王华（1979-），女，湖北宜昌人，硕士，景德镇陶瓷学院（助教），研究方向为数据挖掘。

ISSN 1009-3044Computer Knowledge and Technology电脑知识与技术Vol.6,No.20,July 2010,pp.5577-5578,5592E-mail:eduf@ Tel:+86-551-56909635690964,其中。

1.6概率粗糙集设U是有限对象构成的论域，R是U上的等价关系，其构成的等价类为U/R={X1,X2,X3,…,X n}，仍记x所在的等价类为[X]，令P 为U子集上定义的概率测度，三元组A p=(U,R,P)称为概率近似空间。

U中的每个子集称为概念，它代表了具有一定概率的随机事件。

P(X|Y)表示事件Y发生下X出现的条件概率，根据这些条件概率，可以定义概率近似空间中的Y概率上近似和概率下近似分别为：这样的概率近似正域、概率边界和概率负域分别为：由此可见，当一个对象属于POSA p(Y)或NEGA p(Y)时，可以从概率的意义上肯定这个对象满足概率Y的程度，但不能肯定边界中研究对象是否匹配概念Y。

2实例本文以一个电路控制系统为例，研究了基于信息熵的概率粗糙集在电路控制系统中的应用。

针对电路控制系统工作状态表(1)，进行数据预处理，得到电路控制系统工作状态表(2)。

条件属性集合C=(c1,c2,c3,c4)，其中各属性及属性值分别为：C1表示输入电流，其中：0～2.00类别为1、2～4类别为2、4～6类别为3；C2表示温度，其中：类别1为低、类别2为中、类别3为高；C3表示电压，其中：0～59类别为1、60～69类别为2、70～89类别为3；C4表示噪声，其中：0～0.005类别为1、0.01～0.015类别为2、0.016～0.02类别为3；决策属性集合D=(d)，其中属性及属性值分别为:d表示输出电流大小，其中：类别1为低、类别2为中、类别3为高。

将表1中数据离散化为表2。

3方法本文提出的分类算法是在概率粗糙集的基础上以信息熵作为衡量属性重要度的标准，在此基础上进行属性约简，最终输出相应的规则。

输入:K=(U,P,C∪D,V,f)，置信度阀值t输出:规则及相应置信度Step1:计算k的信息熵H(DC);Step2:求属性集C的核属性CORE(C),即CORE(C)={a∈c|H(DC-{a})-H(DC)>0};Step3:初始化L=CORE(C),如果L=Φ,转step5Step4:计算属性核的粗糙熵H(DL);如果H(DC)=H(DL),那么L为最小属性约简,且转step7Step5:对于每一个属性c∈C-L,计算属性重要性Sig(c,L,D>0),选择属性重要性最大的属性c,使其满足H={a|max{Sig(c,L,D)}},如果|H=1|,那么选择c∈H,否则选择属性c,使其满足|U/{c}|=min{|U/{c'}||a'∈H};L=L∪{a}如果E(D L)≠E(D C),那么重复Step5;Step6:删除属性,创建C的一个相对约简L;初始化L=L-CORE(C),t=|L|;For i=1to t Do{在L中删除第i个属性c i，L=L-{c i};计算H(D L∪CORE(C));如果H(D L∪CORE(C))≠H(D C),那么L=L∪{c i};L=L∪CORE(C)为相对最小属性约简Step7:对D中每个属性循环执行以下操作：计算U|ind(d)={D1,D2,…D t},U|ind(L)={C1,C2,…C i}。

若置信度P(D j/C i)>t，则输出规则.经过属性约简，得到相对最小属性集为{C1,C3,C4}.我们在进行规则提取时，基本粗糙集模型没有获得利用近似边界区域所提供的统计信息，然而概率粗糙集模型能充分利用近似边界区域的统计信息，并能给概念X一个更完整的刻画，如以绝对边界情形(α=β=0.5)为例，可以提取带有置信度c的决策规则如下:规则1：若P(X|X i)>0.5，则：规则2：若P(X|X i)<0.5，则：规则3：若P(X|X i)=0.5，则：（下转第5592页）表1电路控制系统工作状态表表2电路控制系统工作状态表（上接第5578页）其中规则中的确定性因子定义为c=max{P(X|X i),1-P(X|X i)}。

用概率粗糙集方法来处理可获得如下决策规则：4结论显然，能用基本粗糙集模型方法得到的决策规则一定能够使用概率粗糙集方法得到同样的决策规则，反之则不然。

由此可见，通过概率粗糙集模型对电路控制系统进行分类，可以得到更好的效果，输出分类效率更高的决策规则，是基本粗糙集模型一个很好的补充和推广。

参考文献：[1]Pawlak Z.Rough sets[J].International Journal of Information and Computer Science,1982,(11):341-356.[2]张文修,吴伟志,梁吉业,等.粗糙集理论与方法[M].科学出版社,2001.[3]王国胤.Rough集理论与知识获取[M].西安:西安交通大学出版社,2001.[4]苗夺谦,王珏.Rough Set理论中知识粗糙性与信息熵关系的讨论[J].模式识别与人工智能,1998,11(1):34-40.由于差分序列中距离值长度在总体上呈递减趋势，可以通过如下算法实现对其分段：从差分序列中选取出最大的距离值长度K1，找出此距离值长度最后一次出现的位置，以此位置作为差分序列分段的分段处，将差分序列分为AB两段，A段中的距离值长度一律取K1位。