证据理论与熵值融合的知识约简新方法

证据理论与熵值融合的知识约简新方法吴根秀;吴恒;黄涛【摘要】求解决策表的最小约简已被证明是NP-hard问题，在粗糙集和证据理论的基础上提出了一种知识约简的启发式算法。

利用粗糙集等价划分的概念给出属性的信息熵，定义每个属性的熵值重要性并由此确定知识的核。

引入二分mass函数对每个属性建立一个证据函数，证据融合得到每个属性的证据重要性。

以核为起点，以证据重要性为启发，依次加入属性直至满足约简条件。

实例表明，该方法能够快速找到核和相对约简，并且该约简运用到分类上正确率也是较高的。

%It is proved that solving the minimal reduction of decision table is a NP-hard problem. This paper puts on a heuristic algorithm based on rough set and evidence theory. It gives attribute information entropy by using the concept of equivalence partitioning of rough set, and defines the attribute importance to get the core of the knowledge. It establishes an evidence function for each attribute by the concept of dichotomous mass functions, combining which to get the evi-dence importance of each attribute. Setthe core as the start of the algorithm and make size of attributes importance as heu-ristic information until it meets the reduction condition. Examples show that it can find the core and reduction quickly, and the reduction used in classification accuracy is higher.【期刊名称】《计算机工程与应用》【年(卷),期】2016(052)019【总页数】4页(P167-170)【关键词】粗糙集;知识约简;二分mass函数;熵;属性重要性【作者】吴根秀;吴恒;黄涛【作者单位】江西师范大学数学与信息科学学院，南昌 330022;江西师范大学数学与信息科学学院，南昌 330022;江西师范大学数学与信息科学学院，南昌330022【正文语种】中文【中图分类】TP31WU Genxiu，WU Heng，HUANG Tao.Computer Engineering and Applications，2016，52（19）：167-170. Rough Set［1］是波兰数学家Pawlak于1982年提出的，该理论是一种处理不精确、不完全与不相容知识的数学方法。

近年来，由于其在人工智能和认知科学中的重要性和优越性，受到国内外研究人员越来越多的关注［2-4］。

知识约简是Rough Set Theory的核心内容之一。

知识约简就是在保持知识库的分类能力或决策能力不变的情况下，删减其中冗余的知识。

目前，决策表的知识约简算法大致可以归为三类：基于正域的属性约简算法［5-6］、基于差别矩阵的属性约简算法［7-8］和启发式的属性约简算法。

寻找决策表的最小约简已被证明是NP-hard问题。

因此，知识约简的启发式算法成为当前研究的一个热点。

苗夺谦等［9］从信息的角度出发，提出了一种基于互信息的知识相对约简算法，并指出算法的复杂性是多项式的。

杨明［10］提出了基于条件信息熵的近似约简算法，能够根据实际对冗余属性进行取舍。

翟俊海等［11］考虑了条件属性之间的相关性，提出了利用最小相关性和最大依赖度准则求约简方法。

陈颖悦等［12］引入蚁群优化算法，提出基于信息熵与蚁群优化的最小属性约简算法，在大多数情况下能够找到最小约简。

本文利用粗糙集等价划分的概念并结合信息熵的知识得到求核的表达式，同时引入证据理论中的二分mass函数对每个属性建立一个证据函数，证据融合得到每个属性的证据重要性，基于核与属性的证据重要性得到相对约简。

最后两个实例进一步验证了该方法的可行性与有效性。

2.1 粗糙集2.2 证据理论2.3 信息熵在信息理论中，对信息源的不确定性度量一般用信息熵。

设Θ上的概率分布（p1,p2,…,pn），定义信息熵为：信息蕴含在不确定性中，不确定性越大，则信息量越大。

在粗糙集中，属性集对论域的划分同样包含着对论域认知程度的不确定性。

因此，可以用信息熵的概念来度量属性集所包含的对论域认知信息的大小。

3.1 属性的熵值重要性3.2 属性的证据重要性由于属性集的证据函数是以属性熵值为自变量的，求得的二分mass值也是关于熵值的函数。

n个证据融合并进行概率转换，也即对所有属性熵值重新组合并将其分配给每个属性。

由此可知，属性的证据重要性是基于属性的熵值重要性的。

熵值越大，表明其蕴含的信息量信息越多。

令函数f（x）=（1-e-γ×x）e-γ×y，此即为二分mass函数去除归一化因子后的表达式，其中 x=sig（ai）或 x=sig（-ai）。

由于x,γ＞0，f（x）是x的增函数。

所以，对于n个证据的融合仍然是关于熵值的一个增函数。

因此，DSsig（ai）越大，则ai对整个条件属性的重要性越大，可以优先加入约简集中。

3.3 基于证据理论的知识约简算法（1）算法流程由sigU（ai）得到CoreD（C）后，可以从CoreD（C）开始，以 DSsig（ai）作为寻找最小属性约简的启发式信息。

算法描述如下：4.1 知识约简例1给定决策表S=＜U,C∪D,V,f＞如下，求其核与相对约简（注：以下实例中均取γ=1）。

利用式子（1）和（2）可算得每个属性的熵值重要性，用向量表示为（0,0.069 3,0,0,0.069 3,0,0,0,1.933 8），即第2、5和9个属性值大于0，由式（3）得到核CoreD=｛c2,c5,c9｝。

计算每个属性的证据重要性并归一化，用向量表示为（0.126 5,0.115 0,0.126 8,0.120,0.121 7,0.123 3, 0.124 7,0,0.016 6），去除核中的属性2、5和9，对剩余的属性按大小排序为3，1，7，8，6，4，然后依次将这些属性加入到核中并判定约简条件，当加入第4个属性后，约简条件sigU （C′）=sigU（C）成立，从而可知C′=｛c1,c2,c3, c5,c7,c8,c9｝为其一个约简。

运用区分矩阵计算表1的无决策属性的信息系统时，其核为CoreD=｛c2,c5,c7,c9｝，且得到4个约简，如下：C1'=｛c1,c2,c3,c5,c6,c7,c9｝，C2'=｛c1,c2,c4,c5,c6,c7,c9｝，C3'=｛c2,c3,c4,c5,c6,c7,c9｝，C4'=｛c1,c2,c3,c5,c7,c8,c9｝。

可知，本文求得的核是区分矩阵求得核的子集，本文求得的相对约简同样包含在区分矩阵的最小约简中。

利用正域方法有U/D=｛｛1,6,14,17,20｝,｛2,3,4,5,7,8, 10,12,13,16,18,19｝，｛9,11,15｝｝，从而U/C=U/C′=｛1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18, 19,20｝，则有POSC（D）=POSC′（D），也即本文得到的约简同样也是正域的一个约简。

由此可以知道，本文寻找核与相对约简的启发式算法是行之有效的。

4.2 分类比较选取UCI上的Breast Cancer Wisconsin（Diagnostic）数据集，该数据集包含569个样本，30个条件属性和一个包含2个类别的决策属性，为了方便对条件属性依次标号为1，2，…，30。

随机选取总样本的70%作为训练样本，其余作为测试样本。

利用等距离散化的方法，将训练样本各条件属性等分12份。

从而离散化后的训练样本即为一个决策表，利用本文的方法得到属性的证据重要性大小排序如表2。

由式（1）和（2）可以得到核CoreD=｛30｝。

进一步，计算约简为C′=｛2,9,10,18,22,25,26,28,29,30｝。

然后，从测试样本中提取约简的条件属性，利用Fisher分类法测试其分类正确率为92.40%，而对未约简的测试集分类证据率仅为60.24%。

由此可知，本文的知识约简方法既能够删减冗余的属性，同时又能较大地提高分类正确率。

介绍了证据理论和粗糙集的基本知识，定义了属性的熵值重要性，同时提取了一系列相关性质；引入二分证据函数并由此得到每个属性的证据重要性；通过属性的熵值重要性和属性的证据重要性得到核与约简。

实例表明，本文方法是切实可行性的。

然而，本文不足之处是只能得到一个相对约简，并且该约简是否为最小约简有待进一步证明，这将是今后的研究方向。

【相关文献】［1］Pawlak Z.Rough sets［J］.International Journal of Computer &Information Sciences，1982，11（5）：341-356.［2］Mitra A，Satapathy S R，Paul S.Clustering analysis in social network using covering based rough set［C］//Proceedings of IEEE International Advance Computing Conference，2013：476-481.［3］Liu Yanfang，Zhu William.On three types of coveringbased rough sets via definable sets［C］//Proceedings of IEEE International Conference on Fuzzy Systems，2014：1226-1233.［4］Yao J T，Azam N.Web-based medical decision support systemsforthree-way medicaldecision making with game-theoretic rough sets［J］.IEEE Transactions onFuzzy Systems，2015，23（1）：3-15.［5］景运革，李天瑞.一种基于关系矩阵的决策表正域约简算法［J］.计算机科学，2013，40（11）：261-265.［6］景运革.一种基于属性值粗化的决策表正域约简算法［J］.微电子学与计算机，2015，32（2）：47-51.［7］兰聪花，王逢娟.一种新的基于区分矩阵的值约简算法［J］.工业仪表与自动化装置，2014（2）：113-116.［8］吴正江，张静敏，高岩.遗传算法与区分矩阵的属性约简算法［J］.计算机工程与应用，2014，50（2）：120-123.［9］苗夺谦，胡桂荣.知识约简的一种启发式算法［J］.计算机研究与发展，1999，36（6）：681-684.［10］杨明.决策表中基于条件信息熵的近似约简［J］.电子学报，2007，35（11）：2156-2160. ［11］翟俊海，万丽艳，王熙照.最小相关性最大依赖度属性约简［J］.计算机科学，2014，41（12）：148-154.［12］陈颖悦，陈玉明.基于信息熵与蚁群优化的属性约简算法［J］.小型微型计算机系统，2015，36（3）：586-590.［13］Smets P.Decision making in the TBM：The necessity ofthe pignistic transformation［J］.InternationalJournal of Approximate Reasoning，2005，38（2）：133-147.。