基于粗糙集分类算法研究与实现

１ 引言 决策树分类方法是一种有效的数据挖掘方法１ ． １ ， Ｑ ｉ ｎ ｌ ｎ ｎ ａ
提出的 Ｉ Ｄ３ 算法曰 是最有影响的一种决策树生成算法， 其思想 是先把整个数据库作为树的根节点，利用信息沦中的信息增 益寻找数据库中具有最大信息量的属性作为节点分裂依据， 而后根据属性的不同取值进行分裂， 建立节点的分枝， 并在每 个子节点中重复该操作， 直到生成一棵完整的决策树， 但该方 法有倾向于选择取值较多的属性、 抗噪声能力差等缺点。 粗糙 集理论１ １ ３ 是由波兰数学家 ２ ． ａｗ Ｐ ｌ ｋ于 １ ａ ９８ ２ 年首先提出的一 种研究不精确， 不确定性知识的数学工具， 目前主要应用于分
更加符合实际。
Ｒ 一 （ Ｘ ） ＝ ｌ ａ ｏ Ｕ ： ｌ ａ ］ ， ｎ Ｘ 尹 ０ ｝
集合Ｘ的边界区定义为： Ｂ 从（ Ｘ） ＝ Ｒ ＿ （ Ｘ ） 一 Ｒ 一 （ Ｘ）
界区等概念刻划了一个不能精确定义的集合的逼近特性。
（ ２ ）
（ ３ ）
ห้องสมุดไป่ตู้
Ｂ 从（ ｘ ） 为集合ｘ 的上逼近与下逼近之差。 下逼近、 上逼近及边
李 勃， 王艳兵， 姚 青： 墓于粗糙集分类算法研究与实现
２ ）８ Ｘ （ ， ４（ １ ５ ）
１ ４ ３
． ２ ２ 可变精度粗糙集
变精度粗糙集（ ｖ Ｒｓ Ｐ ） ． ４ １ ５ 是对标准粗糙集理论的一种扩 展。它通过设置团值参数， 放松了标准粗糙集理论对近似边 界 的严格定义。 利用一个预先定义的 精度等级刀 （ ． ０ ５ 明＜ １ ） ， 将对 边界区域的定义放松。 对于一个给定的决策系统， 某个集合ｘ相对于属性Ｒ的 冬下近似定义为：
息论中， 嫡可以用来度量信息系统的不确定度。
． ４ １ 基于ｖ ｐ Ｄ３ Ｉ 的分类器的设计
以经典的Ｉ Ｄ３ 算法的改进算法 Ｖ Ｉ Ｐ Ｄ ３ 算法做为分类器的 建树算法， 利用粗糙集理论中属性约简的方法对数据集进行了 简化， 根据所使用建树算法的特点， 选择了以期望错误率为启 发的后剪枝算法。
１ ． 鲁东大学 计算机科学与技术学院， 山东 烟台 ２ ４０ ６ ５ ２ ２ 山东大学 计算机科学与技术学院， 济南 ２ ５０６ １ １ ． Ｓ ｃ ｈ ｏ ｏ ｌ ｆＣ Ｏ ｏ ｍ Ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅａ ｎ ｄＴ ｅｃ ｈ ｎ ｏ ｌ ｏ ｙ， ｇ ｕｄ Ｌ ｏ ｎ ｇＵ ｎ ｉ ｖ ｅ ｓ ｒ ｉ ｔ ｙ ， Ｙ ａ ｎ ｔ ａ ｉ ， Ｓ ｈ ａ ｎ ｄ ｏ ｎ ｇ２ ４０ ６ ２ ５ ， Ｃ ｈ ｉ ｎ ａ ２ ． ５ ‘ ， ｈ ｏｌ ｏ ｆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｓ ｃ ｉ ｅ ｎ ｃ ｅａ ｎ ｄＴ ｅｃ ｈ ｎ ｏ ｌ ｏ 盯， Ｓ ｈ ａ ｎ ｄ ‘ ） ｎ ｇＵ ｎ ｉ ｖ ｅ 邝 ｉ ｌ ｙ ， Ｊ ｉ ’ ｎ ａ ｎ２ ５ ）６ Ｘ （ １ ， Ｃ ｈ ｉ ｎ ａ
Ａ加 ｔ ｒ８ Ｃ ｔ ：Ｄ ａ ｔ ａｍ ｉ ｎ ｉ ｎ ｇｉ ｓａ ｎｉ ｍ ｏｒ Ｐ ａｎ ｔ ’ ｔ ｐ ａ ｉＯ ｒ ｆ
ｔ ｏｃ ｌ ａ ｓ ｓ ｉ ６ （ ： ａ ｔ ｉ （ ） ｎ（ ： ｏ ｕ ｌ ｄｈ ｅｒ ｅｄ ｕ ｃ ｅ ｄｔ ｏ ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｎ ｇａ ｔ ｔ ｉ ｒ ｈ ｕ ｔ ｅ ｓ ． Ａ ｔ ｆ ｅ ｒ ｕ ｓ ｉ ｎ ｇｔ ｈ ｅｉ ｍ ｐ ｏ ｒ ｖ ｅ ｄＩ Ｄ ３ａ １ ｇ ｏ ｉ ｒ ｔ ｈ ｍ （ ｖ ｐ ｌ ｌ ） ３ ） ， ｔ ｈ ｅｉ ｎ ｔ ｅ ｅｒ ｆ ｒ ｅ ｎ ｃ ｅｏ ｆ ａｃ ｅ ｔ ｒ ａ ｉ ｎｅ ｘ ｔ ｅ ｎ ｔ ， ｔ ｈ ｉ ｓｍ ａ ｄ ｅｒ ｅ ｓ ｕ ｌ ｔ ｃ ｏ ｅｓ ｒ 加ｎ （ ｌ ｔ ｏｒ ｅ ａ ｌ ｉ ｔ ｙｅ ｖ ｅ ｎｍ ｏ ｅ ｒ ． Ｆ ｉ ｎ ａ ｌ ｌ ｙ ， ｔ ｈ ｅｐ ａ ｐ ｅ ｒ ｄ ｅ ｓ ｉ ｇ ｎ ｓａ ｎ ｄｒ ｅ ａ ｌ ｉ ｚ ｅ ｓａｃ ｌ ａ ｓ ｓ ｉ ｉ ｆ ｅ ｒｕ ｓ ｉ ｎ ｇＶ Ｐ Ｉ Ｄ ３ ａ ｌ 即ｒ ｉ ｔ ｈ ｍａ ｎ ｄｄ ｏｓ ｏ ｍ ｅｅ ｘ ｐ ｅ ｉ ｒ ｍ ｅ ｎ 认ｔ ｏｃ ｈ ｅ ｃ ｋｉ ｔ ｓｐ ｅ ｏｒ ｆ ｒ ｍａ ｎ ｃ ｅ ． Ｅ ｘ ｅ ｔ ｎ ｓ ｉ 、 ｅｅ ｘ ｐ ｅ ｉ ｒ ｍ ｅ ｎ ｔ ，ｗ ｉ ｔ ｈｆ ｏ ｕ ｒ ｄ ｉ ｅｒ ｆ ｅ ｎ ｔ ｄ ａ ｔ ａ ， ｅ ｔ ｓｈ ａ ｖ ｅｓ ｈ （ ） ｗ ｎｔ ｈ ａ ｔ
矿（ ｘ ） ＝ ｛ 吨
Ｉ ＹｎＸ！ ＿ ‘。 ，
— — 》１ － 衫争
（ ４ ）
同 时 ， 其 户 正 域 可 表 示 为 崛 （ ｘ ） ， 其 足 上 近 似 定 义 为 ：
Ｉ ＹＩ
（ ５ ）
可见当声１ 时， 这个ｖ Ｐ Ｒ ｓ 就是原始的粗糙集模型。在相 同的条件下， 随着月 的减小， 边界区域也逐渐减小， 也即不确定
ｎｏｌ ｓｅ
ＯＵｒ
ｏ ｉ ｓ ｅｄ ａ ｔ ａｔ ｈ ａ ｎＩ Ｄ ３ａ ｌ 即ｒ ｉ ｌ ｈ ｍ ． ａ ｌ ｇ ｏ ｉ ｒ ｔ ｈ ｍｉ ｓｍ ｏ ｅｅ ｒ ｅｃ ｆ ｌ ｉ ｖ ｅｉ ｎｄ ｅ ａ ｌ ｉ ｎ ｇｗ ｉ ｔ ｈｎ Ｋ ｙ ｗ ｅ ｏ ｒ ｓ ：ｄ ｄ ａ ｔ ａｍ ｉ ｎ ｉ ｎ 只 ； ｃ ｌ ａ ｓ ｓ ｉ ｉ ｆ ｃ ａ ｔ ｉ ｏ ｎ ； ｄ ｅ ｃ ｉ ｓ ｉ （ ） ｎｔ ｅ ｒ ｅ 不 ｏ ｒ ｕ ｇ ｈｓ ｅ ｔ ； Ｉ Ｄ ３ ； ｅ ｎ ｔ ｏ ｒ ｐ ｙ
３ 改进的 Ｉ Ｄ３ 算法
． ３ １ 粗糙集理论的信息嫡网
对于定义在给定论域上的随机变量 Ｘ ，设其概率分布为
俗！ 片１
扣 。 ， … ， 闪， 艺 作； ， 则 ｘ 的 信 息 嫡 为 （ Ｈ ｘ 卜 一 叉 那 （ ｂ 只 ） 。 在 信 ４ 分类器的设计与实现
摘 要： 数据挖掘是人工智能中知识发现的重要组成部分， 而分类又 是一种主要的应用形式。Ｉ Ｄ３ 算法是数据挖掘中经典的决策 树分类算法， Ｄ３ Ｉ 算法具有抗噪声能力差的缺点。通过对分类和粗糙集理论的研究， 将可变精度粗糙集理论的思想应用在计算属 性信息墒时设定闪值上， 以放宽属性选择的要求， 从而对经典的Ｉ Ｄ３ 算法作了相应的改进‘ 。 改进后的Ｉ Ｄ３ 算法（ 称之为ｖ ｌ） Ｐ ３算 法） 可在一定程度上降低噪声对系 统分类的干扰， 提高了有数据有噪声情况下的分类精度。另外根据该算法设计并实现了一个分 类器， 并通过实 验检验了 该算法的性能。 关键词： 数据挖掘； 分类； 决策树； 粗糙集； Ｉ） ３； 墒 Ｄ Ｏ Ｉ ： １ ０ ． ３ ７ ７ ８ ／ １ ． ｉ ｓ ｓ ｎ ． １ ）２ Ｘ （ 一 ８ ３ ３ １ ． ２ ）８ （ ０ ． １ ５ ． ４５ 文章编号： ０ ｌ ）２ （ ０ 一 ８ ３ ３ １ （ ２ ０ （ ） ８ ） １ ５ 一 ０ １ ４ ２ 一 ０ ３ 文献标识码： Ａ 中图分类号： Ｔ ３９ Ｐ １
２ 相 关理论
． ２ １ 粗糙集合的 卜 逼近、 １ 二 逗近、 边界区
给定一个有限的非空集合ｕ称为论 域， Ｒ为Ｕ上的一族
等价关系。Ｒ将 ｕ 划分为互不相交的基本等价类， 二元对 Ｋ 二
（ Ｕ ， Ｒ ） 构成一个近似空间。设Ｘ为ｕ 的一个子集， ａ 为ｕ中的 一个对象， １＊ ｌ （ Ｉ 表示 所有与ａ 不可分辨的对象所组成的集合， 即 由ａ 决定的等价类。 当集合ｘ能表示成基本等价类组成的并集 时， 则称集合ｘ是可以精确定义的； 否则， 集合ｘ只能通过逼
１ ４ ２
２ ）８ Ｘ （ ， 科（ １ ５ ）
ｏｍ ｃ ｐｕ ｔ ｒＥ ｅ ｌ妙， 。 ｌｇｔ ｉ ｒ ｌ 滋Ａ ，ｌ ｌ ， ： ’ ｉ 以 动 ｖ计算机工程与应用 Ｌ Ｉ
基于粗糙集分类算法研究与实现
李 勃’ ， 王艳兵 ２ ， 姚 青２
Ｌ Ｉ Ｂ ｏ ， ， Ｗ Ａ Ｎ ＧＹ ａ ｎ 一 ｂ ｉ ｎ 扩 ， Ｙ Ａ ＯＱ ｉ ｎ ｇ Ｚ
Ｌ ＩＢ ｏ ， ＷＡ Ｎ ＧＹ ａ ｎ 一 ｂ ｉ ｇ， ｎ Ｙ Ａ ＯＱ ｉ ｎ ｇ ． Ｒ ｅ ｅ ｓ ａ ｃ ｒ ｈａ ｎ ｄｒ ｅ ａ ｌ ｉ ｚ ａ ｉ ｔ ｏ ｎｏ ｆｃ ｌ ａ ｓ ｉ ｎ ｃ ａ 幼 ｏ ｎｂ ｓ ａ ｅ ｄｏ ｎｒ ｏｕ ｇ ｈｓ ｅ ｔｔ ｈ ｅ ｏ ｙ． ｒ Ｃ ｏ ｍ Ｐ ｕ ｅ ｔ ｒ Ｅ ｎ ｇ ｉ ｅｅ ｎ ｒ ｉ ｎ ｇａ ｄ Ａ ｎ Ｐ Ｐ ｌ ｉ ｃ ａ ｉ ｔ ｏ ｓ， ｎ ２ ０ ０ ８ ， ４（ １ ５ ） ： １ ４ ２ 一 １ ４．
近的方式来刻划。 集合Ｘ关于Ｒ的下逼近定义为： Ｒ 一 （ Ｘ ） 二 ｌ ａ ｏ Ｕ ， ｌ ａ ｌ ； ｇ Ｘ Ｉ 集合Ｘ关于Ｒ的上逼近定义为：
（ １ ）
类。 通过对粗糙集理论和Ｉ Ｄ３ 算法的研究， 发现 Ｉ ３ 算法中利 Ｄ 用信息嫡的方法对属性进行择优， 等同于粗糙集理沦中的寻 找正域最大的属性。 考虑到噪声对信息系统的影响， 利用可变 精度粗糙集的思想给属性信息嫡的计算加上了一个阑值参 数， 从而在一定程度上降低了噪声对分类的干扰， 使分类结果
Ｃ ， 决策属性山 输出： 一棵决策树 Ｔ ｏ
步 裸１ 初始化决策表为只含有一个根节点（ ｓ， ）的树 Ｔ ｃ ，
其中５ 是全体样本集， ‘ 为全体条件属性集；
步 探２ 如果Ｔ 中 给定叶 节点（ ｊ ｓ ， ｊ ｃ ） 有 下 列 情况 之一 发生
时， 该节点停止分裂， 并做相应的类标记处理， 否则继续；
（ １ ） 给定节点样本集合中 所有样本在户程度上属于同一
个类ｄ （把该类作为此节点的类标记） ． ； （ ）没有剩余的属性可以用来进一步划分样本（ ２ 用多数表 决法确定节点类别） ； （ ）分枝没有样本； ３ 步 裸２ ． １选择一个不具有上述性质的节点；
丫 （ ｘ ， 二 ｛ ｖ ａ ［ 罕 ， ” ，
区域降低了， 从而可见 Ｖ Ｐ Ｒ Ｓ 对噪声有一定的容错能力。
． ２对于所选节点中 每一属 性风 。 ｊ ｃ ， 计算其对应的 步 裸２ 场（ ｄ ！ 风 ） ； 步 骤２ ． ３选 择巧韧动值 最 小的 属 性 作 为 节 点 分 裂 属 性 进
行分裂（ 若有多个属性同时达到最小时， 则选择其中属性值最 少的属性） ， 依据该测试属性的不同值， 建立其相应的分枝（ 凡， 瓜） ， 并置Ｑ 二 Ｑ 吸； 步骤 ３输出决策树 Ｔ ｏ
ｌ ａ ｓ ｓ ｉ ｉ ｆ ｃ ａ ｔ ｉ ｏ ｎ ｉ Ａ Ｉａ ｎ ｄｃ ｓａｋ ｉ ｎ ｄｏ ｆｕ 、 ｅ ｕ ｆ ｌ ａ ｐ ‘ ｊ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ． Ｉ Ｄ ３ａ ｌ ｇ ） ｒ ｉ ｔ ｈ ｍｉ ｓａｃ ｌ ａ ｓ ｓ ｉ ｃ ａ ｌ ａ ｌ 即ｒ ｉ ｔ ｈ ｍｉ ｎｄ ａ ｔ ａｍ ｉ ｎ ｉ ｎ ｇ ， ｔ ｈ ｅａ ｌ 即ｒ ｉ ｔ ｈ ｍｈ ａ ｓｔ ｈ ｅ ｌ ｉ ｙｔ ｔ ｏｒ ｅ ｓ ｉ ｓ ｔｎ ｏ ｉ ｓ ｅ ． ｈｒ Ｔ ｏ ｕ ｇ ｈｔ ｈ ｅｒ ｅ ｅ ｓ ａ ｃ ｒ ｈｏ ｎｖ ａ ｉ ｒ ａ ｂ ｌ ｅｐ ｅ ｒ ｃ ｉ ｓ ｉ ｏ ｎｒ ｏ ｕ ｇ ｈｓ ｅ ｔ ， ｄｅ ｒ ｒｔ ｏｒ ｅｌ ａ ｘｔ ｈ ｅｒ ｅｓ ｔ ｉ ｒ ｃ ｔ ｉ （ ） ｎ ｓｗ ｈ ｉ ｌ ｅ ｖ ａ ｌ ｕ ｅｗ ｈ ｉ ｌ ｅｃ ａ ｌ ｃ ｕ ｌ ａ ｔ ｉ ｎ 只ａ ｔ ｔ ｉ ｒ ｈ ｕ ｔ ｅ ｓ ’ｅ ｎ ｔ ｎ ） ｐ ｙ ， ｉ ｎｏ ｔ ｈ ｅａ ｌ 邵 ） ｉ ｒ ｔ ｈ ｍｉ ｓｉ ｍ ｐ ｏ ｒ ｖ ｅ ｄｂ ｙｓ ｅ ｔ ｔ ｉ ｎ ｇｔ ｈ 祀 ｓ ｈ ｏ ｌ （ １
作者简介： 李勃（ ９ １ ７ ２ 一 ） ， 男． 讲师， 主要研究方向为： 数据挖掘， 网络安全等； 王艳兵（ ９ １ ７ ６ 一 ） ， 硕士； 姚青〔 １ ９ ３一 ６ ） ， 硕士生导师， 博士。
收稿 口期： ２ ０７ 一 ０一 ３ ０ 修１ １！ ． １ 期： ２ 峨 Ｘ 斤 一 １ 卜２ ３