粗糙集与决策树比较研究

２ １ 焦 ０ ２
来自百度文库
河 北大 学 学报 （ 自然科 学版 ）
Ｊ ｕ ｎ ｌ ｆＨ ｅ ｅ ｎｖ ｒ ｉ （ ａｕ ａ ｃｅ ｃ ｄ ｔ ｎ ｏ ｒ ａ ｂ ｉ ｉｅ ｓｔ Ｎ ｔ ｒ ｌ ｉｎ ｅ Ｅ ｉ ｏ ） ｏ Ｕ ｙ Ｓ ｉ
２ １ ０ ２
第 ３ ２卷
第 ４期
Ｖｏ ． ２ Ｎｏ ４ １３ ．
３ Ｈａｂｎ Ｃｏｌｇ ，Ｂ ｉ ｎ ｉｏ ｏ ｇ Ｕｎｖ ｒ ｉ ． ｉ ｉ ｌ ｅ ｅｊ ｇ Ｊａ ｔ ｎ ｉ ｅｓｔ ｅ ｉ ｙ，Ｈｕ ｎ ｈ ａ ０ １ ０ ，Ｃｈｎ ） ａ ｇ ｕ ６ １ ０ ｉ ａ
Ａｂ ｔａ ｔ ｓｒ ｃ ：Ｒｏｕ ｅ ｓ ａ ｄ ｄｅ ｉｉ ｎ ｔ ｅ ｓ ａ ｅ ｂｏ ｈ ｉ ｕｃ ｉ ｅ ｌ ａ ｎ ｎｇ ｍｅ ｈ ｄｓ，ａ ｄ ｃ ｎ ｘ ｒ ｃ ｕ ｅ ｇｈ ｓ ｔ ｎ ｃ ｓｏ ｒ ｅ ｒ ｔ ｎｄ ｔｖ ｅ ｒ ｉ ｔ ｏ ｎ ａ ｅ ｔ ａ ｔ ｒ ｌ ｓ ｆ ｏ ａ ｄｅ ｉｉ ｎ ｔ ｂｌ ｔ ｓ ｒ ｔ ａ ｕ ｓ Ｉ ｈｉ ｐ ｒ ｒ ｍ ｃ ｓｏ ａ ｅ ｗｉｈ ｄｉｃ ｅ ｅ ｖ ｌ ｅ ． ｎ ｔ ｓｐａ ｅ ，ｗｅ ｃ ｍ ｐ ｒ ｏｕ ｅ ｓ ｗｉｈ ｄｅ ｉｉ ｎ ｔ ｅ ｓｉ ｈｅ ｏ ａ ｅ ｒ ｇｈ ｓ ｔ ｔ ｃ ｓｏ ｒ ｅ ｎ ｔ ｆ ｌｏ ｉ ｓ ｃ ｓ ｒ ｅ ｓｏｆａ ｇ ｉｈｍ ，ｃ ｍｐｕｔ ｔｏ ｌｃ ｍｐｌ ｘ ｔ ｏ ｌ ｗ ｎｇ ａ ｐｅ ｔ ：ｐ ｏｃ ｓ ｌ ｏｒｔ ｏ ａ ｉ ｎａ ｏ ｅ ｉｙ，ｎｕ ｂ ｒ ｏ ｕ ｅ ｍ ｅ ｆ ｒ ｌ ｓ，ｇ ｎ ｒ ｌｚ ｔｏｎ ａ ｉｉ ｅ ｅ ａ ｉａ ｉ ｂ ｌ— ｔｅ ｎｄ ｒ ｉｓ ａ ｏｂｕ ｔ ｓ ．Ｓｏ ｍ ｐ ｒ ａ ｏｎ ｌ ｉ ｎｓｈａ ｅ ｂｅ ｎ ｏ ａｎｅ ｓ ｎｅ ｓ ｍｅ ｉ ｏ ｔ ｎｔｃ ｃ ｕｓｏ ｖ ｅ ｂｔ ｉ ｄ，ｗｈｉｈ ｃ ｎ ｐｒ ｖ ｄｅｖａ ｕ ｂｌ ｅ ｅ ｅ ｅ ｃ ａ ｏ ｉ ｌ ａ ｅ ｒ ｆ ｒ ｎｃ ｆ ｒｆ ｔ ｒｒ ｓ ａ ｃ ｒ ｏ ｕｒ ｈｅ ｅ ｅ ｒ ｈ ｗｏ ｋｓ Ｋｅ ｙ ｗｏｒ ｓ ｏ ｈ ｅ ｓ ｅ ｉｉ ｒ ｅ ；ｉ ｏ ｍ ａ ｉ ｎ ｅ ｒ ｐｙ；ｒ ｄ ｔ ｄ ：ｒ ｕｇ ｓ ｔ ；ｄ ｃ ｓｏｎ ｔ ｅ ｓ ｎｆ ｒ ｔｏ ｎｔ ｏ ｅ ｕｃ
Ｐ０Ｓ （ 一 Ｕ ∈ ／ＢＸ． Ｂ Ｄ） ｘ ｕＤ
粗 糙集 方法 通过 属性 约简 和值 约简来抽 取决 策规 则． １ １ 属性 约简 ． 粗 糙集 属性 约 简分为 ２种 ， 即信 息系统 的属 性约 简和决 策表 的属性 约简 ． 面先给 出相关 概念 ． 下
信息 系统 的约 简 ， 于 一 个 属 性 集 合 ， 果 它 满 足 下 面 ２个 条 件 ， 称 其 为 该 信 息 系统 一 个 约 简 对 如 则
ＺＨＡＩＪ ｎ ｈ ，ＺＨＡＮＧ —ａ ｇ ｕ — ａｉ Ｓｕ ｆ ｎ ，ＸＵ Ｚｈ ｇ ｆ 。，Ｗ ＡＮＧ — ｈ ｏ ｅｎ —ｕ Ｘｉ ａ ｚ
（ ． ｙ Ｌａ １ Ｋｅ ｂ． ｏ ａ ｈｉ ｅ Ｌｅ ｒ ｎｇ ａ ｄ Ｃｏ ｐｕ ａ ｉ ａ ｎｔ ｌｉ ｎ ｅ，Ｃｏ ｌ ｇ ｆＭ ａ ｈｅ ａ ｉ ｓ ａ ｆＭ ｃ ｎ ａ ｎｉ ｎ ｍ ｔ ｔｏｎ ｌＩ ｅ ｌ ｇｅ ｃ ｌｅ ｅ ｏ ｔ ｍ ｔｃ ｎｄ Ｃｏ ｍｐｕ ｅ ｉ ｎ ｅ，Ｈｅ ｉＵｎ ｖｅ ｓｔ ｔ ｒ Ｓｃｅ ｃ ｂｅ ｉ ｒ ｉｙ，Ｂａ ｉ ｇ ０７ ０ ２，Ｃｈ ｎａ； ． ａ ｈ ｎｇ ａ ｄ Ｒｅ ｅ ｒ ｈ ｏ ｃ ｉ ｎ ｏ ｏｄ ｎ １ ０ ｉ ２ Ｔｅ ｃ ｉ ｎ ｓ ａ ｃ ｆＳｅ ｔｏ ｆ Ｃｏｍｐｕ ｅ ， ｅ ｅ ｎｆ ｍａ ｉ ｎ Ｅｎｇ ｎｅ ｒｎｇ Ｓ ｈｏ ｌ ｔ ｒ Ｈ ｂ ｉＩ ｏｒ ｔｏ ｉ ｅ ｉ ｃ ｏ ，Ｂａ ｉ ｇ ０７ ０ ０，Ｃｈ ｎ ｏｄ ｎ １ ０ ｉ ａ；
树， 进而 产 生不 同的 Ｉ — Ｆ ＴＨＥ Ｎ规 则． 决策树 方 法 中最著 名 的是 Ｑｕｎａ ｉｌｎ于 １ ８ ９ ６年 提 出的 Ｉ ３算 法ｎ ． Ｄ ］ 该算
收 稿 日期 ： ０ ２一 １ Ｏ ２ １ Ｏ —１
基 金 项 目 ： 家 自然 科 学 基 金 资 助 项 目（ １７ ０ ０ ； ｊ 省 自然 科 学 基 金 资 助 项 目 （ ２ １０ ０ ２ ； ２ １２ １６ ）河 北 省 高 国 ６１０４）河 ￡ Ｆ ０ ０ ０ ３ ３ Ｆ ０ １０ ０ ３ ； 等 学 校 科 学 技 术 研 究 重 点 项 目（ Ｄ Ｏ Ｏ ３ ） 河 北 大 学 自然 科 学 基 金 资 助 项 目（０ １— ２ ） Ｚ ２ １ １９ ； ２ １ ２ ８ 第 一 作 者 ： 俊 海 （ ９ ４ ）男 ， 北 易 县 人 ， 北 大 学 副 教 授 ， 士 ， 翟 １６ 一 ， 河 河 博 主要 从 事 机 器 学 习 与 计 算 智 能 、 式 识 别 和 小 波 分 析 等 模 方 向 的 研 究 ． － ｉ ｍｃ ｈ ｈ ｕ ｅ ｕ ｃ Ｅｍａｌ ｚ ＠ ｂ ．ｄ ．ｎ ： ｊ
Ｉ ＮＤ（ 一｛ ｚ ） ， ， Ｖａ Ｂ） （ ， ∈【 ×己 ｆ ＥＢ， （ 口 一ｆ（ ， ） ． ｆ ｘ， ） ｙ口 ｝
不可 分辨关 系是等价 关 系 ， 以定义 等价类 ［ ｏＢ一 ｛ 可 ］ 】 ＹＩ Ｙ∈Ｕ， ｚ， Ｅ Ｉ （ ） ＮＤ（ ） 包含 Ｘ 的等价 类 Ｂ） ， 可 以简记 为 ［ 。 属 于一个 等 价类 中 的对 象是 不可分 辨 的． ］ ，
本 节 给 出将 要用 到 的一些基 础 知识 ， 括信 息系 统 、 策 系统 、 可分辨 关 系 、 包 决 不 上近 似和下 近似 等．
一
个 信息 系统是 一个 四元组 ＤＴ＝（，Ａ， ） 其 中 ｕ一 ｛ ｚ ， ， 为有 限对 象 的集 合 ， 为论 域． 己 ， Ｖ， ， ３ ， … Ｘ ｝ ２ 称 ， 为属 性 ａ 的取值 范 围． ｕ×Ａ—Ｖ， 为信 息 函数 ． Ｖ 厂： 称
（ ＲＥＤ ）：
１ Ｉ Ｄ （ 一 Ｉ Ｄ （ ） ）Ｎ Ｂ） Ｎ Ａ ；
２ Ｅ Ｂ， Ｎ Ｄ （ ）Ｖ 工 Ｂ一 声） Ｉ ≠ ＮＤ （ ． Ｂ）
第 １条可 以理解 为 ， 属性集 合 Ｂ和属 性全集 Ａ 具有 相 同的数据 分辨 能力 ； ２条可 以理解 为 ， 第 去掉 集合 Ｂ 中的任 意一个 属性 都会 降低其 数 据分辨 能力 ， 即导 致部分 对象 不可 分辨 ．
抽 取规 则 （ 知识 ） 是机 器学 习的一个 重 要任 务． 归纳学 习是 从一 个 包 含条 件属 性 和决 策 属 性 的数 据 集 中 抽 取决 策规 则 （ 知识 ） 这些 规 则反 映 了条件 和 决 策 之 间 的关 系 ， 常 表达 成 Ｉ — ． 通 ＦＴＨＥ 的形 式． Ｎ 决策 树 和 粗 糙集 是 归纳 学 习中 ２种 常用 的方法 ． 策树 是 由属性 值诱 导样 例集 分 割成树 状结 构 ， 后将 决策 树转 换成 一 决 然 组 Ｉ－ Ｆ ＴＨＥ Ｎ规 则． 构建决 策 树 的关 键 在 于如何 选取 扩展 属性 ， 用不 同 的启发 式方 法可 以生成 不 同 的决 策 选
粗 糙 集 与决 策树 比较 研 究
翟 俊 海 张 素 芳 ， 正 夫。 王 熙 照 ， 徐 ，
（． 北 大 学 数 学 与计 算 机 学 院 ， 北 省 机 器 学 习 与 计 算 智 能 重 点 实 验 室 ， １河 河 河北 保 定 ２ 河北 省 信 息 工 程 学 校 计 算 机 教 研 室 ，河 北 保 定 ． ０ １０ ； ７ ０ ２ ０ １０ ） ６ １ ０ ０ １０ ；． 京 交 通 大 学 海 滨 学 院 ， 北 黄骅 ７０ ０ ３ 北 河
河北大学学报 （ 自然科 学 版 ）
第３ ２卷
法 以信息 论为 基础 ， 以信 息增 益为选 择扩 展属 性 的启发式 标 准 ， 通过 选 择 扩展 属 性对 数 据归 纳 分类 ． 方 法 该
利用 扩展 属性 逐层 分割 数据集 ， 理 的数 据量 迅速 减少 ， 处 因此可 以快 速 地产 生 近似 最优 的规则 ． 糙 集 也是 粗
摘 要 ： 粗糙 集和 决 策树都 属 于归 纳 学 习方 法 ， 可 以从 一 个 离散 值 决策 表 中抽 取 出规 则 ． 文从 算 法 都 本
过程 、 算复 杂性 、 则个数 、 化 能力 、 计 规 泛 稳健 性几 个 方面 对粗 糙 集和 决 策树 进 行 了比较研 究 ， 出了一 些 重 得 要 结论 ， 能为相 关研 究提 供 一些 有价值 的参 考． 关键 词 ： 糙集 ； 策树 ； 息熵 ； 简 粗 决 信 约
中 图分类 号 ： １１ ＴＰ ８ 文献 标 志码 ： Ａ 文 章 编 号 ：０ ０—１ ６ （ ０ ２ ０ １０ ５ ５ ２ １ ） ４—０ ２ — ８ ４ １ ０
Ｃｏ ｐ ｒ ｔｖ ｔ ｄｙ ｏ ｏ ｇ ｅ ｓ ａ ｅ ｉ ｉ ｎ ｔ ｅ ｓ ｍ ａ ａ ｉ ｅ ｓ ｕ ｎ ｒ ｕ ｈ ｓ ｔ ｎｄ ｄ ｃ ｓ ｏ ｒ ｅ
Ａ 为描 述对 象 的属性 集合 ． — Ｕ
若 Ａ—ＣＵＤ， 称 四元组 ＤＴ （ ＣＵＤ， ， 为 决策 系统 ， 则 ＝ Ｕ， Ｖ， ） 简称 决 策表 ． 中 ｃ 为条 件 属性 ， 为 决 其 Ｄ
策属 性． 决策属 性 Ｄ 形成对 论域 【 的划 分 Ｕ／ ， Ｄ＝ ｛ Ｕ ”， ， Ｕ ， Ｕ ）ｋ是类 别数 ． 对 于任意 的 Ｂ（ ＿ ） 称 满足下 面条 件 的二元关 系为 论域 Ｕ 上的不 可分辨 关 系． ＢＣ Ｃ ，
一
种 归 纳学 习的方 法 ， ９ ２年 由波兰 数学 家 Ｐ ｗｌｋ年 提 出口 ． 方法 以粗糙 近 似 概念 为基 础 ， 过 删 除冗 １８ ａ ａ ］该 通
余 信息 来得 到归 纳知识 ． 年来 ， 近 粗糙集 方法 越来越 得 到人们 的重视 ， 已广泛应 用 于数据 分析［ 、 ３ 决策 支持【 ］ ４ ］
和数据 挖掘 等领域 Ｊ ． 本 文从 理论 和实验 ２个 角度 来 比较 分析 粗糙集 方法 和决 策树 方法 ． 通过 比较发 现 ， 策树方 法得 到 的规 决
则 其实 是粗糙 集 约简规 则 的一个 近似 ， 决策 树所用 到 的属性 不一定 是粗 糙集 约简．
１ 粗 糙 集 概 述
设 Ｕ 为论 域 ， （ Ｘ ， Ｘ） 称 Ｂ Ｂ 为概念 Ｘ 的下近 似和 上近似 ， 中 ： 其
Ｂ Ｘ一｛ ｚＥＵ１ｚ Ｂ Ｘ） ［ ］ ，
一
Ｂ Ｘ一｛ ［ ］ ｚＥＵｌｚ ＮＸ≠０） ． 下 近似 是所 有完 全属 于概 念 ｘ 的等价 类 的集 合 ， 又称 为 正域 ， 近似是 所有 与概 念 Ｘ 有 交集 的等 价 类 上 的集合 ． 中 ， 念 ｘ 是一个 对象 的集合 ． Ｘ≠一 则 称其 为粗糙 的 ， 则称 为可 定义 的． 其 概 若Ｂ Ｂ Ｘ， 否 给定决 策 系统 ＤＴ＝ （，ＣＵＤ， ， ， 【， Ｖ， ） 对于 任意 的 Ｂ（ Ｃ ， Ｂ ） 决策 属性 Ｄ 相对 于 Ｂ 的正域定 义 为
决策 表 的 约简 ， 于 一个 属 性 集合 Ｂ（ Ｃ ， 果 它满 足 下 面 ２个 条件 ， 称 其 为该 决 策 表一 个 约 简 对 Ｂ ）如 则