基于关联规则的分类规则约简方法

作者 苜介： 王
琦（ ７－） 男 ， 师、 １ ８ ， ９ 讲 硕士 ， 主研 方向： 数据挖掘 ；
李 霞 ，副教授、硕士
收稿 日 ： ０ ｌｌ ｌ Ｅｍａ ：ｗ ｊ＠１６ ｏ 期 ２ １・１ ４ － － ｉ ｑｊ ２ ． ｒ ｌ ｓ ｃｎ
第３卷 ８
第９ 期
王
琦， 李
霞 ：基于关联规则 的分类规则约筒 方法
第３ ８卷 第 ９期
、０ ＿８ ，ｌ３
・
计
算
机
工
程
２１ ０ ２年 ５月
Ｍ ａ ２ ２ ｙ ０１
ＮＯ９ ．
Ｃｏ ｕ ｅ ｎ ｉ ｅ ｒｎ ｍｐ ｔｒＥ ｇ ｎ ｅ ｉ ｇ
软件 技术 与数 据库 ・
￣ｌｔｇ．１０＿４８ ０２ ．０６ 文献标识码ｔ ： ｌｔ ０ ３２（１） ＿ ４— ３ ｔｉ ｏ ２ ０ ０ Ａ
ｒ ｎ ｅ Ⅱ （ ｒ． ） ／ ｃ ＝ｒ 一 １ ａ ａ ／ ． ． 一 修正 ｒ ｅ的置信度
Ｅ ｉ ｎｄ ｆ
Ｅｎ ｉ ｄｆ Ｅｎ ｆ ｒ ｄ ｏ ｒ１ｆ＝ｒ ． ｆ ． ｌ ｃ１ ｔ ｅ ｅ ｒ ｉ ｈｔ ｒ ． ｆ ．ｇ ＝ ｃ１ｔ ｒ ｅ
ｒ ｔ ｃ． ．Ｇ ＝ｒ
“ 或”等 关系组 成的比较复杂的公式 ，由引理可 以对其进行
ｄ ｃ ｓｏ ｙｓｅ ． ｅ ｉｉ ｎ ｓ ｔ ｍ
［ ｙ ｒ ｓ ａａｍｉｉｇ ｃ ｓｉｃｔ ｎｒｌ； ｓｏｉｔ ｎｒｌ； Ｉ ａ ； ＤＳ ７ｄ ｔ Ｋｅ ｄ ｌｄ ｔ ｎ ； ｌ ｓ ａｉ ｅ ａｓｃ ｉ ｅ ＵＣ ｔ Ｓ ＳＤＲ ａａ ｗｏ ｎ ａ ｆ ｏｕ ｉ ａｏ ｕ ｄａ
关健词 ：数据挖掘 ；分类规则 ；关联规则 ；Ｕ Ｉ Ｃ 数据 ；Ｓ Ｓ Ｒ Ｄ ＳＤ ７数据
Ｃｌ ｓ ｉ ｃ ｔ０ ｌ ｄ ｃ ｉ ｎ Ｍ ｅ ｈ ｄ Ｂａ ｅ ｎ Ａｓ ｏ ｉ ｔ０ ｌ ａ ｓｆ ａ ｉ ｎ Ｒｕ ｅＲｅ ｕ ｔ０ ｔ ｏ ｓ ｄ ０ ｓ ｃａ ｉ ｎ Ｒｕ ｅ ｉ
［ ｓｒｃ］Ｔ ｉｐｐ ｒ ｒｐ ｓｓ ｌｓｉｃｔ ｎｒｌ ｒｄ ｃｉｎｍｅ ｏ ｙａａｙ ｉｇｈ ｏｒｌ ｉｎｏ ａ ｒ ｕｅ ｌ ｓ ｃｔ ｎｒｌ ．ｔ ｂａ ｓｈ Ａｂ ｔａ ｔ ｈｓ ａｅ ｏ ｏｅ ｃａｓ ａ ｏ ｅ ｅ ｕｔ ｔ ｄｂ ｌｚ ｅ ｒ ａ ｏ ｆ ｔｉ ｔｓ ｃａ ｉ ａｉ ｅ Ｉｏ ｔｉ ｅ ｐ ａ ｉ ｆ ｉ ｕ ｏ ｈ ｎ ｎ ｔ ｃ ｅｔ ｔｂ ｎ ｉ ｓｆ ｏ ｕ ｓ ｎ ｔ ｉ
，
用来抽取能描述重要数据集合 的模型 ，用于 预测未知数
分类质量的前提下 ，对分类规则前件 中的子项进行约简 ，具 有重要 的理论意义及应用价值 。本文提 出一种基于关联规则 的分类规则约筒方法 ，利 用 Ｕ Ｉ Ｃ 机器 学习及 Ｓ ＳＤ ７１数 ＤＳ Ｒ ［１ ３
据进行实验 。
Байду номын сангаас
据对象 的离散类别 ，已广泛应用在市场 营销 、金融投资、天 文 、地理 的数据 分析 与决 策等领域【。近年来 ，国内外学者 Ｊ ｊ 在分类规则 的研究上做了大量工作 。首 先是分类规则提取方
３ 算法分析 ． ３
分 类 规 则 处 理 算 法 （ ｇ ｒｈ ｏ ｌｓｉｃｔ ｎ ｕｅ Ａｌｏｉ ｍ ｆ Ｃ ａｓ ａ ｏ Ｒ ｌ ｔ ｉ ｆ ｉ Ｐｏ ｅｓ ｇＡＣ Ｐ分为 ：（）Ｐ树构造及关联规则获取过程 ； ｒｃｓｉ ， Ｒ ） ｎ １Ｆ （） ２ 第 １ ２第 行～ ０行是本文算法的核心部分 ，需要遍历分类规 则集（ ｃ ＝ｄ） 设ＩＪ １及关联规 则集 Ａ ＩＩ ２，核 心运算（ ４行～ （ ： ） Ａ ｄ 第 第 ９行） 在两重 Ｆ ｒ ｏ 循环 中，时间复杂 度为 Ｏ ｄ ｄ ） （ｌ ２ ，另外 ， ｘ 算法第 ５行判断是否 ｒ￣ ａ 需要调用（ ｃ ｒ， 或重写） 字符串匹配函 数， 复杂度与训练集数据背景 的维度 Ｗ有关 ， 但远小于 Ｏ ｗ ） （ 。
算法 是在 决策树构造过程、生成规则的过程 中，通过选择理
的交易项 目集合 ，Ｄ 中每一个交易 ｒ是 Ｉｅ 中的一组项 目 Ｂ ｓｔ
集 合 ，即 Ｔ＿ｓｔ ｃ ． ｅ。 ｌ
定义 １设 Ｐ＝Ｉｎ …ｎ ｌ Ｉｅ（ １ ， 七， 尸是长 Ｉ ｈｎ ，ｉ ｓｔ＝ ， …， 称 ￣ ｉ ２ ） 度为 ｋ的模式 。 定义 ２形如 Ｐ Ｑ的蕴涵式，其 中，Ｐ＿ ｅ，Ｑ ｌｅ 且 ｃＩ ｔ ｃ ｓｔ ｓ Ｐ Ｑ＝Ｏ，称 Ｐ Ｎ ｊＱ为关联规则 ；若 Ｑ为类属性 ，则称 Ｐ ｊＱ
ｒ ． ｆ ｅ １ｆ— ａｒ ｇ ｔ ｃ １ ｔ ． ｔｒ ． ｈ ｅ ＝ｒ ｅ ｉ
定义 ５设 ， ＝ ： ＞ 二ｇ是一条产生式规 则，若 Ｐ 、ｑ分别为 由
』构成的简单合取式 ，称 ｒ 为一条简单规则 。 般地 ，获取规则前件和后件是 由各种属性（ 的 “ 值） 并”
一
／ ／ 删除 ｒ．ｆ 中属于 ｒ．ｇ ｔ 分，ｒ．ｇ ｔ不变 ｅ１ ｅ ｔ ａｒ ｈ 部 ｉ ｅｒ ｈ ｉ
Ｄ０Ｉ １ ．９ ９ ．ｓ ． ０ －４ ８２ １．９０ ４ ： ０３ ６／ｉ ｎ１ ０３ ２ ．０ ２０ ．１ ｊｓ ０
ｌ 概 述
分 类是数据 挖掘和 机器 学 习领 域中 的重 要研 究内容 之
一
效率 ，而分类规 则前件 的属性值之间可能存在一 些具有蕴 涵
关系 的相关性 ，因此，如果能够利用这种相 关性 ，在 不影响
为分类规则 。
定义 ３模式 Ｐ Ｄ 在 Ｂ中的支持度为 ａＰＤ ）ｌ／ ￣。 （ＩＢ：ｅＩ ｌ ｌ Ｄ
定义 ４设 Ｐ和 Ｑ为 ２个模式且｛ ｆｎ ） ，其 中， 尸｝ ｛ ＝ 户 Ｐ ｎ ｎ ；９ ＱＩ Ｑ ｎ Ｑ ，则 关联规则 尸 ＝ 在 】 …ｎ ： ｎ ２ …ｎ 朋 ＝Ｑ ＞
ｒ ÷ＰＣ ／Ｉ ｓ ｒ ｎ ｏ ＰＣ — ／ｎ ｅｔ ｉｔ ｒ
Ｅｎ ｆ ｒ ｄ ｏ
取 式的简 单规 则。证 明参考文献【６。 １］
定义 ６设 ｒ ａＡ ２ …Ａ ＯＡ Ｏ ａＡ ｋ…Ａ ＞ ｅ ｌａｈ ＯＡ …Ａ ｊａＡ ａ＝ 是 Ａ ＝
一
Ｅｎ ｄ
条分类规则 ，ｒ： ｘａ二口 Ａ ａ ａＡ ＞ 研 ｏ 是一 条关联规 则，称分类 ＝
ＷＡＮＧ Ｑｉ ＬＩ ａ ， Ｘｉ“
（． ｐ ｒ ｎ ｆ ｍｐ ｔｒ ｃｅｃ ＆ Ｔ ｃｎ ｌｇ ； ． ｕ ｌ ｍｐ ｔ ｅｃ ｉｇＤｅａｔ ｎ， ｕ ｃｅ ｇＵｎｖｒｉ ， ｕｃ ｅ ｇ０４ ０ ， ｉａ ａＤｅ ａｔ ｔ Ｃｏ ｕｅ ｉｎ ｅ ｍｅ ｏ Ｓ ｅｈ ｏｏ ｙ ｂ Ｐ ｂｉＣｏ ｕｅ Ｔ ａｈｎ ｐ ｒ ｃ ｒ ｍｅｔＹ ｎ ｈｎ ｉｅｓｙ Ｙ ｎ ｈ ｎ ４ ０ ０Ｃｈｎ ） ｔ
中圈 号ｔ Ｐ８ 分类 １ Ｔ
基 于 关联 规 则 的分 类规 则 约 简方 法
壬 琦 ，李 霞
（ 学院 ａ 计算机科学与技术系 ； ． 共计算机教学部 ，山西 运城 ０４ ０） 运城 ． ｂ公 ４００
捕
要 ：分析分类规则 内属性之 间的相关性 ，提出一 种分类 规则约简 方法 。针对原始训练集构造 Ｆ Ｐ树 ，获取相应 的关联规则集 ，对关联
ａ ｓ ｃａｉｎ ｒ ｅｓ ｔｂ ｎ ｌｚｎ 山ｅ ｃ ｒｅａｉｎ ａ ｎ ｈ ｔ ｉｕｅ ａｎｉｇ ｓｔ ｄ ｓｒｂ ｓｔｅｉ ｏ ｔｎｃ ｅ ｅ ｎ ｔｅｃａ ｓｆｃ ｔ ｎ ｒ ｌ ｙ ｓｏ ｉｔ ｕｌ ｅ ｙ ａ ａｙ ｉｇ ｏ ｏ ｒｌｔ ｍｏ ｇ ｔｅａｔ ｂ ｔｓｏｆｔ ｉ ｎ ｅ． ｅ ｃｉｅ ｍｐ ｒａ ｅ ｄ ￣ ｅ ｉ ｌｓｉ ａｉ ｕｅｂ ｏ ｒ ｒ ｈ ｈ ｉ ｏ ｕ ｉｇｔｅｄ ｇｅ ｆｃ ｎ ｄ ｎｃ ｆ ｈ ｓｏ ｉｔｏ ｕｌ． ｈｅｌｔｒｐ ｒ ｔｅａ ｓ ｃａｉｎ ｒ ｌ． ｏ ｅａ ｉ ｌｒｅ ａ ｈ ｅｈ ｌ ｌｅ ｒ ｓｄ ｌｔｄｉ ｓｎ ｅ ｒｅｏ ｏ ｆ ｅ ｅｎ ｏ ｔ ｅａ ｓ ｃａｉｎｒ ｅ Ｔ ｅ ａｔ ｈ ｉ ａ ｏｆｈ ｓｏ ｉｔｏ ｅ ｗｈ ｓ ｓ ａｇ ｒｔ ｎ ｔｒｓ ｏｄｖａｕ ／ ｅｅｅ ｕ ｈ ，ｉ ｎ ｔｅｃａ ｓｆｃ ｔｏ ｌ．Ｅｘ ｅｉ ｎａ ｅ ｕ ｔ ａｉａｅｔａ ｉ ｔ ｏ ｓｈｇ ｅ ｌｓｉ ｃ ｔ ｎ ｅ ｅ ｔｖ ｎ ｓ ｙ ｕ ｉｇ ＵＣＩａ ｄ Ｓ Ｓ ｄ ｔ ｓｔｅ ｈ ｌｓｉ ａｉｎ ｒ ｅ ｉ ｕ ｐ ｒｍｅ ｔｌｒｓ ｌｓｖ ｌ ｔ ｈ ｔｔ ｓｍｅ ｄ ｈａ ｉｈ ｒｃａ ｓｆ ａｉ ｆ ｃｉｅ ｅ ｓｂ ｓ ｄ ｈ ｈ ｉ ｏ ｎ ＤＳ ａａ ａ ｎ ｈ
法 的研 究，如通过构造并改进决策树进行 学习分类规则 ，是 种贪 心思 想， 具有高效、可理解性 强等特征 基于统计 。； 学的分 类方法 ：贝叶斯分类法ｌ 】 以用于大型数据库 中， 】 ，可 具有较高分 类质量（ 正确率） ；概念格［６ ５］ －分类法 ，通过格结点
一
２ 关联规则与分类规则的基本概念及性质
基金项 目：山西省 高等学校科技研究开发基金资助项 目（０９ １０； ２０ １５）
运城学院基金 资助项 Ｈ（Ｃ ２ ０ ０ ５ Ｊ －０ ９ １）
消除冗余 后处理 ，即在 已经 生成规则集的基础上进行 后续处 理 ，消除冗余 。文 献【 】 出的规则过滤方法是一种典型 的 ｌ提 ２ 规则后处理。然而 ，后处理过程完全脱离原始数据集 ，在得 到较好的处理效率 的同时，极易使有价值信息流失 ，有可 能 影响分类 的质量 。不论直接处理还是后处理，消除的冗余及 冲突存在于规 则之 间，对于高维度背景数据 ，获取 的分类规 则前件将 是较 长的字符 串严重影响分类或预测过程中的匹配
４ ７
小置信度％ 。 ，频 繁模式集 的生成 问题［－］ 高关联规则 ［１是提 ４ ５
挖掘效率 的关键 ， 目前频 繁模式 生成方法主要 有 Ａ ｒ ｒ Ｊ ｐｉ ｉ ｏｌ
和 Ｆ —ｅＩ 。 Ｐｔ ｅ”等 ｒ
／ ／ 后位置一致 ，若不一致 ，则需采用 串中找字符操作 ，且属性 （ 间 值） ／ ／ 合取（ 析取） 关系一致 ，即 ｒ＿ｒ ｃ ａ ￣
本文主要通过分析分类规则内属性 之间的相关性 ，减少
分类规则 长度 ，给 出以下基本概念 。 给定一个数据库 Ｄ Ｂ，Ｉ ｔ ｛１２ 厶｝ Ｄ ｓ ＝ ｌ１， ｅ ， …， 是 Ｂ中 １个不 同 ＂ １
间的关系获取 的分类规则 ， 具有精确性、分类质量高 的特点 ， 但是知识集容量 较大 ；此外 ，粗集 、模糊集 、遗传算法 Ｊ Ｊ 等理论在（ 尤其是 不确 定背景下） 分类规则 的获取 上也有较好 的应 用。其次针对分类规则集 中存在 的冗余、冲突现象 ，以 提高分类质量和效率为 目标的分类规 则集 的处理 ，分为直接 处理和后处理 ２种Ｉ 。直接处理是指在分类规则获取 的过程 Ｊ … 中伴随剪枝操作 ， 是一种改进算法 ， 例如 ， ｕｎａ Ｑ ｉｌ Ｒ的 Ｃ ． ｎ ４５
想的测试属性及对规则 的剪枝 减少和消除冗余 。文献Ｄ ］ ０采 用闭集的方法对 关联 、分类规则进行后处理 ，并构造相应 的
分类器 。文 献【 １ １］ 在构造 Ｃ Ａ分类器 的过程中采用这种技术 Ｂ
Ｄ Ｂ中的置信度为 ａ ￣ＱＤ ） ＇ Ｎ ／Ｂ／（／Ｂ。 （ Ｐ ／Ｂ ＝ｏ ＱＤ ） ＰＤ ） （ Ｐ ｏ 在 Ｄ 中获取关联规则 ，需要设置最小支持度 ｉ和最 Ｂ
规则 后件属性（ ， 用置信度 描述该属性（ 相对于其所在分类规则的重要程度。在分类规则集 中，约筒 ｄ 集） 采 集） 值小于 阈值 ， ７ 的属性 ，从而
约简分 类规 则长度 。利 用 Ｕ Ｉ Ｃ 机器学 习及 Ｓ Ｓ Ｒ 数据进 行实验 ， Ｄ ＳＤ ７ 结果表 明该方法具有较高的分类效率。
规 范。
／ｃ ｎ ｔｕ ｔ ｕ ｅ ｒ ／ ｏ ｓｒ ｃ ｌ ｒ
引理 设 Ｐ＝ 是一 条规则 ，其中，Ｐ ＝９ ＞ 、９为 由 及联接 词 “” Ｖ Ａ 、“ ”构成的任 意复杂公式 ，则存在与 Ｊ Ｑ 等价 的析 Ｐ ） （ 取 范式 Ｐ （ ） ’ ，即原 式可等价分解为若干前（ 件 为简单合 Ｑ’ 后）