一种条件函数依赖挖掘算法的分析与实现
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
规则集 。
函数依赖在数据库及知识发现领域都是一个很 重要概 念 ， 而它对规则 的挖掘而言却不太充分 ， 然 因为现实 中的规 则往往是带有条件的 ， 如［ 例 邮编］ ［ 道名］ 整个世 界 一 街 在 范 围内是不成立 的， 但若前提 为在英 国时， 它是成立的 。 文献Ｅ ３ ４正是考虑到这种情况 ， 最初 出于数据 清洗 的 目 的而 提 出条 件 函数 依 赖 （ ｏ ｄｔ ｎ ｌ ｕ ｃｉ ａ Ｄｅｅ ｄ Ｃ ｎ ｉｏ ａ Ｆ ｎ ｔ ｎ ｌ ｐｎ — ｉ ｏ ｅ ｃ， Ｆ ， Ｆ 是 在 Ｆ 的 基 础 上 加入 语 义 约束 扩 展 而 来 ｎｅＣ Ｄ）Ｃ Ｄ Ｄ
表 １ 示 例 数 据 集
定义在 属性 集 ｘ上 的的某个模板 记为 ［ ， 中 ， ｘ］ 其 ｘ
￣
＿
ａｔ（ ） ｔ ｔ Ｒ ， ｒ ｐ是相应 Ｘ 上 的各属性均取特 定值 的属性值集
合， 这种取值有如下特点 ：
１ Ｂ∈Ｘ． ｔ Ｂ 为模板 ｔ ｘ 中 Ｂ分量 取得的值 ； ） 则 Ｋ ］ Ｋ ］ ２ Ｋ Ｂ ∈｛ｏ （ Ｕ ｛ ｝ ， 中 ｔ Ｅ ］ ｄ ｒ（ ）ｔ ］ ｄ ｒ Ｂ） ☆ ｝ 其 ａ ｐ Ｂ Ｃ ｏ Ｂ） ａ
ＴＰ １． ３ ３ １ １ 中 图分 类 号
Ａｎａ ｙｓｓ ａ ｄ Ｉ ｐ ｅ ｅ ｔ ｔｏ ｆａ ｇ ｒｔ ｍ ｆＣｏ ｄｉｉ ｎ ｌ ｉ ｎ ｍ ｌｍ ｎ ａ ｉ ｎ ｏ ｎ Ａｌ ｏ ｉｈ ｏ ｎ ｔｏ ａｌ Ｆｕ ｔｏ ａ ｅ ｅ ｅ ｉ ｓＭ ｉ ｎｇ ｎｃ ｉ ｎ ｌＤ ｐ ｎｄ ｎｃｅ ｎｉ
１ 引言
在实际 的数据应用 中， 由于来 源复杂繁多 ， 时效性不一 致或录入错误 ， 主客观原因导致数据库存在着不一 致、 不正 确、 不完全 等 脏 数 据 的现 象 ， 种 问 题 称 为 数 据 质 量 问 这
题 。
到不一致的数据 并进行恢 复 。显 然 ， 这类 基于规 则的数 据 清洗方法的关键技术之一就是寻找能衡量正确数据 实例的
对存在质量问题 的数 据 ， 我们 可通过 数据清 洗技 术来 提高数据的质量 。数据 清洗 ， 简言 之就是通 过填 写缺 失的 值、 光滑噪声数据 、 别或删除离群点并解决不一致性 来提 识 高数据质量 ， ］其基本 思路 是通过 找到 能描述数 据库 实例 正确数据特征的规则集 ， 并将数据库实例与之 对 比， 而找 从
基金项目： 广东省科技攻关项 目（ 编号 ：００３ １６ ０ ２ ） ２ １ １ ０ ０ ０ ６ 资助 。 ０ 作者简介 ： 周健 昌， ， 男 硕士研究生 ， 研究方向 ： 数据库与数据挖掘 。刘波 ， 硕士 ， 女， 副教授 ， 研究方向 ： 数据库理论及软件开发 、 数据挖
掘等
２１ ０ ２年第 ９期
表 １ 一 个 关 系 实 例 ， Ｃ Ｄ 的 定 义 ， 们 可 得 如 下 是 按 Ｆ 我
ＣＦ Ｄ：
：
定 义 ３ 模 板 间 的 泛 化 关 系 ： 为 给 Ｃ Ｄ赋 予 语 义 ， 们 为模 板 的 变 量 值 与 常 量 值 定 Ｆ 我 义 出一 个 关 系符 “ ” 称 泛 化 。 ，
约束条件 ， 关于 ＲＨＳ的部 分看 成结 果 ， 合 ｔ Ｅ 这个 条 符 ｐ Ｘ￣
件 的元组组成 一个 关 系实例 ／（ 的一个 子集 ） 则 Ｃ Ｄ就 ｒ ， Ｆ
是 ｒ 的标 准 的 Ｆ 这 就 是 上 述 ｂ的 标 准 Ｆ 的 含 义 ） 上 Ｄ（ Ｄ 。
定 义 １ 等 价类 （ ｑ ｉａｅｔ ｌｓ） ： Ｅ ｕｖｌｎ ａｓ ： Ｃ
ＺＨＯＵ ｉ ｎ ｈａ ＬＩ Ｂｏ Ｊ ａ ｃ ｎｇ Ｕ
（ ｉａ ｉｅ ｓ ｙ Ｓ ｈ ｏ ｆ ｎ ｏ ｍａｉｎ ａ ｄ Ｔｅ ｈ ｉｕ ，Ｇｕ ｎ ｚ ｏ ５ ０ ３ ） Ｊｎ ｎ Ｕｎ ｖ ｒｉ ｃ ｏ ｌ ｆ ｒ ｔ ｎ ｃ ｎｑ ｅ ｔ ｏＩ ｏ ａ ｇ ｈ ｕ １ ６ ２
・ ： 的 某 一 实 例 ｒＲ
・
・
ｗ 、 ｙ、 Ｒ 的 属 性 集 合 Ｘ、 Ｚ： ｄ ｒ（ ： ｏ Ｂ）ｒ中属 性 Ｂ 的 值 域 ａ
Ｆ 与 Ｃ Ｄ的关系 ： Ｄ Ｆ
・ ｔ （ ： 的 全 体 属 性模板元 组 中关于 Ｌ ＨＳ的部 分 ｔ￣ 看 成是一个 ｐ ｘ］
ａ ｘｔ ｎ ｉ ｎ ｏ ｕ ｃ ｉ ｎ ｌｄ ｐ ｎ ｅ ｃ Ｆ ｎ ｅ ｅ ｓｏ ｆｆ ｎ ｔｏ ａ ｅ ｅ ｄ ｎ ｅ（ Ｄ）ｍ ｉ ｉ ｇ ｔ ａ ｄ ｉ ｇ ｓ ｍａ ｔ ｎ ｌ ｓｓ ｎ ｕ ｒ ｎ ｌ ｓ ｄ ｉ ａ ａ ｑ ａ ｉｙ ｄ ｔ ｃ ｉ ｎ ＣＦＤ ｎ ｎ ｎ ｎ ｈ ｔ ａ ｄ ｎ ｅ ｎ ｉ ａ ａ ｙ ｉ ，ａ ｄ ｃ ｒ ｅ ｔｙ ｕ ｅ ｎ ｄ ｔ ｕ ｌ ｅ ｅ ｔ ． ｃ ｔ ｏ ｍｉ ｉ ｇ ｄ ｈ ｏ ｔ ｅ ｍｏｒ ｉ － ｒ ｉ ｅ ｆ ｒ ｔｏ ｓｍｉ ｅ ｅｆ ｎｅ ｇ ａ ｎ ｄ ｉ ｏ ｍａ ｉ ｎ ｎ ｓｗｈｉｈ ｂ ｓ ｄ ｏ ｎ ｃ ａ ｅ ｎ ＦＤ ｎ ｎ ｍｉ ｉ ｇ，ｓ ｈ ｉ ｅｃ ｍ ｐ ｅ ｔ ｆＣＦＤ ｎ ｎ ｓｈ ｇ ｒｔ ａ ｈ ｔｅ ．Ｔｈ ｓ ｏ ｔ ｅ ｔ ｏ ｌｘｉｙ ｏ ｍ ｍｉ ｉ ｇ ｉ ｉ ｈｅ ｈ ｎ ｔ ｅ ｌ ｔ ｒ ａ ｉ
的 ， Ｆ 表 达 更 具 体 的 约 束 ， 而 更 适 合 于 对 规 则 的 挖 比 Ｄ 从 掘 ， 更适合于数据质量控制。 也 本 文 主 要 介 绍 一 种 经 典 的 Ｃ Ｄ 挖 掘 算 法 ， Ｃ ＡＮＥ Ｆ 即 Ｔ
使用质量存 在问题 的数据 的后果 可能 十分 严重 ， 给 它 决策者提供错误信息 ， 而误导其作出错误决策 ， 从 轻则造成
时， 表示 取 一个 固定 值 ， 否则 ｔ ［ ］ “ （ 变量 ） ， ｐ Ｂ 一 ☆” 称 时 “ 表示对应属 性可取域 中 的任 何 值 ， ☆” 但应 符合 已存在 的
蕴 涵 及 约束 关 系 。
直观而 言 ， 模板可认 为是 比等 价类 在语 义上更 抽象 化
的一 种 归纳 。
算法［ 分析它的不足 ， ， 并提 出它 的优化实现技 巧并通过实 验结果对 比使用这些技巧后 的时空性能优势 。
２ 条 件 函数 依 赖 相 关概 念
在分析 Ｃ ＮＥ算法前 ， ＴＡ 先约定一些 默认符号 ：
＊ 收 稿 日期 ：０ ２年 ３月 １日 ， 回 日期 ：０ ２年 ４月 ２ ２１ 修 ２１ ８日
进行更细粒度的信息挖掘 ， 其时间复杂度较高 。文章详细介 绍一 种经典 的 Ｃ Ｄ挖 掘方法 （ Ｃ Ｆ 即 ＴＡＮ Ｅ算法 ） 对其实现方法 提 出了优化措 ， 施， 并通过实验 比较 了不同实现方法 的效率 ， 出了优化措施 改进效率 的结论 。 得 关键词 数据挖掘 ； 数据质量 ；一致性检测 ；数据清洗 ； 条件函数依赖 ； ＴＡＮＥ算法 Ｃ
义 如下 ：
奶 ：｛ （ 性别 、 学院 ｝ ｛ 一 宿舍 ｝ ｛ 、 ，女 信息学 院｝ Ｊ周 转 Ｂ Ｊ｛
ｐ ｐ ｒｉｔｏ ｃ ｓｔ ｅａｌ ｆａｃａ ｓｃａｇ ｒｔ ｍ ｏ ａ ｅ ｎ ｒｄｕ ｅ ｈｅｄ ｔ ｉ ｏ ｌｓ ｉ ｌｏ ｉｈ ｆ ｒＣＦＤ ｎｎ － ｓ ｍｉｉｇ ＣＴＡＮＥ，ａ ｄ ｐ ｏ ｏ ｅ ｏ ｐ ｉ ｚ ｄｔ ｃ ｎｑ ｅ ｏ ｔ ｍ ｐｅ ｅ ｔ ｔ ｎ， ｎ ｒ ｐ ｓ ｓｓ ｍｅｏ ｔｍｉｅ ｅ ｈ ｉｕ ｓｆｒｉｓｉ ｌｍ ｎ ａｉ ｏ ａ ｌｏ ｃ ｍｐ ｒ ｓｔ ｘ ｒｍｅ ｔｌｒ ｓ ｌｓｗｈｃ ｌ ｔａｅ ｈｅｏ ｉ ｉｅ ｐ ｒ ａｈｅ ｍｐ ｏ ｅｔ ｅ ｅｆｃｅ ｃ ． ｎｄａｓ ｏ ａ ｅ ｈｅｅ ｐｅｉ ｎ ａ ｅ ｕｔ ｉｈ ｉｕｓｒｔ ｓｔ ｐｔ ｚｄ ａ ｐ ｏ ｃ ｓｉ ｒ ｖ ｈ ｆｉｉｎ ｙ ｌ ｍ Ｋｅ ｏ ｄ ｄ ｔ ｉｉｇ，ｄ ｔ ｕ ｌ ｙ，ｄ ｔ ｎｃ ｎ ｉｔ ｎ ｙ ｄ ｔｃｉｎ，ｄ ｔ ｌａ ｉｇ，ｅ ｎｄｔ ｎ １ｆ ｎ ｔｏ ａ ｅ ｅ ｄ ｎｃ ，ＣＴＡＮＥ ｌｏ ｙＷ ｒｓ ａａｍ ｎｎ ａａｑ ａｉ ｔ ａａｉ ｏ ｓｓｅ ｃ ｅｅ ｔｏ ａａ ｃｅ ｎｎ ｏ ｉｏ ａ ｕ ｃｉｎ ｌｄ ｐ ｎ ｅ ｅ ｉ ａｇ — ｒｔ ｍ ｉｈ Ｃｌｓ ａ ｓ Ｎｕｍｂ ＴＰ３ １ １ ｅｒ ｌ．３
属性集 Ｘ 的某一等 价类 Ｅ］ 是 指在给定 关 系实例 中 ， ｔｘ
所有 与元组 ｔ ｘ 上取值对 应相 等 （ 在 简称 与 ｔ Ｘ 上 取值 在
相等 ， 同） 下 的元 组 的 集合 。
定 义 ２ 模 板 （ ａｔｒ ） ： Ｐｔ ｎ： ｅ
另外 ， Ｃ Ｄ的模板 中只含变量 ， 若 Ｆ 则它是一个 Ｆ Ｄ。
・
计算 机与数字工程
９
Ｒ： 系 的 模 式 关
Ａ、 Ｃ、 Ｒ 的 一 个 属 性 Ｂ、 Ｄ：
２ 、 ＨＳ两 方 都 出现 变 量 ， 这 是 变 量 Ｃ Ｄ。 ）Ｉ ＨＳ Ｒ 则 Ｆ ３ ）除 以 上 两 种 情 况 外 的 仅 Ｌ ＨＳ或 Ｒ ＨＳ一 方 含 变 量
是 不 可 能 出现 Ｃ Ｄ的 。 Ｆ
Ａｂｓ ｒ ｃ Ｔｈ ｉｃ ｖ ｒ ｆｃ ｎ ｉｉｎ ｌｆｎｃｉｎ ｌｄ ｐ ｎ ｅ ｃ ＣＦＤ）ｆｏ ｄ ｔｂａ ｅｉ ｎｉ ｐ ｒａ ｔｄ ｔｂ ｓ ｎａｙ ｉ ｅ ｈ ｉｕ ， ｔａ ｔ ｅｄｓ ｏ ｅ ｙｏ ｏ ｄｔｏ ａ ｕ ｔｏ ａ ｅ ｅ ｄ ｎ ｅ（ ｒ ｍ ａ ａ ｓ ｓａ ｍ ｏ ｔｎ ａａ ａ ｅａ ｌｓｓｔｃ ｎｑ ｅ ｗｈｉｈｉ ｃ ｓ
经济损 失， 则带来毁灭性打击 。 重
据 资料 ， 在英 国， 数据 质量 问题每 年造成 ６ ０ 美元 ０ ０亿
以 上 的经 济 损 失 ｌ 。 显然 ， 着 信 息 化 技 术 的推 广 ， 据 库 ＿ ２ ］ 随 数 技 术 与 日常 工作 生 活 的更 紧 密 结 合 ， 据 质 量 的 重 要 性 Ｅ 数 ｔ 趋 明显 的 同 时 ， 视 它 的危 害 也 必 将 日趋 严 重 。 忽
摘
要
条件 函数依赖（ ｏ ｄｔ ｎｌ ｕ ｃｉ ａ ｅ ｅｄ ｎｅ Ｃ Ｄ 的挖掘是 一种重要 的数据库分 析技术 ， 是在函数依赖 （ ｕ ｃｉｎ ｌ Ｃ ｎ ｉｏ ａ Ｆ ｎ ｔ ｎ ｌ ｐｎ ｅｃ ， Ｆ ） ｉ ｏ Ｄ 它 Ｆ ｎ ｔ ａ ｏ
Ｄ ｐｎ ｅ ｃ ， Ｄ） 掘 的基 础 上 加 入 条 件 分 析 功 能扩 展 而 来 ， ｅ ｅｄ ｎｅ Ｆ 挖 当前 被 应 用 于 数 据质 量 检 测 。ＣＦ 挖 掘 是 在 Ｆ 挖 掘 的 基 础 上 通 过 条 件 分 析 Ｄ Ｄ
（ 专 业 ） 学 院 ） ｛ ） １☆ ） ｛ 一 ＋｛ ，☆ ｌ ｛ ） （ 宿舍 ） 学 院 ｝ ｛ 如 Ｃ栋 ｝ Ｉ文 学 院 ｝ ｛ ．｛ ，真 『｛ ）
奶 ：｛ （ 性别 、 专业 ｝ ｛ 一 宿舍 ） ｛ 、 ｝ ☆ ｝ ，☆ ☆ … ）
：
首先 ， 对模板 的同一属性分量取值 、ｚ 的泛化关 系定
总第 ２ ５ ７ 期
２ １ 第 ９期 ０ ２年
计 算机与数 字工 程
Ｃ ｍｐ ｔｒ＆ Ｄｉｉ ｌＥｎ ｉｅｒｎ ｏ ｕｅ ｇｔ ｇｎ ｅｉｇ ａ
Ｖｏ． ０ Ｎｏ ９ １４ ．
８
一
种 条 件 函数依 赖挖 掘 算 法 的分 析 与 实现
周健 昌 刘 波
广州 ５ ０ ３ ） １ ６ ２ （ 暨南大学信息科 学与技术学院
函数依赖在数据库及知识发现领域都是一个很 重要概 念 ， 而它对规则 的挖掘而言却不太充分 ， 然 因为现实 中的规 则往往是带有条件的 ， 如［ 例 邮编］ ［ 道名］ 整个世 界 一 街 在 范 围内是不成立 的， 但若前提 为在英 国时， 它是成立的 。 文献Ｅ ３ ４正是考虑到这种情况 ， 最初 出于数据 清洗 的 目 的而 提 出条 件 函数 依 赖 （ ｏ ｄｔ ｎ ｌ ｕ ｃｉ ａ Ｄｅｅ ｄ Ｃ ｎ ｉｏ ａ Ｆ ｎ ｔ ｎ ｌ ｐｎ — ｉ ｏ ｅ ｃ， Ｆ ， Ｆ 是 在 Ｆ 的 基 础 上 加入 语 义 约束 扩 展 而 来 ｎｅＣ Ｄ）Ｃ Ｄ Ｄ
表 １ 示 例 数 据 集
定义在 属性 集 ｘ上 的的某个模板 记为 ［ ， 中 ， ｘ］ 其 ｘ
￣
＿
ａｔ（ ） ｔ ｔ Ｒ ， ｒ ｐ是相应 Ｘ 上 的各属性均取特 定值 的属性值集
合， 这种取值有如下特点 ：
１ Ｂ∈Ｘ． ｔ Ｂ 为模板 ｔ ｘ 中 Ｂ分量 取得的值 ； ） 则 Ｋ ］ Ｋ ］ ２ Ｋ Ｂ ∈｛ｏ （ Ｕ ｛ ｝ ， 中 ｔ Ｅ ］ ｄ ｒ（ ）ｔ ］ ｄ ｒ Ｂ） ☆ ｝ 其 ａ ｐ Ｂ Ｃ ｏ Ｂ） ａ
ＴＰ １． ３ ３ １ １ 中 图分 类 号
Ａｎａ ｙｓｓ ａ ｄ Ｉ ｐ ｅ ｅ ｔ ｔｏ ｆａ ｇ ｒｔ ｍ ｆＣｏ ｄｉｉ ｎ ｌ ｉ ｎ ｍ ｌｍ ｎ ａ ｉ ｎ ｏ ｎ Ａｌ ｏ ｉｈ ｏ ｎ ｔｏ ａｌ Ｆｕ ｔｏ ａ ｅ ｅ ｅ ｉ ｓＭ ｉ ｎｇ ｎｃ ｉ ｎ ｌＤ ｐ ｎｄ ｎｃｅ ｎｉ
１ 引言
在实际 的数据应用 中， 由于来 源复杂繁多 ， 时效性不一 致或录入错误 ， 主客观原因导致数据库存在着不一 致、 不正 确、 不完全 等 脏 数 据 的现 象 ， 种 问 题 称 为 数 据 质 量 问 这
题 。
到不一致的数据 并进行恢 复 。显 然 ， 这类 基于规 则的数 据 清洗方法的关键技术之一就是寻找能衡量正确数据 实例的
对存在质量问题 的数 据 ， 我们 可通过 数据清 洗技 术来 提高数据的质量 。数据 清洗 ， 简言 之就是通 过填 写缺 失的 值、 光滑噪声数据 、 别或删除离群点并解决不一致性 来提 识 高数据质量 ， ］其基本 思路 是通过 找到 能描述数 据库 实例 正确数据特征的规则集 ， 并将数据库实例与之 对 比， 而找 从
基金项目： 广东省科技攻关项 目（ 编号 ：００３ １６ ０ ２ ） ２ １ １ ０ ０ ０ ６ 资助 。 ０ 作者简介 ： 周健 昌， ， 男 硕士研究生 ， 研究方向 ： 数据库与数据挖掘 。刘波 ， 硕士 ， 女， 副教授 ， 研究方向 ： 数据库理论及软件开发 、 数据挖
掘等
２１ ０ ２年第 ９期
表 １ 一 个 关 系 实 例 ， Ｃ Ｄ 的 定 义 ， 们 可 得 如 下 是 按 Ｆ 我
ＣＦ Ｄ：
：
定 义 ３ 模 板 间 的 泛 化 关 系 ： 为 给 Ｃ Ｄ赋 予 语 义 ， 们 为模 板 的 变 量 值 与 常 量 值 定 Ｆ 我 义 出一 个 关 系符 “ ” 称 泛 化 。 ，
约束条件 ， 关于 ＲＨＳ的部 分看 成结 果 ， 合 ｔ Ｅ 这个 条 符 ｐ Ｘ￣
件 的元组组成 一个 关 系实例 ／（ 的一个 子集 ） 则 Ｃ Ｄ就 ｒ ， Ｆ
是 ｒ 的标 准 的 Ｆ 这 就 是 上 述 ｂ的 标 准 Ｆ 的 含 义 ） 上 Ｄ（ Ｄ 。
定 义 １ 等 价类 （ ｑ ｉａｅｔ ｌｓ） ： Ｅ ｕｖｌｎ ａｓ ： Ｃ
ＺＨＯＵ ｉ ｎ ｈａ ＬＩ Ｂｏ Ｊ ａ ｃ ｎｇ Ｕ
（ ｉａ ｉｅ ｓ ｙ Ｓ ｈ ｏ ｆ ｎ ｏ ｍａｉｎ ａ ｄ Ｔｅ ｈ ｉｕ ，Ｇｕ ｎ ｚ ｏ ５ ０ ３ ） Ｊｎ ｎ Ｕｎ ｖ ｒｉ ｃ ｏ ｌ ｆ ｒ ｔ ｎ ｃ ｎｑ ｅ ｔ ｏＩ ｏ ａ ｇ ｈ ｕ １ ６ ２
・ ： 的 某 一 实 例 ｒＲ
・
・
ｗ 、 ｙ、 Ｒ 的 属 性 集 合 Ｘ、 Ｚ： ｄ ｒ（ ： ｏ Ｂ）ｒ中属 性 Ｂ 的 值 域 ａ
Ｆ 与 Ｃ Ｄ的关系 ： Ｄ Ｆ
・ ｔ （ ： 的 全 体 属 性模板元 组 中关于 Ｌ ＨＳ的部 分 ｔ￣ 看 成是一个 ｐ ｘ］
ａ ｘｔ ｎ ｉ ｎ ｏ ｕ ｃ ｉ ｎ ｌｄ ｐ ｎ ｅ ｃ Ｆ ｎ ｅ ｅ ｓｏ ｆｆ ｎ ｔｏ ａ ｅ ｅ ｄ ｎ ｅ（ Ｄ）ｍ ｉ ｉ ｇ ｔ ａ ｄ ｉ ｇ ｓ ｍａ ｔ ｎ ｌ ｓｓ ｎ ｕ ｒ ｎ ｌ ｓ ｄ ｉ ａ ａ ｑ ａ ｉｙ ｄ ｔ ｃ ｉ ｎ ＣＦＤ ｎ ｎ ｎ ｎ ｈ ｔ ａ ｄ ｎ ｅ ｎ ｉ ａ ａ ｙ ｉ ，ａ ｄ ｃ ｒ ｅ ｔｙ ｕ ｅ ｎ ｄ ｔ ｕ ｌ ｅ ｅ ｔ ． ｃ ｔ ｏ ｍｉ ｉ ｇ ｄ ｈ ｏ ｔ ｅ ｍｏｒ ｉ － ｒ ｉ ｅ ｆ ｒ ｔｏ ｓｍｉ ｅ ｅｆ ｎｅ ｇ ａ ｎ ｄ ｉ ｏ ｍａ ｉ ｎ ｎ ｓｗｈｉｈ ｂ ｓ ｄ ｏ ｎ ｃ ａ ｅ ｎ ＦＤ ｎ ｎ ｍｉ ｉ ｇ，ｓ ｈ ｉ ｅｃ ｍ ｐ ｅ ｔ ｆＣＦＤ ｎ ｎ ｓｈ ｇ ｒｔ ａ ｈ ｔｅ ．Ｔｈ ｓ ｏ ｔ ｅ ｔ ｏ ｌｘｉｙ ｏ ｍ ｍｉ ｉ ｇ ｉ ｉ ｈｅ ｈ ｎ ｔ ｅ ｌ ｔ ｒ ａ ｉ
的 ， Ｆ 表 达 更 具 体 的 约 束 ， 而 更 适 合 于 对 规 则 的 挖 比 Ｄ 从 掘 ， 更适合于数据质量控制。 也 本 文 主 要 介 绍 一 种 经 典 的 Ｃ Ｄ 挖 掘 算 法 ， Ｃ ＡＮＥ Ｆ 即 Ｔ
使用质量存 在问题 的数据 的后果 可能 十分 严重 ， 给 它 决策者提供错误信息 ， 而误导其作出错误决策 ， 从 轻则造成
时， 表示 取 一个 固定 值 ， 否则 ｔ ［ ］ “ （ 变量 ） ， ｐ Ｂ 一 ☆” 称 时 “ 表示对应属 性可取域 中 的任 何 值 ， ☆” 但应 符合 已存在 的
蕴 涵 及 约束 关 系 。
直观而 言 ， 模板可认 为是 比等 价类 在语 义上更 抽象 化
的一 种 归纳 。
算法［ 分析它的不足 ， ， 并提 出它 的优化实现技 巧并通过实 验结果对 比使用这些技巧后 的时空性能优势 。
２ 条 件 函数 依 赖 相 关概 念
在分析 Ｃ ＮＥ算法前 ， ＴＡ 先约定一些 默认符号 ：
＊ 收 稿 日期 ：０ ２年 ３月 １日 ， 回 日期 ：０ ２年 ４月 ２ ２１ 修 ２１ ８日
进行更细粒度的信息挖掘 ， 其时间复杂度较高 。文章详细介 绍一 种经典 的 Ｃ Ｄ挖 掘方法 （ Ｃ Ｆ 即 ＴＡＮ Ｅ算法 ） 对其实现方法 提 出了优化措 ， 施， 并通过实验 比较 了不同实现方法 的效率 ， 出了优化措施 改进效率 的结论 。 得 关键词 数据挖掘 ； 数据质量 ；一致性检测 ；数据清洗 ； 条件函数依赖 ； ＴＡＮＥ算法 Ｃ
义 如下 ：
奶 ：｛ （ 性别 、 学院 ｝ ｛ 一 宿舍 ｝ ｛ 、 ，女 信息学 院｝ Ｊ周 转 Ｂ Ｊ｛
ｐ ｐ ｒｉｔｏ ｃ ｓｔ ｅａｌ ｆａｃａ ｓｃａｇ ｒｔ ｍ ｏ ａ ｅ ｎ ｒｄｕ ｅ ｈｅｄ ｔ ｉ ｏ ｌｓ ｉ ｌｏ ｉｈ ｆ ｒＣＦＤ ｎｎ － ｓ ｍｉｉｇ ＣＴＡＮＥ，ａ ｄ ｐ ｏ ｏ ｅ ｏ ｐ ｉ ｚ ｄｔ ｃ ｎｑ ｅ ｏ ｔ ｍ ｐｅ ｅ ｔ ｔ ｎ， ｎ ｒ ｐ ｓ ｓｓ ｍｅｏ ｔｍｉｅ ｅ ｈ ｉｕ ｓｆｒｉｓｉ ｌｍ ｎ ａｉ ｏ ａ ｌｏ ｃ ｍｐ ｒ ｓｔ ｘ ｒｍｅ ｔｌｒ ｓ ｌｓｗｈｃ ｌ ｔａｅ ｈｅｏ ｉ ｉｅ ｐ ｒ ａｈｅ ｍｐ ｏ ｅｔ ｅ ｅｆｃｅ ｃ ． ｎｄａｓ ｏ ａ ｅ ｈｅｅ ｐｅｉ ｎ ａ ｅ ｕｔ ｉｈ ｉｕｓｒｔ ｓｔ ｐｔ ｚｄ ａ ｐ ｏ ｃ ｓｉ ｒ ｖ ｈ ｆｉｉｎ ｙ ｌ ｍ Ｋｅ ｏ ｄ ｄ ｔ ｉｉｇ，ｄ ｔ ｕ ｌ ｙ，ｄ ｔ ｎｃ ｎ ｉｔ ｎ ｙ ｄ ｔｃｉｎ，ｄ ｔ ｌａ ｉｇ，ｅ ｎｄｔ ｎ １ｆ ｎ ｔｏ ａ ｅ ｅ ｄ ｎｃ ，ＣＴＡＮＥ ｌｏ ｙＷ ｒｓ ａａｍ ｎｎ ａａｑ ａｉ ｔ ａａｉ ｏ ｓｓｅ ｃ ｅｅ ｔｏ ａａ ｃｅ ｎｎ ｏ ｉｏ ａ ｕ ｃｉｎ ｌｄ ｐ ｎ ｅ ｅ ｉ ａｇ — ｒｔ ｍ ｉｈ Ｃｌｓ ａ ｓ Ｎｕｍｂ ＴＰ３ １ １ ｅｒ ｌ．３
属性集 Ｘ 的某一等 价类 Ｅ］ 是 指在给定 关 系实例 中 ， ｔｘ
所有 与元组 ｔ ｘ 上取值对 应相 等 （ 在 简称 与 ｔ Ｘ 上 取值 在
相等 ， 同） 下 的元 组 的 集合 。
定 义 ２ 模 板 （ ａｔｒ ） ： Ｐｔ ｎ： ｅ
另外 ， Ｃ Ｄ的模板 中只含变量 ， 若 Ｆ 则它是一个 Ｆ Ｄ。
・
计算 机与数字工程
９
Ｒ： 系 的 模 式 关
Ａ、 Ｃ、 Ｒ 的 一 个 属 性 Ｂ、 Ｄ：
２ 、 ＨＳ两 方 都 出现 变 量 ， 这 是 变 量 Ｃ Ｄ。 ）Ｉ ＨＳ Ｒ 则 Ｆ ３ ）除 以 上 两 种 情 况 外 的 仅 Ｌ ＨＳ或 Ｒ ＨＳ一 方 含 变 量
是 不 可 能 出现 Ｃ Ｄ的 。 Ｆ
Ａｂｓ ｒ ｃ Ｔｈ ｉｃ ｖ ｒ ｆｃ ｎ ｉｉｎ ｌｆｎｃｉｎ ｌｄ ｐ ｎ ｅ ｃ ＣＦＤ）ｆｏ ｄ ｔｂａ ｅｉ ｎｉ ｐ ｒａ ｔｄ ｔｂ ｓ ｎａｙ ｉ ｅ ｈ ｉｕ ， ｔａ ｔ ｅｄｓ ｏ ｅ ｙｏ ｏ ｄｔｏ ａ ｕ ｔｏ ａ ｅ ｅ ｄ ｎ ｅ（ ｒ ｍ ａ ａ ｓ ｓａ ｍ ｏ ｔｎ ａａ ａ ｅａ ｌｓｓｔｃ ｎｑ ｅ ｗｈｉｈｉ ｃ ｓ
经济损 失， 则带来毁灭性打击 。 重
据 资料 ， 在英 国， 数据 质量 问题每 年造成 ６ ０ 美元 ０ ０亿
以 上 的经 济 损 失 ｌ 。 显然 ， 着 信 息 化 技 术 的推 广 ， 据 库 ＿ ２ ］ 随 数 技 术 与 日常 工作 生 活 的更 紧 密 结 合 ， 据 质 量 的 重 要 性 Ｅ 数 ｔ 趋 明显 的 同 时 ， 视 它 的危 害 也 必 将 日趋 严 重 。 忽
摘
要
条件 函数依赖（ ｏ ｄｔ ｎｌ ｕ ｃｉ ａ ｅ ｅｄ ｎｅ Ｃ Ｄ 的挖掘是 一种重要 的数据库分 析技术 ， 是在函数依赖 （ ｕ ｃｉｎ ｌ Ｃ ｎ ｉｏ ａ Ｆ ｎ ｔ ｎ ｌ ｐｎ ｅｃ ， Ｆ ） ｉ ｏ Ｄ 它 Ｆ ｎ ｔ ａ ｏ
Ｄ ｐｎ ｅ ｃ ， Ｄ） 掘 的基 础 上 加 入 条 件 分 析 功 能扩 展 而 来 ， ｅ ｅｄ ｎｅ Ｆ 挖 当前 被 应 用 于 数 据质 量 检 测 。ＣＦ 挖 掘 是 在 Ｆ 挖 掘 的 基 础 上 通 过 条 件 分 析 Ｄ Ｄ
（ 专 业 ） 学 院 ） ｛ ） １☆ ） ｛ 一 ＋｛ ，☆ ｌ ｛ ） （ 宿舍 ） 学 院 ｝ ｛ 如 Ｃ栋 ｝ Ｉ文 学 院 ｝ ｛ ．｛ ，真 『｛ ）
奶 ：｛ （ 性别 、 专业 ｝ ｛ 一 宿舍 ） ｛ 、 ｝ ☆ ｝ ，☆ ☆ … ）
：
首先 ， 对模板 的同一属性分量取值 、ｚ 的泛化关 系定
总第 ２ ５ ７ 期
２ １ 第 ９期 ０ ２年
计 算机与数 字工 程
Ｃ ｍｐ ｔｒ＆ Ｄｉｉ ｌＥｎ ｉｅｒｎ ｏ ｕｅ ｇｔ ｇｎ ｅｉｇ ａ
Ｖｏ． ０ Ｎｏ ９ １４ ．
８
一
种 条 件 函数依 赖挖 掘 算 法 的分 析 与 实现
周健 昌 刘 波
广州 ５ ０ ３ ） １ ６ ２ （ 暨南大学信息科 学与技术学院