分布式数据挖掘计算过程DDCP算法研究

２ Ｄ Ｐ Ｄ Ｃ 算法
２ Ｄ Ｃ 算法步骤 ． ＤＰ １ 基于分布式计算框架， 本文提出了Ｄ Ｃ 算法来实现框架的计算思想， ＤＰ 算法分为控制节点和分节点两
个部分。
万方数据
电子科技 大学学报
第３ ２卷
控制节点的 算法包括三 个阶 段： １ ＲＵ 初始化 进行必要的全局信息收集和 ） 的 ＴＤ 相应变量的 初始化 同时通知各个节点全局的 信息 ２ Ｔ Ｄ 的事务分布。 ） Ｕ Ｒ 决定读人的每一个事务应该分配给哪一个节点进行处理， 纪录每一个节点得到 的 事务总数， 根据在初始化阶 段得到的各个节 点可以分配的事务数目 控制是否在下 一个事务的分配决策中
３ 尸 处 己的 务， 所有事 理自 事 如果 ） 洛自 务可以 放人内 则选择高效的 存， 算法生成本 项集； 地大 否则将
事务缓存到本地磁盘， 在所有事务从Ｔ Ｄ 接受完毕后， ＲＵ 生成最后的 本地大项集； ４ ＩＭ 负责和各个节点之间的数据通信， ） Ｕ Ｃ 同时维护全局枚举树Ｏ 。 Ｔ 各节点在处理过程中或者处理完 成后都可以和 Ｃ Ｕ ＩＭ 通信， 这取决于 不同的实现策略。
Ｋｙ ｄ ａｍｎ ｇ ｓ ｃｔｎ ； ｇ ｉｍｅ ｄ ａ ｓ ｄｔ ｉｎ； ｏ ａｏ ｒｅ ａ ｅ ｓ； ｔ ａ ｅｗ ｒｓ ａ ｉ ａ ｉｉ ｕ ｌ ｔ ｔ ａｂ ｅ ｏ ｓ ｌ ｒ ｅ 目 前数据挖掘的 算法很多Ｍ 这些算法都是针对特定的问题和应用领域， ｌ但 在有些方面是高效的， 但 都存在或多 或少的缺陷。主要问题在于每一种方法都是对具体的计算方法的 研究， 在改善以往算法时却牺 牲了 些以 往算法的优点。 大规模数据库的 关联规则挖掘算法的效率瓶颈是大项集的生成过程， 这个过程 相当 耗时， 故所有的算法都针对这一点进行了 研究和分析， 提出了 各种不同技术的算法， 其目 的是尽量减 少 数据库的扫描次数。 本文通过深人分析以往算法的优缺点１ 提出了一种关联规则挖掘大项集生成的并 ２ １ ，
一 一
１ ３
吴德伟２
黄玉美’
赵修斌“
王 轶２
（ 安 大 机 精 仪 程 １西 理工 学 械与 密 器上 学院 西 ７ ０ ； 空 程大 讯１ 学院 西安 ７ ０ ） 安源自文库１ ４ ２ 军！ 学电 ． ０８ ． （ １ １ ７ ０７
［ 摘要】提出了一种关联规则挖极大项集生成的并行和分布式处理的计算框架的算法，该算法以大规模事 务数据库为基拙，将数据有效地分片后作分布或者并行处理，通过节点之间的通信降低了节． 点间传愉的数据童， 通过算法实 例验证了其法的正确性和可行性，可以在分布式或者并行环瑰里实现高效的数据挖掘口 关 健 词 数据挖据； 关联规则； 大项集；毅据岸
ｎ Ｙ２ ｉ Ｆｎ Ｙ ｇｕ ｎ Ｇ ａ ｐｎ＇ Ｗ Ｄｗｉ Ｉａｇ ｅ ｏ ｂ ｇ Ｗａｇ ａｇ ｗ ＇ Ｚａ ｕｎ ｅｇ ｉ ２ ｈ ｇ ｇ ｎ ｕ ｅ ｎ Ｙｍｉ ＺａＸｕｉ ２ ｅ ｌ ｕ ｕ ＇ ｈ ｉ ｎ
（ Ｃ ｌｇ ｏＭｅｈｎ ａａｄ ｃ ｉ ＴｏＥｉ ｅｒｇＸ＇ Ｕ ｖ ｆ ｈｏ ｇ Ｘ ＇ ７０４； ｇｎｅｉ ， ｒ ｏＴｃｎｌ ｙ ｉ ｎ １０８ １ ｏｅｅ ｃａｉ ｌ Ｐｅｉｏ ｏｌ ． ｆ ｃ ｎ ｒ ｓ ｎ ｎ ｎ ｉ ｎ ． ｅ ｎ ａ ｏ ａ
Ｖｎ ．２ Ｎｏ ｌ １ ３ ．
宜２＂ ． 一 卫ｒＴＥｏ ３； ２２ Ｗｇ Ａ） ３ｌ 年ｌ ］ ｝ ＪＴ Ｃ ｏ ｉ－ ｈ ｕｏ１ｆ Ｅ Ｓ－ｎ ｎ ｒ ｒ ｒｆ ａ— ａ １ ｌ ｒ ｉ ｘ Ｖ Ｔ
分布式数据挖掘计算过程
一一Ｄ Ｃ 算法研究 Ｐ Ｄ
方英武” ・ ２
张广鹏‘
ＧｆＳ 拢县 １ Ｉ ｝ ｆ Ｆ ｌ ７３ ． Ｐ １５ 文献标识码 Ａ
Ｒ ｓａｃ ｏ Ｄｓ ｉｕｉ Ｄ ｔ ｎｎ Ｃ ｌ ｌ ｉｇ ｃｓ ｅｅｒｈ ｉｒ ｔ ｅ ａ ｉｇ ｃ ａ ｎ Ｐ ｏｅｓ ｎ ｔ ｂ ｖ ａ ｍｉ ａｕ ｔ ｒ
一 一 Ｄ Ｐ ｇｒ ｈ 一 Ｄ Ｃ Ａ ｏｉ ｍ ｌ ｔ
为频繁项集；
２利 项 生 关 规 。 每 大 集 大 集 成 联 则 对 个 项 布 若 ｃ ， ０ 且 ｕ ｏ（／ｐ ｒ ）ｍ ｃ ｆ ）用 ＢＡ Ｂ ． ｓｐｔ） ｐｔ ｝ ｏ ， ＃ ｐ ｒ ｓ ｏＢ ｉ ｎ Ａｕ （ ｎ
则有关联规则： ｝（ Ｂ Ｂ Ａ ） － 问题２ ） 较容易解决，已有成熟的生成算法，问 ） 题１ 的解决影响大规模数据库的检索， 所以效率和准确 性是问题的关键， 讨论和算法都是集中 在不牺牲精度的 前提下提高大项集生成效率上， 本文算法和体系结 构将基于 ｐｏ和 ａｉ ｎ对这一问题进行分析。 Ａ ｒｒ Ｐｒｉ ｉｉ ｔｏ ｔ Ｌ 分布式计算框架 Ｚ 分布式计算框架利用了Ｐｒｉ 数据库分片的思想，但是各个部分具体的算法不是固定的， ａｉ ｎ ｔｏ ｔ 在不同的 部分使用不同的算法， 该计算框架可以应用在 并行和分布式的环境里。其计算框架如图１ 所 示 图中 Ｄ 表示分布单元（ｉｒｕ Ｃｎｏａ Ｕ Ｄｓ ｂｔ ｏｔｌ ｔ ｅ ｒ ｎ ｉ ｄ
行 分 式 理 计 框 的 法 分 式 据 掘 算 程Ｄ ｔ ｕｖＤｔ ｉｎＣｌｌｎＰ ｃｓ 和 布 处 的 算 架 算 一 布 数 挖 计 过 （ｓｂ ｅ ｍ ｉ ａｕｔ ｒｅ， ｉ ｔ ａ ｎｇ ａ ｇ ｓ ｉ ｒｉ ａ ｃ ｉ ｏ
Ｄ Ｃ） ＤＰ 算法。旨 在能够提供一个灵活的和可扩 展的计算平台， 利用现在相对廉价的单机进行网 络计算，充 分挖掘网 络计算的优势。
１ 分布式计算框架
１ 问 ． 题描述 １ 关联规则挖掘问题是在分析零售业事务数据库时提出的， 现在的发展已经超出了原来的应用范围，其
２０年， ｏ 收稿 月ｔ日 ０２ 。男 ３岁 博士 ０ 研究生 主要从事月 力学与自 侧： 动控树 方面的研究
万方数据
第 １ 期
方 武 等 布 数 挖 阵过 英 ：分 式 据 掘ｉ
Ｍｎ ｅｅ Ｕｉ， Ｕ 示信息 制管 单 ａ ｇ ｎ ｎ） Ｉ 表 ａ ｍ ｔ Ｃ ｔ Ｍ 控 理
元（ｆｍ ｔｎ ｎｏ ａｄ ｎ ｅ ｅｔ ｔ Ｉｏ ａｏ Ｃ ｔｌ Ｍ ａ ｍ ｎ Ｕ ｉ， ｎｒ ｉ ｏｒ ｎ ａ ｇ ｎ） Ｔ Ｄ 表示事务读取分发单元（ ａｓ ｔｎ ａ ＲＵ Ｔ ｎ ｃｏ Ｒ ｄ ｒ ａｉ ｅ
算法研究
本文即 采取这种形式化的 描述方法 深度和广度都有很大提高， 但关联规则的形式化描述有其通用意义， 关联规则的发现可以 分解为两个子间题： 为大项集或者称 １找出 在于 务 据库中 所 项 项 Ｉ 支 度ｓ ｐ （３ ｉｕ， 事 数 ） 存 的 有大 集。 集 的 持 ｕ ｏ ！ｌ ｎ ｐ 则称Ｘ ｐ ｒ） ｓ ｔ－ ｍ
Ａ ｓ ａｔ ｈ ｒｃ ｐｏｏｅ ａ ｒｈ ｆ ａ ｕ ｔ ａ ｉｃ ｒ ｕｅ ｆ ｈ ｓ ｏｉｉ Ｔ ｉａｉｅ ｐｓ ａ ｏ ｔ ｏ ｔ ｃｌ ｌｅ ｈｅｔ ｅ ｄ ｔ ａｓｃ ｔｎ ｂｔ ｃ ｒ ｓ ｌ ｒ ｔ ｄ ｌ ｉ ｍ ｈ ｃ ａ ｒ ｔ ｕ ｓ ｏ ｅ ａｏ ｇ ｅ ｃ ｒ ｒｌａｄ ａ ｏ ｔ ｂｓ ｏ ｔ ｄｔｐｒｔｎ ｆｌ ｕｅ ｔ ｍ ｒｓ ｓｅｉｔｓａｔ ｓｍ ｔ ｅ ｕ ｎ ｔｓ ｒｈ ａｅ ｎ ａ ａｉ ， ｓ ｈ ｅｔａｄ ｃ ｌ ， ｅ ｅ ｅ ｈ ｌ ｉ ｍ ｄ ｈ ａ ｉ ｕｙ ｓ ｉ ｇ ｅ ｔ ｏ ｌ ｅ ｉ ｎ ｐ ａｉ ｔ ａ ｉ ｅ ｈ ｍ ｕｅ ｃｎ ｏｅｔ ａｓ ｎ ｓ ｔｎ ｒ ｄｍｙ ｅｏ ｅ ｄｔｓｅ ｉｔ ｄｔ ａｅＴ ｅ ｏｉｍ ｓ ｏｔ ｌｒ ｓ ｇ ｔｎａ ｉ ｓ ｏ ｌｔｒ ｌ ｔ ａ ｋｗ ｈ ａ ｂｓ． ａ ｒｈ ｉ ｓ ｒ ｌ ｏ ｉ ｒ ｃｏ ａ ａ ｎ ｏ ｖ ｈ ａ ｎ ａ ｓ ｅ ｅ ｈ ｌ ｔ ｓ ｇ ｕ ｄ ｔ ｅａ ｐ ａｄ ｗ ｔ ｃｒ ｃ ｅｓ ｆ ｉｌ ． ａ ｂ ｕｅ ｆ ｄ ｔｂｔｄｔ ａ ａｄ ｓ ｆ ｈ ｘｍ ｌ ｎ ｓｏ ｓ ｏｒ ｔ ｓａｄ ｂ ｔ Ｉｃｎ ｓ ｏ ｉｒ ｕ ａ ｂ ｅ ｅ ｏ ｅ ｅ ｈ ｒ ｈ ｅ ｅ ｎ ｎ ｅ ｉ ｙ ｔ ｅ ｄ ｓｉ ｅ ａｓ ｎ ｓ ａ ｉ ｒ ｍ ｓａｐｃｂ ｆｒ ｒ ｕ ｃｌ ｌｉ ． ｏｔ ｌａｌ ｏ ｄ ｔｂｔ ａ ｕ ｔｎ ｐ ｉ ｅ ｉ ｉ ｅ ａｏ ｓ ｃ
包含该节点；
３Ｉ Ｕ 事务处理。 ） 的 Ｃ Ｍ 根据Ｔ Ｄ 读取数据的状态决定事务处理所处的阶段，当 ＲＵ 得知所有的事务已 经被 Ｔ Ｄ 读取结束后， ＲＵ 各个节点就得到了 它们应该处理的 全部事务， 因此可以 得到本地的大项集１ 此时ＩＭ ＣＵ 处于等待状态，每当一个节点完成后就通知ＩＭ Ｃ Ｕ，同刚 将本地的大项集传递给ＩＭ ， Ｕ Ｃ Ｕ ＩＭ 动态的合并 Ｃ 所有的本地大项集，最终输出全局大项集。 分节点的算法也包 括三个阶段： １ 从Ｔ Ｄ 得到全局的分布信息， ） ＲＵ 初始化自 身的变量， 包括将自 身节点同分配的 通道相绑定； ２ 连续接受中央节点传递的事务， ） 同时负责清除通道的 数据为下一个 事务的 接收做 准备。 分节点根据 是否可以将全部事务放人内 存执行来决定是否放人内 存处理， 如果不可以放人内存执行则利用动态的事务 处理或者缓存到 本地的磁盘； ３ 在得到Ｊ Ｄ 发送的明确的事务分发结束信号后，如果不适用动态的 ＇ Ｒ Ｕ ） Ｔ 集合枚举树牛成方法则开始 处 理所有得到的 事务， 处理结束后将得到的大项集传递给中央节点的 Ｃ Ｕ ＩＭ 单元 ２ 有序集合枚举树的动态生成 ． ２
局集合枚举树（ｌ ａＳｔ ｍ ｒｅ ｅ Ｇｏ ｌ Ｅｕ ｅ ｔＴ ） ｂ ｅ ｎ ａ ｒ 或其他 ｅ 数据结构。 １ 分布式计算流程 ． ３ 分布式计算框架从概念上来讲是一种层次 计算方法， 将整个数据挖掘大项集的生成算法 中涉及的各个相对独立的计算过程分离出来 利用单独的模块进行计算，因为各个模块之间 图１ 分布式计算框架图 没有紧密的 祸合现象，相互之间只是事务数据 的传递和少量的指令流。 该计 算框架的核心是分布单元Ｄ ，其 Ｕ 具体的流 程可以分四 步进行：
１ＴＤ 首先 根据处理器或者可利用的 式单机的 创建数据传输通道Ｃ－Ｃ， 各种初始化 ） Ｕ Ｒ 分布 数目 Ｉ ． 负责
工作；
２ 启动函数Ｄ ｃ ｅ ｅ ｅ ｏｅ ， ｅ ｄ ｃｖ Ｎ ｄ（ 根据所使用的 ） ｉ Ｒｅ ｉ － ） 解决数据偏度策略的不同 初始化变量， 顺序读取数 据库中的 事务块， 将每一个事务分配到不同的处理器， 做到负载均衡和解决数据偏度；
ａ Ｄｓｂｔ Ｕｉ， Ｂ ｎ ｉｉ ｅ ｔ Ｔ 表示事务数据库 ｄ ｔ ｕ ｎ） Ｄ ｒ （ａａｉ Ｄｔａ） Ｃ一Ｃ表示数据传道 Ｔ ｎｃ ｎ ａ ｓ ， ｒｓｔ ａｂ ｅ ， ｏ （ａ Ｔ ｎｅＣａ ｅ， Ｐ表示处理器（ Ｄｔ ｒ ｓｒ ｎ ｌ Ｐ－ ａ ｆ ｈ ｎ） ， ａ 紧 藕合或树（ ｃ Ｓｔ ｍｒｅ ） Ｇ 表示全 ） Ｌ ａ ｅＥｕ ｅ ｔＴｅ ． ｏ ｌ ｎ ａ ｒ ｅ Ｔ
２Ｔｅ ｃｍ ｕｉ ｔｎ ｉ ｅｎ Ｉ ｔ ｒ Ａｒ ｅ ｉ ｅｎ ｎ ． ａ １０７ ｒ Ｅｇ ｅ ｉ Ｕ ｉ Ｘ＇ ７０７） ． Ｔｌ ｏ ｍ ｎ ａｏ Ｅｇ ｅ ｉ ｎｉ ｅ ｉ ｏ ｎ ｎｒ ｇ ｖ ｉｎ ｈ ｅ ｅ ｃ ｉ ｎ ｎ ｒｇ ｍ ． Ｆ ｃ ｓ