基于GPU的闭合频繁项集挖掘方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｕ ｉ ｇ ａ ｂ ｔ ａ ａａ ｒ ｐｒ ｓ ｎ ａ ｉ ｎ ｏ ｅ ｕ ｎ ｔ ｍｓ ｔ， ｕ ｔ ｒｍ ｅ ｒ — ａ ｅ ｎ ｅ ｒ ｅ ｉ ｓ ｄ ｔ ｋ ｅ ｃ ａ ｔ ｒ Ｅｘ ｅ ｉ ｎｔｌｒ ｓ ｌｓｓ ｏ ｓ ｎ ｉ ｐ ｄ ｔ ｅ ｅ ｅ ｔｔｏ ｆｆ ｑ ｅ ｔ ｅ ｅ ｓ ａ ｆ ｒ ｍ ｒ ｉ ｈｅ ｍｏ ｙ ｂ ｓ ｄ ｉ ｄ ｘ ｔ ｓ ｕ ｅ ｏ ｍａ ｅ ｓ ａ ｈ ｆ ｓｅ ． ｐ ｒｍｅ ａ ｅ ｕ ｔ ｈ ｗ ｅ ｒ ｈ ｔ ｏｉ ｔ ａ ｅ ａ ｇ ｒｔ ｍ ａ ｔ ｒ ｌ ｔ ｏ ａ ｏ ｆｆｅ ｕ ｎｔ ｔ ｍｓ ｔ ｓ ｎ ｅ ｓ ｓ ａ ｅ ａ ｄ ａ ｈ ｅ ｅｂｅｔ ｒｐ ｒ ｏ ａ ｃ ｎ ｉ ｇ ｔｍｅ ｈ ｔ ｌ ｈ Ｃ ｓｏ ｅａ １ ｈｅｉ ｒ ｔ ｎ ｏ ｑ ｅ ｅ ｅ ｓｕ ｉ ｇ ｌｓ ｐ ｃ ． ｎ ｎｆ ｍ ｉ ｒ ｉ ｎ ｃ ｉｖ ｔ ｅ ｒ ｎ ｅｉ ｒ ｎ ｎ ｅ ｆ ｍ ｎｕ ｉ ．
项集索 引树 ， 以提高项 集支 持度计算和项集查找 的速度 。在 ２ 可 种数据集上 的实验结果表 明，该方法能够用更少 的空 间保存频繁项集 的全
部信 息，并减少挖掘时 间。 关健 词 ：图形处理器 ；频繁项集 ；闭合频繁 项集 ；索引树 ；数据挖掘
Ｃｌ ｓ ｄ Ｆｒ ｑ ｅ ｔＩｅ ｓ ｔ ｉ ｉ ｅ ｈ ｄ ｏ ｅ ｅ ｕ ｎ ｔ ｍ ｅ ｎ ｎｇＭ ｔ ｏ Ｍ Ｂａ ｅ ｎ Ｇ ｒ ｐ ｉ ｏ ｅ ｓｎ ｉ ｓ ｄ ｏ ａ ｈ ｃＰｒ ｃ ｓ ｉ ｇ Ｕｎ ｔ
２ 频繁项集与闭合频繁项集
２ 频繁项集 ． １
令 厂＝｛，， ｝ 示 一 系 列 不 同 项 目 的 集 合 ， 用 ‘ｆ …， 表 ２ Ｉ ＿ｎ 厂ｌ 表示 厂 的大小 ，则称 厂 的一个子集 ｘ 为一 个项集 。
再根 据新建的数据格式进行数据挖掘 ；而基于指针 的算法 以 基于 写的算法为基础 ，将建立 的压缩数据格 式中的某些数据 直 接用指针代替 ，减少数据存储的代价 。 文献［】 １对频繁项集挖掘 的算法进行 了综述 ，并讨论 了今 后的研 究方向。文献【］ 出了闭合频繁项集 的概念和最早 的 ２提 闭合项集挖掘算法 Ｃ ＯＳ 在 层次模 型下通 过事务之 间的交 Ｌ Ｅ， 操作获得结果 。文献［】 出一种 基于 ＤＳ Ｃ —ｒｅ的数据结 ３提 Ｆ Ｉｔ ｅ 构 ，对动态变化的数据进行更新和剪枝 ，实现对 闭合项集 的 挖掘 。文献【】 出了 Ｌ Ｍ 算法在 实现级别 的改进版 本，对 ４提 Ｃ 数据库 中的数据进行预处理 ， 将支持度过小或过大的项删除 ， 进 而合 并类似 的事务 ，从而能够高性能地处理高 阈值下 的密 集型数据库 。
பைடு நூலகம்
［ ｙｗｏ ｄ ］Ｇｒｐ ｉ ｒｃ ｓｉｇＵｎｔ Ｕ）ｆｅｕ ｎ ｅ ｅ；ｌｓｄｆ ｑ ｅ ｔｔｍｓｔｉｄｘｔ ｅｄ ｔ ｍｉｉｇ Ｋｅ ｒ ｓ ａｈｃ ｏ ｅｓ ｉＧＰ ；ｒｑ ｅ ｔｔｍｓｔｃ ｅ ｅ ｕ ｎ ｅ ｅ；ｎ ｅ ｅ； ａａ ｎｎ Ｐ ｎ （ ｉ ｏ ｒ ｉ ｒ Ｄ０Ｉ １ ９ ９ｊｓｎ１０ —４ ８２ １．４０ ８ ： ０３ ６ ／ｉ ． ０３ ２ ．０ １１ ．１ ．ｓ ０ ’
中 分 号 Ｔ３ 圈 类 ； Ｐ１ １
基 于 ＧＰ 的 闭合频 繁项 集挖 掘 方 法 Ｕ
李海蜂
（ 中央财经大 学信 息学院 ，北京 １０ ８ ） ００ １
摘
要 ： 出一种 采用图形处理器挖掘 闭合频繁项集 的方法 ，用二进制数 据表示 项集 ， 用单指令 多数据 的体 系结构实现 并行计 算，结合 提 利
ＬＩＨａ － ｎ ｉｅ ｇ ｆ
（ｃｏ ｌ ｆｎｏｍａ ｏ ， ｅ ｔ ｌ ｉｅｓｙｏ ｉａｃ ｎ ｃ ｎ ｍｉｓＢ ｉｎ ０ ０ １ Ｃ ｉａ Ｓ ｈ ｏ ｆｒ ｔ ｎ Ｃ ｎｒ ｖ ｒｉ ｆ ｎｎ ｅａｄＥ ｏ ｏ ｃ， ｅ ｉｇ１０ ８ ， ｈｎ ） ｏＩ ｉ ａＵｎ ｔ Ｆ ｊ
写的算法将源数据进行再加工 ，建立压缩 的数据格 式，然 后
（） ２基于索 引树提 出 了一 种并行 的闭合频 繁项集 挖掘 的
方法 ，可 以提 高项集查找 的速度 ，降低冗余计算。 （） ３通过在 ２种数据集上的实验 ，与最新 的闭合频繁项集 挖掘算法进行 了比较 ，验证 了本文算法 的有效性。
第３ ７卷 第 １ ４期
、ｏ ＿７ ，１３
・
计
算
机
工
程
２ １ 年 ７月 ０１
Ｊ ｌ ２ １ ｕ ｙ ０１
Ｎ ｏ．４ １
Ｃｏ ｕｔｒＥｎｇ ｎ ｅ ｉ ｇ ｍｐ ｅ ｉ ｅ ｒｎ
软件技术与数据库 ・
文 编 １ ０ ３ ８ ｏ ）－ｏ ９ ｏ 章 号： ０ － ４ （ １１ ＿ ５＿ ３ 文献 识 Ａ ｏ＿ ２２ １４ ＿ ＿ ＿ ０ － 标 码：
Ｕｎｔ Ｕ）ｆｒｍｉｉｇ ｃｏ ｅ ｅ ｕ ｎ ｅ ｅｓ Ｔ ｅ ｍｅ ｏ ｍｐｏ ｓ ｉ ｇｅｉｓｒｃ ｏ — ｌ ｐｅ ｄ ｔ ｒｈ ｔ ｔｒ ｃ ｅｅａｅｔｅ ｍｉｉｇ ｓ ｅ ｄ ｉ ＧＰ （ ｏ ｎｎ ｌｓ ｄｆ ｑ ｅ ｔ ｔｍｓ ｔ ｈ ｔ ｄｅ ｌ ｙ ｓｎ ｌ— ｔ ｔ ｎ ｍｕ ｔ ｌ— ａａａｃ ｉ ｃｕ ｅｔ ａ ｃ ｌｒｔ ｈ ｎｎ ｐ ｅ ｒ ｉ ． ｈ ａ ｎ ｕｉ ｉ ｅ ｏ
［ ｓｒ ｃｌＴ ｉ ｐ ｐ ｒ ｏ ｓｄｒ ａｐｏ ｌｍ ａ ｔ ｅｂ ｓ ｏ ｅｋ ｏ ｅ ｇ ａ ｏ ｅｎａ ｄｅｓｄ ｎｍｅ ， ｏ ｏＬｅＧｒｐ ｉ Ｐｏ ｅｓ ｇ Ａｂ ｔａ ｔ ｈｓ ａｅ ｎｉｅｓ ｒｂｅ ｔ ｔ ｏｔ ｅｔ ｆｔ ｎ ｗｌ ｅｈ ｓｎ ｔ ｅ ｄ ｒｓｅ ， ａ ｌ ｈ ｗ ｔ Ｓ ａｈｃ ｒｃ ｓｉ ｃ ｈ ｈ ｈ ｄ ｂ ｙ Ｉ ｎ
１ 概述
频 繁项集挖掘是一种重要 的数据挖 掘类 型。传统频繁 项 集 挖掘方法主要考虑 的是在静态事务数据库 上的挖掘 问题 ， 事务可以被保存到硬盘上实现多次扫描 。具体算法分为 ３种 类型 ：基于读 的算法 ，基于写 的算法和基于 指针 的算法。其 中 ，基 于读的算法主要通过迭代 的数据读操作来 完成 ，基于
项集索 引树 ， 以提高项 集支 持度计算和项集查找 的速度 。在 ２ 可 种数据集上 的实验结果表 明，该方法能够用更少 的空 间保存频繁项集 的全
部信 息，并减少挖掘时 间。 关健 词 ：图形处理器 ；频繁项集 ；闭合频繁 项集 ；索引树 ；数据挖掘
Ｃｌ ｓ ｄ Ｆｒ ｑ ｅ ｔＩｅ ｓ ｔ ｉ ｉ ｅ ｈ ｄ ｏ ｅ ｅ ｕ ｎ ｔ ｍ ｅ ｎ ｎｇＭ ｔ ｏ Ｍ Ｂａ ｅ ｎ Ｇ ｒ ｐ ｉ ｏ ｅ ｓｎ ｉ ｓ ｄ ｏ ａ ｈ ｃＰｒ ｃ ｓ ｉ ｇ Ｕｎ ｔ
２ 频繁项集与闭合频繁项集
２ 频繁项集 ． １
令 厂＝｛，， ｝ 示 一 系 列 不 同 项 目 的 集 合 ， 用 ‘ｆ …， 表 ２ Ｉ ＿ｎ 厂ｌ 表示 厂 的大小 ，则称 厂 的一个子集 ｘ 为一 个项集 。
再根 据新建的数据格式进行数据挖掘 ；而基于指针 的算法 以 基于 写的算法为基础 ，将建立 的压缩数据格 式中的某些数据 直 接用指针代替 ，减少数据存储的代价 。 文献［】 １对频繁项集挖掘 的算法进行 了综述 ，并讨论 了今 后的研 究方向。文献【］ 出了闭合频繁项集 的概念和最早 的 ２提 闭合项集挖掘算法 Ｃ ＯＳ 在 层次模 型下通 过事务之 间的交 Ｌ Ｅ， 操作获得结果 。文献［】 出一种 基于 ＤＳ Ｃ —ｒｅ的数据结 ３提 Ｆ Ｉｔ ｅ 构 ，对动态变化的数据进行更新和剪枝 ，实现对 闭合项集 的 挖掘 。文献【】 出了 Ｌ Ｍ 算法在 实现级别 的改进版 本，对 ４提 Ｃ 数据库 中的数据进行预处理 ， 将支持度过小或过大的项删除 ， 进 而合 并类似 的事务 ，从而能够高性能地处理高 阈值下 的密 集型数据库 。
பைடு நூலகம்
［ ｙｗｏ ｄ ］Ｇｒｐ ｉ ｒｃ ｓｉｇＵｎｔ Ｕ）ｆｅｕ ｎ ｅ ｅ；ｌｓｄｆ ｑ ｅ ｔｔｍｓｔｉｄｘｔ ｅｄ ｔ ｍｉｉｇ Ｋｅ ｒ ｓ ａｈｃ ｏ ｅｓ ｉＧＰ ；ｒｑ ｅ ｔｔｍｓｔｃ ｅ ｅ ｕ ｎ ｅ ｅ；ｎ ｅ ｅ； ａａ ｎｎ Ｐ ｎ （ ｉ ｏ ｒ ｉ ｒ Ｄ０Ｉ １ ９ ９ｊｓｎ１０ —４ ８２ １．４０ ８ ： ０３ ６ ／ｉ ． ０３ ２ ．０ １１ ．１ ．ｓ ０ ’
中 分 号 Ｔ３ 圈 类 ； Ｐ１ １
基 于 ＧＰ 的 闭合频 繁项 集挖 掘 方 法 Ｕ
李海蜂
（ 中央财经大 学信 息学院 ，北京 １０ ８ ） ００ １
摘
要 ： 出一种 采用图形处理器挖掘 闭合频繁项集 的方法 ，用二进制数 据表示 项集 ， 用单指令 多数据 的体 系结构实现 并行计 算，结合 提 利
ＬＩＨａ － ｎ ｉｅ ｇ ｆ
（ｃｏ ｌ ｆｎｏｍａ ｏ ， ｅ ｔ ｌ ｉｅｓｙｏ ｉａｃ ｎ ｃ ｎ ｍｉｓＢ ｉｎ ０ ０ １ Ｃ ｉａ Ｓ ｈ ｏ ｆｒ ｔ ｎ Ｃ ｎｒ ｖ ｒｉ ｆ ｎｎ ｅａｄＥ ｏ ｏ ｃ， ｅ ｉｇ１０ ８ ， ｈｎ ） ｏＩ ｉ ａＵｎ ｔ Ｆ ｊ
写的算法将源数据进行再加工 ，建立压缩 的数据格 式，然 后
（） ２基于索 引树提 出 了一 种并行 的闭合频 繁项集 挖掘 的
方法 ，可 以提 高项集查找 的速度 ，降低冗余计算。 （） ３通过在 ２种数据集上的实验 ，与最新 的闭合频繁项集 挖掘算法进行 了比较 ，验证 了本文算法 的有效性。
第３ ７卷 第 １ ４期
、ｏ ＿７ ，１３
・
计
算
机
工
程
２ １ 年 ７月 ０１
Ｊ ｌ ２ １ ｕ ｙ ０１
Ｎ ｏ．４ １
Ｃｏ ｕｔｒＥｎｇ ｎ ｅ ｉ ｇ ｍｐ ｅ ｉ ｅ ｒｎ
软件技术与数据库 ・
文 编 １ ０ ３ ８ ｏ ）－ｏ ９ ｏ 章 号： ０ － ４ （ １１ ＿ ５＿ ３ 文献 识 Ａ ｏ＿ ２２ １４ ＿ ＿ ＿ ０ － 标 码：
Ｕｎｔ Ｕ）ｆｒｍｉｉｇ ｃｏ ｅ ｅ ｕ ｎ ｅ ｅｓ Ｔ ｅ ｍｅ ｏ ｍｐｏ ｓ ｉ ｇｅｉｓｒｃ ｏ — ｌ ｐｅ ｄ ｔ ｒｈ ｔ ｔｒ ｃ ｅｅａｅｔｅ ｍｉｉｇ ｓ ｅ ｄ ｉ ＧＰ （ ｏ ｎｎ ｌｓ ｄｆ ｑ ｅ ｔ ｔｍｓ ｔ ｈ ｔ ｄｅ ｌ ｙ ｓｎ ｌ— ｔ ｔ ｎ ｍｕ ｔ ｌ— ａａａｃ ｉ ｃｕ ｅｔ ａ ｃ ｌｒｔ ｈ ｎｎ ｐ ｅ ｒ ｉ ． ｈ ａ ｎ ｕｉ ｉ ｅ ｏ
［ ｓｒ ｃｌＴ ｉ ｐ ｐ ｒ ｏ ｓｄｒ ａｐｏ ｌｍ ａ ｔ ｅｂ ｓ ｏ ｅｋ ｏ ｅ ｇ ａ ｏ ｅｎａ ｄｅｓｄ ｎｍｅ ， ｏ ｏＬｅＧｒｐ ｉ Ｐｏ ｅｓ ｇ Ａｂ ｔａ ｔ ｈｓ ａｅ ｎｉｅｓ ｒｂｅ ｔ ｔ ｏｔ ｅｔ ｆｔ ｎ ｗｌ ｅｈ ｓｎ ｔ ｅ ｄ ｒｓｅ ， ａ ｌ ｈ ｗ ｔ Ｓ ａｈｃ ｒｃ ｓｉ ｃ ｈ ｈ ｈ ｄ ｂ ｙ Ｉ ｎ
１ 概述
频 繁项集挖掘是一种重要 的数据挖 掘类 型。传统频繁 项 集 挖掘方法主要考虑 的是在静态事务数据库 上的挖掘 问题 ， 事务可以被保存到硬盘上实现多次扫描 。具体算法分为 ３种 类型 ：基于读 的算法 ，基于写 的算法和基于 指针 的算法。其 中 ，基 于读的算法主要通过迭代 的数据读操作来 完成 ，基于