基于云计算及数据挖掘技术的海量数据处理研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｉ ｎ ｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ，ｏ ｐ ｔ ｉ ｍｉ ｚ ｅ ｄ Ｓ ＰＲＩ ＮＴ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗｈ ｉ ｃ ｈ ｗａ ｓ ｕ ｓ ｅ ｄ ｉ ｎ ｔ ｈ ｅ Ｈａ ｄ ｏ ｏ ｐ ｐ ｌ ａ ｔ ｆ ｏ ｒ ｍ ｆ ｏ ｒ ｍａ ｓ ｓ ｄ ａ ｔ ａ ｐ ｒ ｏ ｃ ｅ ｓ ｓ —
难直接被用户理解 。如何从这样 的数据里提取出规 １ ． １ 数 据结 构 律 和模 式 已经 成为 一个 难题 。数 据 挖掘作 为 一 门能 Ｓ Ｐ Ｒ Ｉ ＮＴ算 法表 示数 据 特征 的方 式是 采用 属性 够高效 的、 便 于 扩 展 的解 决 以 上 问题 的技 术 应 运 而 表 与直 方 图这两 种数 据结 构 ， 其 中， 后 者是 依 附在 前 生 。选 择 云计 算 做 海量 数 据 的 分类 数 据 挖 掘处 理 ， 者之上 ， 而前 者又 是 随着 节 点 的划 分 而 分裂 的。 它 可 以减 少构 建 分 布 式计 算 平 台 的开 销 ， 同 时将 底层 会 依 据属 性 的 不 同性 质 ， 如 连续 型或 离 散型 而 显 现 屏 蔽掉 ， 便 于开 发 ， 使 得 原有 的设 备拥 有对 大 数据集 的较高处理效率 ， 增加了节点的个数和容错 能力 ， 提 出相应 的表 现形式 。
ｔ ｈ ｅ ｎ ｗａ ｓ ｃ ｏ ｍｂ ｉ ｎ ｅ ｄ ｗｉ ｔ ｈ ｔ ｈｅ Ｍ ｒ ｄ ｐ Ｒｅ ｄ ｕ ｃ ｅ ｍｏ ｄ ｅ ｌ ｉ ｎ ｔ ｈ ｅ ｃ ｌ ｏ ｕ ｄ ｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ ｔ ｏ ｉ ｍｐ ｒ ｏ ｖ ｅ ａ ｎ ｄ ｏ ｐ ｔ ｉ ｍｉ ｚ ｅ ｔ ｈ ｅ Ｓ ＰＲＩ ＮＴ ａ ｌ ｇ ｏ — ｒ ｉ ｔ ｈ ｍ ．Ａｔ ｌ ａ ｓ ｔ ，ｔ ｈ ｅ ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｓ ＰＲＩ ＮＴ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗｉ ｌ ｌ ｂ ｅ ｔ ｒ ａ ｎ ｓ ｐ ｌ ａ ｎ ｔ ｅ ｄ ｔ ｏ ｔ ｈ ｅ ＨＡＤＯＯＰ ｐ ｌ ａ ｔ ｆ ｏ ｍ ，ａ ｒ ｎ ｄ ｆ ｉ ｎ ａ ｌ ｌ ｙ ｔ ｈ ｅ ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ — ｅ ｄ ｄ ａ ｔ ａ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｗａ ｓ ａ ｃ ｈ ｉ ｅ ｖ ｅ ｄ ｔ ｈ ｒ ｏ ｕ ｇ ｈ ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ ． Ｋｅ ｙ ｗｏ ｒ ｄ ｓ： ｃ ｌ ｏ ｕ ｄ ｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ；ｄ ａ ｔ ａ ｍｉ ｎ ｉ ｎ ｇ；ＳＰ ＲＩ ＮＴ ；ｈ ａ ｄ ｏ ｏ ｐ； ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃｏ ｍｐ ｕ ｔ ｅ ｒ Ｓｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ，Ｃｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔｅ ｃ ｎｏ ｈ ｌ ｏ ｇ ｙ，Ｃｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ １ ３ ０ ０ ２ ２ ）
ｉ ｎ ｇ ｗａ ｓ ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｄ ． Ｆｉ ｒ ｓ ｔ ｌ ｙ， ｔ ｈ ｅ ＳＰ ＲＩ ＮＴ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗｈ ｉ ｃ ｈ ｉ ｓ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｄ ａ ｔ ａ ｍｉ ｎ ｉ ｎ ｇ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗａ ｓ ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｄ ａ ｎ ｄ
Ｓ Ｐ ＲＩ ＮＴ算法 ，然后 结合云计算 中的 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 编程模 式对 ｓ Ｐ Ｒ Ｉ ＮＴ算 法进行 改进 和优 化 ，将并行的 ｓ Ｐ Ｒ Ｉ ＮＴ算 法移植到
ＨＡＤＯＯＰ平 台下 ，最 后 通 过 实验 实现 分 布 式 数 据 处 理 。
关键词 ：云计 算；数据挖掘 ；Ｓ Ｐ ＲＩ ＮＴ；ＨＡＤＯＯＰ；Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 中图分类 号： ＴＰ ３ １ 文献标识码 ：Ａ 文章 编号 ：１ ６ ７ ２ — ９ ８ ７ ０ （ ２ ０ １ ３ ） ０ ６ — ０ １ ５ ７ — ０ ４
Ｖｏ １ ． ３ ６ Ｎ ｏ ． ６
Fra Baidu bibliotekＤｅ ｃ ． ２０１ ３
基 于云计算及数据挖掘技术 的海量数 据处理研究
王鹏 ，王健安 ，郭畅 ，巴济 慈
（ 长春理工大学 摘 计算机科学技术学院 ，长春 １ ３ ０ ０ ２ ２ ）
要 ：主要 介绍 了在 ＨＡＤＯＯ Ｐ平 台下使 用优 化 的 Ｓ Ｐ Ｒ Ｉ ＮＴ算法进行 海量数 据 处理。首 先介绍 了传统 的数据挖 掘算 法
Ｒｅ ｓ ｅ ａ ｒ ｃ ｈ ｏ ｎ Ｍａ ｓ ｓ ｉ ｖ ｅ Ｄａ ｔ ａ Ｐｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ Ｂａ ｓ ｅ ｄ ｏ ｎ
Ｃｌ ｏ ｕｄ Ｃｏ ｍ ｐｕ ｔ ｉ ｎ ｇ ａ ｎ ｄ Ｄａ ｔ ａ Ｍｉ ｎ ｉ ｎ ｇ
Ｗ ＡＮＧ Ｐｅ ｎ ｇ，Ｗ ＡＮＧ Ｊ ｉ ａ ｎ ａ ｎ， ＧＵＯ Ｃ ｈ ａ ｎ ｇ，ＢＡ Ｊ ｉ ｃ ｉ
第３ ６ 卷第 ６ 期
２ ０ １ ３ 年１ ２ 月
长 春理 工大 学学报 （ 自然科学版 ）
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｃｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ（ Ｎａ ｔ ｕ ｒ ａ ｌ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｅ ｄ ｉ ｔ ｉ ｏ ｎ ）
随着 网络 技 术 的 飞速 发 展 ， 存 储 于计 算 机 中 的 的百分 之一 。因此 ， 我们 把重 点放 在树 的创建 上 ； 另 数 据 文件 呈爆 炸式 的发 展 。这些 数 据又 称为 海量 数 外 一方 面 ， 基 于二叉 树简 洁又 精准 的特 点 ， 本 文选 择 据， 这 类数 据 常常 伴 随着 噪声而 且是 异构 数 据 ， 其 很 的是创 建二 叉树 。
难直接被用户理解 。如何从这样 的数据里提取出规 １ ． １ 数 据结 构 律 和模 式 已经 成为 一个 难题 。数 据 挖掘作 为 一 门能 Ｓ Ｐ Ｒ Ｉ ＮＴ算 法表 示数 据 特征 的方 式是 采用 属性 够高效 的、 便 于 扩 展 的解 决 以 上 问题 的技 术 应 运 而 表 与直 方 图这两 种数 据结 构 ， 其 中， 后 者是 依 附在 前 生 。选 择 云计 算 做 海量 数 据 的 分类 数 据 挖 掘处 理 ， 者之上 ， 而前 者又 是 随着 节 点 的划 分 而 分裂 的。 它 可 以减 少构 建 分 布 式计 算 平 台 的开 销 ， 同 时将 底层 会 依 据属 性 的 不 同性 质 ， 如 连续 型或 离 散型 而 显 现 屏 蔽掉 ， 便 于开 发 ， 使 得 原有 的设 备拥 有对 大 数据集 的较高处理效率 ， 增加了节点的个数和容错 能力 ， 提 出相应 的表 现形式 。
ｔ ｈ ｅ ｎ ｗａ ｓ ｃ ｏ ｍｂ ｉ ｎ ｅ ｄ ｗｉ ｔ ｈ ｔ ｈｅ Ｍ ｒ ｄ ｐ Ｒｅ ｄ ｕ ｃ ｅ ｍｏ ｄ ｅ ｌ ｉ ｎ ｔ ｈ ｅ ｃ ｌ ｏ ｕ ｄ ｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ ｔ ｏ ｉ ｍｐ ｒ ｏ ｖ ｅ ａ ｎ ｄ ｏ ｐ ｔ ｉ ｍｉ ｚ ｅ ｔ ｈ ｅ Ｓ ＰＲＩ ＮＴ ａ ｌ ｇ ｏ — ｒ ｉ ｔ ｈ ｍ ．Ａｔ ｌ ａ ｓ ｔ ，ｔ ｈ ｅ ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｓ ＰＲＩ ＮＴ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗｉ ｌ ｌ ｂ ｅ ｔ ｒ ａ ｎ ｓ ｐ ｌ ａ ｎ ｔ ｅ ｄ ｔ ｏ ｔ ｈ ｅ ＨＡＤＯＯＰ ｐ ｌ ａ ｔ ｆ ｏ ｍ ，ａ ｒ ｎ ｄ ｆ ｉ ｎ ａ ｌ ｌ ｙ ｔ ｈ ｅ ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ — ｅ ｄ ｄ ａ ｔ ａ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｗａ ｓ ａ ｃ ｈ ｉ ｅ ｖ ｅ ｄ ｔ ｈ ｒ ｏ ｕ ｇ ｈ ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ ． Ｋｅ ｙ ｗｏ ｒ ｄ ｓ： ｃ ｌ ｏ ｕ ｄ ｃ ｏ ｍｐ ｕ ｔ ｉ ｎ ｇ；ｄ ａ ｔ ａ ｍｉ ｎ ｉ ｎ ｇ；ＳＰ ＲＩ ＮＴ ；ｈ ａ ｄ ｏ ｏ ｐ； ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃｏ ｍｐ ｕ ｔ ｅ ｒ Ｓｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ，Ｃｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔｅ ｃ ｎｏ ｈ ｌ ｏ ｇ ｙ，Ｃｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ １ ３ ０ ０ ２ ２ ）
ｉ ｎ ｇ ｗａ ｓ ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｄ ． Ｆｉ ｒ ｓ ｔ ｌ ｙ， ｔ ｈ ｅ ＳＰ ＲＩ ＮＴ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗｈ ｉ ｃ ｈ ｉ ｓ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｄ ａ ｔ ａ ｍｉ ｎ ｉ ｎ ｇ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗａ ｓ ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｄ ａ ｎ ｄ
Ｓ Ｐ ＲＩ ＮＴ算法 ，然后 结合云计算 中的 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 编程模 式对 ｓ Ｐ Ｒ Ｉ ＮＴ算 法进行 改进 和优 化 ，将并行的 ｓ Ｐ Ｒ Ｉ ＮＴ算 法移植到
ＨＡＤＯＯＰ平 台下 ，最 后 通 过 实验 实现 分 布 式 数 据 处 理 。
关键词 ：云计 算；数据挖掘 ；Ｓ Ｐ ＲＩ ＮＴ；ＨＡＤＯＯＰ；Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 中图分类 号： ＴＰ ３ １ 文献标识码 ：Ａ 文章 编号 ：１ ６ ７ ２ — ９ ８ ７ ０ （ ２ ０ １ ３ ） ０ ６ — ０ １ ５ ７ — ０ ４
Ｖｏ １ ． ３ ６ Ｎ ｏ ． ６
Fra Baidu bibliotekＤｅ ｃ ． ２０１ ３
基 于云计算及数据挖掘技术 的海量数 据处理研究
王鹏 ，王健安 ，郭畅 ，巴济 慈
（ 长春理工大学 摘 计算机科学技术学院 ，长春 １ ３ ０ ０ ２ ２ ）
要 ：主要 介绍 了在 ＨＡＤＯＯ Ｐ平 台下使 用优 化 的 Ｓ Ｐ Ｒ Ｉ ＮＴ算法进行 海量数 据 处理。首 先介绍 了传统 的数据挖 掘算 法
Ｒｅ ｓ ｅ ａ ｒ ｃ ｈ ｏ ｎ Ｍａ ｓ ｓ ｉ ｖ ｅ Ｄａ ｔ ａ Ｐｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ Ｂａ ｓ ｅ ｄ ｏ ｎ
Ｃｌ ｏ ｕｄ Ｃｏ ｍ ｐｕ ｔ ｉ ｎ ｇ ａ ｎ ｄ Ｄａ ｔ ａ Ｍｉ ｎ ｉ ｎ ｇ
Ｗ ＡＮＧ Ｐｅ ｎ ｇ，Ｗ ＡＮＧ Ｊ ｉ ａ ｎ ａ ｎ， ＧＵＯ Ｃ ｈ ａ ｎ ｇ，ＢＡ Ｊ ｉ ｃ ｉ
第３ ６ 卷第 ６ 期
２ ０ １ ３ 年１ ２ 月
长 春理 工大 学学报 （ 自然科学版 ）
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｃｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ（ Ｎａ ｔ ｕ ｒ ａ ｌ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｅ ｄ ｉ ｔ ｉ ｏ ｎ ）
随着 网络 技 术 的 飞速 发 展 ， 存 储 于计 算 机 中 的 的百分 之一 。因此 ， 我们 把重 点放 在树 的创建 上 ； 另 数 据 文件 呈爆 炸式 的发 展 。这些 数 据又 称为 海量 数 外 一方 面 ， 基 于二叉 树简 洁又 精准 的特 点 ， 本 文选 择 据， 这 类数 据 常常 伴 随着 噪声而 且是 异构 数 据 ， 其 很 的是创 建二 叉树 。