基于云计算的大数据分析平台构建研究

势 ，其为大数据技术的更新升级提供 了一个崭新 的思路。笔 惊人 ，但 在对 图表 文 档 等半 非结 构 化 的数 据 的处 理方 面 ，表 者分析研究云计算在大数据分析与应用方面的问题 ，同时， 现出来 的效果还是 十分令人满意的。由于在对 图表、键值等 阐述 已知情况并分析在未来应用 中可能面对 的种种挑战，并 数据的储存方面 目前并没有一个硬性的格式来对其数据库进 给出 目 前来看较为可行的几种方案 。
网络 和其 他渠 道 ，如生活 讯 息和 交通 信 息等 。虽 然 ，大数 据 技术应用至今体现了无数 的优势与机遇 ，但其在发展途中将 会遭遇的挑战同样不可忽视。想让大数据战胜这些挑战就需
量再合适不过。而且 ，云平台所拥有的另一大优势 ，就是这
种对存储的兼容在半结构和非结构化的数据上 同样很实用。 但这些只满足了前文所提到的要求之一 ，还不足以达到盈利 的需求 。想 要 把云 技术 应 用 出更好 的水准 ，还 需要 提高 系 统 式 中 ，进 而实 现对 于 自己有利 的盈利 。这些 数据 分别 来 自于 分析数 据 的速度 。 二、云计算 的大数据分析平台构建关键
文章编号 ：１ ６ ７ ４ — ９ ４ ９ ９ （ ２ ０ １ ７ ） ０ ３ — ０ ０ ４ ６ — ０ ２
伴 随着大数据技术 的不断成熟 ，数据量在以爆炸的形式 不断增长。各大通信 、电子、信息等行业 的发展 ，导致了行 业 间的竞争愈发的激烈。此时各大通讯运 营商就面临了一个 新的问题 ，怎样将数量庞大的信息数据运用到 自己的运行模
２ ． 数据 的存 储 及 收集
由于数据集在系统 的运行过程 中将会不断增加 ，因此 ，
收稿 日期 ：２ ０ １ ７ — ０ ２ — ０ ７
基金 项 目 ：２ ０ １ ３ 年马 鞍 山师范 高等 专科 学校 校级 课题 “ 计 算 机教 育教 学团 队” （ ２ ０ １ ３ ｘ ｊ ｊ ｘ ｔ ｄ Ｏ １ ） 作者 简介 ：王 雅婷（ １ ９ ８ ４ －） ，女 ，安 徽 马鞍 山人 ，讲 师 ，硕士 ，主要从 事移 动互联 网应 用 、计算 机技 术 研究 。
基于云计 算 的大数据分析平 台构建 研究
王 雅 婷
（ 马鞍 山师范高等 专科 学校 ，安徽 马鞍 山 ２ ４ ３ ０ ４ １ ） 摘 要：信 息时代 ，一个显著特征是 大数 据时代 的到来。这一特征 直接 导致大批新技 术与产 品不 断翻新 。传 统方式往往 处理 不
了关联度 高以及 结构 复杂的数据 ，分析 时间响应过 长，云计 算的大数据分析平 台独 特 ，有效避 免 了这些缺 陷。这一优势有效证 明 这一平 台的价值 ，在 大数据 时代 中完全可以广泛 引用与推 广。 关键词 ：云计算 ；大数据 ；分析 平 台 中图分 类号 ：Ｔ Ｐ ３ １ １ ． １ ３ 文献标 志码 ：Ａ ＋
１ ． 数据 的存储 及 管理
要一个集存储与分析于一身的平台被开发出来。作为一种大 型数据集 ，大数据的存储与应用 由于大量的半结构和非结构
和传统的数据分析一样 ，大数据时代下首先考虑的同样
化数据的存在 ，跟传统数据的存储相 比，有着太多的区别 ， 是对数据的存储问题。对于大数据来说 ，需要分布式文件系 这一点需要我们更加深入 的剖析 。信息爆炸的２ １ 世纪，对于 统来满足 当前 时代对不 同的多样化 的需求 以及当前手段无 我们所处的数据爆炸的数据集 时代来说 ，首要任务就是去分 法应对 的数据爆炸 。这与传统手段格格不入。分布式文件系 析这 些数 据 以让其得 到最 大价 值 。还 需要 考 虑到 大数 据库 中 统就是 有关 这 一 问题 的一 剂 良药 。具 有 两大优 势 的分 布式 文 同样可能存在着太多无效 的数据和信息 ，这些冗杂数据极易 件系统既能够有效利用固有资源 ，比传统手段更重视对其的 对数据库造成无法预估的影响，因此 ，数据是否有效这一点 利用率 ，又能提供多重途径以应对对数据测量 的多种不 同要
一
、
云计 算的 大数 据概 述
行规范 ，因此，我们完全可以让不同文档的文件来储存不 同 种类的信息 ，由此可见 ，数据库对图表的处理手段很适合用 于描 述社 会 网络 ，并 可 以将 数 据作 为键值 来 进行 存储 。数 据 库系统还避开了申请这一方面的管理问题 ，这与传统手段相 比具有很大的优势。这是由于其致力于提供一个有着较高可
对数据的获取和记录包括五个阶段 ，即对数据的抽取、
整合 、表达、建模和诠释。这五点是对大数据处理最基本的 测量库的数据库。这些数据库中没有过多的图标 ，不需要重 过程” 】 。但由于大数据不同于以往 的数据库 ，其中包含的数 新制表就能够迅速更改数据的结构 ，创造对云架构的可量测 据量过于庞大 ，这就导致 了基本 的流程不足以满足对其 中数 性 。 据的获取和记录。而云技术的普及和应用时代中 ，云平台由 于其性价 比与拓展性高的两大优势 ，用来处理与存储 大信息
２ ０ １ ７ 年 第３ 期 （ ２ ０ １ ７ 年Ｏ ３ 月）
黑河学院学报
Ｊ Ｏ Ｕ ＲＮ ＡＬ Ｏ Ｆ Ｈ Ｅ Ｉ Ｈ Ｅ Ｕ Ｎ Ｉ Ｖ Ｅ Ｒ ＳＩ ＴＹ
ｄ ｏ ｉ ：１ ０ ． ３ ９ ６ ９ ￣． ｉ ｓ ｓ ｎ ． １ ６ ７ ４ —９ ４ ９ ９ ． ２ ０ １ ７ ０ ３ ． ０ ２ １
需要我们分外注意。同时，大数据中的信息量增加也直接导 求。这两优势将足 以满足数据分析这一基准。而对于前文所 致了存储信息的成本一同加 ，云计算的优势足 以涵盖了这 提到 的 ，有关 数据 结 构化 存储 困难 这一 问题 ，则 可 以采 用 数
些 问 题 。 由 于云 技 术成 本 的低 廉 和处 理数 据 方 面 的速 度 优 据库 的手 段进 行处 理 。 已知 的大 数 据数据 库 虽然数 据 量庞 大