大数据的时代背景、系统实现及关键技术解析
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收 稿 日期 ：２０１８－０５－０６ 基金项 目：西安市社会科 学基金项 目（２０１８ＺＤＺＴ１９） 作者 简介 ：魏建琳 （１９６７一 ），男 ，陕西西 安人 ，西安 文理学院 图书馆 副研究 馆员 ，主要 从事 图书馆学 与信 息技术研究
第 ５期
魏 建琳 ．大数 据 的 时代 背景 、系统 实现及 关键技 术解 析
大 数 据 的 时代 背景 、系统 实 现 及 关 键 技 术 解 析
魏 建琳
（西安文理 学院 图书馆 ，西安 ７１００６５）
摘 要 ：从 ｒｒ基本常识 出发对大数据 的时代 背景 、系统 实现及关键技术 做一 简单梳理 与解析 ．大数
据是 超出了传统数据库 管理工具抓取 、存储 、管理和分析 能力 的数据 群．大数据 存储 与处理 的危 机推动
第 ２１卷 第 ５期 ２０１８年 ９月
西安 文理 学 院学报 （自然科 学版 ） Ｊｏｕｒｎａｌ ｏｆ Ｘｉ’ａｎ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ）
文章编号 ：１００８－５５６４（２０１８）０５－００５４－０４
Ｖｏ１．２１ Ｎｏ．５ Ｓｅｐ．２０１８
“大数据时代 ”翩然而至 ，成为本世纪继云计算 、物联 网后 又一次颠覆性 的技术变革 ，对 国家、企业 、 团体 、个人都 已经或将要产生巨大影响．面对汹涌澎湃的大数据浪潮 ，笔者拟从时代背景与技术实现两 个维 度对 大 数据 的基 础 知识— — 概念 （Ｗｈａｔ）、理 由（Ｗｈｙ）以及 方 式方 法 （Ｈｏｗ）做一 简单 梳 理与 解析 ．
Ａｂｓｔｒａｃｔ：Ｓｔａｒｔｉｎｇ ｆｒｏｍ ｔｈｅ ｂａｓｉｃ ｋｎｏｗｌｅｄｇｅ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ（ＩＴ），ｔｈｅ ｂａｃｋｇｒｏｕｎｄ，
ｓｙｓｔｅｍ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ ｋｅｙ ｔｅｃｈｎｏｌｏｇｉｅｓ ｏｆ ｂｉｇ ｄａｔａ ａｒｅ ｂｒｉｅｆ ｌｙ ｃｏｍｂｅｄ ａｎｄ ａｎａｌｙｚｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｂｉｇ ｄａｔａ ｉｓ ａ ｄａｔａ ｂａｓｅ ｔｈａｔ ｉｓ ｂｅｙｏｎｄ ｔｈｅ ａｂｉｌｉｔｙ ｔｏ ｇｒａｂ，ｓｔｏｒｅ，ｍ ａｎａｇｅ，ａｎｄ ａｎａｌｙｚｅ ｂｙ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｄａｔａｂａｓｅ ｓｏｆｔｗａｒｅ ｔｏｏｌｓ． Ｔｈｅ ｃｒｉｓｉｓ ｏｆ ｓｔｏｒａｇｅ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｂｉｇ ｄａｔａ ｈａｓ ｐｒｏ— ｍｏｔｅｄ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍ ｅｎｔ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｆｏ ｒ ｂｉｇ ｄａｔａ， ａｎｄ ｔｈｅ ｓｙｓｔｅｍ ｒｅａｌ ｉｚａｔｉｏｎ ｓｃｈｅｍｅ ｏｆ ａｃｑｕｉｓｉｔｉｏｎ，ｐｒｏｃｅｓｓｉｎｇ，ｓｔｏｒａｇｅ ａｎｄ ａｎａｌｙｓｉｓ ｏｆ ｂｉｇ ｄａｔａ ｉｓ ｂｅｃｏｍｉｎｇ ｍｏｒｅ ｍ ａｔｕｒｅ． Ｍ ａｐＲｅｄｕｃｅ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｅｖｅｒｙ ｌｉｎｋ ｏｆ ｂｉｇ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ，ａｎｄ ｉｔ ｉｓ ｔｈｅ ｋｅｙ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｏｌ－ ｏｇ ｙ ｏｆ ｂｉｇ ｄａｔａ．
５５
１ 信 息 化 发 展 演 变 视 阈下 大 数 据 的再 审 视
wk.baidu.com
什 么 足大数据 ？ 为什 么 研 究 大数 据？ 时此 ，ＩＴ行业 做 ｒ精 确 的界 定 与 的解 释 ．２０１ １ ， 麦 锡 （Ｍ ｃ·Ｋｉｎｓｅｙ＆ Ｃｏｍｐａｎｙ）将 大数 据定 义为“大 小超 ｊｊ Ｊ 传统 数撕 库 软 件 Ｉ 具 的抓收 、存储 、僻 ｆ１ｊ 分析 能 力的数 据群 ” ．随 ，ＩＢＭ公 司 慨 括 ｒ大数 据 的 ■大 特点 —— 大 量 化 （Ｖｏｈｍ ）、多样 化 （Ｖａｒｉｅ— ｔｙ）和快 速化 （Ｖｅｌｏｃｉｔｙ）． 笔 行拟 住此 基 础 联 系信息 化 发展 演 变 的 具体 讲 境 Ｊ这 『从ｊ个命 题进 ｉ川 ｒ 审 视 ，以做 出更通 俗 的 闸释 解析 ．
着 大数据处理技术 的飞速发展 ，大数 据采集 、处理 、存储 、分析 的系统实 现方案 Ｅｔ渐 成熟．ＭａｐＲｅｄｕｃｅ应
用 于大数据处理 的各个 环节 ，是大数据处理 的关键技 术．
关键词 ：大数据 ；ＩＴ；采集 ；处理 ；存储 ；分析 ；ＭａｐＲｅｄｕｃｅ
中图 分 类 号 ：ＴＰ２７４
Ｋｅｙ ｗｏｒｄｓ：ｂｉｇ ｄａｔａ；ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ（ＩＴ）；ｃｏｌｌｅｃｔｉｏｎ；ｐｒｏｃｅｓｓｉｎｇ；ｓｔｏｒａｇｅ；ａｎａｌｙｓｉｓ；
Ｍ ａｐＲｅｄｕｃｅ
２０１１年 ５月 ，国际著 名 咨询 公 司麦 肯 锡 （ＭｃＫｉｎｓｅｙ＆ Ｃｏｍｐａｎｙ）预 言 ，人 类 将 步入 一 个 “大 数 据 时 代 ” ．短 短几 年 间 ，信 息技 术 的 飞速 发展 已让 预 言 成 为 现 实 ．大 数 据 不仅 受 到 普 遍 关 注 成 为 国际 流 行 的热 门话题 ，而且相关技术不断取得突破促使新产品新项 目大量涌现 ，更重要 的是大数据 已应用于各行 各业 ，成 为政 府 、企业 、社 会组 织 以至 于个 人 的重 要生 产组 织 决策 资 源．
２（）ＩＩｊ＝纪 中叶 ，人类 迈 入 ｒ信息 时代 ．随 着 汁算机 的发 明 和应 川 ，信 息 的 ７Ｒ载 从 “ｉ 、ｉ‘’’剑 “文 ：”，逃 发腱 刮 ｒ“数据 ”．“数 捌 ”址客 观事 物 的符 Ｉ＝｝化 衷示 ，二进 制 的 发 ｌ｛ 』Ｊ实现 了数 物 机 器 【１１的 表达 、 ｉＩ 算 和传 输 ，数据 【ＪＪ 输 入 汁算 机 ，被计 算 机 序 解 和处 理 ，这样 利 川 汁算 机 强大 的 汁钟：能 力，人 类埘数 据 得 以 效 的管理 与 发￣ｌＪｌＪ．经过 近 个 ＩＩＩ：ｆｄ．（ｉ＇ ．ｊ探 索 ，人类 以计 博 饥 为 １ 具 箭 数 从依 赖“特仃 Ｊ ”剑 “文件 系统 ”管理 ，｛｛ｆ刽“数 据 库管删 系统 ”， 本 实现 了数据 的快 速组 织 、仃储 币¨ 取．以 ｉ｝ 机 为 ｌ 僻川 数据 ／ｆ 仪提 丁 Ｊ， 息 描述 的精 确性 ， 扩大 Ｊ 信 息 传递 的 广泛性 ，信启、 越 米越 广阔 的 发 挥 符越 米越重 要 的作 川．
文 献 标 志码 ：Ａ
Ａｎａｌｙｓｉｓ ｏｆ Ｈｉｓｔｏｒｉｃａｌ Ｂａｃｋｇｒｏｕｎｄ，Ｓｙｓｔｅｍ Ｉｍ ｐｌｅｍ ｅｎｔａｔｉｏｎ ａｎｄ Ｋ ｅｙ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｂｉｇ Ｄａｔａ
Ｗ ＥＩ Ｊｉａｎ．１ｉｎ
（Ｌｉｂｒａｒｙ，Ｘｉ’ａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ ７１００６５，Ｃｈｉｎａ）
第 ５期
魏 建琳 ．大数 据 的 时代 背景 、系统 实现及 关键技 术解 析
大 数 据 的 时代 背景 、系统 实 现 及 关 键 技 术 解 析
魏 建琳
（西安文理 学院 图书馆 ，西安 ７１００６５）
摘 要 ：从 ｒｒ基本常识 出发对大数据 的时代 背景 、系统 实现及关键技术 做一 简单梳理 与解析 ．大数
据是 超出了传统数据库 管理工具抓取 、存储 、管理和分析 能力 的数据 群．大数据 存储 与处理 的危 机推动
第 ２１卷 第 ５期 ２０１８年 ９月
西安 文理 学 院学报 （自然科 学版 ） Ｊｏｕｒｎａｌ ｏｆ Ｘｉ’ａｎ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ）
文章编号 ：１００８－５５６４（２０１８）０５－００５４－０４
Ｖｏ１．２１ Ｎｏ．５ Ｓｅｐ．２０１８
“大数据时代 ”翩然而至 ，成为本世纪继云计算 、物联 网后 又一次颠覆性 的技术变革 ，对 国家、企业 、 团体 、个人都 已经或将要产生巨大影响．面对汹涌澎湃的大数据浪潮 ，笔者拟从时代背景与技术实现两 个维 度对 大 数据 的基 础 知识— — 概念 （Ｗｈａｔ）、理 由（Ｗｈｙ）以及 方 式方 法 （Ｈｏｗ）做一 简单 梳 理与 解析 ．
Ａｂｓｔｒａｃｔ：Ｓｔａｒｔｉｎｇ ｆｒｏｍ ｔｈｅ ｂａｓｉｃ ｋｎｏｗｌｅｄｇｅ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ（ＩＴ），ｔｈｅ ｂａｃｋｇｒｏｕｎｄ，
ｓｙｓｔｅｍ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ ｋｅｙ ｔｅｃｈｎｏｌｏｇｉｅｓ ｏｆ ｂｉｇ ｄａｔａ ａｒｅ ｂｒｉｅｆ ｌｙ ｃｏｍｂｅｄ ａｎｄ ａｎａｌｙｚｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｂｉｇ ｄａｔａ ｉｓ ａ ｄａｔａ ｂａｓｅ ｔｈａｔ ｉｓ ｂｅｙｏｎｄ ｔｈｅ ａｂｉｌｉｔｙ ｔｏ ｇｒａｂ，ｓｔｏｒｅ，ｍ ａｎａｇｅ，ａｎｄ ａｎａｌｙｚｅ ｂｙ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｄａｔａｂａｓｅ ｓｏｆｔｗａｒｅ ｔｏｏｌｓ． Ｔｈｅ ｃｒｉｓｉｓ ｏｆ ｓｔｏｒａｇｅ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｂｉｇ ｄａｔａ ｈａｓ ｐｒｏ— ｍｏｔｅｄ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍ ｅｎｔ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｆｏ ｒ ｂｉｇ ｄａｔａ， ａｎｄ ｔｈｅ ｓｙｓｔｅｍ ｒｅａｌ ｉｚａｔｉｏｎ ｓｃｈｅｍｅ ｏｆ ａｃｑｕｉｓｉｔｉｏｎ，ｐｒｏｃｅｓｓｉｎｇ，ｓｔｏｒａｇｅ ａｎｄ ａｎａｌｙｓｉｓ ｏｆ ｂｉｇ ｄａｔａ ｉｓ ｂｅｃｏｍｉｎｇ ｍｏｒｅ ｍ ａｔｕｒｅ． Ｍ ａｐＲｅｄｕｃｅ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｅｖｅｒｙ ｌｉｎｋ ｏｆ ｂｉｇ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ，ａｎｄ ｉｔ ｉｓ ｔｈｅ ｋｅｙ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｏｌ－ ｏｇ ｙ ｏｆ ｂｉｇ ｄａｔａ．
５５
１ 信 息 化 发 展 演 变 视 阈下 大 数 据 的再 审 视
wk.baidu.com
什 么 足大数据 ？ 为什 么 研 究 大数 据？ 时此 ，ＩＴ行业 做 ｒ精 确 的界 定 与 的解 释 ．２０１ １ ， 麦 锡 （Ｍ ｃ·Ｋｉｎｓｅｙ＆ Ｃｏｍｐａｎｙ）将 大数 据定 义为“大 小超 ｊｊ Ｊ 传统 数撕 库 软 件 Ｉ 具 的抓收 、存储 、僻 ｆ１ｊ 分析 能 力的数 据群 ” ．随 ，ＩＢＭ公 司 慨 括 ｒ大数 据 的 ■大 特点 —— 大 量 化 （Ｖｏｈｍ ）、多样 化 （Ｖａｒｉｅ— ｔｙ）和快 速化 （Ｖｅｌｏｃｉｔｙ）． 笔 行拟 住此 基 础 联 系信息 化 发展 演 变 的 具体 讲 境 Ｊ这 『从ｊ个命 题进 ｉ川 ｒ 审 视 ，以做 出更通 俗 的 闸释 解析 ．
着 大数据处理技术 的飞速发展 ，大数 据采集 、处理 、存储 、分析 的系统实 现方案 Ｅｔ渐 成熟．ＭａｐＲｅｄｕｃｅ应
用 于大数据处理 的各个 环节 ，是大数据处理 的关键技 术．
关键词 ：大数据 ；ＩＴ；采集 ；处理 ；存储 ；分析 ；ＭａｐＲｅｄｕｃｅ
中图 分 类 号 ：ＴＰ２７４
Ｋｅｙ ｗｏｒｄｓ：ｂｉｇ ｄａｔａ；ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ（ＩＴ）；ｃｏｌｌｅｃｔｉｏｎ；ｐｒｏｃｅｓｓｉｎｇ；ｓｔｏｒａｇｅ；ａｎａｌｙｓｉｓ；
Ｍ ａｐＲｅｄｕｃｅ
２０１１年 ５月 ，国际著 名 咨询 公 司麦 肯 锡 （ＭｃＫｉｎｓｅｙ＆ Ｃｏｍｐａｎｙ）预 言 ，人 类 将 步入 一 个 “大 数 据 时 代 ” ．短 短几 年 间 ，信 息技 术 的 飞速 发展 已让 预 言 成 为 现 实 ．大 数 据 不仅 受 到 普 遍 关 注 成 为 国际 流 行 的热 门话题 ，而且相关技术不断取得突破促使新产品新项 目大量涌现 ，更重要 的是大数据 已应用于各行 各业 ，成 为政 府 、企业 、社 会组 织 以至 于个 人 的重 要生 产组 织 决策 资 源．
２（）ＩＩｊ＝纪 中叶 ，人类 迈 入 ｒ信息 时代 ．随 着 汁算机 的发 明 和应 川 ，信 息 的 ７Ｒ载 从 “ｉ 、ｉ‘’’剑 “文 ：”，逃 发腱 刮 ｒ“数据 ”．“数 捌 ”址客 观事 物 的符 Ｉ＝｝化 衷示 ，二进 制 的 发 ｌ｛ 』Ｊ实现 了数 物 机 器 【１１的 表达 、 ｉＩ 算 和传 输 ，数据 【ＪＪ 输 入 汁算 机 ，被计 算 机 序 解 和处 理 ，这样 利 川 汁算 机 强大 的 汁钟：能 力，人 类埘数 据 得 以 效 的管理 与 发￣ｌＪｌＪ．经过 近 个 ＩＩＩ：ｆｄ．（ｉ＇ ．ｊ探 索 ，人类 以计 博 饥 为 １ 具 箭 数 从依 赖“特仃 Ｊ ”剑 “文件 系统 ”管理 ，｛｛ｆ刽“数 据 库管删 系统 ”， 本 实现 了数据 的快 速组 织 、仃储 币¨ 取．以 ｉ｝ 机 为 ｌ 僻川 数据 ／ｆ 仪提 丁 Ｊ， 息 描述 的精 确性 ， 扩大 Ｊ 信 息 传递 的 广泛性 ，信启、 越 米越 广阔 的 发 挥 符越 米越重 要 的作 川．
文 献 标 志码 ：Ａ
Ａｎａｌｙｓｉｓ ｏｆ Ｈｉｓｔｏｒｉｃａｌ Ｂａｃｋｇｒｏｕｎｄ，Ｓｙｓｔｅｍ Ｉｍ ｐｌｅｍ ｅｎｔａｔｉｏｎ ａｎｄ Ｋ ｅｙ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｂｉｇ Ｄａｔａ
Ｗ ＥＩ Ｊｉａｎ．１ｉｎ
（Ｌｉｂｒａｒｙ，Ｘｉ’ａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ ７１００６５，Ｃｈｉｎａ）