大数据研究综述
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第１ ５ 卷 第１ ２ 期
２ ０ １ ６ 年１ ２ 月
软 件 导 刊
Ｓｏ ｆ ｔ ｗａ ｒ ｅ Ｇｕ ｉ ｄ ｅ
Ｖｂ１ ．１ ５ Ｎｏ．１ ２
Ｄｅ ｅ． ２Ｏ１ ６
大 数 据 研 究 综 述
卿 勇
（ 达 州职业 技 术 学院 ， 四川 达 州 ６ ３ ５ ０ ０ ０ ）
镜计 划 、 Ｉ Ｂ Ｍ Ｗａ ｓ ｔ ｏ ｎ等 项 目 。２ ０ １ ３年 ， 我 国 开 始 进 行 大 数 据 专项 研 究 ， ２ ０ １ ４年 ， 国 内主 要 互 联 网公 司 已 将 大 数 据 应用 于相关业 务 中， 取 得 了 巨 大 的 经 济 和 社 会 效 益 。 同 年， 清 华 大学 开设 了 大 数 据 相 关 课 程 ， 正 式 开 启 了培 养 大 数据领域专业人 才的序幕。 大数 据 作 为一 个 新 兴 的技 术 门类 ， 已 经 渗透 到 国 民 经 济 各 个 领 域 。 大数 据 为人 类 带 来 了无 限 的 机 遇 和挑 战 ， 是
Ｖｅ ｒ ａ ｃ ｉ ｔ ｙ ， Ｖａ ｌ ｕ ｅ ） 涵 盖 了 ５个 层 面 。
（ １ ） 数据量大（ Ｖｏ ｌ ｕ ｍｅ ） 。此 为 大 数 据 最 明 显 的 特 点 ， 从传 统 的 ＭＢ、 ＴＰ跃 升 至 Ｐ Ｂ或 更 高 的 ＥＢ， Ｚ Ｐ级 别 。数
美 国 政 府 耗 费 巨资 投 人 大 数 据 技 术 研 究 ， 颁 布 了《 大 数据研究和发展计划》 ， 目标 是 通 过 大 数 据 技 术 实 现 感 知 、
０ 引 言
在 数 据 量 以几 何 级 数 方 式 迅 猛 增 长 的今 天 ， 随着 物 联
工 具 项 目（ ＶＩ ＲＡＴ 项 目） 等 。为实 现决 策优化 ， 美 国 还 进
行 了数 据 可 视 化 、 信 息 安 全 与 大 数 据 结 合 等 方 面 的综 合 研 究， 建 立 大 数 据 中心 ， 对各 类 大数据进 行整 合、 分析 ， 并向
一
１ 国 内外 研 究 现 状
信 息 与 网络 的 飞 速 发 展 ， 信息 量大量 增长 ； 计 算 机 硬 件 成 本 逐 渐 降低 ， 使得 昂贵 的数据存 储 和处理 变得 经济 。
谷 歌 的 Ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ 、 ＧＦ Ｓ和 Ｂ ｉ ｇ Ｔａ ｂ ｌ ｅ等 核 心 技 术 引 起 了 雅虎 、 Ｆ ａ ｃ ｅ ｂ ｏ ｏ ｋ等 互联 网 公 司 的 注 意 ， 为 目前 应 用 最 广 泛 的开 源 大 数 据 框 架 Ａｐ ａ ｃ ｈ ｅ Ｈａ ｄ ｏ ｏ ｐ的 诞 生 奠 定 了 基 础 。 联 合 国发 布 的《 大数据促进发展 ： 挑战与机遇 》 大 数 据 政 务
有的数据库管理工具难 以进行 数据 快速获 取 、 存储 、 检 索 等 操 作 。通 过 对 大 数 据 的 抓 取 、 管理 和处理 ， 挖 掘 出 有 价 值的数据或信 息 ， 可 以极 大 地 提 升 数 据 的 有 效 率 和 利 用
率。
目投 入 使 用 ， 如 Ｆ ａ ｃ ｅ ｂ ｏ ｏ ｋ开 发 的 社 交 图 谱 数 据 、 Ｎ Ｓ Ａ 棱
据量 的 大小 决 定 数 据 价 值 和 潜 在 信 息 ， 数 据 表 示 各 种 业 务
活动 ， 推 动 社 会 与企 业 共 同 进 步 。 。 。 （ ２ ） 处 理速度快 （ Ｖｅ ｌ ｏ ｃ ｉ ｔ ｙ ）百度文库。在 数 据 量 飞 速 增 长 的 同
认 知和预测支持的结合 ， 增 强信 息提取 分析 、 情 报 获 取 和 对 目标 的 洞察 能 力 ， 培 养该 领 域 的技 术 人 才 。 投 入 １ ５ ５ 个
关键词 ： 大数据 ； 三 网 融合 ； 关 键 技 术
ＤＯ Ｉ ： １ ０ ． １ １ ９ ０ ７ ／ ｒ ｊ ｄ ｋ ． １ ６ １ ８ ３ ４
中图分类号 ： ＴＰ ３ ０ １
文献 标 识 码 ： Ａ
文章编号 ： １ ６ ７ ２ — ７ ８ ０ ０ （ ２ ０ １ ６ ） ０ １ ２ — ０ １ ７ ５ － ０ ２ 的编 程 计 算 项 目（ Ｐ ＲＯＣＥ ＥＤ项 目） 、 视 频 与 图像 检 索 分 析
白皮 书 指 出 ， 大 数 据 对 人 类 而 言 是 一 个 历 史 性 的挑 战 和 机
遇。
场 即将 改 变未 来 的信 息 革命 。
２ 大 数 据 特 点
大 数 据 无 法 使 用 传 统 数 据 库 工 具 对 其 内容 进 行 处 理 ，
具 有 传 统 数 据 所 不 具 备 的特 点 ， 见表 １ 。 大数据 定 义 的 ５ Ｖ特征（ Ｖｏ ｌ ｕ ｍｅ ， Ｖｅ ｌ ｏ ｃ ｉ ｔ ｙ ， Ｖａ ｒ ｉ ｅ ｔ ｙ ，
相关领域提供大数据分析产 品。 我国大数据应用还处于起步阶段 ， 但 已有 国 际 知 名 项
网数 据 感 知 、 云计算数 据计算 、 三 网融 合 以 及 移 动 互 联 网
的迅 速 发 展 ， 数据增长快 、 数据 类型 多 、 价值 密度 低 ， 大 量
的 数 据 信 息 已不 能 以传 统 的计 量 单 位 （ Ｇ Ｂ和 Ｔ Ｂ ） 来衡 量 ， 产生更为巨大 的计量 单位 ， 如Ｐ Ｂ 、 Ｅ Ｂ 、 Ｚ Ｂ 、 Ｙ Ｂ等 ， 使 用 现
摘 要 ： 信 息技 术 的 迅 速 发 展 ， 促使 物 联 网 、 云计算、 移 动 互 联 网 三 网 融合 ， 并衍 生 出 海 量 数 据 ， 大 数 据 时 代 已悄 然 来
临 。 以几 何 倍 数 增 长的 数 据 如 何 高效 率地 采 集 、 处理 、 挖 掘 是 大 数 据 领 域 亟 待 解 决 的 关键 问题 。 阐 述 了 大 数 据 的 定 义、 国 内外研 究现 状及 特 点 、 大数 据 的 关键 技 术 ， 提 出 了 大数 据 的发 展 趋 势 。
２ ０ １ ６ 年１ ２ 月
软 件 导 刊
Ｓｏ ｆ ｔ ｗａ ｒ ｅ Ｇｕ ｉ ｄ ｅ
Ｖｂ１ ．１ ５ Ｎｏ．１ ２
Ｄｅ ｅ． ２Ｏ１ ６
大 数 据 研 究 综 述
卿 勇
（ 达 州职业 技 术 学院 ， 四川 达 州 ６ ３ ５ ０ ０ ０ ）
镜计 划 、 Ｉ Ｂ Ｍ Ｗａ ｓ ｔ ｏ ｎ等 项 目 。２ ０ １ ３年 ， 我 国 开 始 进 行 大 数 据 专项 研 究 ， ２ ０ １ ４年 ， 国 内主 要 互 联 网公 司 已 将 大 数 据 应用 于相关业 务 中， 取 得 了 巨 大 的 经 济 和 社 会 效 益 。 同 年， 清 华 大学 开设 了 大 数 据 相 关 课 程 ， 正 式 开 启 了培 养 大 数据领域专业人 才的序幕。 大数 据 作 为一 个 新 兴 的技 术 门类 ， 已 经 渗透 到 国 民 经 济 各 个 领 域 。 大数 据 为人 类 带 来 了无 限 的 机 遇 和挑 战 ， 是
Ｖｅ ｒ ａ ｃ ｉ ｔ ｙ ， Ｖａ ｌ ｕ ｅ ） 涵 盖 了 ５个 层 面 。
（ １ ） 数据量大（ Ｖｏ ｌ ｕ ｍｅ ） 。此 为 大 数 据 最 明 显 的 特 点 ， 从传 统 的 ＭＢ、 ＴＰ跃 升 至 Ｐ Ｂ或 更 高 的 ＥＢ， Ｚ Ｐ级 别 。数
美 国 政 府 耗 费 巨资 投 人 大 数 据 技 术 研 究 ， 颁 布 了《 大 数据研究和发展计划》 ， 目标 是 通 过 大 数 据 技 术 实 现 感 知 、
０ 引 言
在 数 据 量 以几 何 级 数 方 式 迅 猛 增 长 的今 天 ， 随着 物 联
工 具 项 目（ ＶＩ ＲＡＴ 项 目） 等 。为实 现决 策优化 ， 美 国 还 进
行 了数 据 可 视 化 、 信 息 安 全 与 大 数 据 结 合 等 方 面 的综 合 研 究， 建 立 大 数 据 中心 ， 对各 类 大数据进 行整 合、 分析 ， 并向
一
１ 国 内外 研 究 现 状
信 息 与 网络 的 飞 速 发 展 ， 信息 量大量 增长 ； 计 算 机 硬 件 成 本 逐 渐 降低 ， 使得 昂贵 的数据存 储 和处理 变得 经济 。
谷 歌 的 Ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ 、 ＧＦ Ｓ和 Ｂ ｉ ｇ Ｔａ ｂ ｌ ｅ等 核 心 技 术 引 起 了 雅虎 、 Ｆ ａ ｃ ｅ ｂ ｏ ｏ ｋ等 互联 网 公 司 的 注 意 ， 为 目前 应 用 最 广 泛 的开 源 大 数 据 框 架 Ａｐ ａ ｃ ｈ ｅ Ｈａ ｄ ｏ ｏ ｐ的 诞 生 奠 定 了 基 础 。 联 合 国发 布 的《 大数据促进发展 ： 挑战与机遇 》 大 数 据 政 务
有的数据库管理工具难 以进行 数据 快速获 取 、 存储 、 检 索 等 操 作 。通 过 对 大 数 据 的 抓 取 、 管理 和处理 ， 挖 掘 出 有 价 值的数据或信 息 ， 可 以极 大 地 提 升 数 据 的 有 效 率 和 利 用
率。
目投 入 使 用 ， 如 Ｆ ａ ｃ ｅ ｂ ｏ ｏ ｋ开 发 的 社 交 图 谱 数 据 、 Ｎ Ｓ Ａ 棱
据量 的 大小 决 定 数 据 价 值 和 潜 在 信 息 ， 数 据 表 示 各 种 业 务
活动 ， 推 动 社 会 与企 业 共 同 进 步 。 。 。 （ ２ ） 处 理速度快 （ Ｖｅ ｌ ｏ ｃ ｉ ｔ ｙ ）百度文库。在 数 据 量 飞 速 增 长 的 同
认 知和预测支持的结合 ， 增 强信 息提取 分析 、 情 报 获 取 和 对 目标 的 洞察 能 力 ， 培 养该 领 域 的技 术 人 才 。 投 入 １ ５ ５ 个
关键词 ： 大数据 ； 三 网 融合 ； 关 键 技 术
ＤＯ Ｉ ： １ ０ ． １ １ ９ ０ ７ ／ ｒ ｊ ｄ ｋ ． １ ６ １ ８ ３ ４
中图分类号 ： ＴＰ ３ ０ １
文献 标 识 码 ： Ａ
文章编号 ： １ ６ ７ ２ — ７ ８ ０ ０ （ ２ ０ １ ６ ） ０ １ ２ — ０ １ ７ ５ － ０ ２ 的编 程 计 算 项 目（ Ｐ ＲＯＣＥ ＥＤ项 目） 、 视 频 与 图像 检 索 分 析
白皮 书 指 出 ， 大 数 据 对 人 类 而 言 是 一 个 历 史 性 的挑 战 和 机
遇。
场 即将 改 变未 来 的信 息 革命 。
２ 大 数 据 特 点
大 数 据 无 法 使 用 传 统 数 据 库 工 具 对 其 内容 进 行 处 理 ，
具 有 传 统 数 据 所 不 具 备 的特 点 ， 见表 １ 。 大数据 定 义 的 ５ Ｖ特征（ Ｖｏ ｌ ｕ ｍｅ ， Ｖｅ ｌ ｏ ｃ ｉ ｔ ｙ ， Ｖａ ｒ ｉ ｅ ｔ ｙ ，
相关领域提供大数据分析产 品。 我国大数据应用还处于起步阶段 ， 但 已有 国 际 知 名 项
网数 据 感 知 、 云计算数 据计算 、 三 网融 合 以 及 移 动 互 联 网
的迅 速 发 展 ， 数据增长快 、 数据 类型 多 、 价值 密度 低 ， 大 量
的 数 据 信 息 已不 能 以传 统 的计 量 单 位 （ Ｇ Ｂ和 Ｔ Ｂ ） 来衡 量 ， 产生更为巨大 的计量 单位 ， 如Ｐ Ｂ 、 Ｅ Ｂ 、 Ｚ Ｂ 、 Ｙ Ｂ等 ， 使 用 现
摘 要 ： 信 息技 术 的 迅 速 发 展 ， 促使 物 联 网 、 云计算、 移 动 互 联 网 三 网 融合 ， 并衍 生 出 海 量 数 据 ， 大 数 据 时 代 已悄 然 来
临 。 以几 何 倍 数 增 长的 数 据 如 何 高效 率地 采 集 、 处理 、 挖 掘 是 大 数 据 领 域 亟 待 解 决 的 关键 问题 。 阐 述 了 大 数 据 的 定 义、 国 内外研 究现 状及 特 点 、 大数 据 的 关键 技 术 ， 提 出 了 大数 据 的发 展 趋 势 。