大数据挖掘与分析的关键技术研究

２ ． ２ 大数据 挖掘 与 分析 的意 义
随 着 互联 网 、 云 计 算 以及 物 联 网 的发 展 ， 以及 计 算 技 术不 断创 新 ． 人 们 在 对 于 互联 网、 云 计 算 以及 物 联 网 的 发 展 ， 以及 计 算技 术 所 产 生 的数 据 在 做 分析 的 时 候 ，对 于 大 数 据 这 项 技 术 的 应 用 的依 赖 性 越 来越 强 烈 。 众所周知 ， 大数 据这 项技 术的 产 生是 在 分 析 数 据 的过 程 中 产 生 的 ， 所 以 毫 无 疑 问大 数 据 工 作 的核 心 是 对 数 据 进 行 分析 ． 以 此 可 以从 这 些 数 据 中得 到 更 有 价 值 的 信 息 和 更 为 准 确 以及 更 为深 层 次 的知 识 。 通 过 大 数 据 获 得 有 价 值 的 信 息可 以是 一 个 企业 管理 者进 行 决 策 的 重 要 因素 。同 时这 些信 息还 可 以 让 管 理 者 发 现 自 己本 行 业 之 中许 多潜 在 的发 展 空 间与 价 值 。这 对 于 企 业 的 发展 来说 是 十 分 重 要 的 。同时 间接 对社 会 与 国 家的 发 展 来 说 也 是 非 常 有 意 义 的 。
提升。 如 果没 有 一 项 技术 来 对 这 些数 据 来 进 行 一 些有 效 的 处理 的话 ， 就会 有 可 能 给 互联 网、 云计 算 以及 物联 网 的发展 造 成 许 多 不好 的影 响。 在 这 种 背景 下 ， 大 数据 因 为 自身 拥 有数 据 体 量 巨 大 、 数 据 类 型繁 多、 价 值 密度 低 以及 处理 速 度 快 等特 点 ， 成 为 了互 联 网 、 云计 算 以及 物 联 网研 究 的重 点 。
巨大 、 数 据 类 型繁 多 、 价 值 密度 低 以及 处 理 速 度 快 等 特 点 可 以
很 好 的 解 决 这 一 问 题
２ 大数据
人 们 目前 的 生 活 、 学习、 工作 以及 企 业 的 正 常 运 作 已经 离 不 开 大 数 据 这 项技 术 的 支 持 了。 换 句话 说 ． 大数 据 已 经 渗透 我 们 生 活 中的 方 方 面 面 ． 在 我 们 的 生 活 中起 着 至 关 重要 的 作 用 。 所 以 了解 大 数 据 已经 是 我 们 每 一 个 学 习与 计 算 机 专 业 有 关 的
在 日常 生 活 中 ， 人 们 所 用到 的各 种 移 动 端 手 机 Ａ Ｐ Ｐ ， 社 交 网络 、 传 感 网络 、 电 商 网络 以及 各 种 的 移 动 设 备 都 有 可 能 随 时
随 地 产 生 大量 的 各 种 类 型 的数 据 。 这 个 人 们 日常使 用 的 网 络 环 境 的 使 用 造 成 了 不 小 的 压 力 但 是 利 用 大 数 据 的 数 据 体 量
学 生 都 必 须 要 知 道 的 知识 之 一
３ 大数据挖掘 与分析 的关键 技术研 究
大 数 据 挖 掘 与 分 析 的 关键 技 术研 究 一般 都 包括 了大 数 据
２ ． １ 大数 据 的定 义与 特征
大数 据 预 处理 、 大数据存储及管理 、 大 数 据 实时 处 理 、 大 大 数 据 并 不 是 简 单 对 人 们 所 用 到 的 各 种 移 动 端 手 机 采 集 、 其 中每 项 技 术 都 是 大数 据 工 Ａ Ｐ Ｐ ， 社 交 网络 、 传感 网络 、 电 商 网络 以 及 各 种 的 移 动 设 备 所 数 据 可 视 化 和 应 用 等 几 个 方 面 作 时必 不 可 少的 一 项 作 业 ， 大数 据 的 采 集 一般 都 是 通过 感 知 产 生 的 大 量 的数 据进 行 统 计 与 分 析 ． 而是 将 人 们 所 用 到 的 各 感知 、 适配 、 传输、 接入 。与此同 种 移动 端手机 Ａ Ｐ Ｐ， 社 交 网络 、 传 感 网络 、 电 商 网 络 以及 各 种 层 来 进 行 对 大数 据 源 的 识 剐 、 时 大数 据 服 务 平 台所 需 的 虚 拟 服 务 器 、数 据 库 及 物联 网 络 资 的 移 动 设备 产 生 的 巨大 到 无 法 通 过 目前 主 流 的 软 件 工 具 的 所 涉及 数 据 规 模 在 合 理 的 时 间 内进 行 撷 取 、 管理、 处理 、 挖掘 ， 最 源 等 处 理技 术 则是 由基 础 支 持 层 来 提 供 的 。 完成 了 大数 据 的 接 下 来 的 工作 就 是 对 大数 据 的 预 处 理 。 这 项技 术 在 完 成 后 将这些经过撷 取 、 管理 、 处理 、 挖 掘 的 数 据 规 模 整 理 成 为 企 采 集 ． 通 常会 用 到 的 方 法 有 数 据 清 理 、 数 据 业 经 营 决策 有 用 的信 息 大 数 据 工 作 的核 心 是 在 各 种 移 动 端 大 数 据 的 预 处 理 的 时 候 ，
给 人 们 生 活 带 来 的 便 利 性 这 一 点也 是 无 法 忽 视 的 重 要 原 因之
一
大、 数 据 类 型 繁 多、 价值 密度 低 以 及 处 理 速 度 快 。 随 着人 们 生 活 节 奏 的 不 断 变快 ， 可 以看 出大 数 据 在 我 们 的 生 活 中受 到 广
泛 的 应 用是 社 会 发 展 必 然的 结 果
【 关键 词 】 研究 ； 关键技术 ； 大数据 ； 挖掘与分析
【 ￣１ ］ ｉ ｔ 分类号 】 Ｔ Ｐ ３ １ １ ． １ ３
【 文献标识Leabharlann Baidu 】 Ａ
【 文章编号 】 １ ０ ０ ６ — ４ ２ ２ ２ ｛ ２ ０ １ ７ ） １ ７ — ０ ０ ５ ５ — ０ ２
１ 前 言
当今 社 会 已经 是 大数 据 的社 会 ，这 是 因 为 随 着全 球 互联 网 、云 计 算 以及 物 联 网在 人 们 日常 生 活 中不 断普 及 以及 他 们
２ ０ １ ７年 ９月上
通信设计与应用 ５ ５
大 数 据 挖 掘 与分 析 的关键 技 术研 究
曹存 洋 （ 南京南瑞集团公司， 江苏 南京 ２ １ １ １ ０ ６ ）
【 摘 要 】 随着经济 的不断发展 ， 我 国互联 网、 云计算 以及物联 网的发展越来越迅速 ， 这就使得数据量不 断增 加而且他 的增长速度也在 不断地