大规模文本数据的存储方法研究

随着 互联 网 、物 联 网 、云计算 等新 兴技 术 的发展 ， 以微 博 、微 信 等社 交 网络 为代 表 的 新 型信 息 发布 方 式 的不 断 涌 现 ，加 之移 动 互 联 网 、 电子商 务 应 用 的快 速 普及 ，数据 的产 生 不 再局 限 于特 定 的时 间 、地 点 ，全 球 数据 正 在 以前 所 未 有 的速 度 不 断 累积 。正 如 国际数 据 公司 （ Ｉ Ｄ Ｃ ）的研 究报 告 … 所称 ， 自 ２ ０ １ ０年数 据量 就 已超过 ｚ Ｂ数量 级 （ １ Ｚ Ｂ ＝ １ ０亿 Ｔ Ｂ ），这 正标 志着 大 数 据 时代 的到 来 。大 数据 环 境 下 ，数 据 形 式更 加 多 源 化， 其 中文 本数 据作 为非 结构 化数 据 的一种 表现 形 式 ， 充斥 在 互联 网 中，并 出现 了数 据 爆 炸 的现 象 ，因此 ， 对 这 一 类数 据 进 行有 效 存储 是 数 据 分析 和 挖 掘 的首 要
作繁忙，对 Ｂ Ｉ Ｍ认识不够深入，对 Ｂ Ｉ Ｍ开展业务 的方法掌 从而提高车站建设的工程质量 ，降低成本 ，缩短工期 ，增 握不够透彻，导致专业水平高的 Ｂ Ｉ Ｍ 技术人才十分匮乏。 针对 以上地铁车站中应用 Ｂ Ｉ Ｍ所遇到的障碍 ，提出如
下解 决 措 施 ，见表 ２ 。
表２ Ｂ Ｉ Ｍ用 于 地铁 车 站 建 设 的 障碍 及 解 决 措 施
程 ， ２ ０ １ ２ ，（ ８ ） ： ３ ３ — ３ ４ ．
软 件 兼 容 性 够地 铁 行 业 成 立 Ｂ Ｉ Ｍ 研 发 团 队 ， 开 发 本 土 化 程 度 高 的 Ｂ Ｉ Ｍ 软 件
前 期 投 入 大
确 。 姗 定 需 枷 硼 提 供 使 用 阱 臌术
２ ． ４ Ｂ Ｉ Ｍ 人才紧缺。Ｂ Ｉ Ｍ发展迅速 ，是建筑业技术上 的 样复杂的工程，Ｂ Ｉ Ｍ可 以帮助企业对车站做 出更加科学 的
一
Baidu Nhomakorabea
次革命 ，许 多专业人员习惯 于之前 的业务流程，加之工 规划、更加合理的设计 ，优化施工组织，改善运 营管理 ， 强乘客 的安全感和舒适性。但 目前我 国大陆地区地铁车站 建设中 Ｂ Ｉ Ｍ的应用还处于初级阶段 ，其推广普及还面临一 些 问题 ，需从尽快制定标准体系、开发本土化程度高的软
要 求。通过 实际应用为例，对存储方法进行 了验证 。 【 关键词 】大数据 ；文本数据 ；数据存储 ；非 关系型数据库
【 中图分类号 】Ｔ Ｐ ３ ９ １ ． １
１ 引 言
【 文献标识码 】Ａ
【 文章编号 】１ ０ ０ ９ － ５ ６ ２ ４（ ２ Ｏ １ ７ ）０ ４ － ０ ０ ６ ０ － ０ ５
前提 。
大 数 据 环 境 下 ， 传 统 的 数 据 存 储 方 法 与 软 件 工
下完 成 海 量 数据 的计 算 、 处理 等 工 作 ，但 传 统 数 据库 的存 储 能 力 与 响应 速 度 仍制 约 着 大 数据 处 理 能 力 的 发 展 。 因此 ，如 何 突破 传 统关 系 型 数 据库 在 大 数 据 环 境 下 的束缚 ，成为 大数 据研 究 的另 一个 热 点 问题 。 非关 系 型 数 据 库 ， 即 Ｎ Ｏ Ｓ Ｑ Ｌ ，是 在 关 系型 数 据 库 的基 础上 发 展 产 生 的 ，能 够 为 大规 模 文 档 数据 的存 储 提 供有 效 解 决方 案 。Ｎ Ｏ Ｓ Ｑ Ｌ是 在 关系 型 数据 库 广泛 应 用 的基 础 上 产 生 的 ，特 别 是 Ｗ ｅ ｂ ２ ． ０时代 ，对 数 据 存 储 提 出 了更 高 的要 求 ， 关系 型 数 据 库在 数 据 存 储 方 面 表现 的不 足 ，正极 大 程度 的促 进 了 Ｎ Ｏ Ｓ Ｑ Ｌ数 据库 产 品
具 已 经 难 以有 效 的 对 数 据 集 合 进 行 快 速 存 储 与 管 理 ， 这 也 就 为 数 据 的 存 储 与 管 理 提 出 了新 的 任 务 。 Ｈ ａ ｄ ｏ ｏ ｐ分布 式 文件 系统 （ Ｈ ａ ｄ ｏ ｏ ｐ Ｄ ｉ Ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ Ｆ ¨ｅ Ｓ ｙ ｓ ｔ ｅ ｍ ，Ｈ Ｄ Ｆ Ｓ ）和 Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ技 术可 以在 大 数据 环境
二 三 二 垂 重 堡
料２ ０ １ ７ ｇ － ４ 月第 １ ８ ｇ＞ ａ ４ 期
大规 模文本数据的 存储 方法研 究
张 金 松 ，张 一 进
（ １大连 海 事 大 学 交通 运 输 管 理 学 院 辽 宁 大连 １ １ ６ ０ ２ ６） （ ２东北 财 经 大 学 工 商 管 理 学 院 辽 宁 大连 １ １ ６ Ｏ ２ ６ ） 【 摘要 】本文 以大规模文本数据作 为研 究对 象，在对非关 系型数据库进行对比后 ，采用关 系型 与非关系型数据库 整 合 的方案存储 大规模文 本数据 ，并将这一方案在 Ｊ Ａ Ｖ Ａ 髓 架构 中，以文本数据作 为对 象进行应 用 ，从 而满足数据存 储的
件、合理分摊前期投入 、培养 Ｂ Ｉ Ｍ 人才等方面为地铁车站 Ｂ Ｉ Ｍ 应用清除障碍 ，使地铁 车站建 设进入工业化和信息化
发 展之 路 。
障 碍
解 决 措 施
缺 乏 标 准 国 家 主 导 建 立 一 套 完 善 的 Ｂ Ｉ Ｍ 体 系
【 参考文献 】
［ １ 】 任 江 ，郭娜 ， 钟 崇光 ． Ｂ Ｉ Ｍ 技 术在城市地下 空间开发 利用之 应 用初探 ［ Ｊ ］ ．土木 建筑＿ Ｔ － 程信 息技术 ， ２ ０ １ ３ ， ５ （ ３ ） ， ９ ３ － ９ ６ ． ［ ２ ］张 泳 ．建 筑 信 息 模 型 （ Ｂ Ｉ Ｍ ）的 概 念 框 架 ［ Ｊ ］ ．价 值 工