架构大数据：挑战、现状与展望

； ； ； ； ａ ｒ ａ ｌ ｌ ｅ ｌ ｄ ａ ｔ ａ ｂ ａ ｓ ｅ 犓 犲 狑 狅 狉 犱 狊 ｂ ｉ ｄ ａ ｔ ａ ｌ ａ ｒ ｅ ｓ ｃ ａ ｌ ｅ Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ｄ ｅ ｅ ａ ｎ ａ ｌ ｔ ｉ ｃ ｓ ｐ ｇ ｇ ｐ ｐ ｙ 狔 （ ） 主 要 是 并 行 数 据 库 和 系 统 实 现 方 案 Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ｐ ， 进 行 重 新 审 视 期 望 能 为 设 计 满 足 时 代 需 求 的 数 据 引 言 １ 限 于 篇 幅 本 文 主 要 关 注 不 仓 库 系 统 提 供 理 论 参 考 ， ． 数 据 仓 库 实 现 方 案 的 主 体 架 构 及 其 缺 陷 在 最 近 几 ， 最 近 几 年 数 据 仓 库 又 成 为 数 据 管 理 研 究 的 热 同 的 改 进 情 况 点 领 域 主 要 原 因 是 当 前 数 据 仓 库 系 统 面 临 的 需 求 年 依 据 研 究 立 足 点 的 不 同 本 文 将 该 领 ， ， ． 、 ： 、 、 在 数 据 源 的 研 究 归 为 三 大 类 需 提 供 的 数 据 服 务 和 所 处 的 硬 件 环 境 等 域 并 行 数 据 库 并 Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ｐ （ ） ， 方 面 发 生 了 根 本 性 的 变 化 详 见 节 这 些 变 化 行 数 据 库 和 技 术 的 混 合 架 构 其 中 第 三 １ ． １ Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ． ｐ ： 、 是 我 们 必 须 面 对 的 类 研 究 又 细 分 为 并 行 数 据 库 主 导 型 ． Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ｐ ， 、 本 文 在 大 数 据 的 时 代 背 景 下 对 现 有 数 据 仓 库 主 导 型 并 行 数 据 库 和 集 成 型 三 种 本 Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ． ｐ
１ ７ ４ ２
计 算 机 学 报
年 ２ ０ １ １
， ， 文 第 节 分 析 大 数 据 时 代 数 据 仓 库 所 面 临 的 问 题 个 层 次 数 据 源 中 的 数 据 首 先 通 过 工 具 被 抽 取 １ Ｅ Ｔ Ｌ ； ， 及 挑 战 第 节 列 出 大 数 据 时 代 的 数 据 仓 库 平 台 需 到 数 据 仓 库 中 进 行 集 中 存 储 和 管 理 再 按 照 星 型 模 ２ 具 备 的 几 个 重 要 特 性 或 雪 花 模 型 组 织 数 据 ； ， 第 节 到 第 节 就 这 几 个 特 型 然 后 工 具 从 数 据 仓 ３ ５ Ｏ Ｌ Ａ Ｐ ； ， （ ） 性 对 各 类 平 台 进 行 归 纳 分 析 中 读 取 数 据 第 节 对 最 新 研 究 做 库 生 成 数 据 立 方 体 或 者 直 ６ Ｍ Ｏ Ｌ Ａ Ｐ ； （ ） 一 跟 踪 归 纳 访 问 数 据 仓 库 进 行 数 据 分 析 第 节 介 绍 中 国 人 民 大 学 在 大 数 据 分 接 在 大 数 据 ７ Ｒ Ｏ Ｌ Ａ Ｐ ． ； ； ， ： 析 方 面 的 研 究 工 作 第 节 对 未 来 研 究 做 出 展 望 第 时 代 此 种 计 算 模 式 存 在 两 个 问 题 ８ 问 题 节 总 结 全 文 数 据 移 动 代 价 过 高 在 数 据 源 层 和 分 ９ ． １ ． ． 三 个 变 化 ， 析 层 之 间 引 入 一 个 存 储 管 理 层 可 以 提 升 数 据 质 量 １ ． １ （ ） ， ， 数 据 量 由 级 升 至 级 并 仍 在 持 续 并 但 也 付 出 了 较 大 的 数 据 迁 移 针 对 查 询 进 行 优 化 １ ． Ｔ Ｂ Ｐ Ｂ ， ： 根 据 的 调 查 显 示 最 大 的 代 数 据 首 先 通 过 复 杂 且 耗 爆 炸 式 增 长 价 和 执 行 时 的 连 接 代 价 ． Ｗ ｉ ｎ ｔ ｅ ｒ Ｃ ｏ ｒ ｐ ［ ］ １ ， ， 数 据 仓 库 中 的 数 据 量 的 每 两 年 增 加 倍（ 年 均 增 长 时 过 程 存 储 到 数 据 仓 库 中 在 服 务 ３ Ｅ Ｔ Ｌ Ｏ Ｌ Ａ Ｐ ） ， ； ， 率 为 中 转 化 为 星 型 模 型 或 者 雪 花 模 型 其 增 长 速 度 远 超 摩 尔 定 律 增 长 速 度 执 行 分 析 时 又 １ ７ ３ ％ ．器 ， 照 此 增 长 速 度 计 算 年 最 大 数 据 仓 库 中 的 数 据 通 这 些 代 价 在 过 连 接 方 式 将 数 据 从 数 据 库 中 取 出 ２ ０ １ ５ ． ， ， 级 时 也 许 可 以 接 受 但 面 对 大 数 据 其 执 行 时 间 量 将 逼 近 １ ０ ０ Ｐ Ｂ ． Ｔ Ｂ （ ） （ ， 分 析 需 求 由 常 规 分 析 转 向 深 度 分 析 少 会 增 长 几 个 数 量 级 更 为 重 要 的 是 对 于 大 量 的 ２ ． Ｄ ｅ ｅ ． ｐ 至 ） ， 席 分 析 数 据 分 析 日 益 成 为 企 业 利 润 必 不 可 少 的 即 这 种 数 据 移 动 的 计 算 模 式 是 不 可 取 的 ． ． Ａ ｎ ａ ｌ ｔ ｉ ｃ ｓ ｙ ［ ］ ２ ） ， 支 撑 点 根 据 对 大 数 据 分 析 的 报 告（ 如 图 ． Ｔ Ｄ Ｗ Ｉ １ ， 企 业 已 经 不 满 足 于 对 现 有 数 据 的 分 析 和 监 测 而 是 更 ， 期 望 能 对 未 来 趋 势 有 更 多 的 分 析 和 预 测 以 增 强 企 、 业 竞 争 力 这 些 分 析 操 作 包 括 诸 如 移 动 平 均 线 分 析 ． 、 、 数 据 关 联 关 系 分 析 回 归 分 析 市 场 篮 分 析 等 复 杂 统 ， ， 计 分 析 我 们 称 之 为 深 度 分 析 值 得 补 充 的 是 本 文 ． 中 的 大 数 据 分 析 不 仅 仅 指 基 于 大 数 据 上 的 深 度 分 析 ， 也 包 括 常 规 分 析 ．
： ； ： （ ） 、 收 稿 日 期 最 终 修 改 稿 收 到 日 期 本 课 题 得 到 国 家 重 大 科 技 专 项 核 高 基 项 目 国 家 自 然 ２ ０ １ １ ０ ８ １ ２ ２ ０ １ １ ０ ９ １ ５ ． ２ ０ １ ０ Ｚ Ｘ ０ １ ０ ４ ２ ０ ０ １ ０ ０ ２ （ ， ） 、 （ ， ） 、 科 学 基 金 中 国 人 民 大 学 科 学 研 究 基 金 中 央 高 校 基 本 科 研 业 务 费 专 项 资 金 中 国 人 民 大 学 研 究 生 基 ６ １ ０ ７ ０ ０ ５ ４ ６ １ １ ７ ０ ０ １ ３ １ ０ Ｘ Ｎ Ｉ ０ １ ８ 金 资 助 女 年 生 教 授 博 士 生 导 师 中 国 计 算 机 学 会 高 级 会 员 主 要 研 究 领 域 为 高 性 能 数 据 库 知 识 工 （ ） ， ， ， ， ， （ ） ， 、 王 珊 １ １ Ｘ Ｎ Ｈ １ ２ ０ ． １ ９ ４ ４ Ｃ Ｃ Ｆ 王 会 举 、 ： ， ， ， ， 、 ： 程 数 据 仓 库 男 年 生 博 士 研 究 生 主 要 研 究 方 向 为 大 规 模 集 群 数 据 库 内 存 数 据 库 ． Ｅ ｍ ａ ｉ ｌ ｓ ｗ ａ ｎ ｒ ｕ ｃ ． ｅ ｄ ｕ ． ｃ ｎ ． １ ９ ７ ９ ． Ｅ ｍ ａ ｉ ｌ ＠ ｇ 男 年 生 博 士 讲 师 中 国 计 算 机 学 会 会 员 主 要 研 究 方 向 为 数 据 库 查 询 优 化 内 存 数 据 库 覃 雄 派 ， ， ， ， ， （ ） ， 、 、 ｗ ａ ｎ ｈ ｕ ｉ ｕ ｒ ｕ ｃ ． ｅ ｄ ｕ ． ｃ ｎ ． １ ９ ７ １ Ｃ Ｃ Ｆ ＠ ｇ ｊ 并 行 数 据 库 男 年 生 博 士 副 教 授 主 要 研 究 方 向 为 信 息 检 索 高 性 能 数 据 库 ， ， ， ， ， 、 周 ? ． ９ ７ ９ ． １
王 珊 王 会 举 覃 雄 派 周 ? 数 据 工 程 与 知 识 工 程 教 育 部 重 点 实 验 室 中 国 人 民 大 学 北 京 （ （ ） ） １ ０ ０ ８ ７ ２
） ， ） １ ２ ） ， ） １ ２ ） ， ） １ ２
）Βιβλιοθήκη Baidu１ ） ２ 中 国 人 民 大 学 信 息 学 院 北 京 （ ） １ ０ ０ ８ ７ ２
） ， ） １ ２
摘 要 ， 、 大 数 据 分 析 相 比 于 传 统 的 数 据 仓 库 应 用 具 有 数 据 量 大 查 询 分 析 复 杂 等 特 点 为 了 设 计 适 合 大 数 据 分 析 ． ， ， — — — 、 的 数 据 仓 库 架 构 文 中 列 举 了 大 数 据 分 析 平 台 需 要 具 备 的 几 个 重 要 特 性 对 当 前 的 主 流 实 现 平 台 并 行 数 据 库 ， ， 及 基 于 两 者 的 混 合 架 构 进 行 了 分 析 归 纳 指 出 了 各 自 的 优 势 及 不 足 同 时 也 对 各 个 方 向 的 研 究 现 状 及 Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ｐ ， 作 者 在 大 数 据 分 析 方 面 的 努 力 进 行 了 介 绍 对 未 来 研 究 做 了 展 望 ． 关 键 词 ； ； ； ； 大 数 据 大 规 模 可 扩 展 并 行 数 据 库 深 度 分 析 Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ｐ 中 图 法 分 类 号Ｔ 号 ： ／ Ｐ ３ １ １ 犇 犗 犐１ ０ ． ３ ７ ２ ４ Ｓ Ｐ ． Ｊ ． １ ０ １ ６ ． ２ ０ １ １ ． ０ １ ７ ４ １
： ， 犃 狉 犮 犺 犻 狋 犲 犮 狋 犻 狀 犅 犻 犇 犪 狋 犪 犆 犺 犪 犾 犾 犲 狀 犲 狊 犛 狋 狌 犱 犻 犲 狊 犪 狀 犱 犉 狅 狉 犲 犮 犪 狊 狋 狊 犵 犵 犵
） ， ） ） ， ） ） ， ） ） ， ） １ ２ １ ２ １ ２ １ ２ Ｗ Ａ Ｎ Ｇ Ｓ ｈ ａ ｎ Ｗ Ａ Ｎ Ｇ Ｈ ｕ ｉ Ｊ ｕ Ｑ Ｉ Ｎ Ｘ ｉ ｏ ｎ Ｐ ａ ｉ Ｚ Ｈ Ｏ Ｕ Ｘ ｕ ａ ｎ ｇ
， 犃 犫 狊 狋 狉 犪 犮 狋 Ｃ ｏ ｍ ａ ｒ ｅ ｄ ｗ ｉ ｔ ｈ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｄ ａ ｔ ａ ｗ ａ ｒ ｅ ｈ ｏ ｕ ｓ ｅ ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｂ ｉ ｄ ａ ｔ ａ ａ ｎ ａ ｌ ｔ ｉ ｃ ｓ ａ ｒ ｅ ｈ ｕ ｅ ａ ｎ ｄ ｐ ｐ ｐ ｇ ｙ ｇ ， ｃ ｏ ｍ ｌ ｅ ｘ ． Ｔ ｏ ｄ ｅ ｓ ｉ ｎ ａ ｆ ａ ｖ ｏ ｒ ａ ｂ ｌ ｅ ａ ｒ ｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ ｆ ｏ ｒ ｂ ｉ ｄ ａ ｔ ａ ａ ｎ ａ ｌ ｔ ｉ ｃ ｓ ｔ ｈ ｉ ｓ ａ ｅ ｒ ｌ ｉ ｓ ｔ ｓ ｓ ｏ ｍ ｅ ｋ ｅ ｆ ｅ ａ ｐ ｇ ｇ ｙ ｐ ｐ ｙ ， （ ｓ ｕ ｍ ｍ ａ ｒ ｉ ｚ ｅ ｓ ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｍ ａ ｉ ｎ ｉ ｍ ｌ ｅ ｍ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ｌ ａ ｔ ｆ ｏ ｒ ｍ ｓ ｔ ｕ ｒ ｅ ｓ ｆ ｏ ｒ ｂ ｉ ｄ ａ ｔ ａ ａ ｎ ａ ｌ ｔ ｉ ｃ ｓ ａ ｒ ａ ｌ ｌ ｅ ｌ ｄ ａ ｔ ａ ｂ ａ ｓ ｐ ｐ ｇ ｙ ｐ ， ， ） ， Ｍ ａ Ｒ ｅ ｄ ｕ ｃ ｅ ａ ｎ ｄ ｈ ｂ ｒ ｉ ｄ ａ ｒ ｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ ｓ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｔ ｈ ｅ ｍａ ｎ ｄ ｏ ｉ ｎ ｔ ｓ ｔ ｈ ｅ ｉ ｒ ｒ ｏ ｓ ａ ｎ ｄ ｃ ｏ ｎ ｓ ． Ｓ ｏ ｍ ｅ ｅ ｓ ｐ ｙ ｐ ｐ ， ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｅ ｓ ａ ｒ ｅ ａ ｌ ｓ ｏ ｉ ｎ ｖ ｅ ｓ ｔ ｉ ａ ｔ ｅ ｄ ｏ ｕ ｒ ｗ ｏ ｒ ｋ ａ ｒ ｅ ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅ ｄ ａ ｎ ｄ ｓ ｏ ｍ ｅ ｃ ｈ ａ ｌ ｌ ｅ ｎ ｉ ｎ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｇ ｇ ｇ ｒ ｏ ｂ ｌ ｅ ｍ ｓ ｉ ｎ ｔ ｈ ｅ ｆ ｕ ｔ ｕ ｒ ｅ ａ ｒ ｅ ｄ ｉ ｓ ｃ ｕ ｓ ｓ ｅ ｄ ． ｐ
） １ （ （ ） ， ） 犓 犲 犔 犪 犫 狅 狉 犪 狋 狅 狉 狅 犇 犪 狋 犪 犈 狀 犻 狀 犲 犲 狉 犻 狀 犪 狀 犱 犓 狀 狅 狑 犾 犲 犱 犲 犈 狀 犻 狀 犲 犲 狉 犻 狀 犚 犲 狀 犿 犻 狀 犝 狀 犻 狏 犲 狉 狊 犻 狋 狅 犆 犺 犻 狀 犪 狅 犕 犻 狀 犻 狊 狋 狉 狅 犈 犱 狌 犮 犪 狋 犻 狅 狀 犅 犲 犻 犻 狀 １ ０ ０ ８ ７ ２ 狔 狔 犳 犵 犵 犵 犵 犵 狔 犳 犳 狔 犳 犼 犵 ） ２ （ ， ， ） 犛 犮 犺 狅 狅 犾 狅 犐 狀 狅 狉 犿 犪 狋 犻 狅 狀 犚 犲 狀 犿 犻 狀 犝 狀 犻 狏 犲 狉 狊 犻 狋 狅 犆 犺 犻 狀 犪 犅 犲 犻 犻 狀 １ ０ ０ ８ ７ ２ 犳 犳 狔 犳 犼 犵
第 卷 第 期 ３ ４ １ ０ 年 月 ２ ０ １ １ １ ０
计 算 机 学 报 Ｃ Ｈ Ｉ Ｎ Ｅ Ｓ Ｅ Ｊ Ｏ Ｕ Ｒ Ｎ Ａ Ｌ Ｏ Ｆ Ｃ Ｏ Ｍ Ｐ Ｕ Ｔ Ｅ Ｒ Ｓ
Ｖ ｏ ｌ ． ３ ４ Ｎ ｏ ． １ ０ Ｏ ｃ ｔ ． ２ ０ １ １
架 构 大 数 据 挑 战 现 状 与 展 望 ： 、