基于Presto海量日志分析系统的设计

存 的是数据 文件和库表之 间的映射关系 、 表的结构信息 、 表 与库 的 Ｈ ａ ｄ ｏ ｏ ｐ提供 了对大数据存储 和计 算 的一个解决方 案 ｌ ¨ ，使用 关 联关 系 等信 息 ，元 数据 可 以保存 在 Ｄ ｅ ｒ ｂ ｙ嵌入 式 数据 库 或者 ｙ Ｓ Ｑ Ｌ数据库 中 ； 查询语句处理 ， Ｈ ｉ ｖ ｅ提供 了 Ｈｉ ｖ ｅ Ｑ Ｌ查询语 言 ， 查 Ｈ Ｄ Ｆ Ｓ 进行文件 的存储 ， Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 进行数据 的分析和计算 。 为 了简 Ｍ ， 最终 生成 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 计算任务 。 化 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ的编写 ， Ｈｉ ｖ ｅ使用类 Ｓ Ｑ Ｌ可 以实现离线 数据 的分析 询引擎分析查询语句嗍 Ｉ ２ １ ２－ ３ Ｐ ｒ ｅ ｓ ｔ ｏ 但是 Ｈｉ ｖ ｅ 底层使用 的是 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 离线计算框架 ， 适应于大数 Ｐ ｒ ｅ ｓ ｔ ｏ是专 门为大数据实 时查询计算 而设 计和开发 的产 品 ， 弥 据的离线 和批量计算 ， 对大数据的查询和分析要通过一次或多次 的 ｖ ｅ 实时查询 的空 白。无论是对 多数据 源的支持 ，还是易用 Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ过程 ， 查询 的等待 时间过长 ， 不能满 足业务人员 实时查 补 了 Ｈｉ 询口 】 分析（ 单次执行时 间在 ２ ０ ０ ｍｓ 到２ ０ ｍ ｉ ｎ之 间的查询 ） ， 计 算效率 性 、 高性能 、 可扩展性 等方面 ， Ｐ ｒ ｅ ｓ ｔ ｏ 都是大数据 实时查询的计算产 它具有多数据源 、 支持 Ｓ Ｑ Ｌ 、 混合性计算 、 高性能 、 流 相对来说 比较低 。因此 ， 本文设计并实现 了基于 Ｐ ｒ ｅ ｓ ｔ ｏ 的海量 日志 品中的佼佼者 ， 分析系统 ， 业务人员可以实现实时的 Ａ ｄ — Ｈｏ ｃ 查询 。 水线等特点 ， 并 且具有很好 的扩展性。 ２ 平 台组 件 Ｐ ｒ ｅ ｓ ｔ ｏ集 群 中 一共 有 两 种 服 务 进 程 ： Ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｏ ｒ服 务 进 程 和 ２． １ Ｈａ ｄ ｏ ｏ ｐ Ｗｏ ｒ ｋ ｅ ｒ 服务进程 ， 其中 Ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｏ ｒ 服务进 程的主要作用是 ： 接 收查 Ｈ ａ ｄ ｏ ｏ ｐ是一个分 布式 的主从架构系统 ，其中包括用 于存储 的 询 请求 、 解析查 询语句 、 生成 相应 的查询计 划 、 任务调 度和 Ｗｏ ｒ ｋ ｅ ｒ Ｈ Ｄ Ｆ Ｓ和用于计算的 Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 。 Ｈａ ｄ ｏ ｏ ｐ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ， 被 进 程的管理 。Ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｏ ｒ 服务进程 部署 在集群 中一个单 独的节 点 设计 为可 运行在通用硬件 上 、 提供 流式数据操作 、 能够 处理超 大文 上 ， 是整个 Ｐ ｒ ｅ ｓ ｔ ｏ 集群 的管理节点 ， 该进程 既与 Ｗｏ ｒ ｋ ｅ ｒ 进行通 信从 件 的分布式文件系统 ， 具有高度 的容错性 、 高可用性 、 容易扩展等特 而获得最新 的 Ｗｏ ｒ ｋ ｅ ｒ 信息 ， 又与 Ｃ ｌ ｉ ｅ ｎ ｔ 进行 通信 ， 接 收查询请 求 。 ｒ ｋ ｅ ｒ 服务 进程则执行分解后 的查询执行任 务 Ｔ ａ ｓ ｋ ， Ｗｏ ｒ ｋ ｅ ｒ 是 征 。Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 是一个数据 离线计算 框架 。主要有两个 阶段组成 ： 而 Ｗｏ ｍ ａ ｐ和 ｒ ｅ ｄ ｕ ｃ ｅ 。 通 常 用 户 只需 要 编 写 ｍ ｐ， ａ ｒ ｅ ｄ ｕ ｃ ｅ以及 ｄ ｒ ｉ ｖ ｅ ｒ 函 数 就 工作 节点 ， 一个 Ｐ ｒ ｅ ｓ ｔ ｏ 集群 中会有多个 Ｗｏ ｒ ｋ ｅ ｒ 节点。Ｐ ｒ ｅ ｓ ｔ ｏ可以通 过多种 不同类型 的 Ｃ ｏ ｎ ｎ ｅ ｃ ｔ ｏ ｒ 访问多钟数据源 ， 可以连接的 Ｃ ｏ ｎ ｎ ｅ ｃ — 可 以实现简单 的分布式程序设计 。 ２． ２ Ｈｉ ｖ ｅ ｔ ｏ ｒ 的有 Ｊ Ｍ Ｘ， Ｍｙ Ｓ Ｑ Ｌ ， Ｐ ｏ ｓ ｔ ｇ ｒ ｅ Ｓ Ｑ Ｌ ， Ｈｉ ｖ ｅ以及 Ｋ ａ ｆ ｋ ａ 。数据 源与 Ｃ ｏ ｎ — Ｈｉ ｖ ｅ 是最容 易使用 的高级别 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 框架之一 。通过基于 ｈ ｅ ｃ ｔ ｏ ｒ 是一一对应 的， 而Ｃ ｏ ｎ ｎ ｅ ｃ ｔ ｏ ｒ 与Ｃ ａ ｔ ａ ｌ ｏ ｇ 是一对多的关系。如图 为数据 源， Ｃ ｏ ｎ ｎ ｅ ｃ ｔ ｏ ｒ 和Ｃ ａ ｔ ａ ｌ ｏ ｇ 关系图嘲 。 Ｓ Ｑ Ｌ的数据操 纵语言来简化对 Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ的访 问。它有三部 分组 １ 成： 数据读 取和存储 ， 可 以将不 同格式的文件存储 在 Ａ ｍ ａ ｚ ｏ ｎ ｓ ３和 ３基 于 Ｐ ｒ ｅ ｓ ｔ ｏ的 数 据 分 析 系统 设计 Ｈ Ｄ Ｆ Ｓ中 ， 也可 以从 中读取 数据进行查询 ； 元数 据的管理 ， 元数据保 ３ ． １系统组成 （ 转下页 ）
・
１ ６ห้องสมุดไป่ตู้２ ・
科 技论 坛
基于 Ｐ ｒ ｅ ｓ ｔ ｏ 海
析系统的设计
（ 沈 阳 师 范 大 学， 辽 宁 沈阳 １ １ ０ ０ ３ ４ ）
摘 要： 随 着互联 网的普及 ， 互联 网公 司每 天都会产 生大量的数据信 息 ， 对 于大数 据的查询分析 ， 企业 主要借 助 Ｈ ｉ ｖ ｅ提供 业务人 员 的查询， 降低 了大数据查询的门槛 ， 使得 业务人 员可以进行数据的查询分析。但是 Ｈ ｉ ｖ ｅ 底层使 用的是 Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ离线计算框 架， 适应于 大数据的 离线和批量计 算， 强调 的是吞吐量而 不是计算效率 ， 不能满足 业务人 员对大数据 快速 近实时的查询 需求。为 了解决实时查询效 率的 问题 ， 设计并 实现 了基于 Ｐ ｒ ｅ ｓ ｔ ｏ的海量 日志分析 系统 ， 业务人 员可以实现 实时的 Ａ ｄ — Ｈ ｏ ｅ 查询分析。 关键 词 ： 大数 据 ； Ｈｉ ｖ ｅ ； 实时 查询 ； Ｐ ｒ ｅ ｓ ｔ ｏ