浅析腾讯TDW对Hive的应用和优化
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解析 时增 加相 关的 权限 检查 。解 析时 可根据 元数据中的权限信息 ， 判断用户是否有执行此
Ｓ ＱＬ ， 访 问此 库 、 表的权限， 以达 到 权 限控 制 。
＿性能差
Ｈ ｉ ｖ ｅ ０ ． ４ １ 版本在查询优化上较为简单， 有很多Ｓ Ｏ Ｌ 翻译的ＭＲ 执行效率很低 ， 或者不合理 。性能差 ， 不仅浪费了机 器资源， 也相对影响了产品的口碑。 －不够稳定
甚 至是 Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 的 后 台 日志 进 行 问题 定 位 。在
・为Ｈｉ ｖ ｅ 增加了一些与权 限相关的元数据表用 来存放角色、 权限相关的元数据信息 。 ・增 加了相关的 Ｓ Ｑ Ｌ 语法 ，包括ｃ ｒ ｅ ａ ｔ ｅ ｒ ｏ ｌ ｅ 、 ｇ ｒ ａ ｎ ｔ 、 ｒ ｅ ｖ ｏ ｋ ｅ 等命令 ， 这些命令能够实现将权 限相关的信息记录在元数据中。
通过以上三个方面的功能扩充 ， 完善 了Ｔ Ｄ Ｗ权限 管理 ， 提高 了用户数据存入Ｔ Ｄ Ｗ的安全 性，同时 方便了Ｔ Ｄ Ｗ管理员的日常工作 。
Ｈ ｉ ｖ ｅ ０ ． ４ ． １ 版本在生产环境中经常会出现卡死 、 元
数据损 坏、进程异 常退出等问题，造成了服务 中 ・兼容 Ｏｒ ａ ｃ ｌ ｅ 的分 区功能
Ｄ Ｗ研发和应 本身存 在一些问题 ， 在技术上 不够成熟 ， 严重制 数据仓库应该具备的很 多功能。在Ｔ 约了Ｔ Ｄ Ｗ的运营和推广 ， 表现在以下几个方面。 用阶段， 功 能的缺失 曾使Ｔ Ｄ Ｗ不断受到业 务的挑 战， 这些挑战～度影 响到Ｔ Ｄ ｗ的应用推广进度和
口碑 ，因此 ， 我们 对Ｈｉ ｖ ｅ 进 行 了大量 的功 能 扩充 。
Ｃｏ ｖ ｅ ｒ Ｓ ｔ ｏ ｒ ｙ 封 面 报 道 ｌ大 数 据
执行、元数据 、 类型系统等结构清晰， 便于进行原
理分析和二次开发。
Ｔ ＤＷ对Ｈｉ ｖ ｅ 的优化
利用Ｈ ｉ ｖ ｅ 的这些特性 ， 我们构建Ｔ Ｄ Ｗ获得 了一定 功能扩充
成功 。 然而 ， 构 建Ｔ Ｄ Ｗ 时所 基于 的Ｈｉ ｖ ｅ ０ ． ４ １ 版 本 开源Ｈｉ ｖ ｅ 的功能简单 ， 甚至可以说比较简陋， 缺乏
一数据仓库功 能不完善
缺乏权 限管理 、过程语言 、 ｌ ｉ ｓ ｔ ／ ｒ ａ ｎ ｇ ｅ 分区功能、
我 们以业 务使 用Ｔ Ｄ Ｗ的需 求为 窗 口函数 、多维分析等功 能—— 这些功能对于一 在功 能扩 充上 ， 主， 为Ｔ Ｄ Ｗ实现 了大量Ｏｒ ａ ｃ ｌ ｅ 特性 。 这 些特性一 个数据 仓库产品是不可或缺 的； 并 且，我们多数 方面使Ｔ Ｄ Ｗ功能更强大 ； 另一方面 ， 为Ｔ Ｄ Ｗ的应 业务在其他数据仓库上大量使用这些功能。要推 主 要是使业 动业务从其他数 据仓库转 向基于Ｈ ｉ ｖ ｅ 的Ｔ Ｄ Ｗ， 这 用推 广、业 务迁 移做 出了巨大贡献 ， 些功能是必须完善的。
务从Ｏ ｒ ａ ｃ ｌ ｅ 数据仓库转 向Ｔ Ｄ Ｗ变得简单。在功能
上， 我们实现了以下几个主要特性。
一 使 用门槛高 －基于角色 的权 限管理 用 户 界 面 简 陋 ，运 行 调 试 麻 烦 ，问题 定 位 困
难， 查 询计 划不 直观 。Ｈｉ ｖ ｅ ￣ ｈ 起Ｈａ ｄ ｏ ｏ ｐ 直接 写 我们参考Ｍｙ ｓ ＱＬ 和Ｏｒ ａ ｃ ｌ ｅ 的权限管理功能和语法
断、 报 表延迟 、 计算错 误等 ， 严重影 响了Ｔ Ｄ Ｗ的 为了满足用户的需求 ， 我们也实现 了Ｏ ｒ ａ ｃ ｌ ｅ 的分 服务质量 。 区功能。Ｔ Ｄ Ｗ的分区表建表语法与Ｏ ｒ ａ ｃ ｌ ｅ 类似 ， 基于以上 这些问题 ， 我们对Ｈｉ ｖ ｅ ０ ． ４ １ 版本进行了 并且支持 ｌ ｉ ｓ ｔ 、ｒ ａ ｎ ｇ ｅ 、ｈ ａ ｓ ｈ 三 种分区类型 ， 还支 大量的优化和改造，这些优化和改造主要包括功 持子分区功能。 这部 分修 改主要是修改Ｈｉ ｖ ｅ 的文 能扩充、易用性提升、 性能优化和稳定性优化。通 法， 使它支持Ｏ ｒ ａ ｌ ｃ ｅ 的建分区语法， 增加分区相关 过这些优化， 最终使基于Ｈ ｉ ｖ ｅ 的Ｔ Ｄ ｗ成为今天腾 的元数 据表，修改查询优化部 分代码，使Ｔ Ｄ Ｗ支 讯内部广泛使用的一个 易用、高效、稳定 的大数 持ｌ ｉ ｓ ｔ 、 ｒ ａ ｎ ｇ ｅ 等分区优化， 增加ａ ｄ ｄ ｐ ａ Ａ ｉ ｔ ｉ ｏ ｎ 、 ｄ ｒ ｏ ｐ 据处理平台。 ｐ ａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ 、 ｔ ｒ ｕ ｎ ｃ ａ ｔ ｅ ｐ ａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ 等命令。
查 询计划 的显示上 ，Ｈ ｉ ｖ ｅ 的Ｅ ｘ ｐ ｌ ａ ｉ ｎ 结果较 为复 杂， 若通过查询计戈 ０ 来调优Ｓ Ｑ Ｌ ， 则需要操作者具 备较 多的Ｈａ ｄ ｏ ｏ ｐ 知识 。 总体来讲 ， Ｈ ｉ ｖ ｅ 的使用１ Ｉ ］ 槛较高 ， 会影响数据分析业务的开发效 率。
・ 对原有的Ｈｉ ｖ ｅ Ｓ Ｑ Ｌ 解析流程进行改变， 在Ｓ Ｑ Ｌ
为Ｈ ｉ ｖ ｅ 扩 充了基于 角色的权 限管 理功 能。 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 任 务，虽已有很大进步 ，但在易用性 形式 ， 上 的考 虑 仍不足 。用户需 要在命 令 行下进 行操 这项工作主要分三个方面。 作， 如果Ｓ Ｏ Ｌ 运行失败 ， 常常需要通过Ｈ ｉ ｖ ｅ 日志，
Ｓ ＱＬ ， 访 问此 库 、 表的权限， 以达 到 权 限控 制 。
＿性能差
Ｈ ｉ ｖ ｅ ０ ． ４ １ 版本在查询优化上较为简单， 有很多Ｓ Ｏ Ｌ 翻译的ＭＲ 执行效率很低 ， 或者不合理 。性能差 ， 不仅浪费了机 器资源， 也相对影响了产品的口碑。 －不够稳定
甚 至是 Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 的 后 台 日志 进 行 问题 定 位 。在
・为Ｈｉ ｖ ｅ 增加了一些与权 限相关的元数据表用 来存放角色、 权限相关的元数据信息 。 ・增 加了相关的 Ｓ Ｑ Ｌ 语法 ，包括ｃ ｒ ｅ ａ ｔ ｅ ｒ ｏ ｌ ｅ 、 ｇ ｒ ａ ｎ ｔ 、 ｒ ｅ ｖ ｏ ｋ ｅ 等命令 ， 这些命令能够实现将权 限相关的信息记录在元数据中。
通过以上三个方面的功能扩充 ， 完善 了Ｔ Ｄ Ｗ权限 管理 ， 提高 了用户数据存入Ｔ Ｄ Ｗ的安全 性，同时 方便了Ｔ Ｄ Ｗ管理员的日常工作 。
Ｈ ｉ ｖ ｅ ０ ． ４ ． １ 版本在生产环境中经常会出现卡死 、 元
数据损 坏、进程异 常退出等问题，造成了服务 中 ・兼容 Ｏｒ ａ ｃ ｌ ｅ 的分 区功能
Ｄ Ｗ研发和应 本身存 在一些问题 ， 在技术上 不够成熟 ， 严重制 数据仓库应该具备的很 多功能。在Ｔ 约了Ｔ Ｄ Ｗ的运营和推广 ， 表现在以下几个方面。 用阶段， 功 能的缺失 曾使Ｔ Ｄ Ｗ不断受到业 务的挑 战， 这些挑战～度影 响到Ｔ Ｄ ｗ的应用推广进度和
口碑 ，因此 ， 我们 对Ｈｉ ｖ ｅ 进 行 了大量 的功 能 扩充 。
Ｃｏ ｖ ｅ ｒ Ｓ ｔ ｏ ｒ ｙ 封 面 报 道 ｌ大 数 据
执行、元数据 、 类型系统等结构清晰， 便于进行原
理分析和二次开发。
Ｔ ＤＷ对Ｈｉ ｖ ｅ 的优化
利用Ｈ ｉ ｖ ｅ 的这些特性 ， 我们构建Ｔ Ｄ Ｗ获得 了一定 功能扩充
成功 。 然而 ， 构 建Ｔ Ｄ Ｗ 时所 基于 的Ｈｉ ｖ ｅ ０ ． ４ １ 版 本 开源Ｈｉ ｖ ｅ 的功能简单 ， 甚至可以说比较简陋， 缺乏
一数据仓库功 能不完善
缺乏权 限管理 、过程语言 、 ｌ ｉ ｓ ｔ ／ ｒ ａ ｎ ｇ ｅ 分区功能、
我 们以业 务使 用Ｔ Ｄ Ｗ的需 求为 窗 口函数 、多维分析等功 能—— 这些功能对于一 在功 能扩 充上 ， 主， 为Ｔ Ｄ Ｗ实现 了大量Ｏｒ ａ ｃ ｌ ｅ 特性 。 这 些特性一 个数据 仓库产品是不可或缺 的； 并 且，我们多数 方面使Ｔ Ｄ Ｗ功能更强大 ； 另一方面 ， 为Ｔ Ｄ Ｗ的应 业务在其他数据仓库上大量使用这些功能。要推 主 要是使业 动业务从其他数 据仓库转 向基于Ｈ ｉ ｖ ｅ 的Ｔ Ｄ Ｗ， 这 用推 广、业 务迁 移做 出了巨大贡献 ， 些功能是必须完善的。
务从Ｏ ｒ ａ ｃ ｌ ｅ 数据仓库转 向Ｔ Ｄ Ｗ变得简单。在功能
上， 我们实现了以下几个主要特性。
一 使 用门槛高 －基于角色 的权 限管理 用 户 界 面 简 陋 ，运 行 调 试 麻 烦 ，问题 定 位 困
难， 查 询计 划不 直观 。Ｈｉ ｖ ｅ ￣ ｈ 起Ｈａ ｄ ｏ ｏ ｐ 直接 写 我们参考Ｍｙ ｓ ＱＬ 和Ｏｒ ａ ｃ ｌ ｅ 的权限管理功能和语法
断、 报 表延迟 、 计算错 误等 ， 严重影 响了Ｔ Ｄ Ｗ的 为了满足用户的需求 ， 我们也实现 了Ｏ ｒ ａ ｃ ｌ ｅ 的分 服务质量 。 区功能。Ｔ Ｄ Ｗ的分区表建表语法与Ｏ ｒ ａ ｃ ｌ ｅ 类似 ， 基于以上 这些问题 ， 我们对Ｈｉ ｖ ｅ ０ ． ４ １ 版本进行了 并且支持 ｌ ｉ ｓ ｔ 、ｒ ａ ｎ ｇ ｅ 、ｈ ａ ｓ ｈ 三 种分区类型 ， 还支 大量的优化和改造，这些优化和改造主要包括功 持子分区功能。 这部 分修 改主要是修改Ｈｉ ｖ ｅ 的文 能扩充、易用性提升、 性能优化和稳定性优化。通 法， 使它支持Ｏ ｒ ａ ｌ ｃ ｅ 的建分区语法， 增加分区相关 过这些优化， 最终使基于Ｈ ｉ ｖ ｅ 的Ｔ Ｄ ｗ成为今天腾 的元数 据表，修改查询优化部 分代码，使Ｔ Ｄ Ｗ支 讯内部广泛使用的一个 易用、高效、稳定 的大数 持ｌ ｉ ｓ ｔ 、 ｒ ａ ｎ ｇ ｅ 等分区优化， 增加ａ ｄ ｄ ｐ ａ Ａ ｉ ｔ ｉ ｏ ｎ 、 ｄ ｒ ｏ ｐ 据处理平台。 ｐ ａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ 、 ｔ ｒ ｕ ｎ ｃ ａ ｔ ｅ ｐ ａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ 等命令。
查 询计划 的显示上 ，Ｈ ｉ ｖ ｅ 的Ｅ ｘ ｐ ｌ ａ ｉ ｎ 结果较 为复 杂， 若通过查询计戈 ０ 来调优Ｓ Ｑ Ｌ ， 则需要操作者具 备较 多的Ｈａ ｄ ｏ ｏ ｐ 知识 。 总体来讲 ， Ｈ ｉ ｖ ｅ 的使用１ Ｉ ］ 槛较高 ， 会影响数据分析业务的开发效 率。
・ 对原有的Ｈｉ ｖ ｅ Ｓ Ｑ Ｌ 解析流程进行改变， 在Ｓ Ｑ Ｌ
为Ｈ ｉ ｖ ｅ 扩 充了基于 角色的权 限管 理功 能。 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 任 务，虽已有很大进步 ，但在易用性 形式 ， 上 的考 虑 仍不足 。用户需 要在命 令 行下进 行操 这项工作主要分三个方面。 作， 如果Ｓ Ｏ Ｌ 运行失败 ， 常常需要通过Ｈ ｉ ｖ ｅ 日志，