Hadoop性能测试自动化研究_尤元建

Ｈａｄｏｏｐ性能测试自动化研究尤元建，吴洪学（南京中兴软件有限责任公司中心研究院，江苏南京２１００１２）摘　要：目前，越来越多的行业认识到大数据会带来新一轮的革命，而Ａｐａｃｈｅ　Ｈａｄｏｏｐ项目则是目前大数据平台应用的事实标准。

各行业在建设大数据平台时，除功能外，性能指标也是考虑的重要因素。

目前大数据平台性能评测工具多样，测试过程耗时、繁琐。

鉴于此，讨论建设基于ＢｉｇＤａｔａＢｅｎｃｈ的Ｈａｄｏｏｐ２．５大数据平台性能测试自动化系统，既提高工作效率，又减少人为操作差异化化，实现版本间性能数据自动对比，保证了测试质量和数据准确性。

同时对自动化测试工具的演进方向进行了规划。

关键词：Ｈａｄｏｏｐ；大数据平台；自动化测试；性能测试ＤＯＩ：１０．１１９０７／ｒｊｄｋ．１６２０３０中图分类号：ＴＰ３０２ 文献标识码：Ａ 文章编号：１６７２－７８００（２０１６）０１２－００１６－３作者简介：尤元建（１９７４－），男，山东临沂人，硕士，南京中兴软件有限责任公司中心研究院工程师，研究方向为通信网管理、大数据应用；吴洪学（１９８７－），男，江苏徐州人，南京中兴软件有限责任公司中心研究院工程师，研究方向为软件测试自动化、大数据应用。

０　引言信息爆炸时代带来了信息数量的级数级增长，各行业也越来越认识到对大数据的掌控和分析能力会是未来竞争力的核心。

行业决策也超越了以前依靠抽样调查的阶段，转而依靠大数据进行全面分析支持。

Ａｐａｃｈｅ　Ｈａｄｏｏｐ是对Ｇｏｏｇｌｅ的ＧＦＳ（Ｇｏｏｇｌｅ　Ｆｉｌｅ　Ｓｙｓ－ｔｅｍ）ＢｉｇＴａｂｌｅ的一个开源实现，具有高扩展性、高效性、高容错性、低成本以及易于虚拟化等特性，是目前行业事实的应用标准［１］。

Ａｐａｃｈｅ　Ｈａｄｏｏｐ大数据生态圈核心包括ＨＤＦＳ、Ｚｏｏｋｅｅｐｅｒ、Ｙａｒｎ、Ｈｂａｓｅ、Ｈｉｖｅ、Ｉｍｐａｌａ等应用。

除功能外大数据平台性能处理能力是评测大数据平台的重要指标之一。

目前，大数据平台性能测试存在的问题主要有：开源版本更换较快，需要频繁更换版本；测试条目较多，场景比较复杂、繁琐，手工操作容易出错或不准确；整个测试过程持续时间长。

本文基于ＢｉｇＤａｔａＢｅｎｃｈ工具和Ａｐａｃｈｅ　Ｈａｄｏｏｐ２．５进行大数据平台性能测试自动［２］　鲍可进，彭刨．一种扩展的Ａｎｄｒｏｉｄ应用权限管理模型［Ｊ］．计算机工程，２０１２，３８（１８）：５７－６４．［３］　李东，施懿闻，郝艳妮，毛基业．科学基金管理系统的用户权限管理模式研究［Ｊ］．计算机技术与发展，２０１２，２２（２）：１５９－１６４．［４］　王少辉，王超，孙国梓．ＤｒｏｉｄＤｅｆｅｎｃｅ：细粒度的Ａｎｄｒｏｉｄ应用权限管理系统［Ｊ］．四川大学学报：工程科学版，２０１４，４６（６）：１４－１８．［５］　王非，李凝，侯平路，等．基于角色权限管理的Ｂ／Ｓ与Ｃ／Ｓ模式相结合的教务管理系统安全体系的研究与设计［Ｊ］．辽宁师范大学学报：自然科学版，２０１２，３５（４）：４８８－４９２．［６］　王居柱，侯彤璞，孙明柱．基于Ｓｔｒｕｔｓ－Ｈｉｂｅｒｎａｔｅ架构的权限管理系统的设计与实现［Ｊ］．计算机与数字工程，２０１１，３９（４）：１０１－１０５．［７］　张伟．基于逻辑程序的ＲＢＡＣ模型研究［Ｄ］．北京：北京大学，２０１３．［８］　刘强，王磊，何琳．ＲＢＡＣ模型研究历程中的系列问题分析［Ｊ］．计算机科学，２０１２，３９（１１）：１３－１８．［９］　曾锡山，陈振洲．基于对象属性约束权限控制研究与实现［Ｊ］．华南师范大学学报：自然科学版，２０１６，４８（２）：１１１－１１５．［１０］　罗求，丁滟，陈松政．一种基于管理员分权的用户特权提升机制［Ｊ］．计算机工程，２０１６，４２（４）：２７－３６．［１１］　李天鸣，何月顺．基于ＥｘｔＪＳ技术与ＳＳＨ框架的权限管理研究［Ｊ］．计算机应用与软件，２０１１，２８（５）：１６５－２０５．［１２］　范明虎，樊红，伍孝金．ＡＳＰ．ｎｅｔ中基于ＲＢＡＣ的通用权限管理系统［Ｊ］．计算机工程，２０１０，３６（１）：１４３－１４５．［１３］　吴波，王晶．基于基本ＲＢＡＣ模型的权限管理框架的设计与实现［Ｊ］．计算机系统应用，２０１１，２０（４）：５０－５４．［１４］　高丽丽，王琼．基于角色的访问控制在ＯＡ系统中的应用［Ｊ］．软件导刊，２０１６，１５（３）：１５７－１５８．［１５］　赵明斌，姚志强．基于ＲＢＡＣ的云计算访问控制模型［Ｊ］．计算机应用，２０１２，３２（Ｓ２）：２６７－２７０．［１６］　张磊，张宏莉，韩道军等．基于概念格的ＲＢＡＣ模型中角色最小化问题的理论与算法［Ｊ］．电子学报，２０１４，４２（１２）：２３７１－２３７８．［１７］　蒋辉，李敬辉，魏巧玲．基于ＲＢＡＣ模型的通用权限管理系统分析与设计［Ｊ］．软件导刊，２０１６，１５（３）：１２０－１２３．［１８］　ＣＨＥ　ＴＩＡＮＷＥＩ，ＭＡ　ＪＩＡＮＦＥＮＧ，ＬＩ　ＮＡ，ｅｔ　ａｌ．Ｓｅｃｕｒｉｔｙ　ａｎａｌｙｓｉｓｏｆ　ａｃｃｅｓｓ　ｃｏｎｔｒｏｌ　ｍｏｄｅｌ　ｉｎ　ｈｙｂｒｉｄ　ｃｌｏｕｄ　ｂａｓｅｄ　ｏｎ　ｓｅｃｕｒｉｔｙ　ｅｎｔｒｏｐｙ［Ｊ］．Ｈｉｇｈ　ｔｅｃｈｎｏｌｏｇｙ　ｌｅｔｔｅｒｓ，２０１５，２１（２）：２００－２０４．（责任编辑：陈福时）化研究，尝试解决上述问题。

１　大数据平台性能测试内容经典的大数据平台组件性能测试项主要包括ＨＤＦＳ的读写、Ｍａｐｒｅｄｕｃｅ的执行情况、ＮｏＳＱＬ的数据库能力等［２］，如表１所示。

以上测试项覆盖了Ｉ／Ｏ测试、Ｉ／Ｏ密集型、计算密集型及混合类型测试条目，涉及文本、图和表等输入数据。

表１　经典大数据性能测试项ＨＤＦＳ基准读基准写ＷｏｒｄＣｏｕｎｔＴｅｒａｓｏｒｔＭａｐｒｅｄｕｃｅ　Ｋ－ｍｅａｎｓＰａｇｅＲａｎｋＨａｄｏｏｐＢａｙｅｓｉａｎＨｉｖｅＨｉｖｅＡｇｇｒｅｇａｔｉｏｎＨｉｖｅＪｏｉｎ１００％随机读Ｈｂａｓｅ１００％随机写１００％顺序读１００％顺序写２　大数据平台性能测试工具在性能测试中，测试工具支持必不可少，目前除Ａ－ｐａｃｈｅ　Ｈａｄｏｏｐ自带工具外，还有企业或组织发布了第三方测试工具。

一般测试工具包括测试数据生成、负载运行和报告生成三大功能。

２．１　Ａｐａｃｈｅ　Ｈａｄｏｏｐ自带工具Ａｐａｃｈｅ　Ｈａｄｏｏｐ自带工具主要包括ＴｅｓｔＤＦＳＩＯ、Ｓｏｒｔ和ＰＥ（ＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎ），工具简单、易用。

ＴｅｓｔＤＦＳＩＯ主要用于ＨＤＦＳ基准性能测试，Ｓｏｒｔ工具用于Ｍａｐｒｅｄｕｃｅ负载，ＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎ工具主要用于Ｈｂａｓｅ性能测试。

通过运行ｈａｄｏｏｐ　ｊａｒ　ｈａｄｏｏｐ－ｔｅｓｔ．ｊａｒ即可查看所支持的测试项。

通过运行ｈｂａｓｅ　ｏｒｇ．ａｐａｃｈｅ．ｈａｄｏｏｐ．ｈｂａｓｅ．ＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎ即可查看ＰＥ工具支持的测试项。

２．２　ＨｉＢｅｎｃｈＨｉＢｅｎｃｈ是Ｉｎｔｅｌ发布的一个大数据性能测试套件，包括ＨＤＦＳ、Ｍａｐｒｅｄｕｃｅ、ＳＱＬ、网页搜索以及机器学习等性能测试。

支持的测试条目比较全面。

比如最常用的ＷｏｒｄＣｏｕｎｔ测试，通过以下命令即可完成测试：＃ｃｄ．／ＨｉＢｅｎｃｈ／ｗｏｒｄｃｏｕｎｔ＃．／ｃｏｎｆ／ｃｏｎｆｉｇｕｒｅ．ｓｈ＃．／ｂｉｎ／ｐｒｅｐａｒｅ．ｓｈ＃．／ｂｉｎ／ｒｕｎ．ｓｈ２．３　ＹＣＳＢＹＣＳＢ（Ｙａｈｏｏ　Ｃｌｏｕｄ　Ｓｅｒｖｉｎｇ　Ｂｅｎｃｈｍａｒｋ）是ＹＡＨＯＯ发布的一款开源通用性能测试工具，适用于Ｈｂａｓｅ等Ｎｏ－ＳＱＬ组件。

ＹＣＳＢ在命令行中直接可以设置线程数、读写比例等，可以提供较为详细的测试结果。

２．４　ＢｉｇＤａｔａＢｅｎｃｈＢｉｇＤａｔａＢｅｎｃｈ［３］是由中科院计算所研发的一款开源性能测试套件，是国内大数据组织大数据联盟（ｗｗｗ．ｄｃａ．ｏｒｇ．ｃｎ）推荐的大数据性能测试工具。

大数据联盟（ＤＣＡ，Ｄａｔａ　Ｃｅｎｔｅｒ　Ａｌｌｉａｎｃｅ）同时配套发布的还有大数据性能测试基准要求及方法［３］。

ＢｉｇＤａｔａＢｅｎｃｈ整合多种测试工具的优点，几乎覆盖所有组件，可以准备文本、图像、数据库等多种数据，实现端到端的性能测试［４］。

由于大数据联盟的权威性，几乎国内全部大数据厂商都遵循大数据联盟的测试工具及测试要求，并参加了大数据联盟组织的测试。

本性能测试自动化系统也主要是基于ＢｉｇＤａｔａＢｅｎｃｈ工具。

３　大数据平台性能测试自动化实现大数据平台性能测试自动化系统主要实现部署自动化，测试数据准备自动化，性能负载运行自动化以及数据展示自动化。

整个自动化测试过程主要包括版本部署、运行状态检查、数据准备、测试脚本运行、结果收集展示及环境清理几个步骤。

在自动化测试中，版本部署部分通过调用Ｎｏｄｅ．ｊｓ来模拟浏览器的相关操作。

准备数据及运行脚本部分，通过调用预先编写的相关Ｓｈｅｌｌ脚本来按测试方案配置并运行ＢｉｇＤａｔａＢｅｎｃｈ的相关测试命令，同时采用Ｎｍｏｎ工具来监控主机ＣＰＵ和内存利用率以及Ｉ／Ｏ性能指标，通过Ｇｒａｆａｎａ展示结果数据［５，６］。

具体流程如图１所示。

典型的运行测试负载脚本示例如下：＃！／ｂｉｎ／ｂａｓｈ＃Ｂｅｎｃｈｍａｒｋｓ　Ｗｏｒｋｌｏａｄ：ｓｏｒｔ，ｇｒｅｐ，ｗｏｒｄｃｏｕｎｔ．．．．．．．ｉｆ［！－ｅ＄ＨＡＯＯＰ］；ｔｈｅｎ　ｅｃｈｏ＂Ｃａｎ＇ｔ　ｆｉｎｄ　ｈａｄｏｏｐ　ｉｎ＄ＨＡＤＯＯＰ，ｅｘｉｔｉｎｇ＂　ｅｘｉｔ　１ｆｉＷＯＲＫ＿ＤＩＲ＝｀ｐｗｄ１．ａｌｇｏｒｉｔｈｍ＝（Ｗｏｒｄｃｏｕｎｔ　ＴｅｒａＳｏｒｔ　ＮａｉｖｅＢａｙｅｓ　ＰａｇｅｒａｎｋＫｍｅａｎｓ　ＨｉｖｅＱｕｅｒｙ　ＮｏＳＱＬ）ｉｆ［－ｎ＂＄１＂］；ｔｈｅｎ ｃｈｏｉｃｅ＝＄１ｅｌｓｅ．．．．．．Ｗｏｒｋｌｏａｄｔｙｐｅ＝＄｛ａｌｇｏｒｉｔｈｍ［＄ｃｈｏｉｃｅ－１］｝·７１·第１２期 尤元建，吴洪学：Ｈａｄｏｏｐ性能测试自动化研究图１　大数据平台自动化测试系统流程ｉｆ［＂ｘ＄Ｗｏｒｋｌｏａｄｔｙｐｅ＇＝＝＂ｘＷｏｒｄｃｏｎｔ＂］；ｔｈｅｎｃｄ＄（ＷＯＲＫ＿ＤＩＲ）／Ｗｏｒｄｃｏｕｎｔ．／ｒｕｎ＿Ｗｏｒｄｃｏｕｎｔ．ｓｈｉｆ［＂ｘ＄Ｗｏｒｋｌｏａｄｔｙｐｅ＇＝＝＂ｘＴｅｒａＳｏｒｔ＂］；ｔｈｅｎｃｄ＄（ＷＯＲＫ＿ＤＩＲ）／ＴｅｒａＳｏｒｔ．／ｒｕｎ＿ＴｅｒａＳｏｒｔ．ｓｈ．．．．．．ｉｆ［＂ｘ＄Ｗｏｒｋｌｏａｄｔｙｐｅ＇＝＝＂ｘＮｏＳＱＬ＂］；ｔｈｅｎｃｄ＄（ＷＯＲＫ＿ＤＩＲ）／ＮｏＳＱＬ．／ｒｕｎ＿ＮｏＳＱＬ．ｓｈｆｉ主机监控脚本实现示例如下：＃！／ｂｉｎ／ｂａｓｈＤＩＲ＝｀ｃｄ＄（ｄｉｒｎａｍｅ　０）；ｐｗｄ｀ｉｆ［＄＃－ｅｑ　０］；ｔｈｅｎ　ＮＵＭ＝７０００ｅｌｓｅ　ＮＵＭ＝＄１ＮＭＯＮ＿ＦＩＬＥ＝／ｈｏｍｅ／ｍｒ／ｎｍｏｎ＿ｘ８６＿６４＿ｒｈｅ１６ｉｆ［－ｆ＄ＮＭＯＮ＿ＦＩＬＥ］；ｔｈｅｎＮＭＯＮ＿ＣＭ＝＂ｈｏｍｅ／ｍｒ／ｎｍｏｎ＿ｘ８６＿６４＿ｒｈｅ１６－ｆ－ｔ－ｓ３０－ｃ＄ＮＵＭ＂．．．．．．ｆｉ最终通过Ｇｒａｆａｎａ系统展示测试结果，包括主机性能监控指标，各测试负载结果数据，各版本横向测试结果对比，效果如图２所示。