XXX企业大数据测试用例及报告

XXX企业大数据测试用例及报告

目录

1系统性能指标和测试结果说明 (4)

1.1性能测试报告 (4)

1.1.1测试目标 (4)

1.1.2测试内容 (4)

1.1.3测试环境 (4)

1.1.4测试过程和结果 (6)

1.2TPC-DS测试报告 (9)

1.2.1测试目标 (9)

1.2.2测试内容 (9)

1.2.3测试环境 (11)

1.2.4测试过程和结果 (12)

1.3量收迁移验证性测试报告 (13)

1.3.1测试目标 (13)

1.3.2测试内容 (13)

1.3.3测试环境 (14)

1.3.4串行执行情况 (14)

1.3.5并行执行情况 (16)

1.3.6生产表数据规模 (17)

1.3.7测试结果 (19)

1.4某银行性能测试报告 (19)

1.4.1测试目标 (19)

1.4.2测试内容 (19)

1.4.3测试环境 (19)

1.4.4测试过程和结果 (20)

2系统测试 (32)

2.1系统测试方法 (32)

2.2系统测试阶段 (33)

2.3系统测试相关提交物 (34)

1系统性能指标和测试结果说明

1.1性能测试报告

1.1.1测试目标

运营商手机上网记录查询系统案例，以某运营商为例，日均上网记录数近10亿条，每月数据量近9TB，移动互联网用户快速增加，智能终端迅速普及、户均流量显著增长，上网记录数据将进一步猛增，每6个月，流量翻一番，如此大的数据量已经超越了传统关系型数据库可管理的容量上限，关系型数据库上对大规模数据进行操作会造成系统性能严重下降。

通过本测试，验证星环科技成熟稳定的商用Hadoop平台，是否可以有效解决数据采集、加载、存储、查询、分析等问题。

1.1.2测试内容

1）存储节点数和存储量验证；

2）并发加载数据的效率验证；

3）分别选取简单查询（短信话单查询），单表统计（某天某客户通话次数），大表关联统计（统计指定用户的上网记录）三个应用场景验证产品性能。

1.1.3测试环境

软硬件环境配置如下：

表9-1 服务器配置

部署环境如下：

表9-2 集群配置

网络拓扑情况如下：

图9-1 拓扑结构图

1.1.4测试过程和结果

1）现有HDFS集群已被占用10.5PB，3个副本，压缩率在1/3左右，因此实际HBase 表数据也已经有3.5PB左右。目前数据存放6个月，每天导入日志数据在21TB左右，每月导入新增日志数据量为630TB，近一个月为常用热数据，数据量增长较快。

2）并发加载数据的效率

Transwarp Hyperbase集群每秒平均达到1500万记录/秒，峰值时达到5000万/秒，集群导入性能没有问题。

3）支持并发查询数目：远高于100000请求/秒

上网记录查询速度：不高于1秒（含用户访问查询页面的时间）场景一：短信话单查询

图9-3 话单查询表

场景二：某天某客户通话次数：

场景三：关联统计相关测试，统计制定用户的上网记录

图9-4 上网记录表

1.2TPC-DS测试报告

1.2.1测试目标

通过国际标准测试TPC-DS测试，验证星环TDH产品符合数据仓库需要，能够满足数仓业务使用要求。

1.2.2测试内容

标准事务性能管理委员会(TPC)是目前最知名的数据管理系统评测基准标准化组织。在过去二十多年间，该机构发布了多款数据库评测基准。TPC-DS是TPC发布的标准测试场景之一，用于验证数据库产品是否符合数据仓库的业务需要。

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集，也是难度较大的一个测试集。

TPC-DS的这个特点跟大数据的分析挖掘应用非常类似。Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘，也包含交互式联机查询和统计报表类应用，同时大数据的数据质量也较低，数据分布是真实而不均匀的。因此TPC-DS 成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。这个

基准测试有以下几个主要特点：

1）一共99个测试案例，遵循SQL99和SQL2003的语法标准，SQL案例比较复杂

2）分析的数据量大，并且测试案例是在回答真实的商业问题

3）测试案例中包含各种业务模型（如分析报告型，迭代式的联机分析型，数据挖掘型等）

4）几乎所有的测试案例都有很高的IO负载和CPU计算需求

TPC-DS标准测试集99个案例，详见本建议书附录部分《TPC-DS测试集99 query 说明》

1.2.3测试环境

1.2.4测试过程和结果

1.3量收迁移验证性测试报告

1.3.1测试目标

通过选取多个量收系统典型实际应用场景测试，验证星环TDH产品能够实现量收系统各类功能应用，能够较好的满足量收系统迁移要求。

1.3.2测试内容

本文档记载了较为详细的测试案例，内容包括量收系统功能各类型的技术和业务场景，包含六个方向应用。具体分别是：

1）大数据量数据加载，计算及汇总，此方向取“范围段加载ETL”。

2）高并行计算，复杂计算，大表关联，此方向取“收入宽表计算ETL”。