hbase集群性能测试
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据导入测试：
机器配置：Hadoop、hbase、zookeeper、hive。主节点16G，其他8G，硬盘各80G。共4个节点。管理地址http://10.105.11.220:7180 （四台都为一个物理服务器上的虚拟机）
集群状态
导入方式：
通过sqoop框架将247中的MySQL表basic导入到hbase当中，basic表中共有数据5807447条，数据迁移共花费时间1小时。期间hbase，hdfs等组件不断出现问题，最后导致进程终止，之后我将hbase各个服务器的默认配置调低，才使得数据迁移顺利完成，但是调低配置的结果就是降低速度。
总结：集群为一台服务器中的四台虚拟机，意味着共享CPU、磁盘、内存，在测试中由于内存空间不足，调低了hbase的一些配置，除此之外硬盘和网络成为主要瓶颈，导致写效率低下。
查询环境，580万条记录，查询条件：行键，查询内容为一个cell，消耗时间为328ms
查询一个列族中的多个列所消耗的时间与查询一列消耗的时间基本一样264 相差100毫秒左右。