大数据运维工程师

大数据运维工程师

职位信息

1、负责Hadoop集群运维管理、升级扩容、集群性能和资源利用率优化；及时处理Hadoop集群运行中出现的问题。

2、保障Hadoop集群核心服务稳定、高效运行；通过技术优化提升数据平台的运行质量和响应速度。

3、开发基于Hadoop集群的自动化集群运维、集群监控、集群资源计量等工具。

4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张。

5、负责开发、完善运维内部系统及辅助系统，提升运维质量及效率。

岗位要求：

1、至少3年以上大数据运维经验，深入理解linux系统，运维体系结构，精于容量规划、架构设计、性能优化。

2、熟悉Hadoop大数据生态圈，包括但不限于

HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spar k/Elasticsearch等。

3、至少熟悉python/shell一种或多种语言，可独立编写维护及监控脚本。

4、有Yarn资源调度和Hive性能优化经验的优先；有hadoop、kafka、spark等开源组件源码优化经验优先；

5、有多节点集群运维经验优先；熟悉ansible等自动化部署工具。

6、具备很强的ownership，故障排查能力，有很好的技术敏感度和风险识别能力；具备良好的学习能力及英文阅读能力。