大数据运维工程师的岗位职责模板

大数据运维工程师的岗位职责模板

大数据运维工程师需要负责银行各类应用系统的运维标准制定和运维管理等工作。下面是小编为您精心整理的大数据运维工程师的岗位职责模板。

大数据运维工程师的岗位职责模板1

职责：

负责公司大数据业务集群的运维工作、集群容量规划、扩容及性能优化;

设计实现大规模分布式集群的运维、监控和管理平台;

参与业务架构设计，在设计阶段给出可运维性改进建议;

深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

负责公司大数据平台的应用监控、容量管理，应急响应等;

领导安排的其他工作。

任职要求：

1、本科及以上学历，软件工程、计算机等相关专业;

2、熟悉计算机原理、网络原理等知识;至少2年以上运维或开发工作经验;

3、搭建，管理及调优

Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等开源项目优先;

4、至少掌握java/python/go中的一种语言;

5、熟悉HBase/Flink/mysql/redis运维优先;

6、熟悉zabbix/graphit/grafana加分;

7、具有很强的分析和解决问题的能力;

8、具有攻克难题的强烈兴趣，以及提升技术能力的意愿;

9、善于主动学习，责任心强，能够承受较大的工作压力。

大数据运维工程师的岗位职责模板2

职责：

1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的Hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求：

1.2年以上中等规模集群环境下的

Hadoop/Impala/Hive/Spark集群相关运维经验。

2.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉Kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有Cloudera的CM使用经验尤佳。

大数据运维工程师的岗位职责模板3

职责：

1.负责公司大数据业务集群的运维工作

(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch /Flume等)确保高可用;

2.负责大数据平台的日常部署、升级、扩容、迁移;

3.设计实现大规模分布式集群的运维、监控和管理平台;

4.参与业务架构设计，在设计阶段给出可运维性改进建议;

5.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

6.兼顾应用系统的运维工作。

任职要求：

1.要求掌握java、shell语言，有Spring Cloud微服务架构开发经验的优先;

2.了解Docker，可以做简单应用;

3.熟悉

Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等开源项目优先;

4.熟悉Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题;

5.掌握puppet、kerberos应用的优先;

6.良好的客户服务意识，强烈的责任心和使命感，执行力强，富有团队合作精神;

7.对大数据方向运维有很高的热情和兴趣，能主动学习了解相关知识;

大数据运维工程师的岗位职责模板4

职责：

1、负责公司服务器日常的维护，包括巡检、故障排除、数据备份等业务，保证服务器高质量、高效率运行状态;

2、负责公司大数据产品的现场实施，制定可靠的实施方案;

3、负责公司大数据环境(hadoop生态)集群环境安装、维护、部署、优化;

【任职资格】

1、至少2年服务器、大数据集群运维经验;

2、精通linux运维命令，熟悉Linux的维护和管理，熟悉Shell 脚本开发，能看懂Python/Scala优先;

3、熟悉大数据项目实施：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建，监控，运维，调优、生产环境;

4、熟悉docker技术优先;

5、熟练使用git版本控制，jenkins持续集成工具优先;

6、具备强烈的进取心、自我学习能力,良好的沟通能力和团队合作意识。

大数据运维工程师的岗位职责模板5

职责：

1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行;

2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;

3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

4、负责Hadoop/spark/Mysql等集群服务、业务监控、持续交付、应急响应、容量规划等。

任职要求：

1、3年以上互联网运维相关工作经验，2年以上大数据平台运维相关工作经验;

2、具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉

Http/Https、TCP/IP、SMTP等协议;

3、熟悉Hadoop大数据生态圈，包括但不限于

CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impal a/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

4、熟悉Hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台;

5、熟悉Kubernetes(K8s) 集群Docker 在大数据环境场景的使用;

6、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务

7、有Java开发经验和阅读源码能力者优先。

相关*：

1.大数据运维工程师的职责精选

2.初级运维工程师的岗位职责模板