大数据运维工程师工作的岗位职责

大数据运维工程师工作的岗位职责

大数据运维工程师需要明确工作范围，定期与客户沟通工作量，并获取客户回执，及时归档。以下是小编整理的大数据运维工程师工作的岗位职责。

大数据运维工程师工作的岗位职责1

职责：

1、负责公司大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;

3、深入研究大数据业务相关自动化运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

任职要求：

1、熟悉Linux系统及基础命令操作，能够独立编写Shell或Python脚本，开展日常服务器的运维工作;

2、熟悉并不限于大数据生态圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs 等相关基础组件的框架知识和运行原理;

3、熟悉软硬件设备，网络原理，有丰富的大数据平台(CDH、HDP)部署、集群运维和性能优化等经验;

4、具备一定的系统自动化运维理论体系和实际经验，能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作任务;

5、具备较强的学习能力、抗压能力、动手能力和分析解决问题的能力;

6、熟悉JVM虚拟机调优;

7、熟悉jenkins持续集成;

8、有一定的文档编写能力;

9、能适应短期出差,有公安视频图像侦查业务方向经验者优先;

大数据运维工程师工作的岗位职责2

职责：

1.负责公司大数据平台的运维保障;

2.负责大数据平台的架构审核、业务监控、持续交付、应急响应、容量规划等;

3.为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

4.负责生产及测试集群诸如故障定位恢复、系统安全、性能优化等;

任职要求：

1.计算机相关专业本科及以上学历，3年以上相关工作经验

2.精通Hadoop大数据生态圈，熟悉Hadoop各组件的原理，并有实际部署维护经验;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;

3.具备很强故障排查能力，有很好的技术敏感度和风险识别能力,良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强;

4.有相关动态编排容器技术和虚拟化技术工作经验者优先;

5.深入理解Hadoop各组件的原理和实现，有阅读源码能力者优先;

6.具备很强的ownership，故障排查能力，有很好的技术敏感度和风险识别能力。

大数据运维工程师工作的岗位职责3

1、负责建设大数据平台的规划、架构设计和技术选型;

2、开发和使用Hadoop大数据自动化运维与监控工具;

3、基于大数据应用需求，负责优化平台的性能，消除性能瓶颈，解决业务的疑难问题;

4、熟悉Hadoop、Hive、Hbase、Storm、Spark等技术框架; 熟悉java、scala、sqllite等相关技术;具备软件设计、编码开发测试、文档编写的能力;

5、积极了解业界发展、互联网相关新技术及趋势，参与规划公司大数据产品未来技术架构方向;

6、负责大数据平台内部所涉及到的各类数据库、数据存储的搭建、备份、日常维护、性能调优;以及大数据平台系统运维、监控和故障分析与处理;

7、能够很好的和其它团队的同事沟通协作;

8、负责文档的书写和完善，保证文档的及时更新;

9、有大型开源系统维护经验优先。

大数据运维工程师工作的岗位职责4

职责