大数据开发工程师岗位的基本职责

大数据开发工程师岗位的基本职责

大数据开发工程师需要编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库。以下是小编整理的大数据开发工程师岗位的基本职责。

大数据开发工程师岗位的基本职责1

职责:

1、负责大数据平台的技术和产品的设计、开发、优化和维护;

2、负责大数据平台设计文档编写，线上产品的维护;

3、负责系统性能优化，解决各类潜在系统技术风险，保证系统的安全、稳定、快速运行;

4、负责整个产品平台的搭建、多维数据库建设及管控流程设计;

5、参与指标设计，数据建模，负责将数据模型在系统中实现;

6、负责数据抽取、数据交换、实时计算等框架研究及相关产品的研发;

7、负责追踪整体产品过程及质量把控。

任职要求：

1、专业技能：精通Hadoop 生态圈中的一项或几项技术，深入了解Hadoop 及相关组件的部署及调优;设计或开发过大容量，高性能，高可用，易扩展的分布式系统;熟悉实时计算/流式计算系统，至少熟悉一项Nosql 技术;具有扎实java 功底及开发能力;对hadoop，hive，hbase，spark 等相关源码有一定了解;

2、学历背景：计算机相关专业本科及以上学历;

3、工作经验：3年以上JAVA开发经验及1年以上大数据研发经验

4、能力素质：具有出色的抽象设计能力，思路清晰，善于思考，良好的团队合作能力、沟通能力、较好的自学能力，具有敬岗爱业的精神。

5、有团队管理经验者优先。

大数据开发工程师岗位的基本职责2

职责：

1、负责大数据统计平台建设与优化;

2、负责广告效果分析，反作弊平台建设;

3、负责移动广告平台相关系统的设计研发及持续优化。

职位要求：

1、计算机或相关专业本科学历及以上，2年工作经验;

2、精通大数据采集、处理、存储、查询相关技术;

3、熟悉Hadoop/Hbase/Hive/Spark/Storm/Kafka相关技术;

4、至少熟练掌握Java/Scala/Python 中一门语言;

5、有做过大数据量查询优化的优先;

6、有大数据服务运维、性能调优者优先;

7、熟悉常用的设计模式，对MVC框架有了解;

8、强烈的责任心，对技术充满热情，高效率，良好的沟通能力。

大数据开发工程师岗位的基本职责3

职责：

1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。

2.负责日志大数据平台的搭建和规划;

3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;

4.参与业务日志的大数据分析;

5.及时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务

任职资格:

1、计算机等相关专业本科以上学历，2年以上开发经验;

2、熟悉linux 操作系统，熟悉shell 脚本语言，精通Java，有较强的开发能力;

2、熟练使用SQL，熟悉Mysql、MongoDB、Hive等数据库技术的基本操作及原理;

3、熟悉Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发经验;

4、熟悉Elastic产品线(如Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟悉Elasticsearch部署、监控及性能调优;

5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;