大数据开发职位描述与岗位职责

大数据开发职位描述与岗位职责
职位描述：
大数据开发工程师负责设计、开发和维护大数据平台的相关应
用服务，包括数据采集、数据存储、数据处理和数据分析等，以支
持公司业务的数据化、智能化。

应聘者需拥有在大数据场景下的相
关技术实践经验和较强的编程能力。

岗位职责：
1. 负责大数据平台的数据采集、处理和分析，根据业务需求提
供数据分析支撑和数据产品服务；
2. 利用Hadoop等大数据技术实现数据的批处理和实时处理，
并保证数据的及时、准确和稳定；
3. 与数据开发团队共同开发、优化数据仓库的维度建模、业务
逻辑建模和数据映射等，保证数据仓库的稳定性和可维护性；
4. 针对大数据场景下的高速增长和异常情况，设计和实现性能
监控和故障处理的机制，优化系统的稳定性和可扩展性；
5. 通过数据分析和数据挖掘，为公司业务的决策提供更加精准、及时和客观的支持，改进业务流程和提升企业价值。

职位要求：
1. 熟练掌握Hadoop、Spark等大数据开发技术和大规模数据处
理和分析经验，具有丰富的实践经验；
2. 熟练使用SQL语言和NoSQL数据库（如Hbase、Cassandra 等），掌握数据结构、算法和计算机网络等基础知识；
3. 熟悉Java、Python、Scala等语言，具备良好的开发能力和
代码质量，能够独立完成开发任务；
4. 具有分布式系统、高并发、高可用性等架构设计和调优经验，在大数据项目中有承担主要工作或参与过重要子系统的开发经验；
5. 具备优秀的团队协作和沟通能力，能够与跨部门和跨文化的
同事进行有效地沟通和合作。