大数据人才现状及职业分工.pptx
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关键词 职责分工，学习领域
学习领域
1. 分布式存储及分布式计算、实时计算系统工 作原理
2. 主流数据库及NewSQL/NoSQL技术架构和 适用场景。
3. 软件架构设计相关的软件工程、数据存储/ 性能调优等相关领域知识
4. 主数据、元数据、数据质量等企业数据管理 相关的体系和方法。
5. 数据仓库及商业智能实施方法论、深入了解 数据仓库体系架构及BI工具
大数据人才现状及职业分工
北京信息职业技术学院 | 朱立
资料来源：小象科技-小象学院
2
大 数 据 技 术 架 构
数据采集 ／管理
分布式存储 ／计算
大数据应用 开发
数据分析与挖掘
大数据前端应用
数据服务和展现
3
大 数 据 人 才 现 状 及 职 业 分 工
数据采集 /管理
分布式存储 大数据应用
／计算
ห้องสมุดไป่ตู้
开发
职责分工
面向业务场景的大数据前端开发人 员，负责设计实验良好的人机交互 （UI/UE）；进行系统优化，设计 并完善前端基础服务架构；浏览器 兼容问题，移动应用开发，并 与后 台技术开发保持良好沟通，快速理 解、消化各方需求，并落实为具体 的开发工作。
关键词 职责分工，学习领域
学习领域
1. 精通JavaScript( js),CSS3,HTML5基本原 理并能熟练手写，熟练使用Jquery等 Javascript前端开发技术；
数据分析与挖掘
大数据前端应用
数据服务和展现
大数据 运维工程师
大数据 开发工程师
数据分析师 数据挖掘师 算法工程师
大数据 平台架构师
数据科学家
前端开发工程师 前端架构专家
可视化工程师
可视化专家
大数据人才现状及职业分工
九个大数据职业角色
小象学院耗费 两年 时间，跟踪对
工业界拥有大数据团队的组织实践， 总结得出：大数据专业人才已经出现 多层次的角色分类
关键词 职责分工，学习领域
学习领域
1. 特定业务领域知识 2. 面向业务问题的数据识别、获取及数
据使用及相关编程语言 3. 数据仓库的系统原理，存储与处理 4. 大数据统计建模，多元统计分析与R
语言建模等数据分析工具 5. 数据可视化展现 6. 实用数据科学方法，社交网络分析，
计算机广告学，个性化推荐与精准营 销，大数据搜索，用户行为分析
3. 数据规约技术 4. 数据清理方法 5. 数据变换：通过平滑聚集，数据概化，规
进一步的软件功能重构或解决 Debug问题。 4. 数据库技术：MySQL等主流数据库 应用技术
大数据人才现状及职业分工
大数据云端研发工程师
职责分工
面向业务场景的大数据后台服务开 发人员，负责基于大数据的业务应 用系统和产品的云端后台服务开发 ，如：广告系统、搜索、个性化推 荐及精准营销系统、风险预测、防 欺诈系统，
关键词 职责分工，学习领域
学习领域
1. 熟练掌握高级编程语言 2. 熟悉大数据开源软件架构原理及其API 3. 数据库设计及数据库技术：MySQL等主
流数据库应用技术 4. 业务系统的逻辑架构 5. 软件架构设计 6. 业务流程实现 7. 云存储、云安全、 8. 数据模型
大数据人才现状及职业分工
大数据前端开发工程师
关键词 多层次的角色分工
1. 大数据运维工程师 2. 大数据平台研发工程师 3. 大数据云端应用研发工程师 4. 大数据前端应用开发工程师 5. 大数据架构师 6. 大数据分析师 7. 数据挖掘师 8. 算法工程师 9. 大数据可视化师
大数据人才现状及职业分工
大数据运维工程师
职责分工
负责搭建大数据平台集群，并维护 、管理、优化，负责平台上的数据 采集、数据清洗、数据存储，数据 维护及优化
关键词 职责分工，学习领域
学习领域
1. 网络及系统资源监控 2. Hadoop集群维护 3. 云计算及虚拟化技术MapReduce 4. Hadoop分布式文件系统, 5. 基于Yarn的资源调度和管理 6. Spark集群维护管理 7. 分布式数据库及数据仓库系统的维
护管理 8. 各种开源监控工具的使用 9. 系统问题的Debug分析
大数据人才现状及职业分工
数据挖掘工程师
职责分工
负责具体项目的数据挖掘模型等， 通过数据挖掘模型的构建、维护、 部署和评估实现数据处理，分析和 挖掘的基础性技术支撑
关键词 职责分工，学习领域
学习领域
1. 信息收集：收集海量数据，及选择如何做 数据存储和管理的数据仓库。
2. 数据集成：整合不同来源、格式、特点性 质的数据在逻辑上实现数据共享。
5. 掌握IOS，Android的移动应用开发技能
大数据人才现状及职业分工
大数据架构师
职责分工
负责研究与跟踪大数据新技术发展方向 ，主持制定大数据平台技术发展战略规 划，如：平台的设计、开发、维护与优 化，不断创新，满足上层数据运营体系 各项需求，核心数据模型的建立，同时 参与应用分析系统的系统分析、设计以 及实施工作等；负责企业主数据，元数 据管理及数据质量；基于数据仓库的业 务探索以及信息探索的工作
2. 熟练切图，将UI设计转化为符合W3C规范 的DIV+CSS静态页面，确保浏览器及平台 的性能和兼容性；
3. 熟悉JQuery ,EasyUI、ExtJS、Bootstrap 、Angular.js等框架、有美工设计经验；
4. 熟悉PHP/.net开发、完成大型网站前端开 发；了解前沿的技术，例如web新标准、 css3、html5、siverlight等；
6. 逻辑模型和物理模型建模、中间层模型理论 以及多维模型的设计。
大数据人才现状及职业分工
大数据分析师
职责分工
负责项目的需求调研、数据分析、 商业分析和数据挖掘模型等，通过 对用户的行为进行分析了解用户的 需求；参与业务部门临时数据分析 需求的调研、分析及实现；参与数 据挖掘模型的构建、维护、部署和 评估；整理编写商业数据分析报告 ，及时发现和分析其中隐含的变化 和问题，为业务发展提供决策支持
大数据人才现状及职业分工
大数据平台研发工程师
职责分工
围绕大数据系统的平台研发人员，具 体如：掌握设计开发分布式系统的功 能扩展、性能改进、故障分析、 OLAP类型的在线联机分析开发等。
关键词 职责分工，学习领域
学习领域
1. 熟练掌握编程语言 2. 熟悉大数据开源软件架构原理及其
API 3. 掌握开源软件的源码，并有能力做
学习领域
1. 分布式存储及分布式计算、实时计算系统工 作原理
2. 主流数据库及NewSQL/NoSQL技术架构和 适用场景。
3. 软件架构设计相关的软件工程、数据存储/ 性能调优等相关领域知识
4. 主数据、元数据、数据质量等企业数据管理 相关的体系和方法。
5. 数据仓库及商业智能实施方法论、深入了解 数据仓库体系架构及BI工具
大数据人才现状及职业分工
北京信息职业技术学院 | 朱立
资料来源：小象科技-小象学院
2
大 数 据 技 术 架 构
数据采集 ／管理
分布式存储 ／计算
大数据应用 开发
数据分析与挖掘
大数据前端应用
数据服务和展现
3
大 数 据 人 才 现 状 及 职 业 分 工
数据采集 /管理
分布式存储 大数据应用
／计算
ห้องสมุดไป่ตู้
开发
职责分工
面向业务场景的大数据前端开发人 员，负责设计实验良好的人机交互 （UI/UE）；进行系统优化，设计 并完善前端基础服务架构；浏览器 兼容问题，移动应用开发，并 与后 台技术开发保持良好沟通，快速理 解、消化各方需求，并落实为具体 的开发工作。
关键词 职责分工，学习领域
学习领域
1. 精通JavaScript( js),CSS3,HTML5基本原 理并能熟练手写，熟练使用Jquery等 Javascript前端开发技术；
数据分析与挖掘
大数据前端应用
数据服务和展现
大数据 运维工程师
大数据 开发工程师
数据分析师 数据挖掘师 算法工程师
大数据 平台架构师
数据科学家
前端开发工程师 前端架构专家
可视化工程师
可视化专家
大数据人才现状及职业分工
九个大数据职业角色
小象学院耗费 两年 时间，跟踪对
工业界拥有大数据团队的组织实践， 总结得出：大数据专业人才已经出现 多层次的角色分类
关键词 职责分工，学习领域
学习领域
1. 特定业务领域知识 2. 面向业务问题的数据识别、获取及数
据使用及相关编程语言 3. 数据仓库的系统原理，存储与处理 4. 大数据统计建模，多元统计分析与R
语言建模等数据分析工具 5. 数据可视化展现 6. 实用数据科学方法，社交网络分析，
计算机广告学，个性化推荐与精准营 销，大数据搜索，用户行为分析
3. 数据规约技术 4. 数据清理方法 5. 数据变换：通过平滑聚集，数据概化，规
进一步的软件功能重构或解决 Debug问题。 4. 数据库技术：MySQL等主流数据库 应用技术
大数据人才现状及职业分工
大数据云端研发工程师
职责分工
面向业务场景的大数据后台服务开 发人员，负责基于大数据的业务应 用系统和产品的云端后台服务开发 ，如：广告系统、搜索、个性化推 荐及精准营销系统、风险预测、防 欺诈系统，
关键词 职责分工，学习领域
学习领域
1. 熟练掌握高级编程语言 2. 熟悉大数据开源软件架构原理及其API 3. 数据库设计及数据库技术：MySQL等主
流数据库应用技术 4. 业务系统的逻辑架构 5. 软件架构设计 6. 业务流程实现 7. 云存储、云安全、 8. 数据模型
大数据人才现状及职业分工
大数据前端开发工程师
关键词 多层次的角色分工
1. 大数据运维工程师 2. 大数据平台研发工程师 3. 大数据云端应用研发工程师 4. 大数据前端应用开发工程师 5. 大数据架构师 6. 大数据分析师 7. 数据挖掘师 8. 算法工程师 9. 大数据可视化师
大数据人才现状及职业分工
大数据运维工程师
职责分工
负责搭建大数据平台集群，并维护 、管理、优化，负责平台上的数据 采集、数据清洗、数据存储，数据 维护及优化
关键词 职责分工，学习领域
学习领域
1. 网络及系统资源监控 2. Hadoop集群维护 3. 云计算及虚拟化技术MapReduce 4. Hadoop分布式文件系统, 5. 基于Yarn的资源调度和管理 6. Spark集群维护管理 7. 分布式数据库及数据仓库系统的维
护管理 8. 各种开源监控工具的使用 9. 系统问题的Debug分析
大数据人才现状及职业分工
数据挖掘工程师
职责分工
负责具体项目的数据挖掘模型等， 通过数据挖掘模型的构建、维护、 部署和评估实现数据处理，分析和 挖掘的基础性技术支撑
关键词 职责分工，学习领域
学习领域
1. 信息收集：收集海量数据，及选择如何做 数据存储和管理的数据仓库。
2. 数据集成：整合不同来源、格式、特点性 质的数据在逻辑上实现数据共享。
5. 掌握IOS，Android的移动应用开发技能
大数据人才现状及职业分工
大数据架构师
职责分工
负责研究与跟踪大数据新技术发展方向 ，主持制定大数据平台技术发展战略规 划，如：平台的设计、开发、维护与优 化，不断创新，满足上层数据运营体系 各项需求，核心数据模型的建立，同时 参与应用分析系统的系统分析、设计以 及实施工作等；负责企业主数据，元数 据管理及数据质量；基于数据仓库的业 务探索以及信息探索的工作
2. 熟练切图，将UI设计转化为符合W3C规范 的DIV+CSS静态页面，确保浏览器及平台 的性能和兼容性；
3. 熟悉JQuery ,EasyUI、ExtJS、Bootstrap 、Angular.js等框架、有美工设计经验；
4. 熟悉PHP/.net开发、完成大型网站前端开 发；了解前沿的技术，例如web新标准、 css3、html5、siverlight等；
6. 逻辑模型和物理模型建模、中间层模型理论 以及多维模型的设计。
大数据人才现状及职业分工
大数据分析师
职责分工
负责项目的需求调研、数据分析、 商业分析和数据挖掘模型等，通过 对用户的行为进行分析了解用户的 需求；参与业务部门临时数据分析 需求的调研、分析及实现；参与数 据挖掘模型的构建、维护、部署和 评估；整理编写商业数据分析报告 ，及时发现和分析其中隐含的变化 和问题，为业务发展提供决策支持
大数据人才现状及职业分工
大数据平台研发工程师
职责分工
围绕大数据系统的平台研发人员，具 体如：掌握设计开发分布式系统的功 能扩展、性能改进、故障分析、 OLAP类型的在线联机分析开发等。
关键词 职责分工，学习领域
学习领域
1. 熟练掌握编程语言 2. 熟悉大数据开源软件架构原理及其
API 3. 掌握开源软件的源码，并有能力做