2018年江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程

2018年江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程

2018年江苏省高等职业院校技能大赛

大数据技术与应用赛项竞赛规程

一、赛项名称

大数据技术与应用

二、竞赛目的

本赛项的设置，是为适应大数据开发应用产业对高素质技术技能型人才的职业需求，赛项选取典型的大数据应用业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和数据分析能力、运用大数据平台及相关工具软件解决具体业务问题的能力，激发学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能，展示职教改革成果及参赛师生良好精神风貌。

通过举办本赛项，可以搭建校企合作的平台，提升高职电子信息类及相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。

三、竞赛内容

赛项以大数据技术与应用为核心内容和工作基础，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。具体包括：

1. 掌握Hadoop平台环境部署与基本配置，了解基于大数据计算平台的常见应用；

2.综合利用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python 等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。

3.依据项目应用需求和分析结果，完成数据分析报告的编写。

4.竞赛时间4小时，竞赛连续进行。

竞赛内容构成如下： 考核环节 考核知识点和技能点

Hadoop 平台 安装部署 Hadoop 平台安装部署和基本配置。

HDFS 常用操作命令（查询文件类别、上传、删除文件、查询HDFS 基本统计信息）。

Hadoop 集群的性能调优。

数据抓取

规则文件数据和关系型数据库数据抓取以及数据同步（同

Hadoop/Hive 数据同步）。

掌握Hive 数据仓库导入、导出以及同Hadoop 数据文件的转

换，实现Hive 数据管理常用命令。

能够通过Python 编程，使用streaming 和MapReduce 机制实

现数据的抓取。

数据清洗、整理、计算和表达

基于MapReduce 的HDFS 文件系统的文件数据的数据查询、整

理和计算。

结合Hadoop 大数据平台相关技术实现对数据的分析和展现。 应用Python 编程工具，实现给定数据源的采集，提取、清洗、

转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。

综合分析 综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术，使用Python 编程工具，实现对提供的数据源分析、展现，

根据展现结果得出结论，并对结论进行分析，形成分析报告。 序号

竞赛时间 分值权重 Hadoop 平台安装部署

240分钟 权重15% 数据抓取

权重30% 数据清洗、整理、计算和表达

权重20% 综合分析

权重30% 团队分工明确合理、操作规范、文明竞

赛

权重5%

本赛项为团体赛。每支参赛队由1名领队，3名选手（其中队长1名），2名指导教师组成。

五、竞赛规则

（一）竞赛工位通过抽签决定。

（二）竞赛所需的硬件设备、系统软件和辅助工具由赛项组委会统一准备，

参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场。

（三）参赛队自行决定选手分工、工作程序和时间安排。

（四）所有参赛选手都必须携带参赛证件进行检录。参赛证件不包含身份证和学生证。

（五）参赛队在赛前10分钟进入竞赛工位并领取竞赛任务，竞赛正式开始后方可展开相关工作。参赛选手迟到超过竞赛时间一半不得入场。

（六）竞赛过程中，选手须严格遵守操作规程，确保人身及设备安全，并接受裁判员的监督和警示。如遇到设备或软件等故障，参赛选手应当举手示意；现场裁判应及时予以解决。如确因计算机软件或硬件故障，致使操作无法继续的，由现场裁判协同技术支持人员共同解决。

（七）若因选手因素造成设备故障或损坏，无法继续竞赛的，由现场裁判报告裁判长。裁判长有权决定中止该队竞赛；若因非参赛选手个人因素造成设备故障，由裁判长视具体情况做出裁决。

（八）竞赛结束或提前完成后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作。

（九）竞赛结束或提前完成后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作，经现场裁判确认后方可离开赛场

（十）成绩评定评分方法分为现场评分和结果评分，经裁判长、监督人员签字确认后予以公布。

（十一）竞赛过程不安排现场观摩。

（十二）其它未尽事宜，将在赛前向各领队做详细说明。

七、竞赛环境

1.竞赛场地。竞赛场地分为：竞赛现场、裁判员休息区、指导老师休息区、服务区。其中，竞赛现场又划分为：检录区、场内竞赛区、技术支持区。以上区域应保证良好的采光、照明和通风；

2.竞赛设备。场内竞赛区按照参赛队数量准备比赛所需的软硬件平台，为参赛队提供统一竞赛设备和备用设备。选手无需自带任何工具及附件。

3.竞赛工位。竞赛现场各个工作区配备单相220V/3A以上交流电源。每个