数据采集与预处理-课程标准_教学大纲

《数据采集与预处理》课程标准

1. 概述

1.1课程的性质

本课程是大数据技术与应用专业、云计算技术与应用专业、软件技术专业的专业核心课程，是校企融合系列化课程，该课程教学内容以任务驱动为主线，围绕企业级应用进行项目任务设计。

1.2课程设计理念

本课程遵循应用型本科和高等职业教育规律，以大数据技术与应用实际工作岗位需求为导向选取课程内容，完成了数据采集和预处理平台搭建、网络爬虫实践、日志数据采集实践和数据预处理实践等完整的数据采集与预处理应用案例，课程目标是培养学生具备“大数据分析”应用项目所需数据采集与预处理的综合职业能力；坚持开放性设计原则，吸收企业专家参与，构建以“工作任务”为载体的“项目化”课程结构；课程教学实施教、学、做一体，坚持理论为实践服务的教学原则，通过模拟企业大数据采集与预处理应用业务进行组织，锻炼学生的实践操作能力。

1.3课程开发思路

通过岗位技能的项目化以及大数据采集与预处理任务的序列化，对内容体系结构进行了适当调

整与重构，以适应教学课程安排。以项目案例及其任务实现为驱动，凭借翔实的操作步骤和准确的

说明，帮助学生迅速掌握大数据采集与预处理的相关知识与技能，并且充分考虑学习操作时可能发

生的问题，并提供了详细的解决方案，突出岗位技能训练。

2.课程目标

本课程的培养目标是使学生以大数据分析岗位需求为依托，以实际工作任务为导向，理清大数据采集与预处理中常用工具的作用及应用，培养学生大数据采集与预处理的实际操作技能。

2.1知识目标

本课程本书以任务驱动为主线，围绕企业级应用进行项目任务设计，完成了数据采集和预处理平台搭建、网络爬虫实践、日志数据采集实践和数据预处理实践等完整的数据采集与预处理应用案例，要求学生系统掌握scrapy、Flume、pig、kettle、Pandas、openrefine和urllib、selenium基本库

和BeautifulSoup解析库等的相关技术知识，熟悉企业典型应用案例，熟悉数据采集与预处理的常用与典型操作。

2.2素质目标

（1）培养学生动手能力、自主学习新知识的能力

（2）培养学生团队协作精神

2.3能力目标

通过该课程的学习，学生能利用所学的相关技术，能根据企业具体大数据分析业务，结合采集的海量数据，针对性的进行数据的预处理，学会数据采集与预处理的常用与典型操作。

3.课程内容和要求

根据专业核心课程目标和涵盖的工作任务要求，确定课程内容和要求，说明学生应获得的知识、技能与态度。

4.课程实施和建议

4.1课程的重点、难点及解决办法

课程重点在于培养学生能够利用所学的相关技术知识，结合实际大数据分析应用业务，利用数据采集与预处理常用系统与手段，实现数据采集、数据清洗、数据转换和数据存储操作等；难点在于针对基础不同、兴趣不一的学生采用不同的方法进行相关能力的培养。

4.2教学方法和教学手段

4．2．1教学方法：

项目引领、任务驱动：每个项目都是多个任务的结合体。每个项目都按规范的流程进行组织，通过案例引导：将大数据企业中大数据技术与应用岗位相关的项目引入课堂，演绎为工作中的各种操作任务案例，培养学生利用各种数据采集与预处理的工具与手段，结合大数据具体应用业务，进行大数据采集与预处理操作。

4．2．2教学手段

多媒体教学、上机演示教学等

4.3教学评价

该课程的考核改变单一的终结性评价方法，采用过程考核和结果考核相结合、理论考试和实践考核相结合的方法。理论部分考核学生对项目所涉及的知识点综合掌握情况，实践部分考核基于大数据具体应用业务，充分利用数据采集与预处理的工具与手段，完成数据采集、数据清洗、数据转换和数据存储操作。灵活多样的考核方式可以全面考核学生的学习效果。

说明：每个教学项目模块的考核主要考察学生的出勤情况、实际动手能力、理论知识的运用与掌握情况、完成作业的准确度、完整度、规范度等、分析问题、解决问题的能力、合作沟通能力、学习态度、总结报告（报告的内容、态度、写作水平等）等评定项目进行考核。

4.4 教材选用

《数据采集与预处理》米洪、张鸰主编人民邮电出版社，2019。

4.5课程资源的开发与利用

1．教辅材料：要力求接近实践，最好是来源于实践的案例与情境，并开发课程的习题、参考文献等内容，向学生开放，以利于学生自主学习。

2．实训指导书：格式正确、内容全面，且能具体写明对学生的各项要求。

3．软件环境：不断完善大数据分析综合实训室的软件环境，引进与采购管理软件用于教学，为学生提供更好的采购软件模拟条件。

4．硬件环境：希望能够完善硬件建设，同时，通过各种渠道加大对校外实训基地的建设，为学生的校外实践提供环境条件。

5．信息技术：充分的利用各种信息技术，例如网络、多媒体课件等，为学生提供学习的便利条件。例如加大课程的网络资源建设，把与课程有关的文献资料、课程标准、电子教案、教学课件、教学视频、相关前沿信息、与职业资格考试相关的资料、学生与教师的互动等都放到网上，充分的为学生的自主学习提供环境条件。