《大数据ETL》课程标准精选全文

精选全文完整版（可编辑修改）
《大数据ETL》课程标准
一、课程名称
大数据ETL。

二、适用专业
大数据技术专业。

三、课程学时与学分
72学时，4学分。

四、课程性质
本课程是大数据技术专业的一门专业核心课程，是从事数据采集工程师、ETL工程师、数据仓库工程师等岗位必须学习的课程，将为后续学习《大数据集群运维监控》、《大数据集群运行问题排查、调优》、《数据仓库建设》等课程奠定基础。

本课程开设在第8学期，学习该课程之前需具备一定的SQL编程、数据采集、数据处理、数据分析能力，《互联网数据采集》、《大数据组件安装部署》、《数据清洗与预处理》是该课程的前导课程。

本课程学习的知识和技能可以为第9、10学期考取大数据分析与应用X证书（初级）、华为HCIA-Big Data大数据认证证书做知识和技能准备。

五、课程目标
通过本课程的学习，能完成医疗数据中台数据汇总任务、商务机构交易数据汇总任务、汽车制造行业供应链数据汇总任务、传统生产系统数字化转型数据仓库数据建设任务、能源行业数字化转型数据仓库数据建设任务，达到以下具体目标：
（一）素养目标
1.培养学生的政治思维、政治洞察力与政治敏感性，培养学生的社会主义核心价值观、爱国主义情操。

（培养规格1）
2.能够熟练掌握与本专业从事职业活动相关的国家法律、行业规定，掌握信息数据安全、网络安全防护、质量管理等相关知识与技能，了解大数据、网络信息等产业文化，遵守职业道德准则和行为规范，具备社会责任感和担当精神。

（培养规格2）
3.具备大数据思维，具备较强的逻辑思维能力。

（培养规格5）
4.关心国内外科技发展趋势，具备使用大数据技术服务于社会的意识，具备良好的自我管理能力，拥有较为清晰的职业与人生目标以及较好的职业生涯规划能力。

（培养规格4）
5.具备自学能力，能适应大数据行业的不断变革发展，具备解决实际问题、持续学习的能力，能从事实际的数据采集工作，具有较强的规划观念、精益求精意识。

（培养规格5）（二）知识目标
1.掌握不同类型的数据库接口操作方法。

（培养规格12）
2.熟练掌握至少一门脚本语言（SQL/Python/Shell等）。

（培养规格12）
3.掌握常见的数据清洗方法、数据转换策略。

（培养规格13）
4.熟悉Sqoop、Hive、Spark等大数据组件的使用方法。

（培养规格5）
5.了解数据仓库设计方法。

（培养规格5）
6.熟悉Kettle等ETL工具的使用方法与常见技术问题的解决方法。

（培养规格18）
7.了解数据采集与处理中的法律与政策规范、主流行业的数据标准规范。

（培养规格6）
（三）能力目标
1.能够基于数据仓库设计规范和数据源系统制定ETL策略，使用ETL工具将业务数据导入数据仓库。

（培养规格 18，培养规格23）
2.能够使用脚本语言（SQL/Python/Shell等）操作数据，完成数据清洗与处理。

（培养规格18）
3.能够使用Sqoop、Hive、Spark等组件，完成数据转换，将数据转换结果装载至目标数据仓库。

（培养规格18）
4.能够使用Kettle等ETL工具进行工作流控制。

（培养规格18）
5.能够对输出数据质量进行核验，对不符合要求的数据进行纠偏。

（培养规格18）
6.能够基于数据仓库提供面向业务的报表、封装数据提取接口。

（培养规格12）
7.具备大数据分析与应用X证书（初级）、华为HCIA-Big Data大数据认证证书的能力。

（培养规格18）
六、课程内容与要求
本课程以不同行业的数据仓库ETL任务为载体，坚持立德树人的根本要求，结合学生学习特点，遵循职业教育人才培养规律，有机融入思想政治教育内容，落实课程思政要求，紧密联系工作实际，突出应用性和实践性，注重学生职业能力和可持续发展能力的培养。

合理设计：学习单元、能力点、学习内容与要求。

本课程按照行业类型，知识点覆盖范围从小到大、技能点从单一到综合的规律确定学习模块内容，合理序化教学内容。

学习单元1、2、3、4、5分别涉及健康医疗行业、商务行业、汽车制造业、传统生产行业、能源（石化）行业，在知识体系上是并列关系，在难易度上，1、2、3属于基础ETL任务，4、5为进阶ETL任务，涉及数据仓库的内容。

表1 课程内容与要求
七、课程实施（一）师资队伍
1、专任教师
职业能力：具备优秀的专业课教学开展与组织能力，掌握大数据组件安装部署、Python 编程能力、SQL编程能力、ETL工具操作使用能力，能够以情境任务要求搭建数据仓库，完成ETL过程。

知识结构：了解ETL工程师、数据仓库工程师的各项职业岗位要求；在专业领域中，具备数据采集、数据仓库等较为深入的专业知识背景。

资质：具备中职学校专业课任教资格和企业实践经历。

2、兼职教师
职业能力：企业优秀讲师或行业企业专家，具备有3到5年的大数据相关行业从业经验，参与过多个大数据项目，具有较强的专业技能，具备良好的专业课教学开展与组织能力，具备优秀的Python编程能力，SQL编程能力，精通数据仓库/ETL过程，熟练使用主流ETL工具，能够以情境任务要求设计、构建数据仓库。

知识结构：在行业领域中，深入了解ETL工程师、数据仓库工程师的各项职业岗位要求；在专业领域中，具备数据采集、数据仓库构建等深入的专业知识背景。

资质：具备大数据相关行业从业背景和企业工作经历。

（二）实验实训条件
1、校内实训基地
根据不同的项目学习需要，选择教室、校企合作实习实训基地、实训设备等进行教学。

（1）实训场地：数据清洗与处理实训室；
（2）实训设备：台式计算机40台、服务器1台，满足完成数据ETL过程的要求。

2、校外实训基地
目前大数据技术有1个联想校外实训室，能够同时满足50名学生进行实习实训。

能够满足学校教师、企业专家共同办公，满足专业人才学徒制人才培养要求，符合企业研发、生产要求。

本校外实训基地具备如下条件：
（1）联想组织机构健全，领导和工作（或技术）人员素质高，管理规范，在新一代信息技术领域发展前景好。

（2）基于联想“端-边-云-网-智”技术框架下，其研究方向与经营的业务与本专业对口，且联想属于世界五百强企业，社会形象好。

（3）符合学生专业实习实训条件，并且能够满足学生顶岗实训一个月以上。

（4）有相应的技术人员担任实训指导教师。

（三）教学资源
1、教材
按照教材必须在政治上坚持四项基本原则，符合党和国家的方针和政策，能运用辩证唯物主义和历史唯物主义的观点阐述本课程的基本规律的原则选择教材。

教材必须符合本课程教学大纲的要求，符合学生层次的实际，教材内容的阐述要循序渐进，富于启发，有利于对学生能力和素质的培养。

充分考虑教材的变动与更新，保证教材内容有用、新鲜和实用。

为保证教学质量，优先选择国家规划教材。

《数据清洗与ETL技术》以数据核心，详细介绍了ETL数据处理技术，涵盖数据抽取、数据转换、数据装载等过程，理论与实践相结合，作为主要教材；《Kettle构建Hadoop ETL 系统实践》则以ETL工具Kettle为核心，介绍如何使用Kettle完成Hadoop数据仓库的ETL 过程以及Kettle的进阶知识内容，作为辅助教材。

两本教材相辅相成，有助于提高学生使用Kettle完成不同行业数据ETL过程的实战能力，在教材内容基础上也可以结合学习单元自主开发模块化教材，包括活页式工作页、学习页、评价表等，同时也可采用校企合作资源库课程资源包。

2、图书文献配备
《ETL数据整合与处理（Kettle）》、《大数据Hive离线计算开发实战》等图书可用于学生课余时间巩固课堂所学知识和技能，补充了数据仓库Hive的基础知识，有利于学生后续的学习，提高了学生对于ETL工具Kettle的掌握运用程度。

亦可用于专业教师教科研等工作的开展，方便师生查询、借阅。

3、数字教学资源配置
自主开发资源：PPT课件、微课、试题库、案例等。

（四）教学方法
面对新的教学变革，采用线上线下混合式教学模式组织教学，在教学中渗透理实一体化、思政育人的教学理念。

该课程是大数据技术专业核心课程之一，在教学的过程中应注重锻炼学生的实操能力为主，把大数据ETL处理技能融入到课程的实操训练当中，通过本门课程的学习，学生能够使用ETL工具完成不同行业数据的ETL过程，为构建数据仓库做好准备。

在教学过程中采用：讲演法、任务驱动法、项目教学法、案例分析法等教学方法，辅以餐垫法、工作站法、展览馆法等特色的教学组织方式，提升学生自主探究、合作学习的意识，
培养良好的学习习惯；在每个学习单元，学生进行自主探究学习与小组合作讨论学习，加强操作训练；以企业生产过程中实际的工作任务作为案例，在实践中引导学生学会分析问题、解决问题。

在教学过程中应充分利用实训环境，按照行动导向六步骤，采用任务驱动法等教法，引导学生开展自主、探究、合作的学习活动，在实践中引导学生学会分析问题、解决问题。

通过教师示范操作，强调岗位标准，强化学生的职业规范，提升学生ETL实战能力，提高学生自主探究的能力，逐步养成严谨科学的职业习惯。

在解决问题的过程中，学生养成耐心、细致、精益求精的工作态度，强化学生的质量意识。

本课程在课堂上除了板书讲解等教学手段外，还采用多媒体教学课件、学习网站、视频演示、模拟系统，职教云平台等现代化教学手段，使用了大数据、人工智能、虚拟仿真实训等信息技术，以提高学生的学习兴趣、拓展学习方法，使学生可以有更多的途径获取知识和技能。

（五）教学评价
严格落实培养目标和培养规格要求，围绕大数据技术专业的人才培养目标，通过教师、企业、学生三个评价主体从核心素质、关键知识、综合能力、实践成果四个维度，通过课堂评价（占比20%）、项目评价（占比50%）、课程评价（占比30%）三种形式收录反映学生成长过程和发展水平的描述与实证材料，全面评价学生综合素质，客观反映学生的个性差异和特长，突出评价对学生全面发展的促进作用。

1.课堂评价(20%)：通过教师评价、学生互评、学生自评三个主体侧重核心素质的评价。

课堂评价采用线上线下混合评价方式，借助职教云、雨课堂、云班课等信息化平台对学生在课堂上的学习过程、互动情况等展开评价，结合学生自评、互评等多种评价方式，利用数字信息化直观展示学生的整体情况，让教师在课程中帮助学生更清晰的认识自己。

学习笔记的检查20%（学生将学习笔记在规定时间内拍照上传信息化平台）：评价标准为四级式：A、B、C、D，要求完整、字迹工整、有重点、难点的标记。

学习材料的保存15%（教师线下课堂检查）：评价标准为四级式：A、B、C、D，要求完整、字迹工整、有错误工作页进行了正确的修改。

教师评价40%（借助信息化平台开展评价）：学生出勤（10%）、学习成果展示（10%）、学习过程表现（师生互动、课堂练习、随堂测试等）（10%）、实操（10%）。

学生互评 15%：组内其他同学的评价（10%），组外同学的评价（5%）。

学生自评 10%：自己对自己的评价。

2、项目评价(50%)：阶段测评
项目评价以小组为单位，进行综合素质评价及每一个项目作品成果评价，针对每一个项
目，累计各个工作阶段实施评分、素质评分、项目成果评分，将评分数据由学习平台进行统计，最终项目结束后按照评分公布优秀项目组，学生素质通过多维能力雷达图展示，实现学生的增值性评价，学生养成职业认同感。

其中《素质评分表》如下表所示，每个项目素质评价内容相同，各项目评价考核表详见附件1《项目评价考核明细表》，每个项目考核内容不同。

3、课程评价（30%）：期末考试
理论考试（30%）：试卷，从试题库中抽取100分的试题进行考核，试题类型有主观题：80%，填空题、选择题和判断题组成；客观题：20%，简答题、论述题。

考核时间为：90分钟、闭卷。

考核内容为：学习内容中涉及到的所有内容，重点为技术类要求掌握的知识以及其它能够用试卷考核的内容。

项目测试（70%）：为学生提供5个真实案例项目，每个小组随机抽取一个工作项目，并且按照任务书的要求完成1个完整的工作项目。

考核时间：6节课。

前四节课为项目制作，最后两节课为项目结果说明展示。

考核人员：企业员工和专业教师组成。

考核内容:医疗数据中台数据汇总、商务机构交易数据汇总、汽车制造行业供应链数据汇总、传统生产系统数字化转型数据仓库数据建设、能源行业数字化转型数据仓库数据建设。

重在考核学生通
过运用综合能力，做出的实践成果，详见附件2《大数据ETL》课程综合评价表。

1：项目评价考核明细表
1、考核项目1——医疗数据中台数据汇总
考核项目1——医疗数据中台数据汇总采用过程性评价，考核评价表如下表所示：
考核项目1——医疗数据中台数据汇总考核评价表
班级：姓名：学号：
2、考核项目2——商务机构交易数据汇总
考核项目2——商务机构交易数据汇总采用过程性评价，考核评价表如下表所示：
考核项目2——商务机构交易数据汇总考核评价表
班级：姓名：学号：
3、考核项目3——汽车制造行业供应链数据汇总
考核项目3——汽车制造行业供应链数据汇总采用过程性评价，考核评价表如下表所示：
考核项目3——汽车制造行业供应链数据汇总据采集考核评价表
班级：姓名：学号：
4、考核项目4——传统生产系统数字化转型数据仓库建设
考核项目4——传统生产系统数字化转型数据仓库建设采用过程性评价，考核评价表如下表所示：
考核项目4——传统生产系统数字化转型数据仓库建设考核评价表
班级：姓名：学号：
5、考核项目5——能源行业数字化转型数据仓库建设
考核项目5——能源行业数字化转型数据仓库建设采用过程性评价，考核评价表如下表所示：
考核项目5——能源行业数字化转型数据仓库建设考核评价表
班级：姓名：学号：。