HADOOP课程大纲
《Hadoop大数据技术与应用》课程教学大纲 - 20190422
Hadoop大数据技术与应用（含实验）教学大纲前言一、大纲编写依据《Hadoop大数据技术与应用》是数据科学、大数据方向本科生的一门必修课。
通过该课程的学习，使学生系统的学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用。
课程由理论及实践两部分组成，课程理论部分的内容以介绍Hadoop平台主要组件的作用、结构、工作流程为主，让学生对Hadoop平台组件的作用及其工作原理有比较深入的了解；课程同时为各组件设计有若干实验，帮助学生在学习理论知识的同时，提高学生的实践能力，系统的掌握Hadoop主要组件的原理及应用，为其他相关课程的学习提供必要的帮助。
二、课程目的1、知识目标学习Hadoop平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、工作流程，掌握基础的MapReduce编程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程，并具备一定的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。
2、能力目标(1) 工程师思维方式通过本课程的学习，引导学生养成工程师逻辑思维、系统思维的思维方式及习惯。
(2) 分析及解决问题的能力课程中实验由浅及深，有一定的步骤及难度，操作不当可能会遇到问题；遇到问题时老师会给出引导，但不会直接告诉解决方法，因此，如何分析、分析完成后实施具体的解决步骤，都需要学生摸索完成，在这个摸索实践过程中，学生的分析及解决问题的能力得到培养。
三、教学方法1、课堂教学(1) 讲授本课程的理论教学内容以讲授为主、辅以操作演示，讲授的主要内容有：Hadoop概述，Hadoop安装部署，分布式文件系统HDFS，分布式计算MapReduce，资源管理调度组件YARN，列式存储HBase，数据仓库组件Hive，数据分析引擎Pig，日志采集组件Flume等。
根据教学大纲的要求，突出重点和难点。
(2) 教师指导下的学生自学实践课程由若干实验组成，每个实验都包含实验目的、实验原理、实验环境等，需要学生结合理论知识，充分发挥自主学习的能力来完成实验，老师在这个过程中更多起到辅导的作用。
《Hadoop大数据技术》课程理论教学大纲
《Hadoop大数据技术》课程教学大纲一、课程基本情况课程代码：1041139083课程名称（中/英文）：Hadoop大数据技术/Hadoop Big Data Technology课程类别：专业必修课学分：3.5总学时：56理论学时：32实验/实践学时：24适用专业：数据科学与大数据技术适用对象：本科先修课程：JA V A程序设计、Linux基础教学环境：课堂、多媒体、实验机房二、课程简介《Hadoop大数据技术》课程是数据科学与大数据技术专业的专业必修课程。
《Hadoop大数据技术》主要学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用。
通过学习Hadoop 平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、工作流程，掌握基础的MapReduce编程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程，并具备大数据的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。
课程由理论及实践两部分组成，课程理论部分的内容以介绍Hadoop平台主要组件的作用、结构、工作流程为主，对Hadoop 平台组件的作用及其工作原理有比较深入的了解；课程同时为各组件设计有若干实验，使学生在学习理论知识的同时，提高实践动手能力，做到在Hadoop的大数据平台上进行大数据项目开发。
三、课程教学目标2.课程教学目标及其与毕业要求指标点、主要教学内容的对应关系四、教学内容（一）初识Hadoop大数据技术1.主要内容：掌握大数据的基本概念、大数据简史、大数据的类型和特征、大数据对于企业带来的挑战。
了解对于大数据问题，传统方法、Google的解决方案、Hadoop框架下的解决方案，重点了解Google的三篇论文。
掌握Hadoop核心构成、Hadoop生态系统的主要组件、Hadoop发行版本的差异及如何选择；了解Hadoop典型应用场景；了解本课程内容涉及到的Java语言基础；了解本课程实验涉及到的Linux基础。
大数据开发技术(Hadoop)-大纲
《大数据开发技术（Hadoop）》教学大纲课程编号：071333B课程类型：□通识教育必修课□通识教育选修课□专业必修课█专业选修课□学科基础课总学时：48讲课学时：16 实验（上机）学时：32学分：3适用对象：计算机科学与技术专业，大三本科生先修课程：人工智能、面向对象程序设计、数据库原理、高性能计算一、教学目标目标是让学生了解并掌握四个领域（即大数据系统的起源及系统特征、大数据系统的架构设计及功能目标设计、大数据系统程序开发、企业大数据案例分析）的内容，同时利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力；本课程重点让学生掌握四个方面的内容：目标1：HDFS使用操作目标2：Map/Reduce开发目标3：HBase数据库的开发目标4：Hive数据仓库开发二、教学内容及其与毕业要求的对应关系1：Hadoop大数据处理平台安装与部署目标及要求：让学生掌握Hadoop平台的安装，熟悉大数据处理的软硬件环境。
2：HDFS操作命令操作目标及要求：让学生掌握分布式文件系统HDFS的文件操作，包含导入导出文件、列表、查找、删除文件等。
3：MapReduce开发目标及要求：让学生掌握在HDFS文件系统内的Map及Reduce的Java开发，实现对指定文本文件的单词计数，将统计结果输出至控制台。
4：HBase数据库命令操作目标及要求：让学生掌握分布式文件数据库系统HBase的数据库操作，包含创建表、删除表、增加列、导入记录、删除记录等。
5：Hive数据仓库基础使用目标及要求：让学生掌握在Hive数据仓库的基本命令的操作，包含创建数据仓库、创建表、删除表、导入及导出数据，统计查询等在CLI模式下的使用操作。
三、各教学环节学时分配（黑体，小四号字）教学课时分配四、教学内容第一章大数据概述授课学时：1基本要求：1. 了解大数据概念、特征、数据计量单位以及大数据的类型；2. 了解大数据系统的设计背景、以及当前大数据系统存在的不足；3. 了解大数据系统的设计思想、设计目标和设计原则；4. 了解大数据系统的整体逻辑架构设计及运行逻辑，了解当前大数据系统的主流架构；第二章大数据应用开发思路和开发环境配置授课学时：1基本要求：1. 掌握大数据系统应用读写操作的开发流程；2. 掌握分析大数据开发技术及思路；3. 掌握大数据Java开发的环境配置、Plugin插件的安装，Hadoop环境配置；4. 真机实操训练（实验环节1）；第三章HDFS 分布式文件系统授课学时：2基本要求：1. 了解HDFS设计目标、基本概念；2. 掌握HDFS文件系统的命令操作；3. 掌握Java对HDFS的程序开发操作，包含目录管理、文件列表、读取、导入导出、文件压缩等开发；4. 真机实操训练（实验环节2）；第四章MapReduce 分布式编程授课学时：4基本要求：1. 了解MapReduce的设计思想、基本概念；2. 了解MapReduce的系统架构、作业运行机制和关键技术；3. 掌握MapReduce的数据类型的自定义以及数据类型的使用；4. 掌握MapReduce开发，定制输入输出的数据格式；5. 掌握将HDFS文件系统中整个文件作为输入数据的开发；6. 掌握利用MapReduce完成小文件聚合成一个大文件的开发；7. 掌握压缩数据处理程序开发；8. 掌握任务组合过程，掌握迭代组合、并行组合及串行组合；9. 掌握任务的前后链式组合；10. 掌握多数据源连接的开发，包含Map端开发以及Reduce端开发；11. 掌握Hadoop全局参数的使用，全局文件的使用；12. 掌握与关系型数据库的访问连接；13. 真机实操训练（实验环节3）；第五章HBase 分布式数据库授课学时：4基本要求：1. 了解HBase分布式数据库的设计目标、基本概念；2. 了解HBase逻辑架构以及物理架构；3. 掌握HBase分布式数据库Shell命令操作；4. 掌握HBase数据库系统的Java开发，包含创建表、删除表，查询所有表操作；5. 掌握HBase数据库系统的Java开发，包含插入记录、查询数据，组合查询、修改删除记录等开发；6. 真机实操训练（实验环节4）；第六章Hive数据仓库开发授课学时：4基本要求：1. 了解Hive数据仓库的工作原理及特点；2. 了解Hive架构设计，包含数据类型、数据存储方式以及查询方式；3. 掌握Hive数据仓库系统的HQL语言语法；4. 掌握HQL的创建表、查看表及查询有结构，修改表以及删除表；5. 掌握利用HQL语句将HDFS的文件导入数据仓库；6. 掌握分区表、桶表、外部表的使用；7. 掌握HQL语句的联合查询、子查询、创建视图等操作；8. 掌握利用Java开发UDF自定义函数，以及自定义函数的使用；9. 掌握Java连接Hive数据仓库进行数据查询；10. 真机实操训练（实验环节5）；五、考核方式、成绩评定（黑体，小四号字）考核方式：考查，采用平时成绩+期末课程设计。
《Hadoop大数据技术原理与应用》课程教学大纲
《Hadoop大数据技术原理与应用》课程教学大纲课程编号：3250578学分：4学分学时：72学时（其中：讲课学时36 上机学时：36）先修课程：《Linux基础》、《关系数据库基础》、《程序设计基础》、《Java面向对象编程》后续课程：Spark，《Python编程基础》、《Python数据分析与应用》适用专业：大数据应用技术一、课程的性质与目标《大数据应用开发》本课程是软件技术专业核心课程，大数据技术入门课程。
通过学习课程使得学生掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。
开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。
完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。
二、教学条件要求操作系统：Center OSHadoop版本：Hadoop2.7.4开发工具：Eclipse三、课程的主要内容及基本要求第1章初识Hadoop第2章构建Hadoop集群第3章 HDFS分布式文件系统第4章 MapReduce分布式计算系统第5章 Zookeeper分布式协调服务第6章 Hadoop2.0新特性第7章 Hive数据仓库第8章 Flume日志采集系统第9章 Azkaban工作流管理器第10章 Sqoop数据迁移第11章综合项目——网站流量日志数据分析系统四、学时分配五、考核模式与成绩评定办法本课程为考试课程，期末考试采用百分制的闭卷考试模式。
学生的考试成绩由平时成绩（30%）和期末考试（70%）组成，其中，平时成绩包括出勤（5%）、作业（5%）、上机成绩（20%）。
六、选用教材和主要参考书本大纲是参考教材《Hadoop大数据技术原理与应用》所设计的。
七、大纲说明本课程的授课模式为：课堂授课+上机，其中，课堂主要采用多媒体的方式进行授课，并且会通过测试题阶段测试学生的掌握程度；上机主要是编写程序，要求学生动手完成指定的程序设计或验证。
《Hadoop》实验教学大纲(大数据)
《H a d o o p》实验教学大纲课程代码：实验学时：16先修课程：《大数据导论》一、目的要求目的：使学生能够掌握大数据平台Hadoop的基本概念，并根据Hadoop处理大批量数据集的存储与分析计算，掌握调试程序的基本技巧，初步了解大数据开发所要经历的阶段，为学生从事大数据开发和数据处理工作打下坚实的基础。
要求：熟悉Linux系统和Java se编程，根据实验内容和要求，认真完成程序编写、上机调试、运行结果分析，书写实验报告。
二、实验项目内容及学时分配实验一、Linux及虚拟机安装搭建（3学时）1.实验目的要求（1）安装VMware虚拟机；（2）通过VMware虚拟机编译、安装Linux CentOS系统。
2.实验主要内容通过在计算机系统上编译和安装Linux系统环境，为Hadoop软件安装和搭建提供工作环境。
3.实验类别：基础4.实验类型：验证5.实验要求：必做6.主要仪器：微型计算机实验二、Hadoop的安装搭建（3学时）1.实验目的要求掌握大数据核心框架Hadoop的安装和部署，包括伪分布式集群的安装部署和完全分布式的安装和部署。
2.实验主要内容通过上机在Linux系统环境进行Hadoop平台的安装和部署，完成大数据分布式处理平台的搭建。
3.实验类别：基础4.实验类型：验证5.实验要求：必做6.主要仪器：微型计算机实验三、HDFS Shell应用（3学时）1.实验目的要求（1）掌握分布式文件存储与管理系统hdfs的数据上传与下载命令；（2）掌握hdfs文件增删改查等操作命令；（3）掌握分布式系统hdfs的运行原理。
2.实验主要内容（1）hdfs hadoop put get mkdir ls 等命令的使用（2）NameNode datanode的作用及原理3.实验类别：基础4.实验类型：设计5.实验要求：必做6.主要仪器：微型计算机实验四、MapReduce编程（3学时）1.实验目的要求（1）正确使用MapReduce编程；（2）MapReduce编程的编程格式；（3）“WC”编程；2.实验主要内容（1）MapReduce固定格式语法编程，map编程、reduce编程（2）自定义函数编程，UDF、UDAF等函数编程3.实验类别：专业基础4.实验类型：设计5.实验要求：必做6.主要仪器：微型计算机实验五、MapReduce数据倾斜等优化（4学时）1.实验目的要求（1）掌握MapReduce编程的优化；（2）熟练掌握数据倾斜等MapReduce任务问题的优化。
Hadoop大数据开发实战教学大纲
《Hadoop大数据开发基础》教学大纲课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：48学时总学分：3.0学分一、课程的性质本课程是为大数据技术类相关专业学生开设的课程。
随着时代的发展，大数据已经成为一个耳熟能详的词汇。
与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。
Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。
Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。
由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。
经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。
因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。
二、课程的任务通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。
为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。
三、教学内容及学时安排序号章节名称主要内容教学目标学时1 大数据概论1. 大数据学习基础2. 大数据背景3. 大数据的定义4. 大数据的行业案例5. 大数据的基本概念6.大数据技术生态圈1.了解大数据的背景和大数据生态群技术2.理解大数据基本概念和大数据行业案例。
22Hadoop集群的搭建及配置1. 设置固定IP的方法2. 设置远程连接虚拟机3. Linux在线安装软件的方法4. 在Window和Linux下安装Java5. 了解Hadoop集群相关配置文件6. SSH免密码登录配置7. 时间同步服务配置8. 启动关闭Hadoop集群以及查看Hadoop集群监控1. 掌握安装配置虚拟机和安装JDK2. 掌握搭建Hadoop完全分布式集群环境的方法103Hadoop集群基础操作1. 解HDFS的操作方法2. MapReduce任务的运行和中断方法3. 集群监控的查看方法1. 学会查看Hadoop集群的基本信息2. 掌握HDFS的基本操作3. 掌握运行MapReduce任务的命令64MapReduce入门编程1. Eclipse安装2. MapReduce原理3. MapReduce的编程逻辑1. 掌握MapReduce的原理2. 掌握MapReduce程序的编程逻辑95MapReduce进阶编程1. MapReduce的输入及输出格式2. Hadoop Java API使用方法3. 自定义键值对方法4. Combiner及Partitioner的原理与编程5. 在Eclipse中提交MapReduce任务的方法1. 掌握MapReduce框架中的进阶应用，包括自定义键值对、Combiner、Partitioner等126 项目案例：汽车销售数据统计分析项目1. 数据概况2. 数据背景介绍3. 需求分析及代码实现1. 掌握项目开发流程，数据业务数据。
《Hadoop大数据技术与应用》教学大纲
《Hadoop大数据技术与应用》课程教学大纲
【课程名称】HadoOP大数据技术与应用
【课程类型】专业必修课
【授课对象】大数据技术与应用、云计算技术与应用专业、人工智能技术专业高职，二年级学生【学时学分】周学时4,64学时，6学分
【课程概况】
《Hadoop大数据技术与应用》课程是大数据技术与应用、云计算技术与应用专业必修课，是计算机基础理论与应用实践相结合的课程，也是大数据专业的高核心课程，它担负着系统、全面地理解大数据，提高大数据应用技能的重任。
本课程的先修课为《大数据技术概论》、《编程基础》、《1inux操作系统》、《数据库设计与实现》等课程，要求学生掌握HadOOP生态系统的框架组件，操作方法。
［课程目标］
通过本课程的学习，让学生接触并了解HadOOP生态系统各组件的原理和使用方法，使学生具有Had。
P相关技术，具备大数据开发的基本技能，并具有较强的分析问题和解决问题的能力，为将来从事大数据相关领域的工作打下坚实的基础。
【课程内容及学时分布】
【使用教材及教学参考书】
使用教材：《Hadoop生态系统及开发》，邓永生、刘铭皓等主编，西安电子
科技大学出版社,2023年
大纲执笔人：
大纲审定人：
年月日。
hardoop教学大纲
hardoop教学大纲Hadoop教学大纲随着大数据时代的到来，Hadoop作为一种分布式计算框架，成为了处理海量数据的重要工具。
对于学习Hadoop的人来说，掌握其核心概念和技术是非常重要的。
本文将围绕Hadoop教学大纲展开，帮助读者了解Hadoop的基本知识和应用。
一、Hadoop概述1.1 Hadoop的起源和发展1.2 Hadoop的特点和优势1.3 Hadoop在大数据处理中的应用场景二、Hadoop核心组件2.1 Hadoop分布式文件系统（HDFS）2.1.1 HDFS的架构和工作原理2.1.2 HDFS的数据读写和容错机制2.2 Hadoop分布式计算框架（MapReduce）2.2.1 MapReduce的基本原理和编程模型2.2.2 MapReduce的任务调度和数据处理流程2.3 Hadoop集群管理器（YARN）2.3.1 YARN的架构和功能2.3.2 YARN的资源调度和作业管理三、Hadoop生态系统3.1 Hadoop生态系统的概述3.2 Hadoop的相关工具和组件3.2.1 Hadoop的数据导入和导出工具3.2.2 Hadoop的数据存储和查询工具3.2.3 Hadoop的数据处理和分析工具四、Hadoop的安装和配置4.1 Hadoop的安装环境和前期准备4.2 Hadoop的安装步骤和配置文件4.3 Hadoop集群的搭建和管理五、Hadoop应用开发5.1 Hadoop编程模型和API介绍5.2 Hadoop的数据输入和输出格式5.3 Hadoop的开发工具和调试技巧5.4 Hadoop的性能调优和优化策略六、Hadoop的实际应用6.1 Hadoop在互联网行业的应用案例6.2 Hadoop在金融行业的应用案例6.3 Hadoop在医疗行业的应用案例6.4 Hadoop在其他领域的应用前景七、Hadoop的未来发展7.1 Hadoop的发展趋势和挑战7.2 Hadoop与人工智能的结合7.3 Hadoop在边缘计算中的应用7.4 Hadoop生态系统的扩展和创新总结：通过本文对Hadoop教学大纲的论述，我们可以了解到Hadoop的概述、核心组件、生态系统、安装配置、应用开发以及实际应用等方面的知识。
《Hadoop大数据开发基础》教学大纲
《Hadoop大数据开发基础》教学大纲课程名称：Hadoop大数据开发基础课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分一、课程的性质随着时代的发展，大数据已经成为一个耳熟能详的词汇。
与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。
Hadoop分布式集群系统架构，具有高可用性、高容错性和高扩展性等优点，由于它提供了一个开放式的平台，用户可以在不了解底层实现细节的情形下，开发适合自身应用的分布式程序。
经过多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，包括了Hive、HBase、Spark等一系列组件，成为应用最广泛、最具有代表性的大数据技术之一。
因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。
为了满足企业的大数据人才需求，帮助学者掌握相关技术知识解决实际的业务需求，特开设Hadoop大数据开发基础课程。
二、课程的任务通过本课程的学习，使学生掌握Hadoop、Hive和HBase集群的安装配置，能够根据具体需求编写MapReduce程序解决实际业务问题，使用Hive、HBase进行数据存储、查询余分析，最后详细拆解并学习电影网站用户影评分析案例，将理论与实践相结合，为将来从事数据分析挖掘研究、工作奠定基础。
三、课程学时分配四、教学内容及学时安排1.理论教学2.实验教学五、考核方式突出学生解决实际问题的能力，加强过程性考核。
课程考核的成绩构成= 平时作业（10%）+ 课堂参与（20%）+ 期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、组件安装流程、开发环境搭建流程、MapReduce编程、Hive与HBase的数据存储与查询操作、案例分析实现流程等部分，题型可采用选择题、判断题、简答题、应用题等方式。
六、教材与参考资料1.教材Hadoop大数据开发基础2.参考资料。
《Hadoop》理论教学大纲(大数据)
《H a d o o p》理论教学大纲课程代码：总学时：32学时（其中：讲课16学时、实验16学时）先修课程：《大数据导论》一、课程的性质、目的与任务《Hadoop》是数据科学与大数据技术专业必修课程。
通过本课程的学习，应掌握大数据核心平台框架的基本知识，具有应用Hadoop平台实施海量数据存储和分析计算的能力；初步掌握大数据开发的技巧和方法，以及平台的安装、调试和测试方法；对Hadoop 平台的各种成份有较好的理解；能够根据要求编制程序解决实际问题；为后续课程的学习打下必备的基础。
二、教学基本内容与基本要求1．基本内容本课程主要内容为大数据的基本概念、分布式文件存储与管理系统HDFS、分布式文件计算引擎MapReduce、yarn等组件的原理及使用等。
2．基本要求本课程借助Hadoop平台讲授海量数据的存储与分析计算。
通过hdfs shell及MapReduce编程，使学生掌握大批量数据集读写及计算的原理、方法和技巧，具有一定的大数据开发的能力。
为后续课程的学习打下基础。
（教学要求：A—熟练掌握；B—掌握；C—了解）五、教学方法与教学手段1．教学方法：Hadoop是一门理论与实践并重的课程，因此，本课程采用理论课程教学与实验课程教学相结合的方法。
通过对知识点和典型例题的讲解分析以及上机实验的指导答疑，发挥学生思考问题的主动性和创造性，能用Hadoop框架处理大数据计算。
2．教学手段：利用多媒体、CAI课件等现代化教学手段，提高教学质量。
六、建议教材与参考书目1．参考教材：《大数据技术原理与应用（第2版）》，林子雨，人民邮电出版社，2017年1月第2版。
2．参考书目：①《大数据基础编程、实验和案例教程》，林子雨编，清华大学出版社，2017年1月第1版。
七、大纲编写的依据与说明本课程教学大纲，是根据数据科学与大数据技术专业培养目标和基本要求，结合本课程的性质，经学校教学委员会审定后编写的。
本课程着重训练学生程序设计的思想和编程技巧，培养学生初步应用大数据框架解决和处理实际问题的能力，为《数据结构》、《Python语言程序设计》、《Java程序设计》、《WEB程序设计》等后续课程打下坚实的基础。
《Hadoop大数据处理》课程教学大纲
4.2
4.2
3
M3
目标3：通过课程项目的实践，初步掌握使用大数据平台处理的能力，培养学生实践开发能力。
是
4
M4
目标4：能保障课程正常秩序（政治层面、课堂保障层面，非学生能力层面）
否
三、课程内容
序号
章节号
标题
课程内容/重难点
支撑课程目标
课内学时
教学方式
课外学时
课外环节
1
第1章
第1章大数据及大数据系统概述
3.考核学生实机操作能力，使学生掌握在本机与多台机器集群实现HDFS文件管理及执行MapReduce应用程序，并运用Hadoop进行数据处理、训练、建立模型、训练验证模型、预测结果。
60%
3
考勤
随机点名、刷卡点名等
5%
4
大作业
1.本课程要求利用Hadoop实现大数据模型实现，两到三人一组共同完成一道大数据竞赛题目，并提交论文并答辩。
5
M2
实验
60%
A-按时提交实验报告，数据分析符合规范，结论无误。B-按时提交实验报告，数据分析基本规范，结论基本正确。C-数据分析过程存在问题。D-未提交实验报告或实验报告存在严重抄袭现象。
6
M3
大作业
50%
A-按时提交大作业论文，数据分析符合规范，结论无误，课程答辩讲解清楚，回答问题正确。B-按时提交大作业论文，数据分析基本规范，结论基本正确，课程答辩讲解较清楚，回答问题基本正确。C-数据分析过程存在问题，课程答辩讲解不清，回答问题有错误。D-未提交大作业论文或大作业论文存在严重抄袭现象，未参加课程答辩。
六、教材与参考资料
序号
教学参考资料明细
1
hadoop教学大纲
hadoop教学大纲Hadoop教学大纲Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。
它提供了一种可靠性和可扩展性的解决方案，使得处理海量数据变得更加容易和高效。
在当今数据驱动的世界中，了解和掌握Hadoop技术已经成为许多IT专业人士的必备技能。
因此，设计一份全面而有深度的Hadoop教学大纲至关重要。
第一部分：Hadoop基础在这一部分，我们将介绍Hadoop的基本概念和架构。
我们将深入了解Hadoop的核心组件，包括Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）。
我们将学习如何安装和配置Hadoop集群，并了解Hadoop的工作原理和数据处理流程。
第二部分：Hadoop生态系统Hadoop作为一个生态系统，还包括许多与之相关的工具和技术。
在这一部分，我们将介绍一些常用的Hadoop生态系统组件，如Hive、Pig、HBase和Sqoop 等。
我们将学习如何使用这些工具来进行数据存储、数据处理和数据分析。
此外，我们还将介绍一些其他与Hadoop集成的技术，如Apache Spark和Apache Kafka等。
第三部分：Hadoop应用开发在这一部分，我们将学习如何使用Hadoop进行应用开发。
我们将介绍Hadoop的编程模型和API，如Hadoop Streaming、Hadoop Pipes和Hadoop Java API等。
我们将学习如何编写MapReduce程序来处理大规模数据，并了解如何优化和调试这些程序。
此外，我们还将介绍一些Hadoop应用开发的最佳实践和常见问题的解决方案。
第四部分：Hadoop集群管理和性能调优在这一部分，我们将学习如何管理和维护Hadoop集群，并进行性能调优。
我们将介绍一些常用的Hadoop集群管理工具，如Apache Ambari和Cloudera Manager等。
我们将学习如何监控和调整Hadoop集群的性能，并了解如何解决常见的性能问题。
hadoop 教学大纲
hadoop 教学大纲Hadoop 教学大纲在当今信息时代，数据处理和分析已经成为企业和组织中至关重要的一部分。
随着数据量的不断增长，传统的数据处理方法已经无法满足需求。
因此，大数据技术应运而生，Hadoop作为大数据处理的重要工具之一，受到了广泛的关注和应用。
本文将介绍一个关于Hadoop的教学大纲，旨在帮助学生全面了解和掌握Hadoop的原理、架构和应用。
一、引言- 数据爆炸和大数据的定义- Hadoop的发展背景和意义二、Hadoop的基础知识- Hadoop的起源和发展历程- Hadoop的核心组件和架构- Hadoop的生态系统和相关技术三、Hadoop的核心组件1. HDFS（Hadoop分布式文件系统）- HDFS的设计原理和特点- HDFS的文件读写机制- HDFS的数据复制和容错机制2. MapReduce- MapReduce的基本概念和原理- MapReduce的编程模型和流程- MapReduce的调优和性能优化四、Hadoop的生态系统1. YARN（Yet Another Resource Negotiator）- YARN的概念和作用- YARN的架构和工作原理- YARN的应用场景和优势2. Hive- Hive的概念和特点- Hive的数据模型和查询语言- Hive的优化和性能调优3. HBase- HBase的概念和架构- HBase的数据模型和查询语言- HBase的应用场景和优势4. Spark- Spark的概念和特点- Spark的架构和工作原理- Spark的应用场景和优势五、Hadoop的应用案例- 互联网行业中的Hadoop应用- 金融行业中的Hadoop应用- 零售行业中的Hadoop应用六、Hadoop的未来发展趋势- Hadoop的挑战和机遇- Hadoop与人工智能、区块链等技术的结合- Hadoop的发展方向和前景展望七、总结- Hadoop的重要性和应用前景- 学习Hadoop的建议和资源推荐通过上述教学大纲，学生可以全面了解Hadoop的原理、架构和应用，掌握Hadoop的核心组件和生态系统，了解Hadoop在不同行业中的应用案例，以及Hadoop未来的发展趋势。
Hadoop集群程序设计与开发教学大纲
Hadoop集群程序设计与开发教学大纲《Hadoop集群程序设计与开发》教学大纲课程名称：Hadoop集群程序设计与开发课程类别：必修适用专业：大数据技术类相关专业总学时：64学时总学分：4.0学分一、课程的性质本课程是为大数据技术类相关专业学生开设的课程。
大数据技术蓬勃发展，基于开源技术的Hadoop在行业中应用广泛。
Hadoop开源免费、社区活跃，框架具备分布式存储和计算的核心功能，并且有企业成功的案例（如如淘宝、百度等）。
本课程首先通过企业项目发展历程介绍了大数据与云计算的概念并将Hadoop在这二个领域中的作用与地位进行阐述。
通过Hadoop源码片断与理论及实操结合的模式介绍Hadoop分布式存储框架HDFS与分布式计算框架MapReduce的用法。
对于HDFS不能很好支持小条目读取的缺陷，引入HBase 框架进行应用说明。
对于MapReduce框架对于项目专业人员的技能要求门槛高，复杂业务开发周期较长的问题引入了Hive框架进行应用说明。
Hadoop与HBase和Hive结合进行项目中大数据的存取与统计计算在企业中的运用越来越广泛，学习Hadoop框架已然是进入大数据行业所必不可少的一步。
二、课程的任务通过本课程的学习，使学生对Hadoop框架有一个全面的理解，课程内容主要包括了Hadoop基本原理与架构、集群安装配置、HDFS 应用、HDFS I/O操作、MapReduce工作原理与应用编程、HBase基本应用、Hive基本应用，关键知识点配置Hadoop源码片断和实操案例进行辅助。
涉及的知识点简要精到，实践操作性强。
三、教学内容及学时安排四、考核方式突出学生解决实际问题的能力，加强过程性考核。
课程考核的成绩构成= 出勤（10%）+ 平时作业与课堂练习（30%）+ 课程设计（60%）。
五、教材与参考资料1.教材Hadoop集群程序设计与开发2.参考资料。
《Hadoop大数据技术与应用》课程教学大纲 - 20190422
Hadoop大数据技术与应用（含实验）教学大纲前言一、大纲编写依据《Hadoop大数据技术与应用》是数据科学、大数据方向本科生的一门必修课。
通过该课程的学习，使学生系统的学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用。
课程由理论及实践两部分组成，课程理论部分的内容以介绍Hadoop平台主要组件的作用、结构、工作流程为主，让学生对Hadoop平台组件的作用及其工作原理有比较深入的了解；课程同时为各组件设计有若干实验，帮助学生在学习理论知识的同时，提高学生的实践能力，系统的掌握Hadoop主要组件的原理及应用，为其他相关课程的学习提供必要的帮助。
二、课程目的1、知识目标学习Hadoop平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、工作流程，掌握基础的MapReduce编程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程，并具备一定的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。
2、能力目标(1) 工程师思维方式通过本课程的学习，引导学生养成工程师逻辑思维、系统思维的思维方式及习惯。
(2) 分析及解决问题的能力课程中实验由浅及深，有一定的步骤及难度，操作不当可能会遇到问题；遇到问题时老师会给出引导，但不会直接告诉解决方法，因此，如何分析、分析完成后实施具体的解决步骤，都需要学生摸索完成，在这个摸索实践过程中，学生的分析及解决问题的能力得到培养。
三、教学方法1、课堂教学(1) 讲授本课程的理论教学内容以讲授为主、辅以操作演示，讲授的主要内容有：Hadoop概述，Hadoop安装部署，分布式文件系统HDFS，分布式计算MapReduce，资源管理调度组件YARN，列式存储HBase，数据仓库组件Hive，数据分析引擎Pig，日志采集组件Flume等。
根据教学大纲的要求，突出重点和难点。
(2) 教师指导下的学生自学实践课程由若干实验组成，每个实验都包含实验目的、实验原理、实验环境等，需要学生结合理论知识，充分发挥自主学习的能力来完成实验，老师在这个过程中更多起到辅导的作用。
《Hadoop大数据技术》课程实验教学大纲
课程代码： 1041139课程名称： Hadoop 大数据技术/Hadoop Big Data Technology 课程类别：专业必修课 总学分： 3.5 总学时： 56实验/实践学时： 24合用专业：数据科学与大数据技术 合用对象：本科先修课程： JAVA 程序设计、 Linux 基础《Hadoop 大数据技术》课程是数据科学与大数据技术专业的专业必修课程，是数据科学与 大数据技术的交叉学科，具有极强的实践性和应用性。
《Hadoop 大数据技术》实验课程是理论 课的延伸，它的主要任务是使学生对Hadoop 平台组件的作用及其工作原理有更深入的了解，提 高实践动手能力，并为 Hadoop 大数据平台搭建、基本操作和大数据项目开辟提供技能训练，是 提高学生独立操作能力、分析问题和解决问题能力的一个重要环节。
实验目的：1.掌握 Hadoop 伪分布式模式环境搭建的方法；2.熟练掌握 Linux 命令(vi 、tar 、环境变量修改等)的使用。
实验设备：1.操作系统： Ubuntu16.04实验/实践项目名称实验一 Hadoop 环境搭建实验二 通过 API 和 Shell 访问 HDFS 实验三 MapReduce 基础编程与 WordCount 程序实验四 HBase 的安装与配置、 Shell 访 问与 Java API 访问实验五 基于 Local 模式的 Hive 环境搭 建和常用操作实验六 Flume 的安装与基本使用 实验七 Sqoop 的安装与基本使用合计对应的课程 教学目标52 1 、2116 6实验 类型 综合性 验证性 验证性综合性验证性验证性 验证性实验 学时 4 4 4422 4 24实验 要求 必做 必做 必做必做必做必做 必做每组 人数 1 1 1111 1序 号 1 2 3456 72.Hadoop 版本：2.7.3 或者以上版本实验主要内容及步骤：1.实验内容在Ubuntu 系统下进行Hadoop 伪分布式模式环境搭建。
HADOOP课程大纲
◆ 基于Pig+OpenCV大规模图像人脸识别
模块十四
Spark原理和入门
◆ Spark原理；Spark的架构图；Spark运行模式介绍
◆ —local；—standalone；—messos；—yarn；Spark的RDD
◆ 什么是RDD；RDD的种类；—Tranformation；—Action
◆ Hadoopcore-site，hdfs-site，mapred-site 配置详解
模块五
Hadoop集群规划
◆ Hadoop 集群内存要求
◆ Hadoop集群磁盘分区
◆ 集群和网络拓扑要求
◆ 集群软件的端口配置
◆ 针对NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同组件需求推荐服务器配置
◆ 新MapReduce API
◆ MapReduce的优化
◆ MapReduce的任务调度
◆ MapReduce编程实战
◆ 如何利用其他Hadoop相关技术，包括Apache Hive， Apache Pig，Sqoop和Oozie等
◆ 满足解决实际数据分析问题的高级Hadoop API
◆ Hadoop Streaming 和 Java MapReduce Api 差异。
◆ 数据开放,数据云服务平台(DAAS)时代
◆ Hadoop平台在数据云平台(DAAS)上的天然优势
◆ 数据云平台(DAAS 平台)组成部分
◆ 互联网公共数据大云(DAAS)案例
◆ Hadoop构建构建游戏云(Web Game Daas)平台
模块二
Hadoop生态系统介绍和演示
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Select Sort GrougBy Sum Count
Join 新进流失算法
使用 Y-Smart 快速转换SQL 为MapReduce 代码
模块七
编写MapReduce高级程序
使用 Hadoop MapReduce Streaming 编程
MapReduce流程
数据开放,数据云服务平台(DAAS)时代
Hadoop平台在数据云平台(DAAS)上的天然优势
数据云平台(DAAS 平台)组成部分
互联网公共数据大云(DAAS)案例
Hadoop构建构建游戏云(Web Game Daas)平台
模块二
Hadoop生态系统介绍和演示
Hadoop HDFS 和 MapReduce
使用分布式缓存（Distributed Cache）
直接访问Hadoop分布式文件系统（HDFS）
利用Combiners来减少中间数据
编写Partitioner来优化负载平衡
模块九
使用Hive和Pig开发及技巧
Hive和Pig基础
Hive的作用和原理说明
Hadoop仓库和传统数据仓库的协作关系
Hadoop/Hive仓库数据数据流
Hadoop数据库之HBase
Hadoop数据仓库之Hive
Hadoop数据处理脚本Pig
Hadoop数据接口Sqoop和Flume，Scribe DataX
Hadoop工作流引擎 Oozie
运用Hadoop自下而上构建大规模企业数据仓库
暴风影音数据仓库实战解析
模块三
Hadoop组件详解
Hadoop HDFS 基本结构
剖析一个MapReduce程序
基本MapReduceAPI概念
驱动代码 Mapper、Reducer
Hadoop流
API 使用Eclipse进行快速开发
新MapReduce API
MapReduce的优化
MapReduce的任务调度
MapReduce编程实战
如何利用其他Hadoop相关技术，包括Apache Hive， Apache Pig，Sqoop和Oozie等
Hadoop HDFS 副本存放策略
Hadoop NameNode 详解
HadoopSecondaryNameNode 详解
Hadoop DataNode 详解
Hadoop JobTracker 详解
Hadoop TaskTracker 详解
Hadoop Mapper类核心代码
Hadoop Reduce类核心代码
模块十四
Spark原理和入门
Spark原理；Spark的架构图；Spark运行模式介绍
—local；—standalone；—messos；—yarn；Spark的RDD
什么是RDD；RDD的种类；—Tranformation；—Action
Spark的存储级别；Cache介绍；Spark的容错原理
Red hat Linux基础环境搭建
Hadoop 单机系统版本安装配置
Hadoop 集群系统版本安装和启动配置
使用 Hadoop MapReduce Streaming 快速测试系统
Hadoopcore-site，hdfs-site，mapred-site 配置详解
模块五
Hadoop集群规划
Hadoop 集群内存要求
Hbase 运维和管理
使用Hbase+Hive 提供 OLAP SQL查询能力
使用Hbase+Phoenix提供 OLTP SQL能力
基于Hbase 的时间序列数据库 OpenTsDb 结构解析
模块十一
Hadoop2.0 集群探索
Hadoop2.0 HDFS 原理
Hadoop2.0 Yarn 原理
Hadoop2.0 生态系统
课程模块
课程主题
主要内容
案例和演示
模块一
Hadoop在云计算技术的作用和地位
传统大规模系统存在的问题
Hadoop概述
Hadoop分布式文件系统
MapReduce工作原理
Hadoop集群剖析
Hadoop生态系统对一种新的解决方案的需求
Hadoop的行业应用案例分析
Hadoop在云计算和大数据的位置和关系
Hadoop 核Biblioteka 代码模块四Hadoop安装和部署
Hadoop系统模块组件概述
Hadoop试验集群的部署结构
Hadoop 安装依赖关系
Hadoop 生产环境的部署结构
Hadoop集群部署
Hadoop 高可用配置方法
Hadoop 集群简单测试方法
Hadoop 集群异常Debug方法
Hadoop安装部署实验
辅助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二进制数据
创建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并
模块八
集成Hadoop到现有工作流
基于Hadoop2.0 构建分布式系统
模块十二
Hadoop企业级别案例解析
Hadoop 结构化数据案例
Hadoop 非结构化案例
Hbase 数据库案例
Hadoop 视频分析案例
利用大数据分析改进交通管理
区域医疗大数据应用案例
银联大数据数据票据详单平台
广东移动省公司请账单系统
上海电信网络优化
某通信运营商全国用户上网记录
及Hadoop API深入探讨
存储系统
利用Sqoop从关系型数据库系统中导入数据到Hadoop
利用Flume导入实时数据到Hadoop
ToolRunner介绍、使用MRUnit进行测试
使用Configure和Close方法来进行Map/Reduce设置和关闭
使用FuseDFS和Hadoop访问HDFS
Lineage容错；Checkpoint容错；RDD的创建
案例—统计单词的个数
联系方式***************
满足解决实际数据分析问题的高级Hadoop API
Hadoop Streaming 和 Java MapReduce Api 差异。
MapReduce 实现数据库功能
利用Combiners来减少中间数据
编写Partitioner来优化负载平衡
直接访问Hadoop分布式文件系统（HDFS）
Hadoop的join操作
浙江台州市智能交通系统
移动广州详单实时查询系统
跨区域实时视频监控系统
模块十三
RedHadoop 企业版本
运用RedHadoop快速构建服务集群
运用RedHadoop DW 构建数据仓库
基于RedHadoop Hive构建数据仓库平台
灵活运用 Hive 加速游戏数据仓库
基于Pig+OpenCV大规模图像人脸识别
Hadoop集群磁盘分区
集群和网络拓扑要求
集群软件的端口配置
针对NameNode JobtrackerDataNode TaskTracker Hiveserver 等不同组件需求推荐服务器配置
模块六
MapReduce 算法原理
Hadoop MapReduce 算法的原理和优化思想
灵活运用MapReduce 实现算法
Hive 部署和安装
Hive Cli 的基本用法
HQL基本语法
运用Pig 过滤用户数据
使用JDBC 连接Hive进行查询和分析
使用正则表达式加载数据
HQL高级语法
编写UDF函数
编写UDAF自定义函数
基于Hive脚本内嵌Streaming 编程
模块十
Hbase安装和使用
Hbase 安装部署
Hbase原理和结构