hadoop学习课程介绍
Hadoop基础知识培训
和原 Hdfs 架构 相同
但可 配置 两个 主节 点
namenode1
JournalNode集 群
(至少3台)
datanode 1
datanode 2
namenode2
datanode n
采用这种机制可以实现双NameNode 自动、瞬间、热切换
提纲
1 HADOOP是什么，为什么是HADOOP 2 Hadoop里的服务器角色 3 往HDFS中写入文件 4 从HDFS中读取数据 5 MapReduce 6 Hive的原理 7 HBASE入门和应用
• Client向名称节点发出写File.txt的 请求，从名称节点处获得通行证， 然后得到每块数据目标数据节点 的列表。名称节点使用自己的 Rack Awareness数据来改变数据 节点提供列表。核心规则就是对 于每块数据3份拷贝，总有两份存 在同一个机架上，另外一份则必 须放到另一个机架上。所以给 Client的列表都必须遵从这个规则。
• 从节点负责了机器运行的绝 大部分，担当所有数据储存 和指令计算的苦差。
• 客户端机器的作用是把数据 加载到集群中，递交给Map Reduce数据处理工作的描述， 并在工作结束后取回或者查 看结果。
• 名称节点包含所有集群的文件系 统元数据和监督数据节点的健康 状况，以及协调对数据的访问。 这个主节点是HDFS的中央控制 器。它本身不拥有任何集群数据。 这个名称节点只知道一个文件的 块构成，并知道这些块位于集群 中的哪些机器上。
hadoop教程
hadoop教程
Hadoop教程
Hadoop是一个开源的分布式系统框架，用于处理大规模数据集的存储和计算。它基于Google的MapReduce算法和Google文件系统（GFS），旨在解决大规模数据集的存储和处理难题。
Hadoop的核心组件由HDFS（Hadoop分布式文件系统）和MapReduce构成。HDFS是一个分布式文件系统，旨在在大量通用硬件上存储数据。它的设计目标是容错性和高扩展性。HDFS 将数据分割成块，然后复制到不同的节点上，以提供冗余和可靠的存储。MapReduce是一种分布式计算框架，它可以将计算任务分解为若干子任务，并在大量节点上并行执行。通过将数据和计算任务分布在多个节点上，Hadoop可以更快地完成大规模数据处理任务。
Hadoop的优势之一是其可扩展性。它可以轻松地添加或删除节点，以满足不断增长的数据存储和处理需求。此外，Hadoop具有容错性，即使在某个节点出现故障时，也可以继续正常运行。它还具有高吞吐量和低延迟的特点，能够高效地处理大规模数据集。
Hadoop的应用领域包括大数据分析、日志处理、数据仓库、机器学习等。通过Hadoop，可以轻松处理各种类型和来源的数据，并从中提取有价值的信息。此外，Hadoop还可以与其他工具和技术集成，如Spark、Hive、Pig等，扩展其功能和灵活性。
使用Hadoop进行数据处理的基本步骤包括数据准备、任
务设计、任务提交和结果分析。首先，需要将数据加载到Hadoop集群中，这可以通过HDFS命令行工具或编程API实现。接下来，设计MapReduce任务，根据具体需求编写map函数和reduce函数，并将任务打包成JAR文件。然后，使用Hadoop
hadoop应用开发项目实训
Hadoop应用开发项目实训：大数据时代的挑战与机遇
一、项目背景与目标
随着大数据时代的到来，Hadoop已成为企业处理大规模数据的重要工具。为了让学生深入了解Hadoop应用开发，我们计划进行为期四周的实训项目，目标是让学生掌握Hadoop生态系统的基础知识，熟悉大数据处理流程，并能够进行简单的Hadoop应用开发。
二、项目内容
1. 基础概念学习：学生将学习Hadoop生态系统的基础知识，包括HDFS（分布式文件系统）、MapReduce（分布式计算框架）、Hive（数据仓库工具）等。
2. 数据处理流程：学生将了解大数据处理的基本流程，包括数据的收集、存储、处理和输出。
3. 简单应用开发：学生将根据给定的需求，使用Hadoop进行简单的应用开发，如数据清洗、统计分析等。
4. 实践项目：学生将参与实际的大数据项目，如数据挖掘、推荐系统等，进行实战演练。
三、实训步骤
1. 理论学习：学生将学习Hadoop生态系统的基础知识和大数据处理流程。
2. 实践操作：学生将进行实际操作，如编写MapReduce程序、使用Hive进行数据查询等。
3. 项目实践：学生将分组进行实际项目开发，并完成项目报告。
4. 成果展示：学生将展示项目成果，分享开发经验与心得。
四、实训效果
通过本次实训，学生将能够：
1. 熟练掌握Hadoop生态系统的基础知识。
2. 熟悉大数据处理的基本流程。
3. 掌握使用Hadoop进行简单应用开发的方法。
4. 具备实际项目开发的能力，能够独立完成具有一定复杂度的数据挖掘、推荐系统等项目。
《Hadoop大数据开发实战》教学教案(全)
《Hadoop大数据开发实战》教学教案（第一部分）
一、教学目标
1. 理解Hadoop的基本概念和架构
2. 掌握Hadoop的安装和配置
3. 掌握Hadoop的核心组件及其作用
4. 能够搭建简单的Hadoop集群并进行基本的操作
二、教学内容
1. Hadoop简介
1.1 Hadoop的定义
1.2 Hadoop的发展历程
1.3 Hadoop的应用场景
2. Hadoop架构
2.1 Hadoop的组成部分
2.2 Hadoop的分布式文件系统HDFS
2.3 Hadoop的计算框架MapReduce
3. Hadoop的安装和配置
3.1 Hadoop的版本选择
3.2 Hadoop的安装步骤
3.3 Hadoop的配置文件解读
4. Hadoop的核心组件
4.1 NameNode和DataNode
4.2 JobTracker和TaskTracker
4.3 HDFS和MapReduce的运行原理
三、教学方法
1. 讲授法：讲解Hadoop的基本概念、架构和组件
2. 实践法：引导学生动手实践，安装和配置Hadoop，了解其运行原理
3. 讨论法：鼓励学生提问、发表观点，共同探讨Hadoop的应用场景和优缺点
四、教学准备
1. 教师准备：熟悉Hadoop的安装和配置，了解其运行原理
2. 学生准备：具备一定的Linux操作基础，了解Java编程
五、教学评价
1. 课堂参与度：学生提问、回答问题的积极性
2. 实践操作：学生动手实践的能力，如能够独立完成Hadoop的安装和配置
3. 课后作业：学生完成课后练习的情况，如编写简单的MapReduce程序
Hadoop基础培训教程
Hadoop基础培训教程
Hadoop是一个开源的分布式系统框架，旨在解决处理大
规模数据集的计算问题。它是由Apache软件基金会开发，基
于Java语言编写的，让用户能够使用一台集群来处理大量的数据。Hadoop的核心是HDFS和MapReduce。HDFS是分布式文
件系统，负责文件存储和数据的读写。而MapReduce则是计
算模型，负责对大规模数据进行分析和处理。
对于Hadoop初学者来说，为了更好地理解它的运作原理，学习Hadoop基础知识非常必要。下面我们就来介绍一下基于Cloudera企业版的Hadoop基础培训教程。
第一单元：介绍Hadoop及其生态系统
本单元通过简单的介绍，让学员对Hadoop及其生态系统
的组成有一个基本的认识，深入了解Hadoop的重要性和他对
数据处理有何帮助。
第二单元：Hadoop的安装
这一单元的学习主要集中于Hadoop的安装。在这个单元中，你将学习如何安装Hadoop和所有需要的依赖项（如Java、SSH等）。
第三单元：Hadoop的概念和结构
这个单元是关于Hadoop的基本概念和结构的介绍。你将
学习如何理解Hadoop中常用到的词汇，例如：NameNode、
DataNode、JobTracker和TaskTracker等，以及结构中的各个部分。
第四单元：Hadoop的分布式存储系统（HDFS）
在这个单元中，你将学习分布式存储系统(HDFS)的基本原
理和工作方式。同时，你还将学习如何在Hadoop集群上存储
和读取数据。
第五单元：Hadoop MapReduce数据处理
《Hadoop大数据技术原理与应用》课程教学大纲
《Hadoop大数据技术原理与应用》课程教学大纲
课程编号：3250578
学分：4学分
学时：72学时（其中：讲课学时36上机学时：36）
先修课程：《Linux基础》、《关系数据库基础》、《程序设计基础》、《Java面向对象编程》
后续课程：Spark,《Python编程基础》、《Python数据分析与应用》
适用专业：大数据应用技术
一、课程的性质与目标
《大数据应用开发》本课程是软件技术专业核心课程，大数据技术入门课程。通过学习课程使得学生掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。
开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。
二、教学条件要求
操作系统：CenterOS
Hadoop版本：Hadoop2.7.4
开发工具：Eclipse
三、课程的主要内容及基本要求
第I章初识Hadoop
第3章HDFS分布式文件系统
本课程为考试课程，期末考试采用百分制的闭卷考试模式。学生的考试成绩由平时成绩（30%）和期末考试（70%）组成，其中，平时成绩包括出勤（5%）、作业（5%）、上机成绩（20%）o
六、选用教材和主要参考书
本大纲是参考教材《Hadoop大数据技术原理与应用》所设计的。
七、大纲说明
本课程的授课模式为：课堂授课+上机，其中，课堂主要采用多媒体的方式进行授课，并且会通过测试题阶段测试学生的掌握程度；上机主要是编写程序，要求学生动手完成指定的程序设计或验证。
hadoop教程
hadoop教程
Hadoop是一种开源的分布式计算框架，用于处理大规模数据
集的计算。它基于Google的MapReduce算法和Google文件
系统（GFS）的论文，是一种可靠性和可扩展性非常强的数据
处理方案。
Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop YARN。HDFS是一个高度可靠的文件系统，它将大
数据集存储在多个常规服务器上，并通过容错机制来保证数据的可靠性和可用性。Hadoop YARN（Yet Another Resource Negotiator）是一个资源管理系统，它可以将集群中的计算资
源分配给各个任务，并监控它们的执行状态。
在Hadoop中，用户可以使用Java、Python和其他编程语言来
编写MapReduce程序。MapReduce是一种并行计算模型，它
将大规模数据集划分成小块，然后在集群上并行执行Map和Reduce操作，最终将结果合并起来。Map操作将输入数据转
换成键值对，而Reduce操作对键值对进行聚合和计算。这种
分布式计算模型使得Hadoop能够高效地处理大规模数据集。
除了MapReduce，Hadoop还支持其他一些高级的分布式计算
模型，比如Hive、Pig和Spark。Hive是一种基于Hadoop的
数据仓库，它允许用户使用类似SQL的查询语言来处理数据。Pig是一种脚本语言，它在Hadoop上执行数据流转换，并将
结果导出到各种数据存储系统。Spark是一种快速、通用的大
规模数据处理引擎，它提供了更高级的API和内置的机器学
hadoop实训计划
hadoop实训计划
阶段一：理论基础
1. 了解大数据和分布式计算的基本概念
-了解大数据的定义和特点
-理解分布式计算的基本原理
2. 学习Hadoop 生态系统
-了解Hadoop 的起源和发展
-介绍Hadoop 生态系统的关键组件，如HDFS、MapReduce、YARN 等阶段二：搭建Hadoop 环境
3. 安装和配置Hadoop
-在本地环境或虚拟机上安装Hadoop
-配置Hadoop 集群，包括HDFS 和YARN
阶段三：基本操作
4. 学习HDFS 操作
-创建、上传、下载文件到HDFS
-查看和管理HDFS 中的文件
5. MapReduce 编程
-编写一个简单的MapReduce 程序
-了解MapReduce 的工作原理
阶段四：高级操作和优化
6. YARN 资源管理
-学习如何配置和管理YARN 集群
-了解YARN 的资源调度机制
7. Hadoop 优化和性能调优
-掌握Hadoop 集群的性能调优方法
-了解并实践一些优化技术，如数据本地性优化
阶段五：实际应用
8. 实际应用案例
-尝试一个真实场景中的数据处理问题
-使用Hadoop 解决这个问题，例如日志分析、文本处理等
阶段六：监控和维护
9. Hadoop 集群监控
-学习如何监控Hadoop 集群的健康状态
-配置和使用Hadoop 的监控工具
10. 故障排除和维护
-掌握Hadoop 集群的故障排除方法
-学习如何维护和管理Hadoop 集群
阶段七：项目实战
11. 完成一个实际项目
-提出一个大数据处理项目
-使用Hadoop 技术实现该项目
阶段八：总结与分享
Hadoop基础入门指南
Hadoop基础入门指南
Hadoop是一个基于Java的开源分布式计算平台，能够处理大规模数据存
储和处理任务。它是处理大数据的一种解决方案，被广泛应用于各种领域，例如金融、医疗、社交媒体等。本文将介绍Hadoop的基础知识，帮助初
学者快速入门。
一、Hadoop的三大模块
Hadoop有三个核心模块，分别是HDFS（Hadoop分布式文件系统）、MapReduce、和YARN。
1. HDFS（Hadoop分布式文件系统）
HDFS是Hadoop的存储模块，它可以存储大量的数据，并在多台机器之间
进行分布式存储和数据备份。HDFS将文件切割成固定大小的块，并复制多份副本，存储在不同的服务器上。如果某个服务器宕机，数据仍然可以从其他服务器中获取，保障数据的安全。
2. MapReduce
MapReduce是Hadoop的计算模块，它可以对存储在HDFS上的大量数据进行分布式处理。MapReduce模型将大数据集划分成小数据块，并行处理这些小数据块，最后将结果归并。MapReduce模型包含两个阶段：Map阶段和Reduce阶段。
Map阶段：将输入的大数据集划分成小数据块，并将每个数据块分配给不同的Map任务处理。每个Map任务对数据块进行处理，并生成键值对，输出给Reduce任务。
Reduce阶段：对每个键值对进行归并排序，并将具有相同键的一组值传递给Reduce任务，进行汇总和计算。
3. YARN
YARN是Hadoop的资源管理器，它负责分配和管理Hadoop集群中的计算资源。YARN包含两个关键组件：ResourceManager和NodeManager。
《Hadoop综述》课件
04 Hadoop优缺点
CHAPTER
优点
可扩展性
Hadoop是一个分布式系统，可以轻松地通过增 加节点来扩展存储和计算能力。这使得Hadoop 能够处理大规模数据集，满足不断增长的数据需 求。
灵活性
Hadoop可以处理各种类型的数据，无论是结构 化数据还是非结构化数据。这使得Hadoop成为 数据分析的理想选择，可以应用于各种行业和场 景。
Hadoop通过MapReduce模型 实现了计算的并行化，能够同时 处理大规模数据。
Hadoop应用场景
数据仓库
Hadoop可以作为数据仓库使用，存储和管 理大规模数据，支持数据分析和挖掘。
流处理
Hadoop可以用于流处理领域，实时处理大 规模数据流。
机器学习
Hadoop可以用于机器学习领域，支持大规 模数据的训练和预测。
ቤተ መጻሕፍቲ ባይዱ
HBase
HBase是一个分布式的、可伸缩的、大数 据存储系统，它提供了对大量数据的随机、 实时读写访问。
HBase是一个非关系型数据库，基于列存 储，并设计用来存储大规模稀疏数据表。它 通过Hadoop YARN来进行管理和调度，并
提供了高可用性和容错性。
03 Hadoop生态系统
CHAPTER
MapReduce
MapReduce是Hadoop的一个编程 模型，用于处理和生成大数据集。它 将大数据处理任务分解为多个小任务 ，并在集群中并行执行这些小任务。
《hadoop培训》课件
Kafka、Flume等数据采集工具
Kafka
Kafka是一个分布式流平台，用于构建实时数据管道和流应用 。它能够处理高吞吐量的数据流，并提供了发布和订阅模型 ，以便在分布式系统中进行数据传输。
Flume
Flume是一个分布式、可靠且可用的服务，用于有效地聚合 和传输大量日志数据。它提供了一个灵活的架构，支持多种 数据采集方式，如定制数据源和拦截器。
Hadoop API的使用
概述
Hadoop提供了丰富的API ，用于开发分布式应用程 序。通过这些API，开发人 员可以轻松地编写处理大 规模数据的程序。
API介绍
包括Java API、Hadoop Streaming API、Hadoop Pipes等，每种API都有其 适用的场景和优势。
使用方法
03
数据处理
使用Hadoop的MapReduce框架对数 据进行清洗、去重、分类等操作，生 成分析所需的数据集。
05
04
分析方法
利用统计分析、数据挖掘等技术，分 析用户行为特征，挖掘用户潜在需求 和喜好。
案例二：日志分析系统
总结词
通过Hadoop处理大规模日志数据，监控 和分析系统的性能、安全等方面的问题， 提高系统的稳定性和安全性。
应用场景
根据分析结果，优化系统性能、加强安全 防护、提高系统的可用性和安全性。
《大数据Hadoop基础》课程标准
《大数据Hadoop基础》课程标准
一、课程说明
课程编码〔37601〕承担单位〔计算机信息学院〕
制定〔〕制定日期〔2022年11月16日〕
审核〔专业指导委员会〕审核日期〔2022年11月26日〕
批准〔二级学院（部）院长〕批准日期〔2022年11月28日〕
（1）课程性质：
《大数据应用技术基础》由Hadoop开发基础、分布式存储HDFS开发基础和分布式计算Map Reduce开发基础三部分组成，它是由Apache基金会所开发的分布式系统基础架构，一个能够对大量数据进行分布式处理的软件框架；Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，能够处理PB级数据。从学科性质上讲，它既是大数据技术与应用专业的基础课程，又是大数据技术与应用专业的专业核心课程，它为大数据技术与应用专业后继课程的学习提供必要的理论与实践基础。
（2）课程任务：
通过本门课程的学习，使学生知道Hadoop框架最核心的设计是:HDFS和Map Reduce；HDFS是部署在Hadoop集群的底层为海量的数据提供了存储，而Map Reduce为海量的数据提供了计算；而且能够理解并掌握HDFS文件系统的存储原理、两种访问HDFS文件系统的模式以及理解Hadoop集群的计算框架Map Reduce的工作原理，为《Hadoop基础实战》、《数据的可视化》和《Spark数据计算》等课程的学习提供理论依据和实战基础。
（3）课程衔接：
《大数据应用技术基础》的先修课程为《Java程序设计》、《Linux系统管理》等，这些课程的学习将为本课程的学习奠定了理论基础。
Hadoop基础培训教程
Hadoop基础培训教程
Hadoop是目前最为流行的大数据处理框架之一，其中包含了许多核心概念和组件，每个概念和组件都有其特定的任务和功能。为了更好地掌握Hadoop这一框架，进行一些基础培训显得尤为重要。
本文将介绍基础培训教程中必须掌握的基本知识。本文首先将介绍Hadoop的基本结构和组件，然后讨论如何安装和配置Hadoop，最后将介绍如何使用Hadoop运行MapReduce作业。
1. Hadoop基本结构和组件
Hadoop计算机集群由一个主节点和多个从节点组成，主节点又称为名字节点（NameNode），从节点又称为数据节点（DataNode）。主节点管理文件系统元数据，例如文件名、文件大小和文件位置。数据节点包含处理数据块的任务，也可以执行MapReduce作业。
另外一个重要的组件是YARN（Yet Another Resource Negotiator，又称为MapReduce 2.0），它是一个用于分布式计算的资源调度和管理系统，可用于运行各种复杂的分布式应用程序。MapReduce是一种通用的数据处理方法，也是Hadoop 生态系统的核心部分之一，它提供了分布式数据处理的编程接口和底层库。
2. Hadoop的安装和配置
Hadoop的安装与配置需要一些基本的操作，其中包括设
置环境变量、创建Hadoop用户、配置Hadoop的核心组件等。
要成功安装Hadoop，您需要在计算机上安装Java Development Kit（JDK）。您还需要在Hadoop安装目录中创建一个用户，以使Hadoop拥有其余操作系统上的足够权限。接
《Hadoop大数据开发基础》电子教案
第1章Hadoop介绍
教案
课程名称：Hadoop大数据开发基础
课程类别：必修
适用专业：大数据技术类相关专业
总学时：64学时（其中理论28学时，实验36学时）
总学分：4.0学分
本章学时：2学时
一、材料清单
（1）《Hadoop大数据开发基础（第2版）》教材。
（2）配套PPT。
（3）引导性提问。
（4）探究性问题。
（5）拓展性问题。
二、教学目标与基本要求
1.教学目标
从理论方面介绍了Hadoop的概念，Hadoop的历史、特点，了解了Hadoop的主要思想，再通过介绍Hadoop的HDFS、MapReduce和YARN这3大主要的核心组件，深入了解Hadoop 的整体架构，最后简要介绍了Hadoop的生态系统和应用场景。
2.基本要求
（1）了解Hadoop分布式框架及其发展历史、特点。
（2）了解Hadoop核心组件。
（3）了解Hadoop的生态系统组件。
（4）了解Hadoop的应用场景。
三、问题
1.引导性提问
引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。
（1）你听到过“大数据”这个概念吗？
（2）你听到过“Hadoop”这个软件吗？
（3）你知道Hadoop最主要的用处吗？
（4）你觉得Hadoop更常用于哪方面？
2.探究性问题
探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
云凡教育Hadoop网络培训第二期
开课时间：2014年1月20日
授课方式:YY在线教育+课程视频+资料、笔记+辅导+推荐就业
YY教育平台：20483828
课程咨询：1441562932 大胃
云凡教育Hadoop交流群：306770165
费用：
第二期优惠特价：999元；
授课对象：
对大数据领域有求知欲，想成为其中一员的人员
想深入学习hadoop，而不只是只闻其名的人员
基础技能要求:
具有linux操作一般知识（因为hadoop在linux下跑）
有Java基础(因为hadoop是java写的并且编程也要用java语言)
课程特色
1，以企业实际应用为向导，进行知识点的深入浅出讲解；
2，从零起步，循序渐进，剖析每一个知识；
3，萃取出实际开发中最常用、最实用的内容并以深入浅出的方式把难点化于无形之中
学习安排：
Hadoop的起源与生态系统介绍(了解什么是大数据；Google的三篇论文；围绕Hadoop形成的一系列的生态系统；各个子项目简要介绍)
1_Linux系统环境搭建和基本命令使用
针对很多同学对linux命令不熟悉，在课程的学习中，由于命令不熟悉导致很多错误产生，所以特意增加一节linux基础课程，讲解一些常用的命令，对接下来的学习中做好入门准备；
02_Hadoop本地（单机）模式和伪分布式模式安装
本节是最基本的课程，属于入门级别，主要对Hadoop 介绍，集中安装模式，如何在linux上面单机（本地）和伪分布模式安装Hadoop，对HDFS 和MapReduce进行测试和初步认识。
03_HDFS的体系结构、Shell操作、Java API使用和应用案例
本节是对hadoop核心之一——HDFS的讲解。HDFS是所有hadoop操作的基础，属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中，我们会讲述hdfs的体系结构，以及使用shell、java不同方式对hdfs 的操作。在工作中，这两种方式都非常常用。学会了本节内容，就可以自己开发网盘应用了。在本节学习中，我们不仅对理论和操作进行讲解，也会讲解hdfs 的源代码，方便部分学员以后对hadoop源码进行修改。
04_MapReduce入门、框架原理、深入学习和相关MR面试题
本节开始对hadoop核心之一——mapreduce的讲解。mapreduce是hadoop 的核心，是以后各种框架运行的基础，这是必须掌握的。在本次讲解中，掌握mapreduce执行的详细过程，以单词计数为例，讲解mapreduce的详细执行过程。还讲解hadoop的序列化机制和数据类型，并使用自定义类型实现电信日志信息的统计。最后，还要讲解hadoop的RPC机制，这是hadoop运行的基础，通过该节学习，我们就可以明白hadoop是怎么明白的了，就不必糊涂了，本节内容特别重要。
05_Hadoop集群安装管理、NameNode安全模式和Hadoop 1.x串讲复习
hadoop就业主要是两个方向：hadoop工程师和hadoop集群管理员。我们课程主要培养工程师。本节内容是面向集群管理员的，主要讲述集群管理的知
识。串讲复习Hadoop 的发展以及基本知识概念，让大家更加深入的理解Hadoop。
06_HBase入门、存储原理、Shell 命令、Java API操作和应用案例•HBase是个好东西，在以后工作中会经常遇到，特别是电信、银行、
保险等行业。本节讲解HBase的伪分布和集群的安装，讲解基本理论和各种操作。我们通过对hbase原理的讲解，让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构，这是hbase优化的重点。
07_Zookeeper集群安装、回顾HBase和MySql 5.1安装与基本使用
•本节内容与属于基础性内容，主要讲解Zookeeper和MySQL。其中
Zookeeper是用于协作服务运行的，比如HBase的运行，以及DHFS 2.0中的HA的实现。MySQL作为Hive、Impala等实时查询数据库框架的元数据存储。
只是在hbase集群安装时才用到。学好此部分知识，是很有必要的，如果对此不明白的话，在实际的项目开发和运维中，会遇到很到问题。
•08_Hive安装、配置元数据、HiveQL语句学习和应用案例
•Hive是个数据仓库，用于对数据进行多维分析，是hadoop对外提供类似于sql语句的一个框架，非常好用，合适熟悉数据库的开发人员快速介入到大数据开发之中。Hive本质是将HiveQL语句转换成MapReduce，进行Job 运行。
09_串讲复习HDFS、MapReduce、HBase、Hive与Sqoop安装与数据导入导出
•通过一个小案例串讲复习之前学习的知识，是大家能将零散的知识点进行整合运用，达到进入企业很好上手工作的目的
•该项目是为本课程量身定做的，非常适合我们本阶段课程学习。有的同学觉得应该多介绍项目，其实如果做过项目后，就会发现项目的思路是相同的，只是业务不同而已。大家写过这个项目后，就对hadoop的各个框架在项目中是如何使用的，有个比较清晰的认识，对hadoop与javaEE结合有个比较清晰的认识了。
•sqoop适用于在关系数据库与hdfs之间进行双向数据转换的，在企业中，非常常用。
10_答疑总结、任务调度框架Azkaban安装和使用
•进行课程的总结和答疑，讲解实际项目中如何分析需求、针对需求进行设计，对选择大数据各种处理框架。
•此外，讲解任务调度的使用，目前暂定讲解Azkaban，可能后期会有变动，会讲解Oozie，依据具体情况而定。
11_Hadoop 2.2.0介绍、集群安装和商业版Hadoop介绍
•Hadoop 2.0 系列的已经发布第一个正式版有两个月的时间了，其中添加了很多新的特性，尤其是HDFS HA与HDFS Federation和MRv2（YARN），很多公司真正积极的准备升级到2.0，有必要了解一下，以及简单的集群安装。
•在企业中真正的实际应用，很少回去使用Apache Hadoop，这仅仅作为学习使用，而是去选择商业版的开源的Hadoop版本，比如最著名的有
Cloudera、Hotonworks等，尤其Cloudera 的Hadoop版本使用最为广泛。12_Cloudera Hadoop介绍、CM4.8安装和部署CDH4.5
•针对Cloudera 版本的Hadoop进行介绍，以及集群管理工具Cloudera Manager 进行安装和使用CM 安装、管理与部署CDH。
讲师:
陈梦琪讲师
主要从事对Hadoop技术的实际应用开发，以及其性能优化工作。熟悉HDFS 架构以及Mapreduce原理和相关编程；在数据分析、数据挖掘、云计算，云存储有多年开发经验，在Hadoop处理大数据方面有自己独到的见解，致力于让Hadoop 大数据应用更简单。参加过众多大型项目，包括《Xxx省公安厅车辆轨迹大数据研判应用系统》建设、广东肇庆市公安局稽查布控系统、山东枣庄市公安局卡口系统、奇瑞异地工厂EAI系统项目、服务管理系统(SMS)、信息管理与整合系统等组织开发工作。
关于Hadoop: