【八斗学院】2018年最新Hadoop大数据开发学习路线图
【八斗学院】最新Hadoop集群常用命令
最新Hadoop集群常用命令来源：八斗学院查看共享文件在linux下的哪个地方cd /mnt/hgfs/在linux下解压压缩包tar xvzf启动hadoop集群./start-all.sh 先进入cd /usr/local/src/目录再启动hadoop从hdfs上把文件拿下来命令：./hadoop fs -get /1.data /usr/local/src/ 后面加上要把文件拿下来放到那个目录下从hdfs上查看已经在的文件命令：./hadoop fs -ls /查看集群运行好的文件输出outhadoop fs -text例子：hadoop fs -text /output_cachearchive_broadcast本地模拟测试文件命令：cat 文件名| | python map.py | sort -k1例子：cat The_Man_of_Property.txt | python map.py | sort -k1 | python red.py > 1.data通过map中输出出来的数据要经过排序那么-k1就是对第一列进行排序cat The_Man_of_Property.txt | python map.py mapper_func white_list | sort -k1 | python red.py reduer_func > 1.data跑代码bash run.shhdfs上传文件./hadoop fs -put例子：./hadoop fs -put /mnt/hgfs/lal/mr_file_broadcast/The_Man_of_Property.txt / 一定要在hadoop安装目录下上传hdfs文件删除hdfs目录./hadoop fs -rmr例子：/output_file_broadcast杀掉hadoop集群运行中的环境hadoop job -kill job_201710171458_0005加入压缩包命令：tar cvzf w.tar.gz例子：tar cvzf w.tar.gz white_list_1 white_list_2命令行全局排序| sort -k1 -n | head 按照数字正序排序| sort -k1 -rn | head 按照逆序排序例子：cat a.txt b.txt | sort -k1 -n | head。
IT学习路线图(DOC)
作为一名IT从业人士，也许你不擅长于编码，对不分昼夜的加班模式和没玩没了的coding也不感兴趣，于是您拿起长剑，从另一路杀进庞大的IT经济圈，作为一名技术工程师。从此，您开始专注于公司产品的实施和部署，专注于企业IT信息化的运维和管理，专注于如何配合项目经理更快更好的完成项目的交付……你可知道你的未来？你可曾对自己的职业生涯有过良好的规划？你的梦想是……？
例：面前放着一大堆书，该选择哪一本呢？答案很简单：最重要的那本。
这就是梅须逊雪三分白，雪却输梅一段香。
四、提高时间利用效率的第二原则：做自己力所能及的事
五、提高时间利用效率的第三原则：根据不同内容的学习特点来安排时间
六、提高时间利用效率的第四原则：注意适当的休息
七、学会执行：把良好的计划变成现实
怎样去点燃梦想
3、作出你的计划，方法总比问题多，只有想不到的办法，没有做不到的事。
4、立刻行动，把握今天，从现在开始，再长的路，一步步也能走完，再短的路，不迈开双脚也无法到达。
5、每天反省自己
总Hale Waihona Puke 几句话不要和梦想走散了千万不可只顾着在最短时期内获得结果。
人生只有走出来的美丽，没有等出来的辉煌。
如果你停止，就是谷底，如果你还在继续，就是上坡
问问自己，对于梦想，你是否已经竭尽全力以赴了
一、时间并不重要，重要的是效率
二、学习时间的“马太效应”马太效应出自《圣经·马太福音》的寓言指强者越强、弱者越弱的社会现象
三、提高时间利用效率的第一原则：学会舍弃
处好人际关系最重要的原则，就是不要试图让所有人都喜欢你
利用好时间的最重要的原则，就是不要试图把所有的事情都做好
1、充分地认识自我，把自己放在一个适当的高度。充分地相信自我人之所以能，是因为相信能。
【千锋大数据】：分享计算机小白大数据学习线路图
计算机小白大数据学习线路图人们常说毕业三五年后就可以看出一个人的未来。
工作三五年后有人月收入过万，开始在老家买房;有人零存款，继续每天租房的生活。
不是后者不拼搏，只是入错了行而已。
现在有一个行业“薪”机炸裂，可以迅速帮你“脱贫”，你会抓住这个机会吗?没错，我们说的就是大数据行业。
首先，来看看大数据有多火吧。
近几年，大数据不仅被纳入谷歌、阿里巴巴等互联网公司的战略规划中，同时也在我国和其他国家的政府报告中多次被提及，大数据无疑成为当今互联网世界的新宠儿。
亚马逊凭借数据服务支撑着庞大的电商帝国，美国政府从大数据中找到蛛丝马迹逮住了本拉登，微信上人们乐此不疲的性格测试，婚恋配对也是大数据的应用。
大数据是新兴行业，人才需求火爆。
智联、BOSS直聘上大数据人才的薪资都在20K左右，北京拥有3~5年工作经验的大数据开发人员平均薪资都在30K。
接下来，我们来看看你可以通过哪些渠道学习大数据。
大数据行业远超一般行业的超高薪水让很多人眼馋不已，跃跃欲试。
有人问：我只有一点点编程基础，可以学习大数据吗?也有人问，我是零基础，学习大数据学得会吗?学习大数据无非两种方式，要么自学，要么报名培训班老师带着一起学。
学习大数据，还是需要不断地不耻下问，甚至要系统地学习，做一些企业的项目，然后进行一些动手实操，你才算真正掌握大数据。
这里奉上一份完整的大数据学习线路图。
严格说来，学习大数据首先要对大数据的发展趋势和应用有所了解。
然后你需要掌握一门计算机的编程语言。
对于零基础的朋友，一开始入门可能不会太简单。
目前大多数IT培训机构都会教Java，我们都知道Java是目前使用很广泛的网络编程语言之一，它容易学而且很好用。
学完了编程语言之后，就可以进行大数据部分的课程学习了。
大数据课程，包数据分析、数据存储、数据计算、数据展现、数据上线等部分，Linux、Hadoop、Scala、HBase、Hive、 Spark等都必须熟练掌握。
这些内容靠自学也可以，但要入职企业，进行一些实际项目的操作练手是十分必要的。
大数据教程分享Hadoop入门学习线路图
大数据教程分享Hadoop入门学习线路图好程序员大数据教程分享Hadoop入门学习线路图，Hadoop是系统学习大数据的必会知识之一，Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的。
YARN是一种新的Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
如何入门Hadoop学习，不妨从以下这些知识点学起，希望我的分享能对大家的学习有帮助：先附一张大数据学习线路图：Zookeeper这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。
它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那？你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。
这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop这个是用于把Mysql里的数据导入到Hadoop里的。
当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。
Oozie既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。
《Hadoop海量数据处理 技术详解与项目实战 第2版 》读书笔记思维导图
第8章 HBase:Hadoop
Dat...
第7章 SQL to Hadoop: S...
第9章 Hadoop性 能调优和运维
应用篇：商业智能系统项目实战
01
第10章 在 线图书销售 商业智能系 统
02
第11章 系 统结构设计
03
第12章 在 开发之前
04
第13章 实 现数据导入 导出模块
06
07 参考文献
06 结束篇：总结和展望 08 内容简介
本书介绍了Hadoop技术的相关知识，并将理论知识与实际项目相结合。全书共分为三个部分：基础篇、应 用 篇 和 总 结 篇 。 基 础 篇 详 细 介 绍 了 H a d o o p 、 YA R N 、 M a p Re d u c e 、 H D F S 、 H i v e 、 S q o o p 和 H B a s e ， 并 深 入 探讨了Hadoop的运维和调优；应用篇则包含了一个具有代表性的完整的基于Hadoop的商业智能系统的设计和 实现；结束篇对全书进行总结，并对技术发展做了展望。
第15章 实 现业务数据 的数据清洗 模块
05
第14章 实 现数据分析 工具模块
第16章 实现点击流 日志的数据清洗模块
第17章 实现购书转 化率分析模块
第18章 实现购书用 户聚类模块
第19章 实现调度模 块
结束篇：总结和展望
参考文献
内容简介
感谢观看
读
书
笔
记
《Hadoop海量数据处 理 技术详解与项目实战
第2版 》
最新版读书笔记，下载可以直接修改
思维导图PPT模板
本书关键字分析思维导图
系统
应用
大数据中的Hadoop学习路线图_光环大数据推出AI智客计划送2000助学金
大数据中的Hadoop学习路线图_光环大数据推出AI智客计划送2000助学金其实如果没有一个靠谱的Hadoop学习路线图，Hadoop的学习也会如盲人摸象一样，吃力、忙乱、不全面。
Hadoop算是IT培训中一个新兴科目，靠谱、系统的Hadoop学习路线图并不多见，那么哪里有靠谱的Hadoop学习路线图呢？今天小编就把光环大数据教育的大数据中Hadoop学习路线图分享给大家。
一、Hadoop学习路线图主要内容Hadoop的主要学习内容以Hadoop生态系统为主，主要分为7个大块：(一)Hadoop集群的搭建。
这部分主要讲解介绍单机版和伪分布式安装，详细介绍每个方式的区别，解决什么问题以及详细的配置，并对每个配置文件做深入讲解。
能够查看hadoop进程;理解hadoop启动的整个过程。
二)HDFS基础概念的介绍。
HDFS是Hadoop中应用十分广泛的一块内容，这部分主要讲解的内容有块的概念、块的好处、冗余备份、块的切分;元数据概念;NameNode工作原理; DataNode工作原理;Secondary NameNode;客户端含义;HDFS文件操作过程;元数据的持久化;什么是EditsLog和FSImage静像文件;EditsLog和FSImage合并--Checkpoint机制;HDFS命名空间;安全模式;心跳机制;机架感知等内容。
(三)HDFS API案例。
这部分是HDFS的进阶内功主要讲解内容包括：主要讲解案例包括上传本地文件到HDFS;从HDFS下载文件到本地;创建HDFS文件;创建HDFS目录;重命名HDFS文件;删除HDFS文件;删除HDFS目录;查看某个文件是否存在;数据类型，writeable接口。
(四)YARN资源调度框架介绍。
主要讲解客户端程序与ResourceManager交互;客户端存贮封装信息;ResourceManager调用NodeManager;NodeManager划分资源池;ResourceManager调用MapReduce程序;执行运算;hadoop伪分布式安装、HA安装，加入YARN的进程，反推理论;运行MR程序，观察YARN在程序运行中的处理过程;hadoop1.0到2.0的变化。
Hadoop学习路线图
目录1.Hadoop家族产品2.Hadoop家族学习路线图1. Hadoop家族产品截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！接下来，我把这20个产品，分成了2类。
•第一类，是我已经掌握的•第二类，是TODO准备继续学习的一句话产品介绍:•Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
•Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
•Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
•Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase 技术可在廉价PC Server上搭建起大规模结构化存储集群。
•Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
•Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务•Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。
Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
2018年详细的Hadoop环境搭建_光环大数据培训
2018年详细的Hadoop环境搭建_光环大数据培训hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。
这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x 的架构组成、各模块协同工作原理、技术细节。
安装不是目的，通过安装认识Hadoop才是目的。
本文分为五个部分、十三节、四十九步。
第一部分：Linux环境安装Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK 安装等。
第二部分：Hadoop本地模式安装Hadoop本地模式只是用于本地开发调试，或者快速安装体验Hadoop，这部分做简单的介绍。
第三部分：Hadoop伪分布式模式安装学习Hadoop一般是在伪分布式模式下进行。
这种模式是在一台机器上各个进程上运行Hadoop的各个模块，伪分布式的意思是虽然各个模块是在各个进程上分开运行的，但是只是运行在一个操作系统上的，并不是真正的分布式。
第四部分：完全分布式安装完全分布式模式才是生产环境采用的模式，Hadoop运行在服务器集群上，生产环境一般都会做HA，以实现高可用。
第五部分：Hadoop HA安装HA是指高可用，为了解决Hadoop单点故障问题，生产环境一般都做HA部署。
这部分介绍了如何配置Hadoop2.x的高可用，并简单介绍了HA的工作原理。
安装过程中，会穿插简单介绍涉及到的知识。
希望能对大家有所帮助。
第一部分：Linux环境安装第一步、配置Vmware NAT网络一、Vmware网络模式介绍二、NAT模式配置NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。
大数据学习路线（完整详细版）
⼤数据学习路线（完整详细版）⼤数据学习路线java(Java se,javaweb)Linux(shell,⾼并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,spark core,spark sql,spark streaming,spark mllib,spark graphx)Python(python,spark python)云计算平台(docker,kvm,openstack)名词解释⼀、Linuxlucene：全⽂检索引擎的架构solr：基于lucene的全⽂搜索服务器，实现了可配置、可扩展并对查询性能进⾏了优化，并且提供了⼀个完善的功能管理界⾯。
⼆、HadoopHDFS：分布式存储系统，包含NameNode，DataNode。
NameNode：元数据，DataNode。
DataNode：存数数据。
yarn：可以理解为MapReduce的协调机制，本质就是Hadoop的处理分析机制，分为ResourceManager NodeManager。
MapReduce：软件框架，编写程序。
Hive：数据仓库可以⽤SQL查询，可以运⾏Map/Reduce程序。
⽤来计算趋势或者⽹站⽇志，不应⽤于实时查询，需要很长时间返回结果。
HBase：数据库。
⾮常适合⽤来做⼤数据的实时查询。
Facebook⽤Hbase存储消息数据并进⾏消息实时的分析ZooKeeper：针对⼤型分布式的可靠性协调系统。
Hadoop的分布式同步等靠Zookeeper实现，例如多个NameNode，active standby切换。
Sqoop：数据库相互转移，关系型数据库和HDFS相互转移Mahout：可扩展的机器学习和数据挖掘库。
《Hadoop大数据处理实战》教学课件 第四章(Hadoop大数据处理实战)
数据错误与恢复
4.2.2 NameNode和DataNode错误处理
NameNode上保存了元数据信息，如果NameNode节点损坏，HDFS中的所有文件都会丢失，并且用户也不能根据 DataNode上的block重新构建HDFS文件。因此，确保NameNode的容错性是十分重要的。
（4）采用流式数据访问。为了获得高吞吐量的数据访问，HDFS上的应用主要采用流式数据访问方式，即边收 集数据边处理数据。因此，HDFS适用于批量数据处理，而非用户交互式数据处理。
（5）支持移动计算。如果将应用程序请求的计算在其操作的数据附近执行，而不是将数据移动到运行应用程 序的位置，可以极大地减少网络拥塞并提高系统的整体吞吐量，从而提高计算效率，尤其是当数据文件很大时 提升效果更加明显。此外，HDFS还为应用程序提供了移动计算的接口。
HDFS概述
在HDFS中，数据文件按块进行存储可以带来如下好处：
（1）可以存储任意大小的数据文件，不用再受单个节点磁盘容量大小的限制。例如，在单个节点存储100 TB甚 至10 PB的文件几乎是不可能的，但HDFS采用物理切块的设计，可以将这些文件数据切分成多个block，分别存 储在集群中的各个节点上。
SecondaryNameNode实际上是通过在文件系统中设置一个检查点（checkpoint）来帮助NameNode管理元数据， 从而使NameNode能够快速、高效地工作。但是，它并非第二个NameNode，仅是NameNode的一个辅助工具。
SecondaryNameNode不仅提升了集群性能，还保存了NameNode的元数据信息，这在一定程度上提高了元数 据的安全性和可靠性。
2018年最新Java开发学习路线_华清远见
推荐！南京Java开发学习路线不要被小编的慷慨陈词所打动了，和你们说好做彼此的天使，所以今天不选择套路你们。
好了，言归正传，来看看小编送上的计算机技术培训福利是否能打动你吧~南京市华东区域中心城市，四大古都之一，七大军区—南京军区所在地，中国首个软件名城。
南京的科教实力极其强大，南京同时也是中国唯一的国家科技体制综合改革试点城市。
随着时代的发展，现代大学生越来越多，而“就业难”也成为了很多大学生面临的问题，因此许多人选择在工作之后投入到了报名计算机技术培训的行列中。
说了这么多，是不是觉得还是很有必要的呢~那接下来让我来看看相关信息吧~Java主要学习的内容包括：Java语法、Java常用类、IDE集成开发环境、数据库、JDBC Java数据库连接、HTML + CSS、Java WEB编程、企业流行框架Struts、Spring、Hibernate等。
内容很多，学习过程中最好能参考一份Java开发学习路线，才不至于手忙脚乱。
以下分享一下华清远见的JavaEE+大数据课程大纲，方便想要学习Java开发的朋友们用作参考。
（看不清楚，可以放大哦！）第一阶段课程：Java设计和编程思想本阶段学习目标：1.精通java面向对象思想和基础语法。
2.熟练java中异常处理。
3.精通java中I/O操作。
4.掌握java中多线程操作。
5.精通java中集合类的使用。
6.掌握java中网络编程。
7.精通数据库/JDBC的使用第二阶段课程：Web前端开发本阶段学习目标：1.掌握html+css+js相关技术；2.通过H5相关的库快速编写代码；3.搭建符合大数据要求的界面，使前端+后端+大数据实现三维一体；第三阶段课程：JavaEE进阶本阶段学习目标：1.掌握Tomcat/Nginx服务器搭建。
2.掌握Jsp&Servlet的使用。
3.精通SSH、SSM两大流行框架的原理及使用。
第四阶段课程：大数据核心知识本阶段学习目标：1.了解hadoop机制原理；2.了解hadoop集群搭建过程；3.了解Hdfs API使用以及mr编程模型；4.了解hive、hbase、sqoop、flume等组件的使用方法；5.Spark平台的优势以及Spark集群的搭建过程；6.Scala程序设计基础；7.Spark-SQL和DataFrame API详解。
hadoop学习总结
Client1 Client2
Name Node
Secondary Name Node
5
4
13 Data Node
5
8
1
4
Data Node
5
4
......
2
3
Data Node
HDFS 的 NameNode 和 DataNode 是和文件存储关系比较大的两个角色。NameNode
是 HDFS 系 统 中 的 管 理 者 ， DataNode 是 HDFS 中 保 存 数 据 的 节 点 。 下 面 我 结 合
Share Knowledge Share Happiness 打开视界，打开世界
我总觉得诗人和旅行者天生有共同的特质：他们一直在追寻着灵魂的升华。在这一过程中， 他们眼里可能看到了人间百态或者是人间天堂，基于此，才有诗之深情之切。这种感知生命 深度的起源，在于视界！
生命的维度远不止时间一维而已，一个多月之前距离现在已经有 30 多天的距离。如果我 们只看年龄，那么我真的比过去大了一个多月。但是，如果把知识这个维度引入生命，那么 一切都会产生奇妙的‘化学反应’。
3
工欲善其事必先利其器
Share Knowledge Share Happiness
Map/Reduce 程序来讲解文件存储在 HDFS 中，如何被运用的过程。
1.1 文件在 HDFS 的存储
我们将文件名为 test.txt（大小为 192MB）文件数据存放在 HDFS 的 http：//localhost： 9010/user/sn/testdata 文件夹下 这时，HDFS 根据 test.txt 的大小和 HDFS 默认的数据快的大小（64MB）进行分片，HDFS 将 test.txt 文件分成 3 片。我们假设这三片的名称为 1,2,3. 我们假设我们的集群有四台机器，一台机器为 master，其他三台为 slave. Master 上的 NameNode 上保存着 Test.txt 的元数据信息，3 台 slave 上保存着 Test.txt 的具体数据信息。 具体如下图所示：
hadoop学习路径（知乎）
hadoop学习路径（知乎）
推荐一些Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
一、学习路线图
•Hadoop家族学习路线图开篇必读
•Hive学习路线图
•Mahout学习路线图
二、编程实践
•Hadoop历史版本安装
•用Maven构建Hadoop项目
•Hadoop编程调用HDFS
•用Maven构建Mahout项目
•Mahout推荐算法API详解
•用MapReduce实现矩阵乘法
•从源代码剖析Mahout推荐引擎
•Mahout分步式程序开发基于物品的协同过滤ItemCF
•Mahout分步式程序开发聚类Kmeans
•PageRank算法并行实现
三、案例分析
•海量Web日志分析用Hadoop提取KPI统计指标
•用Hadoop构建电影推荐系统
•用Mahout构建职位推荐引擎
•Mahout构建图书推荐系统
•PeopleRank从社交网络中发现个体价值。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018年最新Hadoop大数据开发学习路线图
来源：八斗学院
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。
作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。
作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。
下面详细介绍一下，学习Hadoop开发技术的路线图。
Hadoop本身是用java开发的，所以对java的支持性非常好，但也可以使用其他语言。
下面的技术路线侧重数据挖掘方向，因为Python开发效率较高所以我们使用Python来进行任务。
因为Hadoop是运行在Linux系统上的，所以还需要掌握Linux的知识。
第一阶段：Hadoop生态架构技术
1、语言基础
Java：掌握javase知识，多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。
Linux：系统安装（命令行界面和图形界面）、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。
Python：基础语法，数据结构，函数，条件判断，循环等基础知识。
2、环境准备
这里介绍在windows电脑搭建完全分布式，1主2从。
VMware虚拟机、Linux系统（Centos6.5）、Hadoop安装包，这里准备好Hadoop 完全分布式集群环境。
3、MapReduce
MapReduce分布式离线计算框架，是Hadoop核心编程模型。
主要适用于大批量的集群任务，由于是批量执行，故时效性偏低。
4、HDFS1.0/2.0
Hadoop分布式文件系统(HDFS)是一个高度容错性的系统，适合部署在廉价的机器上。
HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
5、Yarn（Hadoop2.0）
前期了解即可，Yarn是一个资源调度平台，主要负责给任务分配资源。
Yarn是一个公共的资源调度平台，所有满足条件的框架都可以使用Yarn来进行资源调度。
6、Hive
Hive是一个数据仓库，所有的数据都是存储在HDFS上的。
使用Hive主要是写Hql，非常类似于Mysql数据库的Sql。
其实Hive在执行Hql，底层在执行的时候还是执行的MapRedce程序。
7、Spark
Spark 是专为大规模数据处理而设计的快速通用的计算引擎，其是基于内存的迭代式计算。
Spark 保留了MapReduce 的优点，而且在时效性上有了很大提高。
8、Spark Streaming
Spark Streaming是实时处理框架，数据是一批一批的处理。
9、Spark Hive
基于Spark的快速Sql检索。
Spark作为Hive的计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算，可以提高Hive查询的性能。
10、Storm
Storm是一个实时计算框架，和MR的区别就是，MR是对离线的海量数据进行处理，而Storm是对实时新增的每一条数据进行处理，是一条一条的处理，可以保证数据处理的时效性。
11、Zookeeper
Zookeeper是很多大数据框架的基础，它是集群的管理者。
监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。
最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户
12、Hbase
Hbase是一个Nosql 数据库，是一个Key-Value类型的数据库，是高可靠、面向列的、可伸缩的、分布式的数据库。
适用于非结构化的数据存储，底层的数据存储在HDFS上。
13、Kafka
kafka是一个消息中间件，在工作中常用于实时处理的场景中，作为一个中间缓冲层。
14、Flume
Flume是一个日志采集工具，常见的就是采集应用产生的日志文件中的数据，一般有两个流程。
一个是Flume采集数据存储到Kafka中，方便Storm或者SparkStreaming进行实时处理。
另一个流程是Flume采集的数据存储到HDFS上，为了后期使用hadoop或者spark 进行离线处理。
第二阶段：数据挖掘算法
1、中文分词
开源分词库的离线和在线应用
2、自然语言处理
文本相关性算法
3、推荐算法
基于CB、CF，归一法，Mahout应用。
4、分类算法
NB、SVM
5、回归算法
LR、Decision Tree
6、聚类算法
层次聚类、Kmeans
7、神经网络与深度学习
NN、Tensorflow
以上就是学习Hadoop开发的一个详细路线，鉴于篇幅原因只列举和解释了框架作用，如果需要了解具体框架的开发技术，可以百度搜索八斗学院大纲，详细了解。
学习完第一阶段的知识，已经可以从事大数据架构相关的工作，可以在企业中负责某些或某个的开发与维护工作。
学习完第二阶段的知识，可以从事数据挖掘相关的工作，这也是目前进入大数据行业含金量最高的工作。