Hadoop起源及其四大特性详解
Hadoop介绍-基础篇
7：Hadoop大事记
06年12月-- 标准排序在20个节点上运行1.8个小时，100个节点3.3小时， 500个节点5.2小时，900个节点7.8个小时。 07年1月-- 研究集群到达900个节点。 07年4月-- 研究集群达到两个1000个节点的集群。 08年4月-- 赢得世界最快1 TB数据排序在900个节点上用时209秒。 08年10月-- 研究集群每天装载10 TB的数据。 09年3月-- 17个集群总共24 000台机器。 09年4月-- 赢得每分钟排序，59秒内排序500 GB(在1400个节点上)和 173分钟内排序100 TB数据(在3400个节点上)。
6：MapReduce介绍
为什么我们不能使用数据库加上更多磁盘来做大规模的批量分析？为什么我们需要MapReduce？ 这个问题的答案来自于磁盘驱动器的另一个发展趋势： 寻址时间的提高速度远远慢于传输速率的提高速度。 寻址就是将磁头移动到特定位置进行读写操作的工序。 它的特点是磁盘操作有延迟，而传输速率对应于磁盘的带宽。 关系型数据库和MapReduce的比较：
5：HDFS介绍-写入文件
5：HDFS介绍-读取文件
5：HDFS介绍-适用场景
HDFS是为以流式数据访问模式存储超大文件而设计的文件系统，在商用硬件的集群上运行。 超大文件： 超大文件 "超大文件"在这里指几百MB，几百GB甚至几百TB大小的文件。 目前已经有Hadoop集群存储PB(petabytes)级的数据了。 流式数据访问： 流式数据访问 HDFS建立在这样一个思想上：一次写入、多次读取模式是最高效的。 一个数据集通常由数据源生成或复制，接着在此基础上进行各种各样的分析。 每个分析至少都会涉及数据集中的大部分数据 (甚至全部)， 因此读取整个数据集的时间比读取第一条记录的延迟更为重要。 商用硬件： 商用硬件 Hadoop不需要运行在昂贵并且高可靠性的硬件上。 它被设计运行在商用硬件(在各种零售店都能买到的普通硬件)的集群上， 因此至少对于大的集群来说，节点故障的几率还是较高的。 HDFS在面对这种故障时，被设计为能够继续运行而让用户察觉不到明显的中断。
什么是hadoop有哪些优点
什么是hadoop有哪些优点Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
那么你对Hadoop了解多少呢?下面就让店铺来给你科普一下什么是hadoop。
hadoop的起源项目起源Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。
它受到最先由Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。
2006 年 3 月份，Map/Reduce 和Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。
例如，如果您要 grep 一个 10TB 的巨型文件，会出现什么情况?在传统的系统上，这将需要很长的时间。
但是Hadoop 在设计时就考虑到这些问题，采用并行执行机制，因此能大大提高效率。
发展历程Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。
谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。
使用该框架的一个典型例子就是在网络数据上运行的搜索算法。
Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。
目前有很多公司开始提供基于Hadoop的商业软件、支持、服务以及培训。
Cloudera是一家美国的企业软件公司，该公司在2008年开始提供基于Hadoop的软件和服务。
GoGrid是一家云计算基础设施公司，在2012年，该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。
Dataguise公司是一家数据安全公司，同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。
hadoop概述
Hadoop概述什么是Hadoop？Hadoop是一个开源的分布式系统框架，用于存储和处理大规模数据集。
它以容错性高和可伸缩性强而闻名，被广泛用于大数据领域。
Hadoop的核心组件Hadoop由四个核心组件组成：1. Hadoop分布式文件系统(HDFS)HDFS是Hadoop的分布式文件系统，用于将文件分布存储在集群的多个节点上。
它通过将文件切分成多个块，并将这些块分布式存储在集群中的多个节点上，实现文件的高可靠性和可扩展性。
2. YARNYARN（Yet Another Resource Negotiator）是Hadoop的资源管理器，用于调度和管理集群中的资源。
它允许多个应用程序并发地在集群上执行，并根据各个应用程序的需求动态分配资源。
3. MapReduceMapReduce是Hadoop的计算模型，用于将大规模数据集分解为多个小任务并分发到集群上的多个节点上执行。
它采用了Map阶段和Reduce阶段的模式，可以高效地处理大规模数据集。
4. Hadoop公共库Hadoop公共库提供了支持Hadoop运行所需的各种功能。
其中包括了对分布式文件系统的访问接口、跨平台的数据序列化和通信框架等。
Hadoop的特点Hadoop具有以下几个特点：1. 可扩展性Hadoop可以通过添加更多的节点来扩大集群规模，以适应不断增长的数据量。
它可以根据需求进行横向扩展，而不需要对现有系统进行修改。
2. 容错性Hadoop通过复制数据和自动故障恢复机制来提供高容错性。
它将每个数据块复制到多个节点上，当某个节点发生故障时，系统可以自动将任务重新分配到其他节点。
3. 高性能Hadoop利用了分布式计算的优势，可以并行处理数据，从而提高数据处理的速度。
它能够在集群中的多个节点上同时执行任务，从而实现了高性能的数据处理能力。
4. 简单易用Hadoop提供了简单的编程模型和丰富的API，使开发者可以方便地进行大数据处理。
Hadoop简介
Hadoop集群
谢谢欣赏！
——适合大数据的分布式存储与计算平台
Hadoop
杨少波
Hadoop
• • • • • • • • 1 Hadoop 基本介绍 1.1Hadoop简介 1.2Hadoop特点 2 Hadoop核心项目 2.1HDFS 2.2MapReduce 2.3一个MapReduce程序 3 Hadoop集群
Hadoop 基本介绍
Hadoop核心项目
MapReduce程序主要由两个部分组成，即Mapper和 Reducer。如下所示
Hadoop核心项目
• 2.3一个MapReduce程序 • 统计文本中的各个单词个数。
public static class MapClass extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = value.toString(); StringTokenizer itr = new StringTokenizer(line); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); output.collect(word, one); } }
大数据技术简介
大数据技术特点
针对大规模数据处理的需求一直存在，受限于系统 的处理能力和费用，一直没有得到大规模使用 健壮：在一般商用硬件上运行，必须考虑硬件会 频繁失效，可以从容地处理大多数故障。 可扩展：通过增加集群节点，可以线性地扩展以 处理更大的数据集。 简单方便：允许用户快速编写高效的并行代码。
大数据技术能做什么
回顾
Hadoop起源与发展 主流大数据技术 大数据技术特点 Hadoop应用现状 Hadoop伪分布式环境搭建
谢谢！
大数据技术的简单方便、可扩展性和健壮性让其在 大数据处理方面占尽优势，其主要应用场景有： 搜索引擎，为大规模的网页快速建立索引。 大数据存储，利用分布式存储能力，建立数据备 份、数据仓库等。 大数据处理，利用分布式处理能力，例如数据挖 掘、数据分析等。
Hadoop的应用现状
Hadoop的应用现状
主流大数据技术
主流大数据技术
Hadoop已经成长为一个庞大的生态体系 只要和海量数据相关的领域，有 Hadoop 身影 MapReduce是把一个大数据集上的任务分解，并 在并行的多个节点中处理 Hive在Hadoop中扮演数据仓库的角色，Hive使 用类SQL语法进行数据操作 HBase是面向列的数据库，运行在HDFS之上， HBase以BigTable为蓝本，可以快速在数十亿行数 据中随机存取数据
Hadoop版本选择： 0.2X 1.X 2.X（2.7.3）
我们的选择：CDH Hadoop 2.6.0
Байду номын сангаас
Hadoop伪分布式环境搭建（2）
Hadoop安装模式：
单机模式： 占用资源最少的模式 完全运行在本地 不使用Hadoop文件系统 不加载任何守护进程
Hadoop知识点总结
Hadoop第一章2、大数据中典型特点：并行计算、分布式系统3、大数据有哪些特点：数据量大、数据类型繁、处理速度快、价值密度低4、批处理涉及哪些工具（产品）：流计算、图计算、查询分析第二章1、Hadoop是一个开源的分布式计算平台，基于Java语言开发的，Hadoop的核心是分布式文件系统HDFS和MapReduce2、Hadoop的优点（特性）：（1）高可靠性（2）高效性（3）高可扩展性（4）高容错性（5）成本低（6）运行在Linux平台上（7）支持多种编程语言3、Pig和Hive之间有什么关系：（1）Hive是建立在Hadoop上的数据仓库基础架构（2）Pig是一个基于Hadoop的大规模数据分析平台4、Hadoop集群有哪些节点类型，各节点有什么作用：（1）NameNode：负责协调集群中的数据存储（2）DataNode：存储被拆分的数据块（3）JobTracker：协调数据计算任务（4）TaskTracker：负责执行由JobTracker指派的任务（5）SecondaryNameNode：帮助NameNode收集文件系统运行的状态信息第三章HDFS1、架构（结构）：分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)。
2、HDFS优势（特点，实现目标）：（1）兼容廉价的硬件设备（2）流数据读写（3）大数据集（4）简单的文件模型（5）强大的跨平台兼容性3、HDFS局限性：（1）不适合低延迟数据访问（2）无法高效存储大量小文件（3）不支持多用户写入及任意修改文件4、“块”默认大小为64MB5、HDFS采用“块”有什么好处：（1）支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点上，因此，一个文件的大小不会受到单个节点的存储容量的限制，可以远远大于网络中任意节点的存储容量（2）简化系统设计：首先，大大简化了存储管理，因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次，方便了元数据的管理，元数据不需要和文件块一起存储，可以由其他系统负责管理元数据（3）适合数据备份：每个文件块都可以冗余存储到多个节点上，大大提高了系统的容错性和可用性6、namenode和datanode存储了什么功能（1）Namenode：负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog。
hadoop发展史 -回复
hadoop发展史-回复Hadoop发展史：从起源到广泛应用Hadoop是由Apache软件基金会开发和维护的一套开源软件框架，它可以处理和存储大规模数据集。
1. 起源和早期发展（2003-2008）Hadoop的起源可以追溯到2003年，当时Google发表了一篇众所周知的论文，描述了他们用于处理大规模数据集的分布式存储和计算框架。
这篇论文影响了一位名叫Doug Cutting的工程师，他决定开发一个类似的开源版本。
于是，在2006年，Cutting和他的团队发布了Hadoop的第一个版本。
该版本的Hadoop包含了两个核心组件：Hadoop分布式文件系统（HDFS）和MapReduce分布式计算模型。
Hadoop分布式文件系统允许将大数据集分散存储在多台机器上，并提供高容错性和可靠性。
MapReduce模型则允许在这些分散存储的数据上进行分布式计算。
在早期的发展阶段，Hadoop主要被用于学术研究和科学实验室中的数据处理任务。
它还被广泛应用于大规模数据分析和搜索引擎等领域。
2008年之前，Hadoop主要是一个刚刚起步的技术，还没有获得广泛的应用推广。
2. 商业化和扩展（2008-2012）2008年，Yahoo成立了一个团队，专门负责开发和推广Hadoop。
他们将Hadoop用于处理Yahoo的大规模数据，并取得了显著的成功。
Yahoo 不仅将Hadoop应用于搜索引擎的数据处理，还将其应用于个性化推荐、广告优化和日志分析等领域。
通过Yahoo的成功案例，Hadoop开始引起更广泛的关注。
随着Hadoop 的商业化应用，越来越多的公司开始投入研发资源，为Hadoop提供更多的功能和解决方案。
在这个阶段，Hadoop的生态系统开始蓬勃发展。
一些重要的项目如HBase（一种分布式数据库）、Hive（一种数据仓库工具）和Pig（一种高级分析编程语言）相继推出。
这些项目帮助Hadoop更加易用和灵活。
hadoop发展史
hadoop发展史Hadoop是一个开源的分布式计算框架，它的发展史可以追溯到2003年。
下面我将从多个角度全面地回答关于Hadoop的发展史。
1. 起源与发展初期：Hadoop最初是由Doug Cutting和Mike Cafarella于2003年创建的，最初的目标是构建一个能够处理大规模数据集的分布式文件系统。
Doug Cutting以Google的GFS（Google File System）和MapReduce为基础，开发了Hadoop Distributed File System （HDFS）和Hadoop MapReduce。
2006年，Hadoop成为Apache软件基金会的顶级项目，开始吸引了越来越多的开发者和用户。
2. 生态系统的建立：随着Hadoop的发展，一个庞大的生态系统逐渐形成。
Hadoop 生态系统包括了许多相关的项目和工具，如Hive、Pig、HBase、ZooKeeper等。
这些项目扩展了Hadoop的功能，使得用户可以更方便地处理和分析大数据。
3. 商业化应用：Hadoop的商业化应用也逐渐增加。
越来越多的企业开始意识到大数据的重要性，并开始采用Hadoop来处理和分析大数据。
一些大型互联网公司，如Facebook、Yahoo等，成为Hadoop的早期用户和贡献者。
同时，一些公司也开始提供基于Hadoop的商业解决方案，如Cloudera、Hortonworks等。
4. Hadoop的发展和改进：随着时间的推移，Hadoop不断发展和改进。
Hadoop的核心组件HDFS和MapReduce也经历了多个版本的迭代和改进。
Hadoop 2.x引入了YARN（Yet Another Resource Negotiator）作为资源管理器，使得Hadoop可以同时运行多个计算框架。
Hadoop 3.x进一步提高了性能和可靠性，并引入了Containerization和GPU支持等新特性。
hadoop发展史
hadoop发展史【引言】在当今大数据时代，Hadoop成为了大数据处理领域的基石。
本文将为您介绍Hadoop的发展史，让我们一同回顾这段历程，了解这个开源项目的起源、发展、挑战以及未来趋势。
【Hadoop的起源和发展背景】Hadoop的起源可以追溯到2002年，当时Google发表了一篇题为《MapReduce: Simplified Data Processing on Large Clusters》的论文。
MapReduce是一种分布式数据处理模型，为大数据处理提供了新的思路。
2004年，Apache基金会开始孵化Hadoop项目，旨在实现一个基于MapReduce的开源框架。
【Hadoop的核心组件和技术原理】Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）、MapReduce计算模型、YARN资源调度器和HBase等。
HDFS提供了高度可靠的数据存储，MapReduce实现了分布式数据处理，YARN负责资源调度，而HBase则提供了分布式数据库功能。
【Hadoop的发展历程和重要版本】Hadoop的发展历程可分为几个重要版本。
2006年，Hadoop 0.1版发布，标志着Hadoop项目的正式诞生。
随后，Hadoop 0.16（2008年）、Hadoop 0.20（2009年）和Hadoop 1.0（2011年）等版本陆续发布，不断完善和优化了框架的功能和性能。
Hadoop 2.0（2016年）引入了多项新技术，如Tez引擎和Ranger数据安全管理等，进一步提高了系统的性能和安全性。
【Hadoop生态系统及其衍生项目】Hadoop的成功催生了一个庞大的生态系统，包括Pig、Hive、Avro、Chukwa、Oozie、HBase、Sqoop等多个项目。
这些项目涵盖了数据存储、处理、分析和传输等各个环节，共同构成了一个完整的大数据处理平台。
【Hadoop在我国的应用和发展】我国对Hadoop技术的应用和发展给予了高度重视。
列举四点hadoop的特点
列举四点hadoop的特点Hadoop是一个开源的分布式计算框架，它主要用于处理大规模数据集的存储和分析。
Hadoop由Apache基金会开发和维护，它有许多特点使得它成为了处理大数据的首选工具。
以下是列举四点Hadoop的特点：一、可靠性Hadoop是一个高度可靠的系统，它可以自动处理硬件故障。
在Hadoop中，数据被复制到多个节点上，并且这些节点都保存着相同的数据副本。
如果一个节点发生故障，Hadoop会自动将该节点上的任务转移到其他节点上，并且使用备份数据进行恢复。
这种机制可以保证系统不会因为单个节点的故障而停止工作。
二、可扩展性Hadoop是一个高度可扩展的系统，它可以轻松地扩展到数千台服务器。
Hadoop使用了分布式计算模型，使得在增加服务器时不需要对现有系统进行任何改变。
此外，Hadoop还支持动态添加或删除节点，以适应不同规模的数据集。
三、灵活性Hadoop是一个非常灵活的系统，它可以处理各种类型和格式的数据。
与传统关系型数据库不同，在Hadoop中没有固定的表结构和模式要求。
这意味着用户可以将各种类型和格式的数据存储在Hadoop中，并使用适当的工具进行处理和分析。
四、高效性Hadoop是一个高度高效的系统，它可以快速处理大规模数据集。
Hadoop使用了分布式计算模型，将大数据集分成小块进行处理，并将结果合并。
这种机制可以使得Hadoop在处理大量数据时具有非常高的速度和效率。
总结：综上所述，Hadoop具有可靠性、可扩展性、灵活性和高效性等特点。
这些特点使得Hadoop成为了处理大规模数据集的首选工具，并且被广泛应用于各个领域，如金融、医疗、电商等。
Hadoop简介
3.Hadoop 原理
3.Hadoop 原理
Hadoop与Google MapReduce的对应关系
3.Hadoop 原理
Hadoop core Hadoop的核心子项目，提供了一个分布式文件系统 (HDFS)和支持MapReduce的分布式计算。 HBase 建立在Hadoop内核之上，提供可靠的，可扩展的分 布式数据库。 ZooKeeper 一个高效的，可扩展的协调系统。分布式应用可以使 用ZooKeeper来存储和协调关键共享状态。 PIG 建立于Hadoop内核之上，是一种支持并行计算运行 框架的高级数据流语言。
2.Hadoop 起源
2.Hadoop 起源
Google提出的“MapReduce”分布式计算 框架，主要分为以下几个部分：
MapReduce GFS BigTable Chubby
2.Hadoop 起源
分布式大规模数据处理MapReduce 在Google数据中心会有大规模数据需要处理，比如被网 络爬虫（Web Crawler）抓取的大量网页等。由于这些数据 很多都是PB级别，导致处理工作不得不尽可能的并行化，而 Google为了解决这个问题，引入了 MapReduce这个编程模 型，MapReduce是源自函数式语言，主要通过"Map（映射 ）"和"Reduce（化简）"这两个步骤来并行处理大规 模的数 据集。 Map会先对由很多独立元素组成的逻辑列表中的每一个 元素进行指定的操作，且原始列表不会被更改，会创建多个 新的列表来保存Map的处理结果。也就意味着，Map操作是 高度并行的。当Map工作完成之后，系统会先对新生成的多 个列表进行清理（Shuffle）和排序，之后会这些新创建的列 表进行Reduce操作，也就是对一个列表中的元素根据Key值 进行适当的合并。
hadoop发展史 -回复
hadoop发展史-回复Hadoop发展史Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。
它是由Apache基金会开发和维护的项目，最早由Doug Cutting和Mike Cafarella在2004年创建。
以下是Hadoop的发展历程。
1. 起源和早期发展阶段（2004-2007）Hadoop的故事始于2004年，当时Doug Cutting（现为华为技术有限公司首席架构师）在Google的MapReduce和Google File System（GFS）的论文上获得灵感。
他试图构建一个类似的开源版本，用于解决存储和处理大规模数据的问题。
于是，他创建了Hadoop项目，并以他儿子的玩具大象命名，象征着项目的目标，即能够处理任意规模的数据（就像大象能够吃下任何东西）。
早期的Hadoop项目主要侧重于开发分布式文件系统（Hadoop Distributed File System，HDFS）和分布式计算框架（MapReduce）。
这两个核心组件成为Hadoop生态系统的基石，并为后来的发展奠定了基础。
2. 商业化和用户扩展（2007-2010）2006年，Yahoo成为Hadoop的早期采用者，并将其用于处理海量用户访问日志。
Yahoo贡献了许多代码和改进，将Hadoop适应于更广泛的用例和业务需求。
2008年，Yahoo成立了自己的Hadoop团队，使得Hadoop项目得到了更多的发展和推广。
随着用户数量的增加，Hadoop开始吸引更多的企业和组织的关注。
2008年，美国国家航空航天局（NASA）也开始使用Hadoop来处理卫星图像数据。
这引发了更多用户和贡献者的加入，进一步促进了Hadoop的发展。
3. Apache孵化器和正式成为Apache项目（2011-2012）Hadoop于2008年成为Apache项目，并进入了Apache孵化器中。
Apache孵化器为开源项目提供了一个有组织的环境，帮助项目成长和发展。
hadoop特点和适用场合
hadoop特点和适用场合Hadoop是一个开源的分布式计算框架，最初由Apache基金会开发和维护。
它的特点是高可靠性、高扩展性、高效性和容错性，同时适用于大规模数据处理和分布式存储。
下面将详细解释Hadoop 的特点和适用场合。
1. 高可靠性：Hadoop通过数据冗余的方式提供高可靠性。
它将数据分散存储在集群中的多个节点上，每个数据块都有多个副本。
当某个节点发生故障时，可以从其他节点上的副本中恢复数据。
这种冗余机制确保了数据的可靠性和持久性。
2. 高扩展性：Hadoop可以轻松地扩展到数千台服务器，处理PB级别的数据。
它采用了分布式存储和计算的方式，允许用户在需要时添加新的节点，从而提高系统的处理能力和存储容量。
通过横向扩展，Hadoop可以处理海量数据并提供高性能的计算能力。
3. 高效性：Hadoop的高效性体现在两个方面。
首先，它采用了分布式计算的方式，可以将任务分解为多个子任务并在不同节点上并行执行，从而加快计算速度。
其次，Hadoop使用了本地数据处理策略，即将计算任务分发到存储数据的节点上执行，减少了数据传输的开销，提高了计算效率。
4. 容错性：Hadoop通过副本机制和任务重试机制提供容错性。
当某个节点或任务失败时，Hadoop可以自动将任务重新分配给其他可用的节点，并从副本中恢复数据。
这种容错机制使得Hadoop在出现故障时能够保持系统的稳定性和可用性。
Hadoop适用于以下场合：1. 大数据处理：Hadoop是为大规模数据处理而设计的。
它能够高效地处理TB、PB级别的数据，适用于需要对大数据集进行批处理、数据挖掘、机器学习等任务的场景。
2. 分布式存储：Hadoop提供了分布式文件系统HDFS，它能够将数据分布式存储在多个节点上。
HDFS具有高容错性和高可用性，适用于需要大规模存储和访问数据的场景。
3. 日志分析：Hadoop可以用于处理大量的日志数据。
通过将日志数据存储在HDFS中，并使用Hadoop的分布式计算能力，可以实时分析和提取有用的信息，帮助企业进行业务监控、故障排查等工作。
Hadoop史上最全介绍
Hadoop史上最全介绍Hadoop是Apache的一个顶级开源项目,用于可靠的分布式计算,它是Apache Lucene的创始人Doug Cutting开发的[29], Lucene是一个用Java开发的使用广泛的搜索工具包。
开源的Apache Nutch作为Lucene项目的一部分实现Web搜索引擎的功能,Hadoop起源于Lucene和Nutch。
开发人员认为Nutch的扩展性不好,不能搜索上十亿的网页,在2003年和2004年,开发人员受到Google两篇论文的启发,其分别介绍了 Google公司的分布式文件系统(GFS)和MapReduce框架。
在2005年分别对Google 的这两个系统进行了开源实现,分别称为:Nutch的分布式文件系统(NDFS)和MapReduce。
2006年NDFS和MapReduce被开发人员独立出Nutch,合并成Hadoop项目,成为了 Lucene的一个子项目。
在 Hadoop 项目下有很多的子项目，包括如下子项目：（1） Hadoop common 子项目：对其他子项目提供了基础的运行平台，其他子项目要依靠 common 子项目的服务来实现正确运行。
（2） Avro 子项目:是一个数据序列化系统，它提供了对脚本语言的动态集成功能。
（3） Chukwa 子项目：是一个数据采集系统，主要是为了管理大型的分布式系统。
他能够保证各个分布式系统采集的文件时最新的。
（4） HBase 子项目：是可以可扩展的分布式数据库，它支持对结构化数据的大表存储。
（5） HDFS 子项目：是一个分布式的文件系统，它提供了对程序数据的高速访问。
（6） Hive 子项目：是一个数据仓库架构，它只是对数据的汇总统计和即席查询。
（7） MapReduce 子项目：是一个分布式处理的技术框架，这种处理时在对大数据在计算机集群上的处理。
（8） Pig 子项目：是一个高级别的数据流描述语言，也是并行计算的执行框架。
hadoop发展史 -回复
hadoop发展史-回复Hadoop发展史Hadoop是一个开源的分布式计算框架，最初由Apache基金会开发和维护。
它最早是由亚马逊工程师Doug Cutting和Mike Cafarella于2006年开发的，旨在处理和存储大数据。
本文将从Hadoop的起源，发展，关键版本和最新发展等方面回答关于Hadoop发展史的问题。
一、Hadoop的起源Hadoop的起源可以追溯到2004年，当时Doug Cutting在亚马逊工作，他负责处理大规模的数据和文本搜索。
他开始寻找一种解决方案，能够在廉价硬件上处理TB级数据集，这让他接触到了Google的GFS（Google File System）和MapReduce计算模型。
GFS是一种用于处理大规模数据的分布式文件系统，而MapReduce是一种通用的并行计算模型。
Cutting决定基于这些概念开发一个类似的解决方案，因此他开始开发Hadoop，并在2006年发布了第一个版本。
二、Hadoop的发展1. Hadoop 1.xHadoop 1.x是Hadoop的第一个正式版本，它在2006年发布。
Hadoop 1.x包括了两个核心组件，Hadoop Distributed File System（HDFS）和MapReduce计算框架。
HDFS是一个可扩展的分布式文件系统，提供了高可靠性的数据存储。
而MapReduce负责数据的处理和计算。
Hadoop 1.x的核心目标是处理大规模数据集，并实现高可用性和容错性。
2. Hadoop 2.xHadoop 2.x是Hadoop的第二个版本，于2013年发布。
这个版本的最大变化是将资源管理和作业调度分离，引入了一个名为YARN（Yet Another Resource Negotiator）的新组件。
YARN的出现，使得Hadoop 不再仅仅是一个MapReduce框架，而是一个通用的分布式计算平台。
YARN允许运行多种计算模型，如Spark、Storm和HBase等等。
Hadoop---介绍全
受不起这样高昂的成本)
解决思路二
横向扩展: 用多台节点分布式集
群处理 (通过增加节点数量提高处 理能力，这里说的节点指的就是 一台计算机)
核心思想：任务分摊，通过协作来实现单节点无法 实现的任务。
优点： 1、成本相对低(可采用普通机器) 2、易于线性扩展
缺点： 系统复杂度增加，我们要将我们的web应
这是一个非常典型的代表，该问题里边包含了大量的信息数据。 针对于气象数据来说，全球会有非常多的数据采集点，每个采 集点在24小时中会以不同的频率进行采样，并且以每年持续365 天这样的过程，一直要收集100年的数据信息。然后在这100年 的所有数据中，抽取出每年最高的温度值，最终生成结果。该 过程会伴随着大量的数据分析工作，并且会有大量的半结构化 数据作为基础研究对象。如果使用高配大型主机（Unix环境） 计算，完成时间是以几十分钟或小时为单位的数量级，而通过 Hadoop完成，在合理的节点和架构下，只需要“秒”级。
River, 1 River, 1
Reducing
Bear, 2 Car, 3
Deer, 2 River, 2
Final result
Bear, 2 Car, 3 Deer, 2 River, 2
3、Hive（基于Hadoop的数据仓库）
Hive由facebook开源，最 初用于解决海量结构化的 日志数据统计问题。
解决思路一
纵向扩展：也就是升级硬件，提高单
机性能(增加内存，增强CPU、用更高 性能的磁盘(如固态硬盘))，比如可以购 买IBM的高端服务器。
• 优点：
•
简单易行
缺点：
•
1、单台计算机的扩展空间有限，
CPU、内存、磁盘再怎么扩展也是有限的，
大数据笔记（一）——Hadoop的起源与背景知识
⼤数据笔记（⼀）——Hadoop的起源与背景知识⼀.⼤数据的5个特征（IBM提出）： Volume（⼤量） Velocity（⾼速） Variety（多样） Value（价值） Varacity（真实性）⼆.OLTP与OLAP 1.OLTP：联机事务处理过程，也称⾯向交易的处理过程，是对⽤户操作快速响应的⽅式之⼀。
OLTP是传统的关系型数据库的主要应⽤，主要是基本的、⽇常的事务处理，例如银⾏交易： 开启事务——>从转出账号中扣钱——>往转⼊账号中加钱——>提交事务 2.OLAP：联机分析处理过程，是数据仓库系统的主要应⽤，⽀持复杂的分析操作，侧重决策⽀持，并且提供直观易懂的查询结果。
例如商品推荐： 抽取（读取）历史订单——>分析历史订单，找到最受欢迎的商品——>展⽰结果 3.OLTP和OLAP的区别：OLTP OLAP⽤户操作⼈员决策⼈员，⾼级管理⼈员功能⽇常操作处理分析决策DB设计⾯向应⽤⾯向主题数据当前的，最新的细节的，⼆维的分⽴的历史的，聚集的，多位的，集成的，统⼀的存取读/写数⼗条记录读上百万条记录⼯作单位简单的事务复杂的事务DB⼤⼩100MB-GB100GB-TB三.数据仓库 为企业所有级别的决策制定过程，提供所有类型数据⽀持的战略集合。
四.Google的基本思想 Hadoop的思想来源：Google1.Google的低成本之道不使⽤超级计算机，不使⽤存储（淘宝的去i，去e，去o之路）⼤量使⽤普通的pc服务器，提供有冗余的集群服务全世界多个数据中⼼运营商向Google倒付费2.Google的三篇论⽂（Hadoop的思想来源）GFS（Google File System:Google的⽂件系统）倒排索引 把⽂件ID对应到关键词的映射转换为关键词到⽂件ID的映射，每个关键词都对应着⼀系列的⽂件，这些⽂件中都出现这个关键词。
Page Rank(排名先后)BigTable(⼤表)：Google设计的分布式数据存储系统，⽤来处理海量数据的⼀种⾮关系型数据库。
hadoop发展史 -回复
hadoop发展史-回复在Hadoop发展史上，有几个关键时期，其中包括起源和发展、分布式计算和大数据驱动以及生态系统的壮大。
本文将一步一步回答有关Hadoop 发展史的各方面内容。
第一步：起源和发展Hadoop的起源可以追溯到2003年，当时由道格·切切克(Doug Cutting)和迈克尔·卡福雷(Mike Cafarella)共同开发出了一个基于Google文件系统和Google MapReduce的开源项目，命名为Apache Nutch。
随着Nutch的发展，切切克开始意识到构建一个分布式文件系统和处理大规模数据的系统的重要性。
在2006年，他与雅虎的工程师一起，基于Nutch的基础上，创建了一个名为Hadoop的项目，它是一个开源的分布式计算框架。
第二步：分布式计算和大数据驱动Hadoop作为一个分布式计算框架，旨在处理海量的数据。
它的核心是Hadoop分布式文件系统(HDFS)和MapReduce计算模型。
HDFS是一个可靠且容错的分布式文件系统，它允许将数据分布在集群的不同节点上，以提高数据的可靠性和可扩展性。
而MapReduce是一种编程模型，它将一个大任务分解为多个小任务，并将这些任务分配给集群中的不同节点进行并行计算，最后将结果合并。
由于Hadoop的分布式计算和可扩展性的能力，它成为了处理大数据的理想选择。
大数据的概念在这个时期开始流行起来，人们开始意识到海量的数据可以提供有价值的信息。
Hadoop能够高效地处理大规模的数据集，不仅仅在互联网公司中得到广泛应用，也吸引了其他行业的关注。
第三步：生态系统的壮大随着Hadoop的流行和发展，一个强大的生态系统逐渐形成。
这个生态系统包括了各种各样的组件和工具，用于扩展和增强Hadoop的功能。
其中最重要的组件之一是Hive，它是一个用于数据仓库和数据分析的数据仓库基础设施。
Hive允许用户使用类似于SQL的查询语言来查询和分析数据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
∙Hadoop起源及其四大特性详解
∙ 2010-06-03 09:09 PowerNTT 我要评论(0)
Hadoop你是否熟悉，这里就向大家简单介绍一下Hadoop的概念，起源以及他有什么特性，希望通过本文的介绍大家对Hadoop有一定的认识，欢迎大家一起来学习。
本节和大家一起来了解一下Hadoop，主要内容有它的概念介绍，特性以及起源，欢迎大家一起来学习Hadoop方面的知识，相信通过本节的介绍你一定会对Hadoop有一定的了解。
Hadoop
起源：Google的集群系统
开源实现
Hadoop研究
Hadoop的Logo
项目主页：
一个分布式系统基础架构，由Apache基金会开发。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。
充分利用集群的威力高速运算和存储。
简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。
Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。
而且它提供高传输率（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。
HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streamingaccess）文件系统中的数据。
下面列举hadoop主要的一些特点：
1扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。
2成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。
这些服务器群总计可达数千个节点。
3高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。
4可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。
起源：Google的集群系统
Google的数据中心使用廉价的LinuxPC机组成集群，在上面运行各种应用。
即使是分布式开发的新手也可以迅速使用Google的基础设施。
核心组件是3个：
1、GFS（GoogleFileSystem）。
一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，
对上层程序提供一个统一的文件系统API接口。
Google根据自己的需求对它进行了特别优化，包括：超大文件的访问，读操作比例远超过写操作，PC机极易发生故障造成节点失效等。
GFS把文件分成64MB的块，分布在集群的机器上，使用Linux的文件系统存放。
同时每块
文件至少有3份以上的冗余。
中心是一个Master节点，根据文件索引，找寻文件块。
详见Google的工程师发布的GFS论文。
2、MapReduce。
Google发现大多数分布式运算可以抽象为MapReduce操作。
Map是把输入Input分解成中间的Key/Value对，Reduce把Key/Value合成最终输出Output。
这两个函数由程序员提供给系统，下层设施把Map和Reduce操作分布在集群上运行，并把结果存储在GFS上。
3、BigTable。
一个大型的分布式数据库，这个数据库不是关系式的数据库。
像它的名字一样，
就是一个巨大的表格，用来存储结构化的数据。
以上三个设施Google均有论文发表。
Hadoop的相关内容并没有介绍完毕，请关注下节介绍。