Chapter2-厦门大学-林子雨-大数据技术原理与应用-第二章-大数据处理架构Hadoop
林子雨大数据技术原理与应用答案(全)
林子雨大数据技术原理及应用课后题答案大数据第一章大数据概述课后题 (1)大数据第二章大数据处理架构Hadoop课后题 (5)大数据第三章Hadoop分布式文件系统课后题 (10)大数据第四章分布式数据库HBase课后题 (16)大数据第五章NoSQl数据库课后题 (22)大数据第六章云数据库课后作题 (28)大数据第七章MapReduce课后题 (34)大数据第八章流计算课后题 (41)大数据第九章图计算课后题 (50)大数据第十章数据可视化课后题 (53)大数据第一章课后题——大数据概述1.试述信息技术发展史上的3次信息化浪潮及其具体内容。
第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。
代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。
第二次信息化浪潮1995年前后进入互联网时代。
代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。
第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。
2.试述数据产生方式经历的几个阶段。
经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。
用户原创内容阶段Web2.0时代。
感知式系统阶段物联网中的设备每时每刻自动产生大量数据。
3.试述大数据的4个基本特征。
数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4.试述大数据时代的“数据爆炸”特性。
大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。
5.科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。
例如：牛一，牛二，牛三定律。
计算设计算法并编写相应程序输入计算机运行。
数据以数据为中心，从数据中发现问题解决问题。
6.试述大数据对思维方式的重要影响。
全样而非抽样效率而非精确相关而非因果7.大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。
Chapter1-林子雨-大数据技术原理与应用-大数据概述(2016年2月17日版本)
典型的大数据应用实例
Kevin Spacey
大数据分析 David Fincher 风靡全球的美剧《纸牌屋》 英国同名小说《纸牌屋》
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
典型的大数据应用实例
从谷歌流感趋势看大数据的 应用价值
“谷歌流感趋势”，通过跟踪 搜索词相关数据来判断全美地区 的流感情况
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
1.4大数据的应用
• 大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、 医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
1.2.3处理速度快
从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
流计算
图计算 查询分析计算
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
1.7大数据产业
• 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经 济活动的集合
产业链环节 IT基础设施层 包含内容 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数 据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、 思杰、SUN、Redhat等 大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（ 交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（ 淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如Hadoop的 HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle 、MySQL、SQL Server、HBase、GreenPlum等） 包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架 MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（ MicroStrategy、Cognos、BO）等等 包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业能电网等行业应用的企业、机构或政府部门，比如交通主 管部门、各大医疗机构、菜鸟网络、国家电网等
大学生mooc大数据技术原理与应用(林子雨)章节测验期末考试答案
作者：解忧书店 JieYouBookshop 第1章大数据概述1单选(2分)第三次信息化浪潮的标志是：A.个人电脑的普及B.云计算、大数据、物联网技术的普及C.虚拟现实技术的普及D.互联网的普及正确答案：B你选对了2单选(2分)就数据的量级而言，1PB数据是多少TB？A.2048B.1000C.512D.1024正确答案：D你选对了3单选(2分)以下关于云计算、大数据和物联网之间的关系，论述错误的是：A.云计算侧重于数据分析B.物联网可以借助于云计算实现海量数据的存储C.物联网可以借助于大数据实现海量数据的分析D.云计算、大数据和物联网三者紧密相关，相辅相成正确答案：A你选对了4单选(2分)以下哪个不是大数据时代新兴的技术：A.SparkB.HadoopC.HBaseD.MySQL正确答案：D你选对了每种大数据产品都有特定的应用场景，以下哪个产品是用于批处理的：A.MapReduceB.DremelC.StormD.Pregel正确答案：A你选对了6单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于流计算的：A.GraphXB.S4C.ImpalaD.Hive正确答案：B你选对了7单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于图计算的：A.PregelB.StormC.CassandraD.Flume正确答案：A你选对了8单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.HDFSB.S4C.DremelD.MapReduce正确答案：C你选对了9多选(3分)数据产生方式大致经历了三个阶段，包括：A.运营式系统阶段B.感知式系统阶段C.移动互联网数据阶段正确答案：ABD你选对了10多选(3分)大数据发展的三个阶段是：A.低谷期B.成熟期C.大规模应用期D.萌芽期正确答案：BCD你选对了11多选(3分)大数据的特性包括：A.价值密度低B.处理速度快C.数据类型繁多D.数据量大正确答案：ABCD你选对了12多选(3分)图领奖获得者、著名数据库专家Jim Gray博士认为，人类自古以来在科学研究上先后经历了哪几种范式：A.计算科学B.数据密集型科学C.实验科学D.理论科学正确答案：ABCD你选对了13多选(3分)大数据带来思维方式的三个转变是：A.效率而非精确B.相关而非因果C.精确而非全面D.全样而非抽样正确答案：ABD你选对了14多选(3分)大数据主要有哪几种计算模式：C.查询分析计算D.批处理计算正确答案：ABCD你选对了15多选(3分)云计算的典型服务模式包括三种：A.SaaSB.IaaSC.MaaSD.PaaS正确答案：ABD你选对了第2章大数据处理架构Hadoop1单选(2分)启动hadoop所有进程的命令是:A.start-dfs.shB.start-all.shC.start-hadoop.shD.start-hdfs.sh正确答案：B你选对了2单选(2分)以下对Hadoop的说法错误的是：A.Hadoop是基于Java语言开发的，只支持Java语言编程B.Hadoop2.0增加了NameNode HA和Wire-compatibility两个重大特性C.Hadoop MapReduce是针对谷歌MapReduce的开源实现，通常用于大规模数据集的并行计算D.Hadoop的核心是HDFS和MapReduce正确答案：A你选对了3单选(2分)以下哪个不是Hadoop的特性:A.成本高B.支持多种编程语言正确答案：A你选对了4单选(2分)以下名词解释不正确的是:A.Zookeeper：针对谷歌Chubby的一个开源实现，是高效可靠的协同工作系统B.HBase：提供高可靠性、高性能、分布式的行式数据库，是谷歌BigTable的开源实现C.Hive：一个基于Hadoop的数据仓库工具，用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储D.HDFS：分布式文件系统，是Hadoop项目的两大核心之一，是谷歌GFS的开源实现正确答案：B你选对了5多选(3分)以下哪些组件是Hadoop的生态系统的组件：A.HBaseB.OracleC.HDFSD.MapReduce正确答案：ACD你选对了6多选(3分)以下哪个命令可以用来操作HDFS文件:A.hadoop fsB.hadoop dfsC.hdfs fsD.hdfs dfs正确答案：ABD你选对了第3章分布式文件系统HDFS1单选(2分)HDFS的命名空间不包含:A.字节B.文件C.块正确答案：A你选对了2单选(2分)对HDFS通信协议的理解错误的是:A.客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的B.客户端通过一个可配置的端口向名称节点主动发起TCP连接，并使用客户端协议与名称节点进行交互C.名称节点和数据节点之间则使用数据节点协议进行交互D.HDFS通信协议都是构建在IoT协议基础之上的正确答案：D你选对了3单选(2分)采用多副本冗余存储的优势不包含:A.保证数据可靠性B.容易检查数据错误C.加快数据传输速度D.节约存储空间正确答案：D你选对了4单选(2分)假设已经配置好环境变量，启动Hadoop和关闭Hadoop的命令分别是:A.start-dfs.sh，stop-hdfs.shB.start-hdfs.sh，stop-hdfs.shC.start-dfs.sh，stop-dfs.shD.start-hdfs.sh，stop-dfs.sh正确答案：C你选对了5单选(2分)分布式文件系统HDFS采用了主从结构模型，由计算机集群中的多个节点构成的，这些节点分为两类，一类存储元数据叫，另一类存储具体数据叫 :A.名称节点，主节点B.从节点，主节点C.名称节点，数据节点D.数据节点，名称节点正确答案：C你选对了6单选(2分)A.分布式文件系统HDFS是Google Bigtable的一种开源实现B.分布式文件系统HDFS是谷歌分布式文件系统GFS（Google File System）的一种开源实现C.分布式文件系统HDFS比较适合存储大量零碎的小文件D.分布式文件系统HDFS是一种关系型数据库正确答案：B你选对了7多选(3分)以下对名称节点理解正确的是:A.名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问B.名称节点用来负责具体用户数据的存储C.名称节点通常用来保存元数据D.名称节点的数据保存在内存中正确答案：ACD你选对了8多选(3分)以下对数据节点理解正确的是:A.数据节点通常只有一个B.数据节点用来存储具体的文件内容C.数据节点的数据保存在磁盘中D.数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作正确答案：BCD你选对了9多选(3分)HDFS只设置唯一一个名称节点带来的局限性包括:A.集群的可用性B.性能的瓶颈C.命名空间的限制D.隔离问题正确答案：ABCD你选对了10多选(3分)以下HDFS相关的shell命令不正确的是:A.hadoop dfs mkdir <path>：创建<path>指定的文件夹B.hdfs dfs -rm <path>：删除路径<path>指定的文件C.hadoop fs -copyFromLocal <path1> <path2>：将路径<path2>指定的文件或文件夹复制到路径<path1>指定的文件夹中正确答案：AC你选对了第4章分布式数据库HBase1单选(2分)HBase是一种数据库A.行式数据库B.关系数据库C.文档数据库D.列式数据库正确答案：D你选对了2单选(2分)下列对HBase数据模型的描述错误的是:A.每个HBase表都由若干行组成，每个行由行键（row key）来标识B.HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳C.HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本D.HBase列族支持动态扩展，可以很轻松地添加一个列族或列正确答案：C你选对了3单选(2分)下列说法正确的是:A.如果不启动Hadoop，则HBase完全无法使用B.HBase的实现包括的主要功能组件是库函数，一个Master主服务器和一个Region服务器C.如果通过HBase Shell插入表数据，可以插入一行数据或一个单元格数据D.Zookeeper是一个集群管理工具，常用于分布式计算，提供配置维护、域名服务、分布式同步等正确答案：D你选对了4单选(2分)在HBase数据库中，每个Region的建议最佳大小是：A.2GB-4GBB.100MB-200MBC.500MB-1000MBD.1GB-2GB正确答案：D你选对了HBase三层结构的顺序是:A.Zookeeper文件，.MEATA.表，-ROOT-表B.-ROOT-表，Zookeeper文件，.MEATA.表C.Zookeeper文件，-ROOT-表，.MEATA.表D..MEATA.表，Zookeeper文件，-ROOT-表正确答案：C你选对了6单选(2分)客户端是通过级寻址来定位Region:A.三B.二C.一D.四正确答案：A你选对了7单选(2分)关于HBase Shell命令解释错误的是:A.create：创建表B.put：向表、行、列指定的单元格添加数据C.list：显示表的所有数据D.get：通过表名、行、列、时间戳、时间范围和版本号来获得相应单元格的值正确答案：C你选对了8多选(3分)下列对HBase的理解正确的是：A.HBase是针对谷歌BigTable的开源实现B.HBase是一种关系型数据库，现成功应用于互联网服务领域C.HBase是一个行式分布式数据库，是Hadoop生态系统中的一个组件D.HBase多用于存储非结构化和半结构化的松散数据正确答案：AD你选对了9多选(3分)HBase和传统关系型数据库的区别在于哪些方面:A.数据操作B.数据索引C.数据模型正确答案：ABCD你选对了10多选(3分)访问HBase表中的行，有哪些方式:A.通过某列的值区间B.全表扫描C.通过一个行健的区间来访问D.通过单个行健访问正确答案：BCD你选对了第5章 NoSQL数据库1单选(2分)下列关于NoSQL数据库和关系型数据库的比较，不正确的是：A.NoSQL数据库很容易实现数据完整性，关系型数据库很难实现数据完整性B.NoSQL数据库缺乏统一的查询语言，而关系型数据库有标准化查询语言C.NoSQL数据库的可扩展性比传统的关系型数据库更好D.NoSQL数据库具有弱一致性，关系型数据库具有强一致性正确答案：A你选对了2单选(2分)以下对各类数据库的理解错误的是:A.键值数据库的键是一个字符串对象，值可以是任意类型的数据，比如整型和字符型等B.文档数据库的数据是松散的，XML和JSON 文档等都可以作为数据存储在文档数据库中C.图数据库灵活性高，支持复杂的图算法，可用于构建复杂的关系图谱D.HBase数据库是列族数据库，可扩展性强，支持事务一致性正确答案：D你选对了3单选(2分)下列数据库属于文档数据库的是:A.MySQLB.RedisC.MongoDBD.HBase正确答案：C你选对了NoSQL数据库的三大理论基石不包括:A.最终一致性B.BASEC.ACIDD.CAP正确答案：C你选对了5多选(3分)关于NoSQL数据库和关系数据库，下列说法正确的是：A.NoSQL数据库可以支持超大规模数据存储，具有强大的横向扩展能力B.NoSQL数据库和关系数据库各有优缺点，但随着NoSQL的发展，终将取代关系数据库C.大多数NoSQL数据库很难实现数据完整性D.关系数据库有关系代数理论作为基础，NoSQL数据库没有统一的理论基础正确答案：ACD你选对了6多选(3分)NoSQL数据库的类型包括：A.键值数据库B.列族数据库C.文档数据库D.图数据库正确答案：ABCD你选对了7多选(3分)CAP是指:A.一致性B.可用性C.持久性D.分区容忍性正确答案：ABD你选对了8多选(3分)NoSQL数据库的BASE特性是指:A.软状态B.持续性C.最终一致性正确答案：ACD你选对了第6章云数据库1单选(2分)下列Amazon的云数据库属于关系数据库的是：A.Amazon SimpleDBB.Amazon DynamoDBC.Amazon RDSD.Amazon Redshift正确答案：C你选对了2单选(2分)下列关于UMP系统的说法不正确的是:A.Controller服务器向UMP集群提供各种管理服务，实现集群成员管理、元数据存储等功能B.Agent服务器部署在运行MySQL进程的机器上，用来管理每台物理机上的MySQL实例C.UMP系统是低成本和高性能的MySQL云数据库方案D.Mnesia是UMP系统的一个组件，是一个分布式数据库管理系统，且不支持事务正确答案：D你选对了3多选(3分)UMP依赖的开源组件包括A.LVSB.ZooKeeperC.MnesiaD.RabbitMQ正确答案：ABCD你选对了4多选(3分)在UMP系统中，Zookeeper主要发挥的作用包括:A.监控所有MySQL实例B.负责集群负载均衡C.提供分布式锁，选出一个集群的“总管”D.作为全局的配置服务器正确答案：ACD你选对了UMP系统设计了哪些机制来保证数据安全:A.记录用户操作日志B.数据访问IP白名单C.SSL数据库连接D.SQL拦截正确答案：ABCD你选对了第7章 MapReduce1单选(2分)下列说法错误的是:A.Map函数将输入的元素转换成<key,value>形式的键值对B.Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写C.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个SlaveD.不同的Map任务之间不能互相通信正确答案：B你选对了2单选(2分)在使用MapReduce程序WordCount进行词频统计时，对于文本行“hello hadoop hello world”，经过WordCount程序的Map函数处理后直接输出的中间结果，应该是下面哪种形式：A.<"hello",1,1>、<"hadoop",1>和<"world",1>B.<"hello",2>、<"hadoop",1>和<"world",1>C.<"hello",<1,1>>、<"hadoop",1>和<"world",1>D.<"hello",1>、<"hello",1>、<"hadoop",1>和<"world",1>正确答案：D你选对了3单选(2分)对于文本行“hello hadoop hello world”，经过WordCount的Reduce函数处理后的结果是:A.<"hello",<1,1>><"hadoop",1><"world",1>B.<"hello",1><"hello",1><"hadoop",1><"world",1>C.<"hello",1,1><"hadoop",1><"world",1>D.<"hello",2><"hadoop",1><"world",1>正确答案：B你选对了4多选(3分)下列关于传统并行计算框架（比如MPI）和MapReduce并行计算框架比较正确的是：A.前者所需硬件价格贵，可扩展性差，后者硬件便宜，扩展性好C.前者是共享式(共享内存/共享存储)，容错性差，后者是非共享式的，容错性好D.前者适用于实时、细粒度计算、计算密集型，后者适用于批处理、非实时、数据密集型正确答案：ABCD你选对了5多选(3分)MapReduce1.0的体系结构主要由哪几个部分组成:A.JobTrackerB.TaskTrackerC.ClientD.Task正确答案：ABCD你选对了第8章 Hadoop再探讨1单选(2分)下列说法正确的是:A.HDFS HA可用性不好B.第二名称节点是热备份C.HDFS HA提供高可用性，可以实现可扩展性、系统性能和隔离性D.第二名称节点无法解决单点故障问题正确答案：D你选对了2单选(2分)HDFS Federation设计不能解决“单名称节点”存在的哪个问题:A.单点故障问题B.HDFS集群扩展性C.性能更高效D.良好的隔离性正确答案：A你选对了3多选(3分)下列哪些是Hadoop1.0存在的问题：A.抽象层次低B.表达能力有限C.开发者自己管理作业之间的依赖关系正确答案：ABCD你选对了4多选(3分)下列对Hadoop各组件的理解正确的是:A.Oozie:工作流和协作服务引擎B.Pig：处理大规模数据的脚本语言C.Kafka：分布式发布订阅消息系统D.Tez：支持DAG作业的计算框架正确答案：ABCD你选对了5多选(3分)对新一代资源管理调度框架YARN的理解正确的是:A.YARN既是资源管理调度框架，也是一个计算框架B.MapReduce2.0是运行在YARN之上的计算框架，由YARN来为MapReduce提供资源管理调度服务C.YARN可以实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架D.YARN的体系结构包含三个组件：ResourceManager，NodeManager，ApplicationMaster正确答案：BCD你选对了第9章数据仓库Hive1单选(2分)下列有关Hive和Impala的对比错误的是:A.Hive与Impala中对SQL的解释处理比较相似，都是通过词法分析生成执行计划B.Hive与Impala使用相同的元数据C.Hive适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询D.Hive在内存不足以存储所有数据时，会使用外存，而Impala也是如此正确答案：D你选对了2单选(2分)下列关于Hive基本操作命令的解释错误的是:A.create table if not exists usr(id bigint,name string,age int);//如果usr表不存在，创建表usr，含三个属性id,name,ageB.load data local inpath ‘/usr/local/data’ overwrite into table usr; //把目录’/usr/local/data’下的数据文件中的数据以追加的方式装载进usr表C.create database userdb;//创建数据库userdbusr表的age大于10的数据并覆盖student表中原有数据正确答案：B你选对了3多选(3分)下列说法正确的是：A.Impala和Hive、HDFS、HBase等工具可以统一部署在一个Hadoop平台上B.数据仓库Hive不需要借助于HDFS就可以完成数据的存储C.Hive本身不存储和处理数据，依赖HDFS存储数据，依赖MapReduce处理数据D.HiveQL语法与传统的SQL语法很相似正确答案：ACD你选对了4多选(3分)Impala主要由哪几个部分组成:A.HiveB.ImpaladC.State StoreD.CLI正确答案：BCD你选对了5多选(3分)以下属于Hive的基本数据类型是:A.BINARYB.STRINGC.FLOATD.TINYINT正确答案：ABCD你选对了第10章 Spark1单选(2分)Spark SQL目前暂时不支持下列哪种语言:A.PythonB.JavaC.ScalaD.Lisp2单选(2分)RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是:A.groupByB.filterC.countD.map正确答案：C你选对了3单选(2分)下列说法错误的是：A.在选择Spark Streaming和Storm时，对实时性要求高（比如要求毫秒级响应）的企业更倾向于选择流计算框架StormB.RDD采用惰性调用，遇到“转换(Transformation)”类型的操作时，只会记录RDD生成的轨迹，只有遇到“动作(Action)”类型的操作时才会触发真正的计算C.Spark支持三种类型的部署方式：Standalone，Spark on Mesos，Spark on YARND.RDD提供的转换接口既适用filter等粗粒度的转换，也适合某一数据项的细粒度转换正确答案：D你选对了4单选(2分)下列关于常见的动作（Action）和转换（Transformation）操作的API解释错误的是:A.filter(func)：筛选出满足函数func的元素，并返回一个新的数据集B.map(func)：将每个元素传递到函数func中，并将结果返回为一个新的数据集C.count()：返回数据集中的元素个数D.take(n)：返回数据集中的第n个元素正确答案：D你选对了5单选(2分)下列大数据处理类型与其对应的软件框架不匹配的是:A.复杂的批量数据处理：MapReduceB.基于历史数据的交互式查询：ImpalaC.基于实时数据流的数据处理：StormD.图结构数据的计算：Hive正确答案：D你选对了6多选(3分)A.OracleB.HadoopC.StormD.Spark正确答案：ABC你选对了7多选(3分)Spark的主要特点包括:A.运行模式多样B.运行速度快C.通用性好D.容易使用正确答案：ABCD你选对了8多选(3分)下列关于Scala的说法正确的是:A.Scala运行于Java平台，兼容现有的Java程序B.Scala具备强大的并发性，支持函数式编程C.Scala是一种多范式编程语言D.Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言正确答案：ABCD你选对了9多选(3分)Spark的运行架构包括:A.运行作业任务的工作节点 Worker NodeB.每个工作节点上负责具体任务的执行进程 ExecutorC.每个应用的任务控制节点 DriverD.集群资源管理器 Cluster Manager正确答案：ABCD你选对了第11章流计算1单选(2分)流计算秉承一个基本理念，即数据的价值随着时间的流逝而，如用户点击流：A.降低C.不变D.升高正确答案：A你选对了2单选(2分)Hadoop运行的是MapReduce任务，类似地，Storm运行的任务叫做A.SpoutB.BoltC.TupleD.Topology正确答案：D你选对了3多选(3分)对于一个流计算系统来说，它应达到如下哪些需求:A.海量式B.高性能C.分布式D.实时性正确答案：A、B、C、D你选对了4多选(3分)数据采集系统的基本架构包括哪些部分:A.ControllerB.StoreC.AgentD.Collector正确答案：B、C、D你选对了5多选(3分)以下哪些是开源的流计算框架:A.Facebook PumaB.Yahoo! S4C.IBM InfoSphere StreamsD.Twitter Storm正确答案：B、D你选对了6多选(3分)A.按照字段分组B.广播发送C.随机分组D.全局分组正确答案：A、B、C、D你选对了第12章 Flink1单选(2分)以下哪个不是Flink的优势：A.同时支持高吞吐、低延迟、高性能B.不支持增量迭代C.同时支持流处理和批处理D.支持有状态计算正确答案：B你选对了2单选(2分)在Flink中哪个是基于批处理的图计算库：A.SQL&Table库B.FlinkMLC.GellyD.CEP正确答案：C你选对了3多选(3分)下面关于Flink的说法正确的是：A.Flink起源于Stratosphere 项目，该项目是在2010年到2014年间由柏林工业大学、柏林洪堡大学和哈索普拉特纳研究所联合开展的B.Flink可以同时支持实时计算和批量计算C.Flink不是Apache软件基金会的项目D.Flink是Apache软件基金会的5个最大的大数据项目之一正确答案：A、B、D你选对了4多选(3分)Flink的主要特性包括：B.批流一体化C.精密的状态管理D.事件时间支持正确答案：A、B、C、D你选对了5多选(3分)下面论述正确的是：A.Spark Streaming通过采用微批处理方法实现了高吞吐和容错性，但是牺牲了低延迟和实时处理能力B.Storm虽然可以做到低延迟，但是无法实现高吞吐，也不能在故障发生时准确地处理计算状态C.流处理架构需要具备低延迟、高吞吐和高性能的特性，而目前从市场上已有的产品来看，只有Flink 可以满足要求D.Flink实现了Google Dataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理正确答案：A、B、C、D你选对了6多选(3分)Flink常见的应用场景包括：A.数据流水线应用B.事件驱动型应用C.地图应用D.数据分析应用正确答案：A、B、D你选对了7多选(3分)Flink核心组件栈分为哪三层：A.物理部署层B.Runtime核心层C.Core层D.API&Libraries层正确答案：A、B、D你选对了8多选(3分)Flink有哪几种部署模式：A.运行在GCE（谷歌云服务）和EC2（亚马逊云服务）上B.YARN集群模式D.Local模式正确答案：A、B、C、D你选对了9多选(3分)Flink系统主要由两个组件组成，分别为:A.JobManagerB.JobSchedulerC.TaskSchedulerD.TaskManager正确答案：A、D你选对了10多选(3分)在编程模型方面，Flink 提供了不同级别的抽象，以开发流或批处理作业，主要包括哪几个级别的抽象：A.DataStream API（有界或无界流数据）以及 DataSet API（有界数据集）B.Table APIC.状态化的数据流接口D. SQL正确答案：A、B、C、D你选对了第13章图计算1单选(2分)Pregel是一种基于模型实现的并行图处理系统:A.TSPB.STPC.BSPD.SBP正确答案：C你选对了2单选(2分)谷歌在后Hadoop时代的新“三驾马车”不包括:A.CaffeineB.DremelC. PregelD.Hama正确答案：D你选对了3多选(3分)下列哪些是以图顶点为中心的，基于消息传递批处理的并行图计算框架：B.GiraphC.PregelD.Neo4j正确答案：A、B、C你选对了4多选(3分)以下关于Pregel图计算框架说法正确的是:A.通常只对满足交换律和结合律的操作才会开启Combiner功能B.Pregel采用检查点机制来实现容错C.对于全局拓扑改变，Pregel采用了惰性协调机制D.Aggregator提供了一种全局通信、监控和数据查看的机制正确答案：A、B、C、D你选对了第14章大数据在不同领域的应用1单选(2分)下列说法错误的是：A.ItemCF算法推荐的是那些和目标用户之前喜欢的物品类似的其他物品B.基于用户的协同过滤算法（简称UserCF算法）是目前业界应用最多的算法erCF算法推荐的是那些和目标用户有共同兴趣爱好的其他用户所喜欢的物品erCF算法的推荐更偏向社会化，而ItemCF算法的推荐更偏向于个性化正确答案：B你选对了2多选(3分)推荐方法包括哪些类型:A.专家推荐B.协同过滤推荐C.基于内容的推荐D.基于统计的推荐正确答案：A、B、C、D你选对了期末试卷1单选(2分)数据产生方式的变革主要经历了三个阶段，以下哪个不属于这三个阶段：A.运营式系统阶段B.感知式系统阶段C.数据流阶段D.用户原创内容阶段正确答案：C你选对了2单选(2分)第三次信息化浪潮的发生标志是以下哪种技术的普及：A.互联网B.CPUD.个人计算机正确答案：C你选对了3单选(2分)在Flink中哪个是基于批处理的图计算库：A.SQL&Table库B.CEPC. GellyD. FlinkML正确答案：C你选对了4单选(2分)Hadoop的两大核心是和A.MapReduce; HBaseB. HDFS; HBaseC.HDFS; MapReduceD.GFS; MapReduce正确答案：C你选对了5单选(2分)HDFS默认的一个块大小是A.64MBB.8KBC. 32KBD.16KB正确答案：A你选对了6单选(2分)在分布式文件系统HDFS中，负责数据的存储和读取:A.数据节点B.第二名称节点C.名称节点D.主节点正确答案：A你选对了7单选(2分)上传当前目录下的本地文件file.txt到分布式文件系统HDFS的“/path”目录下的Shell命令是：A.hdfs dfs -put /path file.txtB.hadoop dfs -put /path file.txtC.hdfs fs -put file.txt /pathD.hdfs dfs -put file.txt /path正确答案：D你选对了8单选(2分)在HDFS根目录下创建一个文件夹/test，且/test文件夹内还包含一个文件夹dir，正确的shell命令是:A.hadoop fs -mkdir -p /test/dirB.hdfs fs -mkdir -p /test/dirC.hadoop dfs -mkdir /test/dir正确答案：A你选对了9单选(2分)下列有关HBase的说法正确的是：A.在向数据库中插入记录时，HBase和关系数据库一样，每次都是以“行”为单位把整条记录插入数据库B.HBase是针对谷歌BigTable的开源实现，是高可靠、高性能的图数据库C.HBase是一种NoSQL数据库D.HBase数据库表可以设置该表任意列作为索引正确答案：C你选对了10单选(2分)已知一张表student存储在HBase中，向表中插入一条记录{id:2015001,name:Mary,{score:math}:88}，其id 作为行键，其中，在插入数学成绩88分时，正确的命令是:A.put 'student','score:math','88'B.put 'student','2015001','score:math','88'C.put 'student','2015001','math','88'D.put 'student','2015001','88'正确答案：B你选对了11单选(2分)NoSQL数据库的三大理论基石不包括:A.ACIDB.最终一致性C.BASED.CAP正确答案：A你选对了12单选(2分)在设计词频统计的MapReduce程序时，对于文本行“hello bigdata hello hadoop”，经过map函数处理后直接输出的结果应该是（没有发生combine和merge操作）:A.<"hello",1,1>、<"bigdata",1>和<"hadoop",1>B. <"hello",<1,1>>、<"bigdata",1>和<"hadoop",1>C.<"hello",2>、<"bigdata",1>和<"hadoop",1>D.<"hello",1>、<"hello",1>、<"bigdata",1>和<"hadoop",1>正确答案：D你选对了13单选(2分)假设已经配置好PATH环境变量，启动Hadoop的命令是:A.start-hdfs.shB.start-fs.shC.start-dfs.shD.start-hadoop.sh正确答案：C你选对了14单选(2分)下列说法错误的是：A.HDFS Federation使得HDFS的命名服务能够水平扩展B.第二名称节点是热备份，而HDFS HA不是热备份。
林子雨大数据技术原理与应用第二章课后题答案
大数据第二章课后题答案黎狸1.试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。
Hadoop是Apache软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。
①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS )和MapReduce。
②HDFS是对谷歌文件系统( Google File System, GFS )的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。
③MapReduce 是针对谷歌MapReduce的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。
2.试述Hadoop具有哪些特性。
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。
①高可靠性。
采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。
②高效性。
作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效地处理PB级数据。
③高可扩展性。
Hadoop的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。
④高容错性。
采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
⑤成本低。
Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC搭建Hadoop运行环境。
⑥运行在Linux平台上。
Hadoop是基于Java语言开发的，可以较好地运行在Linux平台上。
⑦支持多种编程语言。
Hadoop 上的应用程序也可以使用其他语言编写，如C++。
厦门大学计算机科学系研究生课程
厦门大学计算机科学系研究生课程《大数据技术原理与应用》上机练习安装Hadoop主讲教师：林子雨厦门大学数据库实验室二零一五年九月目录目录1作业题目 (1)2作业目的 (1)3作业性质 (1)4作业考核方法 (1)5作业提交日期与方式 (1)6实验平台 (1)7实验内容和要求 (1)7.1下载相关软件 (1)7.2安装Linux虚拟机 (2)7.3进行Hadoop伪分布式安装 (2)8实验报告 (2)附录1:任课教师介绍 (2)附录2：课程教材介绍 (2)《大数据技术原理与应用》安装Hadoop上机练习说明主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1作业题目安装Hadoop。
2作业目的1.掌握Linux虚拟机安装方法。
Hadoop在Linux操作系统上运行可以发挥最佳性能，鉴于目前很多读者可能正在使用Windows操作系统，因此，为了完成本书的后续实验，这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。
2.掌握Hadoop的伪分布式安装方法。
很多读者并不具备集群环境，需要在一台机器上模拟一个小的集群，因此，需要通过本实验让读者掌握在单机上进行Hadoop的伪分布式安装方法。
3作业性质课后作业，必做，作为课堂平时成绩。
4作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。
5作业提交日期与方式林子雨编著《大数据技术原理与应用》教材第二章大数据处理架构Hadoop内容结束后的下一周周六晚上9点之前提交。
6实验平台操作系统：Windows系统或者CentOS7（推荐）。
虚拟机软件：推荐使用的开源虚拟机软件为VirtualBox 。
VirtualBox是一款功能强大的免费虚拟机软件，它不仅具有丰富的特色，而且性能也很优异，简单易用，可虚拟的系统包括Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2甚至Android 4.0系统等操作系统。
大数据技术原理和应用林子雨版课后习题答案解析
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
林子雨大数据技术原理与应用第二章课后题答案
林子雨大数据技术原理与应用第二章课后题答案-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII大数据第二章课后题答案黎狸1.试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。
Hadoop是Apache软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。
①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS )和MapReduce。
②HDFS是对谷歌文件系统( Google File System, GFS )的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。
③MapReduce 是针对谷歌MapReduce的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。
2.试述Hadoop具有哪些特性。
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。
①高可靠性。
采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。
②高效性。
作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效地处理PB级数据。
③高可扩展性。
Hadoop的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。
④高容错性。
采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
⑤成本低。
Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC搭建Hadoop运行环境。
大数据技术原理与应用
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
mapred-site.xml
Hadoop配置XML
masters
slaves hadoopmetrics.properties
纯文本
纯文本 Java属性
运行 SecondaryNameNode 的机器列表（每行 一个） 运行 DataNode 和 TaskTracker 的机器列表（每 行一个）
控制metrics在Hadoop上如何发布的属性
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.3.5 Hadoop伪分布式安装
Hadoop配置文件
文件名称 hadoop-env.sh
core-site.xml hdfs-site.xml
格式 Bash脚本
Hadoop配置XML Hadoop配置XML
描述 记录配置Hadoop运行所需的环境变量，以运 行Hadoop
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.1.2 Hadoop发展简史
Hadoop的标志 • Hadoop最初是由Apache Lucene项目的创始人Doug Cutting开发 的文本搜索库。Hadoop源自始于2002年的Apache Nutch项目—— 一个开源的网络搜索引擎并且也是Lucene项目的一部分 • 在2004年，Nutch项目也模仿GFS开发了自己的分布式文件系统 NDFS（Nutch Distributed File System），也就是HDFS的前身 • 2004年，谷歌公司又发表了另一篇具有深远影响的论文，阐述了 MapReduce分布式编程思想 • 2005年，Nutch开源实现了谷歌的MapReduce
厦门大学计算机科学系
林子雨
ziyulin@
Department of Computer Science, Xiamen University, June, 2015
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
2.1 概述
• • • • 2.1.1 2.1.2 2.1.3 2.1.4 Hadoop简介 Hadoop发展简史 Hadoop的特性 Hadoop的应用现状
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.1.3 Hadoop的应用现状
• Hadoop凭借其突出的优势，已经在各个领域得到了广泛的应用，而 互联网领域是其应用的主阵地 • 2007年，雅虎在Sunnyvale总部建立了M45——一个包含了4000个 处理器和1.5PB容量的Hadoop集群系统 • Facebook作为全球知名的社交网站，Hadoop是非常理想的选择， Facebook主要将Hadoop平台用于日志处理、推荐系统和数据仓库等 方淘宝的Hadoop集群比较大
《大数据技术原理与应用》
/post/bigdata
温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字
第二章 大数据处理架构Hadoop
（PPT版本号：2015年6月第1.0版）
林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页：/linziyu
助教：蔡珉星 单位：厦门大学计算机科学系数据库实验室2013级硕士研究生（导师：林子雨） E-mail: caiminxing@
欢迎访问《大数据技术原理与应用——概念、存储、处理、分析与应用》 教材官方网站：/post/bigdata
《大数据技术原理与应用》
2.3.4 安装单机Hadoop
Hadoop版本：1.2.1 下载地址：/apache/hadoop/common/hadoop-1.2.1/ 实验步骤： 解压缩hadoop-1.2.1.tar.gz 修改hadoop-env.sh 查看hadoop版本信息：./hadoop version 运行hadoop实例
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.1.3 Hadoop的特性
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并 且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个 方面的特性： • 高可靠性 • 高效性 • 高可扩展性 • 高容错性 • 成本低 • 运行在Linux平台上 • 支持多种编程语言
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.1.2 Hadoop发展简史
• 到了2006年2月，Nutch中的NDFS和MapReduce开始独立出来， 成为Lucene项目的一个子项目，称为Hadoop，同时，Doug Cutting加盟雅虎 • 2008年1月，Hadoop正式成为Apache顶级项目，Hadoop也逐渐 开始被雅虎之外的其他公司使用 • 2008年4月，Hadoop打破世界纪录，成为最快排序1TB数据的系 统，它采用一个由910个节点构成的集群进行运算，排序时间只用 了209秒 •在2009年5月，Hadoop更是把1TB数据排序时间缩短到62秒。 Hadoop从此名声大震，迅速发展成为大数据时代最具影响力的开 源分布式开发平台，并成为事实上的大数据处理标准
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.2 Hadoop项目结构
•经过多年的发展，Hadoop项目不断完善和成熟，目前已经包含多个子项目 （如图2-2所示） •除了核心的HDFS和MapReduce以外，Hadoop项目还包括Common、 Avro、Zookeeper、HBase、Hive、Chukwa、Pig等子项目，它们提供了 互补性服务或在核心层上提供了更高层的服务
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
本章小结
• Hadoop被视为事实上的大数据处理标准，本章介绍了Hadoop的发展 历程，并阐述了Hadoop的高可靠性、高效性、高可扩展性、高容错 性、成本低、运行在Linux平台上、支持多种编程语言等特性 • Hadoop目前已经在各个领域得到op集群 • 经过多年发展，Hadoop项目已经变得非常成熟和完善，包括 Common、Avro、Zookeeper、HDFS、MapReduce、HBase、Hive 、Chukwa、Pig等子项目，其中，HDFS和MapReduce是Hadoop的 两大核心组件 • 本章最后介绍了如何在Linux系统下完成Hadoop的安装和配置，这个 部分是后续章节实践环节的基础
《大数据技术原理与应用》 厦门大学计算机科学系
厦门大学计算机科学系
林子雨
2015年版 ziyulin@
提纲
• • • 2.1 概述 2.2 Hadoop项目结构 2.3 Hadoop的安装与使用
本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2015年6月第1版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9 欢迎访问《大数据技术原理与应用》教材官方网站： /post/bigdata
Pig MapReduce Common
Chukwa HDFS
Hive
HBase ZooKeeper Avro
图2-2 Hadoop项目结构图
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
2.3 Hadoop的安装与使用
Hadoop基本安装配置主要包括以下几个步骤： • 创建Hadoop用户 • Java安装 • SSH登录权限设置 • 单机安装配置 • 伪分布式安装配置
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
主讲教师和助教
主讲教师：林子雨
单位：厦门大学计算机科学系 E-mail: ziyulin@ 个人网页：/linziyu 数据库实验室网站：
Hadoop名称节点（NameNode）需要启动集群中所有机器的Hadoop守护进
程，这个过程需要通过SSH登录来实现。Hadoop并没有提供SSH输入密码 登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为名
称节点可以无密码登录它们。
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
Hadoop core 的 配 置 项 ， 例 如 HDFS 和 MapReduce常用的I/O设置等 Hadoop 的 守 护 进 程 的 配 置 项 ， 包 括 NameNode 、 SecondaryNameNode 和 DataNode 等 MapReduce 守 护 进 程 的 配 置 项 ， 包 括 JobTracker和TaskTracker
《大数据技术原理与应用》
厦Байду номын сангаас大学计算机科学系
林子雨
ziyulin@
2.3.1 创建Hadoop用户
•添加用户-----useradd
•删除用户-----userdel
•更改密码-----passwd
在本次实验中，创建的用户名为hadoop
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.3.2 Java安装
• 使用CentOS自带的java版本 • 安装Oracle官方java版本
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
2.3.3 SSH登录权限
SSH是什么？ SSH 为 Secure Shell 的缩写，是建立在应用层和传输层基础上的安全协议。 SSH是由客户端和服务端的软件组成，服务端是一个守护进程(daemon)， 他在后台运行并响应来自客户端的连接请求，客户端包含ssh程序以及像 scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的 应用程序。 配置SSH的原因：