大数据技术原理与应用 林子雨版 课后习题答案
林子雨大数据技术原理与应用第十章答案
大数据第十章课后题答案——数据可视化黎狸1.试述数据可视化的概念。
数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。
数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。
2.试述数据可视化的重要作用。
.①观测、跟踪数据。
利用变化的数据生成实时变化的可视化图表，可以让人们一眼看出各种参数的动态变化过程，有效跟踪各种参数值。
②分析数据。
利用可视化技术，实时呈现当前分析结果，引导用户参与分析过程，根据用户反馈信息执行后续分析操作，完成用户与分析算法的全程交互，实现数据分析算法与用户领域知识的完美结合。
③辅助理解数据。
帮助普通用户更快、更准确地理解数据背后的定义。
④增强数据吸引力。
枯燥的数据被制成具有强大视觉冲击力和说服力的图像，可以大大增强读者的阅读兴趣。
3.可视化工具主要包含哪些类型?各自的代表性产品有哪些?主要包括入门级工具（Excel）、信息图表工具（Google Chart API、D3、Visual.ly、Raphael、Flot、Tableau、大数据魔镜）、地图工具（Modest Maps、Leaflet、PolyMaps、OpenLayers、Kartography、Google Fushion Tables、Quanum GIS）、时间线工具（Timetoast、Xtimeline、Timeslide、Dipity）和高级分析工具（Processing、NodeBox、R、Weka和Gephi）等。
4.请举出几个数据可视化的有趣案例。
①全球黑客活动安全供应商Norse打造了一张能够反映全球范围内黑客攻击频率的地图，它利用Norse的“蜜罐”攻击陷阱显示出所有实时渗透攻击活动。
地图中的每一条线代表的都是一次攻击活动，借此可以了解每天、每一分钟甚至每一秒世界上发生了多少次恶意渗透。
林子雨大数据技术原理及应用第六章课后作业答案
大数据技术原理与应用第六章课后作业黎狸1.试述云数据库的概念。
云数据库是部署和虚拟化在云计算环境中的数据库。
云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易，同时，也虚拟化了许多后端功能。
云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。
2.与传统的软件使用方式相比，云计算这种模式具有哪些明显的优势？①可直接购买云计算厂商的软件服务；②软件运行在云计算厂商服务器上，用户再有网络的地方就可以使用软件服务。
③零成本投入，按需付费，极其廉价；④维护零成本，由云计算厂商负责；⑤获得IT资源的速度:随时可用，购买服务后立即可用；⑥资源可拓展。
等3.云数据库有哪些特性？①动态可扩展②高可用性③较低的使用代价④易用性⑤高性能⑥免维护⑦安全4.试述云数据库的影响。
①云数据库可以满足大企业的海量数据存储需求。
②云数据库可以满足中小企业的低成本数据存储需求。
③云数据库可以满足企业动态变化的数据存储需求。
5.举例说明云数据库厂商及其代表性产品。
云数据库供应商主要分为三类。
①传统的数据库厂商，如Teradata、Oracle、IBM DB2和Microsoft SQL Server等。
②涉足数据库市场的云供应商，如Amazon、Google.Yahoo!、阿里、百度、腾讯等。
③新兴厂商，如IVertica.LongJump 和EnterpriseDB等。
6.试述Microsoft SQL Azure 的体系架构。
如下图所示，SQL Azure 的体系架构中包含了一个虚拟机簇，可以根据工作负载的变化,动态增加或减少虚拟机的数量。
每台虚拟机SQL Server VM ( Virtual Machine )安装了SQL Server2008数据库管理系统，以关系模型存储数据。
通常,-一个数据库会被分散存储到3~5台SQL ServerVM中。
林子雨大数据技术原理与应用第二章课后题答案
大数据第二章课后题答案黎狸1.试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。
Hadoop是Apache软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。
①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS )和MapReduce。
②HDFS是对谷歌文件系统( Google File System, GFS )的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。
③MapReduce 是针对谷歌MapReduce的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。
2.试述Hadoop具有哪些特性。
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。
①高可靠性。
采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。
②高效性。
作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效地处理PB级数据。
③高可扩展性。
Hadoop的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。
④高容错性。
采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
⑤成本低。
Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC搭建Hadoop运行环境。
⑥运行在Linux平台上。
Hadoop是基于Java语言开发的，可以较好地运行在Linux平台上。
⑦支持多种编程语言。
Hadoop 上的应用程序也可以使用其他语言编写，如C++。
大数据技术原理和应用林子雨版课后习题答案解析
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
林子雨大数据技术原理及应用第七章课后题答案
《大数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。
谷歌公司最先提出了分布式并行编程模型MapReduce, Hadoop MapReduce是它的开源实现。
谷歌的MapReduce运行在分布式文件系统GFS 上，与谷歌类似，HadoopMapReduce运行在分布式文件系统HDFS上。
相对而言，HadoopMapReduce 要比谷歌MapReduce 的使用门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。
2.MapReduce 是处理大数据的有力工具，但不是每个任务都可以使用MapReduce来进行处理。
试述适合用MapReduce来处理的任务或者数据集需满足怎样的要求。
适合用MapReduce来处理的数据集，需要满足一个前提条件: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。
3.MapReduce 模型采用Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。
MapReduce 框架采用了Master/Slave 架构，包括一个Master 和若干个Slave。
Master 上运行JobTracker,Slave 上运行TaskTrackero 用户提交的每个计算作业，会被划分成若千个任务。
JobTracker 负责作业和任务的调度，监控它们的执行，并重新调度已经失败的任务。
TaskTracker负责执行由JobTracker指派的任务。
4.;5.TaskTracker 出现故障会有什么影响该故障是如何处理的6.MapReduce计算模型的核心是Map函数和Reduce函数,试述这两个函数各自的输人、输出以及处理过程。
Map函数的输人是来自于分布式文件系统的文件块，这些文件块的格式是任意的，可以是文档，也可以是二进制格式。
大数据技术原理与应用 林子雨版 课后习题答案(精编文档).doc
【最新整理，下载后即可编辑】第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS 是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
林子雨大数据技术原理与应用答案(全)
林子雨大数据技术原理及应用课后题答案大数据第一章大数据概述课后题 (1)大数据第二章大数据处理架构Hadoop课后题 (5)大数据第三章Hadoop分布式文件系统课后题 (10)大数据第四章分布式数据库HBase课后题 (16)大数据第五章NoSQl数据库课后题 (22)大数据第六章云数据库课后作题 (28)大数据第七章MapReduce课后题 (34)大数据第八章流计算课后题 (41)大数据第九章图计算课后题 (50)大数据第十章数据可视化课后题 (53)大数据第一章课后题——大数据概述1.试述信息技术发展史上的3次信息化浪潮及其具体内容。
第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。
代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。
第二次信息化浪潮1995年前后进入互联网时代。
代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。
第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。
2.试述数据产生方式经历的几个阶段。
经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。
用户原创内容阶段Web2.0时代。
感知式系统阶段物联网中的设备每时每刻自动产生大量数据。
3.试述大数据的4个基本特征。
数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4.试述大数据时代的“数据爆炸”特性。
大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。
5.科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。
例如：牛一，牛二，牛三定律。
计算设计算法并编写相应程序输入计算机运行。
数据以数据为中心，从数据中发现问题解决问题。
6.试述大数据对思维方式的重要影响。
全样而非抽样效率而非精确相关而非因果7.大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。
林子雨大数据技术原理与应用第二章课后题答案
林子雨大数据技术原理与应用第二章课后题答案-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII大数据第二章课后题答案黎狸1.试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。
Hadoop是Apache软件基金会旗下的一-个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。
①Hadoop 的核心是分布式文件系统( Hadoop Ditributed FileSystem,HDFS )和MapReduce。
②HDFS是对谷歌文件系统( Google File System, GFS )的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储，其冗余数据存储的方式很好地保证了数据的安全性。
③MapReduce 是针对谷歌MapReduce的开源实现，允许用户在不了解分布式系统底层细节的情况下开发并行应用程序,采用MapReduce 来整合分布式文件系统上的数据，可保证分析和处理数据的高效性。
2.试述Hadoop具有哪些特性。
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。
①高可靠性。
采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。
②高效性。
作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效地处理PB级数据。
③高可扩展性。
Hadoop的设计目标是可以高效稳定地运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点。
④高容错性。
采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。
⑤成本低。
Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC搭建Hadoop运行环境。
林子雨大数据技术原理及应用第四章课后作业答案
大数据技术原理与应用第四章课后作业黎狸1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。
HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig 和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。
2.请阐述HBase和BigTable的底层技术的对应关系。
3.请阐述HBase和传统关系数据库的区别。
4.HBase有哪些类型的访问接口？HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。
5.请以实例说明HBase数据模型。
6.分别解释HBase中行键、列键和时间戳的概念。
①行键标识行。
行键可以是任意字符串，行键保存为字节数组。
②列族。
HBase的基本的访问控制单元，需在表创建时就定义好。
③时间戳。
每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。
7.请举个实例来阐述HBase的概念视图和物理视图的不同。
8.试述HBase各功能组件及其作用。
①库函数：链接到每个客户端；②一个Master主服务器：主服务器Master主要负责表和Region的管理工作；③③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和维护分配给自己的Region，并响应用户的读写请求9.请阐述HBase的数据分区机制。
每个行区间构成一个分区，被称为“Region”,分发到不同的Region服务器上。
10.HBase中的分区是如何定位的？通过构建的映射表的每个条目包含两项内容，一个是Regionde 标识符，另一个是Region服务器标识，这个条目就标识Region和Region服务器之间的对应关系，从而就可以知道某个Region被保存在哪个Region服务器中。
林子雨大数据技术原理与应用第八章课后题答案
大数据第八章课后题答案——流数据黎狸1.试述流数据的概念。
数据密集型应用——流数据，即数据以大量、快速、时变的流形式持续到达。
以传感监测为例，在大气中放置PM2.5传感器实时监测大气中的PM2.5的浓度,监测数据会源源不断地实时传输回数据中心，监测系统对回传数据进行实时分析，预判空气质量变化趋势，如果空气质量在未来一段时间内会达到影响人体健康的程度，就启动应急响应机制。
2.试述流数据的特点。
①数据快速持续到达，潜在大小也许是无穷无尽的。
②数据来源众多，格式复杂。
③数据量大，但是不十分关注存储，一旦流数据中的某个元素经过处理，要么被丢弃，要么被归档存储。
④注重数据的整体价值，不过分关注个别数据。
⑤数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序。
3.在流计算的理念中，数据的价值与时间具备怎样的关系?数据的价值随着时间的流逝而降低。
4.试述流计算的需求。
①高性能。
处理大数据的基本要求，如每秒处理几十万条数据。
②海量式。
支持TB级甚至是PB级的数据规模。
③实时性。
必须保证-一个较低的延迟时间，达到秒级别，甚至是毫秒级别。
④分布式。
支持大数据的基本架构,必须能够平滑扩展。
⑤易用性。
能够快速进行开发和部署。
⑥可靠性。
能可靠地处理流数据。
5.试述MapReduce框架为何不适合用于处理流数据。
（1）Hadoop设计的初衷是面向大规模数据的批量处理。
批量任务的处理方式，在时间延迟方面无法满足流计算的实时响应需求。
（2）将MapReduce的批量处理转为小批量处理，将输入数据切成小的片段，每隔一个周期启动一次MapReduce作业。
此方法存在如下问题：①切分成小的片段,虽然可以降低延迟，但是,也增加了任务处理的附加开销，而且还要处理片段之间的依赖关系，因为一个片段可能需要用到前一个片段的计算结果。
②需要对MapReduce进行改造以支持流式处理，Reduce阶段的结果不能直接输出，而是保存在内存中;这种做法会大大增加MapReduce框架的复杂度，导致系统难以维护和扩展;③降低了用户程序的可伸缩性，因为，用户必须要使用MapReduce接口来定义流式作业。
林子雨大数据技术原理及应用第七章课后题答案
《大数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。
谷歌公司最先提出了分布式并行编程模型MapReduce, Hadoop MapReduce是它的开源实现。
谷歌的MapReduce运行在分布式文件系统GFS 上，与谷歌类似，HadoopMapReduce运行在分布式文件系统HDFS上。
相对而言，HadoopMapReduce 要比谷歌MapReduce 的使用门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。
2.MapReduce 是处理大数据的有力工具，但不是每个任务都可以使用MapReduce来进行处理。
试述适合用MapReduce来处理的任务或者数据集需满足怎样的要求。
适合用MapReduce来处理的数据集，需要满足一个前提条件: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。
3.MapReduce 模型采用Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。
MapReduce 框架采用了Master/Slave 架构，包括一个Master 和若干个Slave。
Master 上运行JobTracker,Slave 上运行TaskTrackero 用户提交的每个计算作业，会被划分成若千个任务。
JobTracker 负责作业和任务的调度，监控它们的执行，并重新调度已经失败的任务。
TaskTracker负责执行由JobTracker指派的任务。
4.;5.TaskTracker 出现故障会有什么影响该故障是如何处理的6.MapReduce计算模型的核心是Map函数和Reduce函数,试述这两个函数各自的输人、输出以及处理过程。
Map函数的输人是来自于分布式文件系统的文件块，这些文件块的格式是任意的，可以是文档，也可以是二进制格式。
林子雨大数据技术原理及应用第九章答案
大数据第九章课后题答案——图计算黎狸1.试述BSP模型中超步的3个组件及具体含义。
①局部通信。
每个参与的处理器都有自身的计算任务，它们只读取存储在本地内存中的值，不同处理器的计算任务都是异步并且独立的。
②通信。
处理器群相互交换数据，交换的形式是，由一方发起推送（Put）和获取（Get）操作③栅栏同步。
当一个处理器遇到“路障”（或栅栏），会等其他所有的处理器完成它们的计算步骤；每一次同步也是一个超步的完成和下一个超步的开始。
2.Pregel 为什么选择一种纯消息传递模型?采用这种做法主要基于以下两个原因：②息传递具有足够的表达能力，没有必要使用远程读取或共享内存的方式。
②有助于提升系统整体性能。
大型图计算通常是由一个集群完成的，集群环境中执行远程数据读取会有较高的时间延迟；Pregel的消息模式采用异步和批量的方式传递消息，因此可以缓解远程读取的延迟。
3.给定一个连通图，如图9-9所示。
请给出采用Pregel模型计算上图中顶点最大值的计算过程。
其中寻找最大值的函数可以通过继承Pregel中已预定义好的一个基类--- Vertex 类实现，请实现该函数。
4.请简述Aggregator的作用，并以具体Aggregator的例子做说明。
Aggregator提供了一种全局通信、监控和数据查看的机制。
Aggregator的聚合功能，允许在整型和字符串类型上执行最大值、最小值、求和操作，比如可以定义一个“Sum”Aggregator来统计每个顶点的出射边数量，最后相加可以得到整个图的边的数量。
Aggregator还可以实现全局协同的功能，比如当可以设计“and”Aggregator来决定在某个超步中Compute（）函数是否执行某些逻辑分支，只有当“and”Aggregator显示所有顶点都满足了某条件时，才去执行这些逻辑分支。
5.假设在同一个超步中，两个请求同时要求增加同一个顶点，但初始值不一样。
Pregel 中可以采用什么机制解决该冲突?6.简述Pregel的执行过程。
林子雨大数据技术原理及应用第三章课后作业答案
大数据第三章课后作业201708 2017152418 张明旭2.分布式文件系统是如何实现较高水平的扩展的？分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。
3.试述HDFS中的块和普通文件系统中的块的区别。
HDFS中的块比普通文件系统中的块大很多。
且在HDFS中如果一个文件小于数据块的大小，它并不占用整个数据存储块的空间。
4.试述HDFS中的名称节点和数据节点的具体功能。
名称节点：负责文件和目录的创建删除和重命名等，管理数据节点和文件块的映射关系。
数据节点：负责数据的存储和读取。
5.在分布式文件系统中，中心节点的设计至关重要，请阐述HDFS是如何减轻中心节点的负担的。
名称节点不参与数据的传输。
6.HDFS只设置唯一一个名称节点，在简化系统的同时也带来了一些明显的局限性，请阐述局限性具体表现在哪些方面。
1）命名空间的限制：名称节点是保存在内存中，因此名称节点能够容纳对象（文件，块）的个数受到内存空间大小的限制2）性能的瓶颈整个分布式文件系统的吞吐量受限于单个名称节点的吞吐量3）隔离问题由于集群中只有一个名称节点，只有一个命名空间，因此无法为不同应用程序进行隔离4）集群的可用性一旦唯一的名称节点发生故障，会导致整个集群不可用7.试述HDFS的冗余数据保存策略。
HDFS采用多副本方式对数据进行冗余存储，通常一个数据块的多个副本会被分不到不同的数据节点上。
8.数据复制主要是在数据写入和数据恢复的时候发生，HDFS数据复制是使用流水线复制的策略，请阐述该策略的细节。
这个文件首先被写入本地，被切分成若干个块，每个块向HDFS集群中名称节点发起写请求，名称节点会将各个数据节点的使用情况，选择一个数据节点列表返回给客户端，当第一个数据节点接收块的时候，写入本地，并且向第二数据节点发起连接请求，把自己的接收的块传给第二个数据节点，依次类推，列表中的对个数据节点形成一条数据复制的流水线。
大数据技术原理与应用-林子雨版-课后习题复习资料
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述和谷歌的、等技术之间的关系答：的核心是分布式文件系统和，是谷歌文件系统的开源实现，是针对谷歌的开源实现。
林子雨大数据技术原理及应用第七章课后题答案
大数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。
谷歌公司最先提出了分布式并行编程模型MapReduce, Hadoop MapReduce是它的开源实现。
谷歌的MapReduce运行在分布式文件系统GFS上，与谷歌类似，HadoopMapReduce运行在分布式文件系统HDFS上。
相对而言，HadoopMapReduce 要比谷歌MapReduce 的使用门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。
2.MapReduce 是处理大数据的有力工具，但不是每个任务都可以使用MapReduce来进行处理。
试述适合用MapReduce来处理的任务或者数据集需满足怎样的要求。
适合用MapReduce来处理的数据集，需要满足一个前提条件: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。
3.MapReduce 模型采用Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。
MapReduce 框架采用了Master/Slave 架构，包括一个Master 和若干个Slave。
Master 上运行JobTracker,Slave 上运行TaskTrackero 用户提交的每个计算作业，会被划分成若千个任务。
JobTracker 负责作业和任务的调度，监控它们的执行，并重新调度已经失败的任务。
TaskTracker负责执行由JobTracker指派的任务。
4.TaskTracker 出现故障会有什么影响?该故障是如何处理的?5.MapReduce计算模型的核心是Map函数和Reduce函数,试述这两个函数各自的输人、输出以及处理过程。
Map函数的输人是来自于分布式文件系统的文件块，这些文件块的格式是任意的，可以是文档，也可以是二进制格式。
林子雨大数据技术原理与应用第八章课后题答案
大数据第八章课后题答案——流数据黎狸1.试述流数据的概念。
数据密集型应用——流数据，即数据以大量、快速、时变的流形式持续到达。
以传感监测为例，在大气中放置PM2.5传感器实时监测大气中的PM2.5的浓度,监测数据会源源不断地实时传输回数据中心，监测系统对回传数据进行实时分析，预判空气质量变化趋势，如果空气质量在未来一段时间内会达到影响人体健康的程度，就启动应急响应机制。
2.试述流数据的特点。
①数据快速持续到达，潜在大小也许是无穷无尽的。
②数据来源众多，格式复杂。
③数据量大，但是不十分关注存储，一旦流数据中的某个元素经过处理，要么被丢弃，要么被归档存储。
④注重数据的整体价值，不过分关注个别数据。
⑤数据顺序颠倒，或者不完整，系统无法控制将要处理的新到达的数据元素的顺序。
3.在流计算的理念中，数据的价值与时间具备怎样的关系?数据的价值随着时间的流逝而降低。
4.试述流计算的需求。
①高性能。
处理大数据的基本要求，如每秒处理几十万条数据。
②海量式。
支持TB级甚至是PB级的数据规模。
③实时性。
必须保证-一个较低的延迟时间，达到秒级别，甚至是毫秒级别。
④分布式。
支持大数据的基本架构,必须能够平滑扩展。
⑤易用性。
能够快速进行开发和部署。
⑥可靠性。
能可靠地处理流数据。
5.试述MapReduce框架为何不适合用于处理流数据。
（1）Hadoop设计的初衷是面向大规模数据的批量处理。
批量任务的处理方式，在时间延迟方面无法满足流计算的实时响应需求。
（2）将MapReduce的批量处理转为小批量处理，将输入数据切成小的片段，每隔一个周期启动一次MapReduce作业。
此方法存在如下问题：①切分成小的片段,虽然可以降低延迟，但是,也增加了任务处理的附加开销，而且还要处理片段之间的依赖关系，因为一个片段可能需要用到前一个片段的计算结果。
②需要对MapReduce进行改造以支持流式处理，Reduce阶段的结果不能直接输出，而是保存在内存中;这种做法会大大增加MapReduce框架的复杂度，导致系统难以维护和扩展;③降低了用户程序的可伸缩性，因为，用户必须要使用MapReduce接口来定义流式作业。
林子雨大数据技术原理及应用第五章课后作业答案
大数据技术与原理第五章课后作业黎狸1. 如何准确理解NoSQL的含义？NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的一类统称，它采用的数据模型并非传统关系数据库的关系模型，而是类似键/值、列族、文档等非关系模型。
2. 试述关系数据库在哪些方面无法满足Web 2.0应用的需求。
主要表现在以下几个方面：（1）无法满足海量数据的管理需求（2）无法满足数据高并发的需求（3）无法满足高可扩展性和高可用性的需求3. 为什么说关系数据库的一些关键特性在Web 2.0时代成为“鸡肋”？（1）Web2.0网站系统通常不要求严格的数据库事务（2）Web2.0不要求严格的读写实时性（3）Web2.0通常不包含大量复杂的SQL查询4. 请比较NoSQL数据库和关系数据库的优缺点。
①关系数据库。
优点：以完善得关系理论代数作为基础，有严格得标准，支持事务ACID四性，高校查询，技术成熟，专业公司得技术支持；缺点：可扩展性较差、无法较好支持海量数据存储、数据模型过于死板、无法较好支持Web2.0应用、事务机制影响系统整体性能。
②NoSQL数据库。
优点：支持超大规模数据存储数据模型灵活支持Web2.0，具有强大得横向扩展能力缺点：缺乏数学理论基础，复杂查询性能不高。
不能实现事务强一致性，很难实现数据完整性，技术尚不成熟，缺乏专业的技术支持，维护较困难。
5. 试述NoSQL数据库的四大类型。
答：键值数据库、列族数据库、文档数据库和图数据库6. 试述键值数据库、列族数据库、文档数据库和图形数据库的适用场合和优缺点。
7. 试述CAP理论的具体含义。
C（Consistency）：一致性，是指任何一个读操作总是能够读到之前完成的写操作的结果，也就是在分布式环境中，多点的数据是一致的，或者说，所有节点在同一时间具有相同的数据A:（Availability）：可用性，是指快速获取数据，可以在确定的时间内返回操作结果，保证每个请求不管成功或者失败都有响应；P（Tolerance of Network Partition）：分区容忍性，是指当出现网络分区的情况时（即系统中的一部分节点无法和其他节点进行通信），分离的系统也能够正常运行，也就是说，系统中任意信息的丢失或失败不会影响系统的继续运作。
大数据技术原理与应用-林子雨版-课后习题答案
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
林子雨大数据技术原理及应用第七章课后题答案
林⼦⾬⼤数据技术原理及应⽤第七章课后题答案《⼤数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。
⾕歌公司最先提出了分布式并⾏编程模型MapReduce, Hadoop MapReduce是它的开源实现。
⾕歌的MapReduce运⾏在分布式⽂件系统GFS 上，与⾕歌类似，HadoopMapReduce运⾏在分布式⽂件系统HDFS上。
相对⽽⾔，HadoopMapReduce 要⽐⾕歌MapReduce 的使⽤门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。
2.MapReduce 是处理⼤数据的有⼒⼯具，但不是每个任务都可以使⽤MapReduce来进⾏处理。
试述适合⽤MapReduce来处理的任务或者数据集需满⾜怎样的要求。
适合⽤MapReduce来处理的数据集，需要满⾜⼀个前提条件: 待处理的数据集可以分解成许多⼩的数据集，⽽且每⼀个⼩数据集都可以完全并⾏地进⾏处理。
3.MapReduce 模型采⽤Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。
MapReduce 框架采⽤了Master/Slave 架构，包括⼀个Master 和若⼲个Slave。
Master 上运⾏JobTracker,Slave 上运⾏TaskTrackero ⽤户提交的每个计算作业，会被划分成若千个任务。
JobTracker 负责作业和任务的调度，监控它们的执⾏，并重新调度已经失败的任务。
TaskTracker负责执⾏由JobTracker指派的任务。
4.;5.TaskTracker 出现故障会有什么影响该故障是如何处理的6.MapReduce计算模型的核⼼是Map函数和Reduce函数,试述这两个函数各⾃的输⼈、输出以及处理过程。
Map函数的输⼈是来⾃于分布式⽂件系统的⽂件块，这些⽂件块的格式是任意的，可以是⽂档，也可以是⼆进制格式。
(完整版)大数据技术原理与应用林子雨版课后习题答案
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
12. 详细阐述大数据、云计算和物联网三者之间的区别与联系。
大数据、云计算和物联网的区别
大数据、云计算和物联网的联系
2010 年前后
物理网、云计 算和大数据
解决问题 信息处理
信息传输
信息爆炸
代表公司
Intel、AMD、IBM 、苹果、微软、联 想、戴尔 市场标杆企业
2. 试述数据产生方式经历的几个阶段 答： 运营式系统阶段，用户原创内容阶段，感知式系统阶段。
Sqoop 可以改进数据的互操作性，主要用来在 H 大哦哦哦配合关系数据库之间 交换数据。
Chukwa 是一个开源的、用于监控大型分布式系统的数据收集系统，可以将各种 类型的数据收集成适合 Hadoop 处理的文件，并保存在 HDFS 中供 Hadoop 进行各 种 MapReduce 操作。
第三章
4．试述 HDFS 中的名称节点和数据节点的具体功能。 答：名称节点负责管理分布式文件系统系统的命名空间，记录分布式文件系统 中的每个文件中各个块所在的数据节点的位置信息；
数据节点是分布式文件系统 HDFS 的工作节点，负责数据的存储和读取，会 根据客户端或者是名称节点的调度来进行数据的存储和检索，并向名称节点定 期发送自己所存储的块的列表。
hing at a time and All things in their being are good for somethin
第二章
1. 试述 hadoop 和谷歌的 mapreduce、gfs 等技术之间的关系 答：Hadoop 的核心是分布式文件系统 HDFS 和 MapReduce，HDFS 是谷歌文件 系统 GFS 的开源实现，MapReduces 是针对谷歌 MapReduce 的开源实现。
4. 试述 Hadoop 的项目结构以及每个部分的具体功能。 答：
Pig Chukwa Hive HBase
MapReduce
HDFS
Zookeeper
hing at a time and All things in their being are good for somethin
Common
Avro
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8. 举例说明大数据的基本应用
答：
领域
大数据的应用
金融行业
大数据在高频交易、社区情绪分析和信贷风险分析三大金融 创新领域发挥重要作用。
汽车行业
利用大数据和物联网技术的五人驾驶汽车，在不远的未来将 走进我们的日常生活
互联网行业
借助于大数据技术，可以分析客户行为，进行商品推荐和有 针对性广告投放
答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范 式。
6. 试述大数据对思维方式的重要影响
答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效 率而非精确，相关而非因果。
7. 大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和 加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提 供对战略决策和战术决策。
群，具有很好的伸缩性
容错
保证文件服务在客户端 具有多副本机制和故障
或者服务端出现问题的 自动检测、恢复机制
时候能正常使用
安全
保证系统的安全性
安全性较弱
2．分布式文件系统是如何实现较高水平扩展的？
分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点
分为两类，一类叫“主节点”(Master
hing at a time and All things in their being are good for somethin
hadoop fs -ls <path> 显示<path>指定的文件的详细信息 hadoop fs -cat <path> 将<path>指定的文件的内容输出到标准输出 hadoop fs -mkdir <path> 创建<path>指定的文件夹 hadoop fs -get [-ignorecrc] [-crc] <src><localdst> 复制<src>指定的文 件到本地文件系统<localdst>指定的文件或文件夹。-ignorecrc 选项复制 CRC 校验失败的文件。使用-crc 选项复制文件以及 CRC 信息。 hadoop fs -put <localsrc><dst> 从本地文件系统中复制<localsrc>指定的单 个或多个源文件到<dst>指定的目标文件系统中。也支持从标准输入(stdin)中 读取输入写入目标文件系统。 hadoop fs -rmr <path> 删除<path>指定的文件夹及其的所有文件
支持节点的动态加入或 退出
HDFS 的实现情况 只能提供一定程度的访 问透明性，完全支持位 置透明性、性能和伸缩 透明性 机制非常简单，任何时 候都只允许有一个程序 写入某个文件 HDFS 采用了多副本机制
采用 Java 语言开发，具 有很好的跨平台能力
建立在大规模廉价机器 上的分布式文件系统集
hing at a time and All things in their being are good for somethin
HBase 是一个提高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库， 一般采用 HDFS 作为其底层数据存储。
MapReduce 是针对谷歌 MapReduce 的开源实现，用于大规模数据集的并行运算。
Zoookepper 是针对谷歌 Chubby 的一个开源实现，是高效和可靠的协同工作系 统，提供分布式锁之类的基本服务，用于构建分布式应用，减轻分布式应用程 序所承担的协调任务。
hing at a time and All things in their being are good for somethin
第一章
1.试述信息技术发展史上的 3 次信息化浪潮及具体内容。
信息化浪潮 第一次浪潮
第二次浪潮
第三次浪潮
发生时间 1980 年前后
标志 个人计算机
1995 年前后
互联网
大数据侧重于海量数据的存储、处理 与分析，海量数据中发现价值，服务 于生产和生活；云计算本质上皆在整 合和优化各种 IT 资源并通过网络已服 务的方法，廉价地提供给用户；物联 网的发展目标是实现呜呜向量，应用 创新是物联网的核心
从整体来看，大数据、云计算和物联 网这三者是相辅相成的。大数据根植 于云计算，大数据分析的很多技术都 来自于云计算，云计算的分布式存储 和管理系统提供了海量数据的存储和 管理能力，没有这些云计算技术作为 支撑，大数据分析就无从谈起。物联 网的传感器源源不断的产生大量数据， 构成了大数据的重要数据来源，物联 网需要借助于云计算和大数据技术， 实现物联网大数据的存储、分析和处 理。
10. 大数据产业包含哪些关键技术。
答：IT 基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据 应用层。
11. 定义并解释以下术语：云计算、物联网
答： 云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机 能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各 种 IT 资源。
第四章
1. 试述在 Hadoop 体系架构中 HBase 与其他组成部分的相互关系。 答： HBase 利用 Hadoop MapReduce 来处理 HBase 中的海量数据，实现高 性能计算；利用 Zookeeper 作为协同服务，实现稳定服务和失败恢复；使用
hing at a time and All things in their being are good for somethin
HDFS 作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop 为 HBase 的底层数据导入功能，Pig 和 Hive 为 HBase 提供了高层语言支持， HBase 是 BigTable 的开源实现。
2. 请阐述 HBase 和 BigTable 的底层技术的对应关系
答：
项目
BigTable
个人生活
大数据还可以应用于个人生活，利用与每个人相关联的“个 人大数据”，分析个人生活行为习惯，为其提供更加周全的 个性化服务。
9. 举例说明大数据的关键技术
hing at a time and All things in their being are good for somethin
答：批处理计算，流计算，图计算，查询分析计算
空，无法实现表与表之
间关联
hing at a time and All things in their being are good for somethin
Node)或者也被称为“名称结点”
(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点”
(DataNode)
3．试述 HDFS 中的块和普通文件系统中的块的区别。 答：在传统的文件系统中，为了提高磁盘读写效率，一般以数据块为单位，恶 如不是以字节为单位。
HDFS 中的块，默认一个块大小为 64MB，而 HDFS 中的文件会被拆分成多个 块，每个块作为独立的单元进行存储。HDFS 在块的大小的设计上明显要大于普 通文件系统。
1．试述分布式文件系统设计的需求。
设计需求
含义
透明性
具备访问透明性、位置 透明性、性能、和伸缩 透明性