大数据技术原理与应用 第十二章 图计算
厦门大学-林子雨-大数据技术原理与应用-上机练习-图计算框架Hama的基础操作实践
厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习图计算框架Hama的基础操作实践（版本号：2016年1月18日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年一月（版权所有，请勿用于商业用途）目录目录1作业题目 (1)2作业目的 (1)3作业性质 (1)4作业考核方法 (1)5作业提交日期与方式 (1)6作业准备 (1)6.1、Hama计算框架的安装配置 (1)6.2、用Hama计算模型实现寻找最大独立集问题算法 (3)7作业内容 (9)8实验报告 (9)附录1:任课教师介绍 (9)附录2：课程教材介绍 (10)《大数据技术原理与应用》图计算框架Hama基础操作实践上机练习说明主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1作业题目图计算框架Hama基础操作实践。
2作业目的旨在让学生了解Pregel图计算模型，并学会用Pregel的开源实现Hama实现一些基本操作。
3作业性质课后作业，必做，作为课堂平时成绩。
4作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。
5作业提交日期与方式图计算章节内容结束后的下一周周六晚上9点之前提交。
6作业准备请阅读厦门大学林子雨编著的大数据专业教材《大数据技术原理与应用》（官网：/post/bigdata/），了解图计算的概念与意义。
6.1、Hama计算框架的安装配置A pache Hama是Google Pregel的开源实现，与Hadoop适合于分布式大数据处理不同，Hama主要用于分布式的矩阵、graph、网络算法的计算。
简单说，Hama是在HDFS 上实现的BSP(Bulk Synchronous Parallel)计算框架，弥补Hadoop在计算能力上的不足。
（1）. 安装好合适版本的jdk和hadoop，并且进行测试，保证他们能用。
（2）. 下载hama安装文件，从/downloads.html处下载合适的版本，我当时下的是0.6.4版本的。
大数据技术原理与应用-林子雨版-课后习题答案
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
大学生mooc大数据技术原理与应用(林子雨)题库答案
y 青春顼早为.岂能长少年。
前言：建议Word原版，使用“查找”功能查题大数据技术原理与应用（林子雨）第1章大数据概述1单选（2分）第三次信息化浪潮的标志是：A.个人电脑的普及B.云计算、大数据、物联网技术的普及C.虚拟现实技术的普及D.互联网的普及正确答案：B你选对了2单选（2分）就数据的量级而言，1PB数据是多少TB?A.2048B.1000C.512D.1024正确答案：D你选对了3单选（2分）以下关于云计算、大数据和物联网之间的关系，论述错误的是：A.云计算侧重于数据分析B.物联网可以借助于云计算实现海量數据的存储C.物联网可以借助于大数据实现海量数据的分析D.云计算、大数据和物联网三者紧密相关，相舖相成正确答案：A你选对了4单选（2分）以下哪个不是大数据时代新兴的技术：A.SparkB.HadoopC.HBaseD.MySQL正确答案：D你选对了5单选（2分）每种大数据产品都有特定的应用场景，以下哪个产品是用于批处理的:A.MapReduceB.DremelC.StormD.Pregel正确答案：A你选对了6单选（2分）每种大数据产品都有特定的应用场景，以下哪个产品是用于流计算的:A.GraphXB.S4C.I mpa I aD.Hive正确答案：B你选对了7单选（2分）每种大数据产品都有特定的应用场景，以下哪个产品是用于图计算的:A.PregelB.StormC.CassandraD.FI ume正确答案：A你选对了8单选（2分）每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计鼻的:A.HDFSB.S4C.DremelD.MapReduce正确答案：C你选对了9多选（3分）数据产生方式大致经历了三个阶段，包括：A.运营式系统阶段B.感知式系统阶段C.移动互联网数据阶段D.用户原创内容阶段正确答案：ABD你选对了10多选（3分）大数据发展的三个阶段是：A.低谷期B.成熟期靑春須早为，岂能长少年。
《Hadoop大数据技术原理与应用》课程教学大纲
《Hadoop大数据技术原理与应用》课程教学大纲课程编号：3250578学分：4学分学时：72学时（其中：讲课学时36 上机学时：36）先修课程：《Linux基础》、《关系数据库基础》、《程序设计基础》、《Java面向对象编程》后续课程：Spark，《Python编程基础》、《Python数据分析与应用》适用专业：大数据应用技术一、课程的性质与目标《大数据应用开发》本课程是软件技术专业核心课程，大数据技术入门课程。
通过学习课程使得学生掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。
开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。
完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。
二、教学条件要求操作系统：Center OSHadoop版本：Hadoop2.7.4开发工具：Eclipse三、课程的主要内容及基本要求第1章初识Hadoop第2章构建Hadoop集群第3章 HDFS分布式文件系统第4章 MapReduce分布式计算系统第5章 Zookeeper分布式协调服务第6章 Hadoop2.0新特性第7章 Hive数据仓库第8章 Flume日志采集系统第9章 Azkaban工作流管理器第10章 Sqoop数据迁移第11章综合项目——网站流量日志数据分析系统四、学时分配五、考核模式与成绩评定办法本课程为考试课程，期末考试采用百分制的闭卷考试模式。
学生的考试成绩由平时成绩（30%）和期末考试（70%）组成，其中，平时成绩包括出勤（5%）、作业（5%）、上机成绩（20%）。
六、选用教材和主要参考书本大纲是参考教材《Hadoop大数据技术原理与应用》所设计的。
七、大纲说明本课程的授课模式为：课堂授课+上机，其中，课堂主要采用多媒体的方式进行授课，并且会通过测试题阶段测试学生的掌握程度；上机主要是编写程序，要求学生动手完成指定的程序设计或验证。
大学生大数据技术原理与应用章节测验期末考试答案
大数据技术原理与应用第1章大数据概述1单选(2分)第三次信息化浪潮的标志是：A.个人电脑的普及B.云计算、大数据、物联网技术的普及C.虚拟现实技术的普及D.互联网的普及正确答案：B你选对了2单选(2分)就数据的量级而言，1PB数据是多少TB？A.2048B.1000C.512D.1024正确答案：D你选对了3单选(2分)以下关于云计算、大数据和物联网之间的关系，论述错误的是：A.云计算侧重于数据分析B.物联网可借助于云计算实现海量数据的存储C.物联网可借助于大数据实现海量数据的分析D.云计算、大数据和物联网三者紧密相关，相辅相成正确答案：A你选对了4单选(2分)以下哪个不是大数据时代新兴的技术：A.SparkB.HadoopC.HBaseD.MySQL正确答案：D你选对了5单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于批处理的：A.MapReduceB.DremelC.StormD.Pregel正确答案：A你选对了6单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于流计算的：A.GraphXB.S4C.ImpalaD.Hive正确答案：B你选对了7单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于图计算的：A.PregelB.StormC.CassandraD.Flume正确答案：A你选对了8单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.HDFSB.S4C.DremelD.MapReduce正确答案：C你选对了9多选(3分)数据产生方式大致经历三个阶段，包括：A.运营式系统阶段B.感知式系统阶段C.移动互联网数据阶段D.用户原创内容阶段正确答案：ABD你选对了10多选(3分)大数据发展三个阶段是：A.低谷期B.成熟期C.大规模应用期D.萌芽期正确答案：BCD你选对了11多选(3分)大数据的特性包括：A.价值密度低B.处理速度快C.数据类型繁多D.数据量大正确答案：ABCD你选对了12多选(3分)图领奖获得者、著名数据库专家Jim Gray博士认为，人类自古以来在科学研究上先后经历哪几种范式：A.计算科学B.数据密集型科学C.实验科学D.理论科学正确答案：ABCD你选对了13多选(3分)大数据带来思维方式的三个转变是：A.效率而非精确B.相关而非因果C.精确而非全面D.全样而非抽样正确答案：ABD你选对了14多选(3分)大数据主要有哪几种计算模式：B.图计算C.查询分析计算D.批处理计算正确答案：ABCD你选对了15多选(3分)云计算的典型服务模式包括三种：A.SaaSB.IaaSC.MaaSD.PaaS正确答案：ABD你选对了第2章大数据处理架构Hadoop1单选(2分)启动hadoop所有进程的命令是:A.start-dfs.shB.start-all.shC.start-hadoop.shD.start-hdfs.sh正确答案：B你选对了2单选(2分)以下对Hadoop的说法错误的是：A.Hadoop是基于Java语言开发的，只支持Java语言编程B.Hadoop2.0增加了NameNode HA和Wire-compatibility两个重大特性C.Hadoop MapReduce是针对谷歌MapReduce的开源实现，通常用于大规模数据集的并行计算D.Hadoop的核心是HDFS和MapReduce正确答案：A你选对了3单选(2分)以下哪个不是Hadoop的特性:A.成本高B.支持多种编程语言C.高容错性正确答案：A你选对了4单选(2分)以下名词解释不正确的是:A.Zookeeper：针对谷歌Chubby的一个开源实现，是高效可靠的协同工作系统B.HBase：提供高可靠性、高性能、分布式的行式数据库，是谷歌BigTable的开源实现C.Hive：一个基于Hadoop的数据仓库工具，用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储D.HDFS：分布式文件系统，是Hadoop项目的两大核心之一，是谷歌GFS的开源实现正确答案：B你选对了5多选(3分)以下哪些组件是Hadoop的生态系统的组件：A.HBaseB.OracleC.HDFSD.MapReduce正确答案：ACD你选对了6多选(3分)以下哪个命令可用来操作HDFS文件:A.hadoop fsB.hadoop dfsC.hdfs fsD.hdfs dfs正确答案：ABD你选对了第3章分布式文件系统HDFS1单选(2分)HDFS的命名空间不包含:A.字节B.文件C.块D.目录正确答案：A你选对了2单选(2分)对HDFS通信协议的理解错误的是:A.客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的B.客户端通过一个可配置的端口向名称节点主动发起TCP连接，并使用客户端协议与名称节点进行交互C.名称节点和数据节点之间则使用数据节点协议进行交互D.HDFS通信协议都是构建在IoT协议基础之上的正确答案：D你选对了3单选(2分)采用多副本冗余存储的优势不包含:A.保证数据可靠性B.容易检查数据错误C.加快数据传输速度D.节约存储空间正确答案：D你选对了4单选(2分)假设已经配置好环境变量，启动Hadoop和关闭Hadoop的命令分别是:A.start-dfs.sh，stop-hdfs.shB.start-hdfs.sh，stop-hdfs.shC.start-dfs.sh，stop-dfs.shD.start-hdfs.sh，stop-dfs.sh正确答案：C你选对了5单选(2分)分布式文件系统HDFS采用主从结构模型，由计算机集群中的多个节点构成的，这些节点分为两类，一类存储元数据叫，另一类存储具体数据叫 :A.名称节点，主节点B.从节点，主节点C.名称节点，数据节点D.数据节点，名称节点正确答案：C你选对了6单选(2分)下面关于分布式文件系统HDFS的描述正确的是：A.分布式文件系统HDFS是Google Bigtable的一种开源实现B.分布式文件系统HDFS是谷歌分布式文件系统GFS（Google File System）的一种开源实现C.分布式文件系统HDFS比较适合存储大量零碎的小文件D.分布式文件系统HDFS是一种关系型数据库正确答案：B你选对了7多选(3分)以下对名称节点理解正确的是:A.名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问B.名称节点用来负责具体用户数据的存储C.名称节点通常用来保存元数据D.名称节点的数据保存在内存中正确答案：ACD你选对了8多选(3分)以下对数据节点理解正确的是:A.数据节点通常只有一个B.数据节点用来存储具体的文件内容C.数据节点的数据保存在磁盘中D.数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作正确答案：BCD你选对了9多选(3分)HDFS只设置唯一一个名称节点带来的局限性包括:A.集群的可用性B.性能的瓶颈C.命名空间的限制D.隔离问题正确答案：ABCD你选对了10多选(3分)以下HDFS相关的shell命令不正确的是:A.hadoop dfs mkdir <path>：创建<path>指定的文件夹B.hdfs dfs -rm <path>：删除路径<path>指定的文件C.hadoop fs -copyFromLocal <path1> <path2>：将路径<path2>指定的文件或文件夹复制到路径<path1>指定的文件夹中D.hadoop fs -ls <path>：显示<path>指定的文件的详细信息正确答案：AC你选对了第4章分布式数据库HBase1单选(2分)HBase是一种数据库A.行式数据库B.关系数据库C.文档数据库D.列式数据库正确答案：D你选对了2单选(2分)下列对HBase数据模型的描述错误的是:A.每个HBase表都由若干行组成，每个行由行键（row key）来标识B.HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳C.HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本D.HBase列族支持动态扩展，可很轻松地添加一个列族或列正确答案：C你选对了3单选(2分)下列说法正确的是:A.如果不启动Hadoop，则HBase完全无法使用B.HBase的实现包括的主要功能组件是库函数，一个Master主服务器和一个Region服务器C.如果通过HBase Shell插入表数据，可以插入一行数据或一个单元格数据D.Zookeeper是一个集群管理工具，常用于分布式计算，提供配置维护、域名服务、分布式同步等正确答案：D你选对了4单选(2分)在HBase数据库中，每个Region的建议最佳大小是：A.2GB-4GBB.100MB-200MBC.500MB-1000MBD.1GB-2GB正确答案：D你选对了5单选(2分)HBase三层结构的顺序是:A.Zookeeper文件，.MEATA.表，-ROOT-表B.-ROOT-表，Zookeeper文件，.MEATA.表C.Zookeeper文件，-ROOT-表，.MEATA.表D..MEATA.表，Zookeeper文件，-ROOT-表正确答案：C你选对了6单选(2分)客户端是通过级寻址来定位Region:A.三B.二C.一D.四正确答案：A你选对了7单选(2分)关于HBase Shell命令解释错误的是:A.create：创建表B.put：向表、行、列指定的单元格添加数据C.list：显示表的所有数据D.get：通过表名、行、列、时间戳、时间范围和版本号来获得相应单元格的值正确答案：C你选对了8多选(3分)下列对HBase的理解正确的是：A.HBase是针对谷歌BigTable的开源实现B.HBase是一种关系型数据库，现成功应用于互联网服务领域C.HBase是一个行式分布式数据库，是Hadoop生态系统中的一个组件D.HBase多用于存储非结构化和半结构化的松散数据正确答案：AD你选对了9多选(3分)HBase和传统关系型数据库的区别在于哪些方面:A.数据操作B.数据索引C.数据模型D.存储模式正确答案：ABCD你选对了10多选(3分)访问HBase表中的行，有哪些方式:A.通过某列的值区间B.全表扫描C.通过一个行健的区间来访问D.通过单个行健访问正确答案：BCD你选对了第5章 NoSQL数据库1单选(2分)下列关于NoSQL数据库和关系型数据库的比较，不正确的是：A.NoSQL数据库很容易实现数据完整性，关系型数据库很难实现数据完整性B.NoSQL数据库缺乏统一的查询语言，而关系型数据库有标准化查询语言C.NoSQL数据库的可扩展性比传统的关系型数据库更好D.NoSQL数据库具有弱一致性，关系型数据库具有强一致性正确答案：A你选对了2单选(2分)以下对各类数据库的理解错误的是:A.键值数据库的键是一个字符串对象，值可以是任意类型的数据，比如整型和字符型等B.文档数据库的数据是松散的，XML和JSON 文档等都可作为数据存储在文档数据库中C.图数据库灵活性高，支持复杂的图算法，可用于构建复杂的关系图谱D.HBase数据库是列族数据库，可扩展性强，支持事务一致性正确答案：D你选对了3单选(2分)下列数据库属于文档数据库的是:A.MySQLB.RedisC.MongoDBD.HBase正确答案：C你选对了4单选(2分)NoSQL数据库的三大理论基石不包括:A.最终一致性B.BASEC.ACIDD.CAP正确答案：C你选对了5多选(3分)关于NoSQL数据库和关系数据库，下列说法正确的是：A.NoSQL数据库可支持超大规模数据存储，具有强大的横向扩展能力B.NoSQL数据库和关系数据库各有优缺点，但随着NoSQL的发展，终将取代关系数据库C.大多数NoSQL数据库很难实现数据完整性D.关系数据库有关系代数理论作为基础，NoSQL数据库没有统一的理论基础正确答案：ACD你选对了6多选(3分)NoSQL数据库的类型包括：A.键值数据库B.列族数据库C.文档数据库D.图数据库正确答案：ABCD你选对了7多选(3分)CAP是指:A.一致性B.可用性C.持久性D.分区容忍性正确答案：ABD你选对了8多选(3分)NoSQL数据库的BASE特性是指:A.软状态B.持续性C.最终一致性D.基本可用正确答案：ACD你选对了第6章云数据库1单选(2分)下列Amazon的云数据库属于关系数据库的是：A.Amazon SimpleDBB.Amazon DynamoDBC.Amazon RDSD.Amazon Redshift正确答案：C你选对了2单选(2分)下列关于UMP系统的说法不正确的是:A.Controller服务器向UMP集群提供各种管理服务，实现集群成员管理、元数据存储等功能B.Agent服务器部署在运行MySQL进程的机器上，用来管理每台物理机上的MySQL实例C.UMP系统是低成本和高性能的MySQL云数据库方案D.Mnesia是UMP系统的一个组件，是一个分布式数据库管理系统，且不支持事务正确答案：D你选对了3多选(3分)UMP依赖的开源组件包括A.LVSB.ZooKeeperC.MnesiaD.RabbitMQ正确答案：ABCD你选对了4多选(3分)在UMP系统中，Zookeeper主要发挥的作用包括:A.监控所有MySQL实例B.负责集群负载均衡C.提供分布式锁，选出一个集群的“总管”D.作为全局的配置服务器正确答案：ACD你选对了5多选(3分)UMP系统设计了哪些机制来保证数据安全:A.记录用户操作日志B.数据访问IP白名单C.SSL数据库连接D.SQL拦截正确答案：ABCD你选对了第7章 MapReduce1单选(2分)下列说法错误的是:A.Map函数将输入的元素转换成<key,value>形式的键值对B.Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写C.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个SlaveD.不同的Map任务之间不能互相通信正确答案：B你选对了2单选(2分)在使用MapReduce程序WordCount进行词频统计时，对于文本行“hello hadoop hello world”，经过WordCount程序的Map函数处理后直接输出的中间结果，应是下面哪种形式：A.<"hello",1,1>、<"hadoop",1>和<"world",1>B.<"hello",2>、<"hadoop",1>和<"world",1>C.<"hello",<1,1>>、<"hadoop",1>和<"world",1>D.<"hello",1>、<"hello",1>、<"hadoop",1>和<"world",1>正确答案：D你选对了3单选(2分)对于文本行“hello hadoop hello world”，经过WordCount的Reduce函数处理后的结果是:A.<"hello",<1,1>><"hadoop",1><"world",1>B.<"hello",1><"hello",1><"hadoop",1><"world",1>C.<"hello",1,1><"hadoop",1><"world",1>D.<"hello",2><"hadoop",1><"world",1>正确答案：B你选对了4多选(3分)下列关于传统并行计算框架（比如MPI）和MapReduce并行计算框架比较正确的是：A.前者所需硬件价格贵，可扩展性差，后者硬件便宜，扩展性好B.前者相比后者学习起来更难C.前者是共享式(共享内存/共享存储)，容错性差，后者是非共享式的，容错性好D.前者适用于实时、细粒度计算、计算密集型，后者适用于批处理、非实时、数据密集型正确答案：ABCD你选对了5多选(3分)MapReduce1.0的体系结构主要由哪几个部分组成:A.JobTrackerB.TaskTrackerC.ClientD.Task正确答案：ABCD你选对了第8章 Hadoop再探讨1单选(2分)下列说法正确的是:A.HDFS HA可用性不好B.第二名称节点是热备份C.HDFS HA提供高可用性，可实现可扩展性、系统性能和隔离性D.第二名称节点无法解决单点故障问题正确答案：D你选对了2单选(2分)HDFS Federation设计不能解决“单名称节点”存在的哪个问题:A.单点故障问题B.HDFS集群扩展性C.性能更高效D.良好的隔离性正确答案：A你选对了3多选(3分)下列哪些是Hadoop1.0存在的问题：A.抽象层次低B.表达能力有限C.开发者自己管理作业之间的依赖关系D.执行迭代操作效率低正确答案：ABCD你选对了下列对Hadoop各组件的理解正确的是:A.Oozie:工作流和协作服务引擎B.Pig：处理大规模数据的脚本语言C.Kafka：分布式发布订阅消息系统D.Tez：支持DAG作业的计算框架正确答案：ABCD你选对了5多选(3分)对新一代资源管理调度框架YARN的理解正确的是:A.YARN既是资源管理调度框架，也是一个计算框架B.MapReduce2.0是运行在YARN之上的计算框架，由YARN来为MapReduce提供资源管理调度服务C.YARN可以实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架D.YARN的体系结构包含三个组件：ResourceManager，NodeManager，ApplicationMaster正确答案：BCD你选对了第9章数据仓库Hive1单选(2分)下列有关Hive和Impala的对比错误的是:A.Hive与Impala中对SQL的解释处理比较相似，都是通过词法分析生成执行计划B.Hive与Impala使用相同的元数据C.Hive适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询D.Hive在内存不足以存储所有数据时，会使用外存，而Impala也是如此正确答案：D你选对了2单选(2分)下列关于Hive基本操作命令的解释错误的是:A.create table if not exists usr(id bigint,name string,age int);//如usr表不存在，创建表usr，含三个属性id,name,ageB.load data local inpath ‘/usr/local/data’ overwrite into table usr; //把目录’/usr/local/data’下的数据文件中的数据以追加的方式装载进usr表C.create database userdb;//创建数据库userdbD.insert overwrite table student select * from user where age>10; //向表usr1中插入来自usr表的age大于10的数据并覆盖student表中原有数据正确答案：B你选对了下列说法正确的是：A.Impala和Hive、HDFS、HBase等工具可统一部署在一个Hadoop平台上B.数据仓库Hive不需要借助于HDFS就可完成数据的存储C.Hive本身不存储和处理数据，依赖HDFS存储数据，依赖MapReduce处理数据D.HiveQL语法与传统的SQL语法很相似正确答案：ACD你选对了4多选(3分)Impala主要由哪几个部分组成:A.HiveB.ImpaladC.State StoreD.CLI正确答案：BCD你选对了5多选(3分)以下属于Hive的基本数据类型是:A.BINARYB.STRINGC.FLOATD.TINYINT正确答案：ABCD你选对了第10章 Spark1单选(2分)Spark SQL目前暂时不支持下列哪种语言:A.PythonB.JavaC.ScalaD.Lisp正确答案：D你选对了2单选(2分)RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是:A.groupByB.filterC.countD.map正确答案：C你选对了3单选(2分)下列说法错误的是：A.在选择Spark Streaming和Storm时，对实时性要求高（比如要求毫秒级响应）的企业更倾向于选择流计算框架StormB.RDD采用惰性调用，遇到“转换(Transformation)”类型的操作时，只会记录RDD生成的轨迹，只有遇到“动作(Action)”类型的操作时才会触发真正的计算C.Spark支持三种类型的部署方式：Standalone，Spark on Mesos，Spark on YARND.RDD提供的转换接口既适用filter等粗粒度的转换，也适合某一数据项的细粒度转换正确答案：D你选对了4单选(2分)下列关于常见的动作（Action）和转换（Transformation）操作的API解释错误的是:A.filter(func)：筛选出满足函数func的元素，并返回一个新的数据集B.map(func)：将每个元素传递到函数func中，并将结果返回为一个新的数据集C.count()：返回数据集中的元素个数D.take(n)：返回数据集中的第n个元素正确答案：D你选对了5单选(2分)下列大数据处理类型与其对应的软件框架不匹配的是:A.复杂的批量数据处理：MapReduceB.基于历史数据的交互式查询：ImpalaC.基于实时数据流的数据处理：StormD.图结构数据的计算：Hive正确答案：D你选对了6多选(3分)Apache软件基金会最重要的三大分布式计算系统开源项目包括：A.OracleB.HadoopC.StormD.Spark正确答案：ABC你选对了7多选(3分)Spark的主要特点包括:A.运行模式多样B.运行速度快C.通用性好D.容易使用正确答案：ABCD你选对了8多选(3分)下列关于Scala的说法正确的是:A.Scala运行于Java平台，兼容现有的Java程序B.Scala具备强大的并发性，支持函数式编程C.Scala是一种多范式编程语言D.Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言正确答案：ABCD你选对了9多选(3分)Spark的运行架构包括:A.运行作业任务的工作节点 Worker NodeB.每个工作节点上负责具体任务的执行进程 ExecutorC.每个应用的任务控制节点 DriverD.集群资源管理器 Cluster Manager正确答案：ABCD你选对了第11章流计算1单选(2分)流计算秉承一个基本理念，即数据的价值随着时间的流逝而，如用户点击流：A.降低B.不确定C.不变D.升高正确答案：A你选对了2单选(2分)Hadoop运行的是MapReduce任务，类似地，Storm运行的任务叫做A.SpoutB.BoltC.TupleD.Topology正确答案：D你选对了3多选(3分)对于一个流计算系统来说，它应达到如下哪些需求:A.海量式B.高性能C.分布式D.实时性正确答案：A、B、C、D你选对了4多选(3分)数据采集系统的基本架构包括哪些部分:A.ControllerB.StoreC.AgentD.Collector正确答案：B、C、D你选对了5多选(3分)以下哪些是开源的流计算框架:A.Facebook PumaB.Yahoo! S4C.IBM InfoSphere StreamsD.Twitter Storm正确答案：B、D你选对了6多选(3分)下面哪几个属于Storm中的Stream Groupings的分组方式:A.按照字段分组B.广播发送C.随机分组D.全局分组正确答案：A、B、C、D你选对了第12章 Flink1单选(2分)以下哪个不是Flink的优势：A.同时支持高吞吐、低延迟、高性能B.不支持增量迭代C.同时支持流处理和批处理D.支持有状态计算正确答案：B你选对了2单选(2分)在Flink中哪个是基于批处理的图计算库：A.SQL&Table库B.FlinkMLC.GellyD.CEP正确答案：C你选对了3多选(3分)下面关于Flink的说法正确的是：A.Flink起源于Stratosphere 项目，该项目是在2010年到2014年间由柏林工业大学、柏林洪堡大学和哈索普拉特纳研究所联合开展的B.Flink可以同时支持实时计算和批量计算C.Flink不是Apache软件基金会的项目D.Flink是Apache软件基金会的5个最大的大数据项目之一正确答案：A、B、D你选对了4多选(3分)Flink的主要特性包括：A.精确一次的状态一致性保障B.批流一体化C.精密的状态管理D.事件时间支持正确答案：A、B、C、D你选对了5多选(3分)下面论述正确的是：A.Spark Streaming通过采用微批处理方法实现高吞吐和容错性，但是牺牲了低延迟和实时处理能力B.Storm虽然可以做到低延迟，但是无法实现高吞吐，也不能在故障发生时准确地处理计算状态C.流处理架构需要具备低延迟、高吞吐和高性能的特性，而目前从市场上已有的产品来看，只有Flink 可满足要求D.Flink实现了Google Dataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理正确答案：A、B、C、D你选对了6多选(3分)Flink常见的应用场景包括：A.数据流水线应用B.事件驱动型应用C.地图应用D.数据分析应用正确答案：A、B、D你选对了7多选(3分)Flink核心组件栈分为哪三层：A.物理部署层B.Runtime核心层C.Core层D.API&Libraries层正确答案：A、B、D你选对了8多选(3分)Flink有哪几种部署模式：A.运行在GCE（谷歌云服务）和EC2（亚马逊云服务）上B.YARN集群模式C.Standalone集群模式D.Local模式正确答案：A、B、C、D你选对了9多选(3分)Flink系统主要由两个组件组成，分别为:A.JobManagerB.JobSchedulerC.TaskSchedulerD.TaskManager正确答案：A、D你选对了10多选(3分)在编程模型方面，Flink 提供了不同级别的抽象，以开发流或批处理作业，主要包括哪几个级别的抽象：A.DataStream API（有界或无界流数据）以及 DataSet API（有界数据集）B.Table APIC.状态化的数据流接口D. SQL正确答案：A、B、C、D你选对了第13章图计算1单选(2分)Pregel是一种基于模型实现的并行图处理系统:A.TSPB.STPC.BSPD.SBP正确答案：C你选对了2单选(2分)谷歌在后Hadoop时代的新“三驾马车”不包括:A.CaffeineB.DremelC. PregelD.Hama正确答案：D你选对了3多选(3分)下列哪些是以图顶点为中心的，基于消息传递批处理的并行图计算框架：A.HamaB.GiraphC.PregelD.Neo4j正确答案：A、B、C你选对了4多选(3分)以下关于Pregel图计算框架说法正确的是:A.通常只对满足交换律和结合律的操作才会开启Combiner功能B.Pregel采用检查点机制来实现容错C.对于全局拓扑改变，Pregel采用了惰性协调机制D.Aggregator提供了一种全局通信、监控和数据查看的机制正确答案：A、B、C、D你选对了第14章大数据在不同领域的应用1单选(2分)下列说法错误的是：A.ItemCF算法推荐的是那些和目标用户之前喜欢的物品类似的其他物品B.基于用户的协同过滤算法（简称UserCF算法）是目前业界应用最多的算法erCF算法推荐的是那些和目标用户有共同兴趣爱好的其他用户所喜欢的物品erCF算法的推荐更偏向社会化，而ItemCF算法的推荐更偏向于个性化正确答案：B你选对了2多选(3分)推荐方法包括哪些类型:A.专家推荐B.协同过滤推荐C.基于内容的推荐D.基于统计的推荐正确答案：A、B、C、D你选对了期末试卷1单选(2分)数据产生方式的变革主要经历了三个阶段，以下哪个不属于这三个阶段：A.运营式系统阶段B.感知式系统阶段C.数据流阶段D.用户原创内容阶段正确答案：C你选对了2单选(2分)第三次信息化浪潮的发生标志是以下哪种技术的普及：A.互联网B.CPUC.物联网、云计算和大数据D.个人计算机正确答案：C你选对了3单选(2分)在Flink中哪个是基于批处理的图计算库：A.SQL&Table库B.CEPC. GellyD. FlinkML正确答案：C你选对了4单选(2分)Hadoop的两大核心是和A.MapReduce; HBaseB. HDFS; HBaseC.HDFS; MapReduceD.GFS; MapReduce正确答案：C你选对了5单选(2分)HDFS默认的一个块大小是A.64MBB.8KBC. 32KBD.16KB正确答案：A你选对了6单选(2分)在分布式文件系统HDFS中，负责数据的存储和读取:A.数据节点B.第二名称节点C.名称节点D.主节点正确答案：A你选对了7单选(2分)上传当前目录下的本地文件file.txt到分布式文件系统HDFS的“/path”目录下的Shell命令是：A.hdfs dfs -put /path file.txtB.hadoop dfs -put /path file.txtC.hdfs fs -put file.txt /pathD.hdfs dfs -put file.txt /path正确答案：D你选对了8单选(2分)在HDFS根目录下创建一个文件夹/test，且/test文件夹内还包含一个文件夹dir，正确的shell命令是:A.hadoop fs -mkdir -p /test/dirB.hdfs fs -mkdir -p /test/dirC.hadoop dfs -mkdir /test/dirD.hdfs dfs *mkdir -p /test/dir正确答案：A你选对了9单选(2分)下列有关HBase的说法正确的是：A.在向数据库中插入记录时，HBase和关系数据库一样，每次都是以“行”为单位把整条记录插入数据库B.HBase是针对谷歌BigTable的开源实现，是高可靠、高性能的图数据库C.HBase是一种NoSQL数据库。
大数据技术原理与应用ppt课件
• 在 TaskTracker 端，以 map/reduce task 的数目作 为资源的表示过于简单，没有考虑到 cpu/ 内存的占
用情况。
• MapReduce 框架在有任何重要的或者不重要的变化
( 例如 bug 修复，性能提升和特性化 ) 时，都会强
制进行系统级别的升级更新。强制让分布式集群系统
的每一个用户端同时更新。
完整最新ppt
26
Hadoop YARN MR调度
完整最新ppt
27
Yarn vs MR 1.0
• MR1.0
–Job Tracker
• 资源管理 • 任务调度、监控
• Yarn
–ResourceManager
• 调度、启动每一个 Job 所属的 ApplicationMaster、另 外监控 ApplicationMaster
完整最新ppt
Cite from Dean and Ghemawat (OSDI 2004)
17
MapReduce并行处理的基本过程
6.主节点启动每个 Map节点执行程序， 每个map节点尽可能 读取本地或本机架 的数据进行计算
7.每个Map节点处理读取的 数据块,并做一些数据整 理工作(combining, sorting 等)并将中间结果存放在 本地；同时通知主节点计 算任务完成并告知中间结 果数据存储位置
• 其中一个开源实现即Hadoop MapReduce
完整最新ppt
15
MapReduce并行处理的基本过程
1.有一个待处理的大 数据，被划分为大 小相同的数据块(如 64MB),及与此相应 的用户作业程序
2.系统中有一个负责调 度的主节点(Master), 以及数据Map和Reduce 工作节点(Worker)
大数据技术原理与应用(第2版)
作者介绍
这是《大数据技术原理与应用（第2版）》的读书笔记模板，暂无该书作者的介绍。
谢谢观看
读书笔记
天呐，我居然看完了。
这是一本偏专业的书籍。
值得一看，个中内容，源代码及实践部门太专业而！作为半业务半技术的数据分析师，值得好好了解，体会开发和大数据同行的处理思 维！。
四颗星。
大数据技术发展日新月异，这本书中的一些内容已经有点过时了，不过通篇读下来还是能对大数据领域有一 个整体认识。
15.1大数据在物流领域中的应用 15.2大数据在城市管理中的应用 15.3大数据在金融行业中的应用 15.4大数据在汽车行业中的应用 15.5大数据在零售行业中的应用 15.6大数据在餐饮行业中的应用 15.7大数据在电信行业中的应用 15.8大数据在能源行业中的应用 15.9大数据在体育和娱乐领域中的应用
第3章分布式文件系 统HDFS
第4章分布式数据库 HBase
第5章 NoSQL数据库 第6章云数据库
3.1分布式文件系统 3.2 HDFS简介 3.3 HDFS的相关概念 3.4 HDFS体系结构 3.5 HDFS的存储原理 3.6 HDFS的数据读写过程 3.7 HDFS编程实践 3.8本章小结 3.9习题
4.1概述 4.2 HBase访问接口 4.3 HBase数据模型 4.4 HBase的实现原理 4.5 HBase运行机制 4.6 HBase编程实践 4.7本章小结 4.8习题 实验3熟悉常用的HBase操作
5.1 NoSQL简介 5.2 NoSQL兴起的原因 5.3 NoSQL与关系数据库的比较 5.4 NoSQL的四大类型 5.5 NoSQL的三大基石 5.6从NoSQL到NewSQL数据库 5.7本章小结 5.8习题
大数据技术原理及应用林子雨版课后习题答案解析
可伸缩性
很难实现横向扩展，纵向 扩展的空间也比较有限
轻易地通过在集群中增 加或者减少硬件数量来 实现性能的伸缩
20. HBase有哪些类型的访问接口？
答： HBase 提供了 Native Java API , HBase Shell , Thrift Gateway , REST 完美 WORD格式编辑
答：
项目
BigTable
文件存储系统
GFS
海量数据处理
MapReduce
协同服务管理
Chubby
HBase HDFS Hadoop MapReduce Zookeeper
19. 请阐述 HBase 和传统关系数据库的区别
答：
区别
传统关系数据库
HBase
数据类型
关系模型
数据模型
数据操作
插入、删除、更新、查询、 多表连接
12. 详细阐述大数据、云计算和物联网三者之间的区别与联系。
大数据、云计算和物联网的区别
大数据、云计算和物联网的联系
大数据侧重于海量数据的存储、
处理与
分析，海量数据中发现价值，服务于生
产和生活； 云计算本质上皆在整合和优
化各种 IT 资源并通过网络已服务的方
法，廉价地提供给用户；物联网的发展 目标是实现呜呜向量， 应用创新是物联 网的核心
11. 定义并解释以下术语：云计算、物联网
答： 云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机
能力，用户只需要在具备网络接入条件的地方，
就可以随时随地获得所需的各种
IT 资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网 等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成 人与物、物与物相连，实现信息化和远程管理控制。
大数据技术原理与应用-林子雨版-课后习题答案
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
大数据技术原理与应用-完整版
包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业提供技术支撑
2. CPU处理能力大幅提升
图1-3 CPU晶体管数目随时间变化情况
1.1.2信息科技为大数据时代提供技术支撑
摩尔定律：CPU性能每隔18个月提高一倍， 价格下降一半
1.1.2信息科技为大数据时代提供技术支撑
3. 网络带宽不断增加
图1-4 网络带宽随时间变化情况
–视频
pWeb 2.0数据
–查询日志/点击流
–Twitter/ Blog / SNS
–Wiki
1.2.3 处理速度快
p 从数据的生成到消耗，时间窗口非常小，可用于生 成决策的时间非常少
p 1秒定律：这一点也是和传统的数据挖掘技术有着 本质的不同
1.2.4 价值密度低
价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅 仅有一两秒，但是具有很高的商业价值
信息爆炸
将涌现出一批新的 市场标杆企业
1.1.2信息科技为大数据时代提供技术支撑
1. 存储设备容量不断增加，速度不断提升， 价格却在不断下降
图1-1 存储价格随时间变化情况
1.2信息科技为大数据时代提供技术支撑
来自斯威本科技大学（Swinburne University of Technology） 的研究团队，在2013年6月29日刊出的《自然通讯（Nature Communications）》杂志的文章中，描述了一种全新的数据 存储方式，可将1PB（1024TB）的数据存储到一张仅DVD大 小的聚合物碟片上。
大数据技术原理与应用(第2版)
5.6 从NoSQL到NewSQL 数据库
第二篇 大数据存储 与管理
5 NoSQL数据库
A
5.7 本 章小结
B
5.8 习题
第二篇 大数据存储与管理
6.1 云数据 库概述
6.6 习题
6.2 云数据 库产品
6.5 本章小 结
6.3 云数据 库系统架构
6.4 云数据 库实践
6 云数据库
第二篇 大数据存储与管理
6 云数据库
实验4 熟练使用RDS for MySQL数 据库
03 第三篇 大数据处理与分析
第三篇 大数据处理与分析
A
7 MapRe
duce
D
10 流 计算
B
8 Hadoo p再探讨
E
11 图 计算
C
9 Spark
F
12 数据 可视化
7.1 概 述
7.2 MapReduce 的工作流程
B
5 NoSQL数据库
C
6 云数据库
D
3.1 分 布式文 件系统
3.2 HDFS 简介
3.4 HDFS体 系结构
3.5 HDFS的 存储原理
第二篇 大数据存储与管理
3 分布式文件系统HDFS
3.3 HDFS的 相关概念
3.6 HDFS 的数据读 写过程
第二篇 大 数据存储 与管理
3 分布式文件系统HDFS
01
3.7 HDFS 编程实践
03
3.9 习题Leabharlann 023.8 本章小 结
04
实验2 熟悉 常用的
HDFS操作
4.1 概 述
4.2 HBase访 问接口
大数据技术原理与应用教学大纲
大数据技术原理与应用教学大纲课程概述入门级大数据课程，适合初学者，完备的课程在线服务体系，可以帮助初学者实现“零基础”学习大数据课程。
课程采用厦门大学林子雨老师编著的国内高校第一本系统性介绍大数据知识专业教材《大数据技术原理与应用》。
课程紧紧围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，对大数据知识体系进行系统梳理，做到“有序组织、去粗取精、由浅入深、渐次展开”。
课程由国内高校知名大数据教师厦门大学林子雨副教授主讲。
授课目标课程的定位是入门级课程，本课程的目标是为学生搭建起通向“大数据知识空间”的桥梁和纽带。
本课程将系统梳理总结大数据相关技术，介绍大数据技术的基本原理和大数据主要应用，帮助学生形成对大数据知识体系及其应用领域的轮廓性认识，为学生在大数据领域“深耕细作”奠定基础、指明方向。
课程大纲第1讲大数据概述1.1 大数据时代1.2 大数据概念和影响1.3 大数据的应用1.4 大数据的关键技术1.5 大数据与云计算、物联网本讲配套讲义PPT-第1讲-大数据概述第1讲大数据概述章节单元测验第2讲大数据处理架构Hadoop本讲实验答疑-第2讲-大数据处理架构Hadoop2.1 概述2.2 Hadoop项目结构2.3 Hadoop的安装与使用2.4 Hadoop集群的部署和使用本讲配套讲义PPT-第2讲-大数据处理架构Hadoop 大数据处理架构Hadoop单元测验第3讲分布式文件系统HDFS3.1 分布式文件系统HDFS简介3.2 HDFS相关概念3.3 HDFS体系结构3.4 HDFS存储原理3.5 HDFS数据读写过程3.6 HDFS编程实践本讲配套讲义PPT-第3讲-分布式文件系统HDFS 分布式文件系统HDFS单元测验第4讲分布式数据库HBase4.1 HBase简介4.2 HBase数据模型4.3 HBase的实现原理4.4 HBase运行机制4.5 HBase应用方案4.6 HBase安装配置和常用Shell命令4.7 HBase常用Java API及应用实例本讲配套讲义PPT-第4讲-分布式数据库HBase 分布式数据库HBase单元测验第5讲NoSQL数据库5.1 NoSQL概述5.2 NoSQL与关系数据库的比较5.3 NoSQL的四大类型5.4 NoSQL的三大基石5.5 从NoSQL到NewSQL数据库5.6 文档数据库MongoDB本讲配套讲义PPT-第5讲-NoSQL数据库NoSQL数据库单元测验第6讲云数据库6.1 云数据库概述6.2 云数据库产品6.3 云数据库系统架构6.4 Amazon AWS和云数据库6.5 微软云数据库SQL Azure6.6 云数据库实践本讲配套讲义PPT-第6讲-云数据库云数据库单元测验第7讲MapReduce7.1 MapReduce概述7.2 MapReduce的体系结构7.3 MapReduce工作流程7.4 Shuffle过程原理7.5 MapReduce应用程序执行过程7.6 实例分析：WordCount7.7 MapReduce的具体应用7.8 MapReduce编程实践本讲配套讲义PPT-第7讲-MapReduce MapReduce单元测验第8讲Hadoop再探讨8.1 Hadoop的优化与发展8.2 HDFS2.0的新特性8.3 新一代资源管理调度框架YARN8.4 Hadoop生态系统中具有代表性的功能组件本讲配套讲义PPT-第9讲-Hadoop再探讨Hadoop再探讨单元测验第9讲数据仓库Hive9.1 数据仓库概念9.2 Hive简介9.3 SQL转换成MapReduce作业的原理9.4 Impala9.5 Hive编程实践本讲配套讲义PPT-第9讲-数据仓库Hive数据仓库Hive单元测验第10讲Spark10.1 Spark概述10.2 Spark生态系统10.3 Spark运行架构10.4 Spark SQL10.5 Spark的部署和应用方式10.6 Spark编程实践本讲配套讲义PPT-第10讲-SparkSpark单元测验第11讲流计算11.1 流计算概述11.2 流计算处理流程11.3 流计算的应用11.4 开源流计算框架Storm11.5 Spark Streaming、Samza以及三种流计算框架的比较11.6 Storm编程实践本讲配套讲义PPT-第11讲-流计算流计算单元测验第12讲Flink12.1Flink简介12.2为什么选择Flink12.3Flink应用场景12.4Flink技术栈、体系架构和编程模型12.5 Flink的安装与编程实践本讲配套讲义PPT-第12讲-FlinkFlink单元测验第13讲图计算13.1 图计算简介13.2 Pregel简介13.3 Pregel图计算模型13.4 Pregel的C++ API13.5 Pregel的体系结构13.6 Pregel的应用实例——单源最短路径13.7 Hama的安装和使用本讲配套讲义PPT-第13讲-图计算图计算单元测验第14讲大数据在不同领域的应用14.1 大数据应用概览14.2 推荐系统14.3 大数据在智能医疗和智能物流领域运用本讲配套讲义PPT-第14讲-大数据在不同领域的应用大数据在不同领域的应用单元测验预备知识面向对象编程（比如Java）、数据库、操作系统参考资料林子雨.大数据技术原理与应用（第3版），人民邮电出版社，2020年9月（教材官网）。
《大数据技术原理与应用》 期末复习重点
大数据技术原理与应用期末复习重点一、1、数据产生方式大致经历了3个阶段：运营式系统阶段、用户原创内容阶段、感知式系统阶段。
2、大数据的特点:数据量大（volume）、数据类型繁多（variety）、处理速度快（velocity）、价值密度低（value）；4V+1C （C：复杂度complexity）。
3、云计算的特点：超大规模、虚拟化、高可靠性、通用性、高可伸缩性、按需服务、极其廉价。
4、科学研究方面经历的4种范式：实验、理论、计算、数据。
5、大数据四种计算模式:批量计算(针对大规模数据的批量数据)；流计算(针对流计算的实时计算)；图计算(针对大规模图结构数据的处理)；查询分析计算(大规模数据的存储管理和查询分析)。
6、数据总体上可以分为静态数据和流数据。
7、对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算。
8、Hadoop的特性：高可靠性、高效性、高扩展性、高容错性、成本低、运行在Linux平台上、支持多种编程语言。
9、Hadoop的核心子项目：HDFS和MapReduce。
HDFS 2.0的新特性HDFS HA和HDFS联邦。
10、YARN体系结构中的三个组件：ResourceManager、ApplicationMaster和NodeManager。
二、1、分布式文件系统是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。
2、名称节点：名称节点也叫主节点，负责管理分布式文件系统的命名空间，负责文件和目录的创建、删除和重命名等，同时管理着数据节点和文件块的映射关系。
数据节点：数据节点也叫从节点，负责数据的存储和读取，在存储时，有名称节点分配存储位置，然后由客户端把数据直接写入相应的数据节点。
第二名称节点：完成EditLog合并到FsImage的过程，缩短合并的重启时间，其次作为“检查点”保存元数据的信息。
3、HDFS体系结构：HDFS采用了主从结构模型，一个HDFS集群包括一个名称节点和若干个数据节点。
重大社2023《hadoop大数据技术原理与应用》教学课件u12
• Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理 每个区块
03 Sqoop简介
• Sqoop在生态圈的位置
04 Sqoop基本原理
05 Sqoop基本原理
--username root \
--password root \
--table help_keyword \
# 待导入的表
--delete-target-dir \
# 目标目录存在则先删除
--target-dir /sqoop \
# 导入的目标目录
--fields-terminated-by '\t' \ # 指定导出数据的分隔符
#Set thБайду номын сангаас path to where bin/hive is available export HIVE_HOME=/home/hadoop/hive
#Set the path for where zookeper config dir is available export ZOOCFGDIR=/home/hadoop/zookeeper
谢谢聆听
Thanks
06 Sqoop基本原理
• 从Hadoop到关系数据库
07 Sqoop的安装
• Sqoop安装步骤 1、下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz。 2、解压到安装目录。 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ~ 3、这里要使用到mysql，故需把驱动程序 mysql-connector-java-5.1.46-bin.jar拷贝到 Sqoop的依赖库lib下。 4、添加环境变量，编辑~/.bashrc export SQOOP_HOME=/home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=$PATH:$SQOOP_HOME/bin 5、使环境变量生效 source ~/.bashrc
大数据技术原理与应用-林子雨版-课后习题答案
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
第12章-大数据技术与应用-微课视频版-肖政宏-清华大学出版社
提纲
12.1 项目概述 12.2 功能需求 12.3 软件关键技术 12.4 效果展示 12.5 系统构架设计 12.6 数据存储设计 12.7 数据分析 11.8 数据展示 习题 小结
4
12.2 功能需求
为了让读者了解该医药电商大数据分析平台，这一部分将 介绍该医药电商大数据分析平台的功能需求，后文将针对 部分功能设计、开发进行详细介绍。 （1）流量分析
5
提纲
12.1 项目概述 12.2 功能需求 12.3 软件关键技术 12.4 效果展示 12.5 系统构架设计 12.6 数据存储设计 12.7 数据分析 11.8 数据展示 习题 小结
6
12.3 软件关键技术
Hadoop作为分布式计算平台。 Hbase作为分布式数据存储数据库。 Bootstrap作为页面搭建框架。 jQuery进行后台交互操作。 EChart实现数据可视化。
表的方式呈现给医药电子商务商家。果。
表12-1
11
12.5 系统构架设计
12.5.2 系统协作方式
医药大数改系统的子系统间的协作方式如图12-3所 示。
图12-3
12
12.5 系统构架设计
12.5.3 系统网络拓扑
该系统的网络拓扑图如图12-4所示。医药电商系统 以批处理方式，推送采集数据给大数据分析平台， 存储到Hadoop集群，大数据报表服务器通过交换机 和集群相连。
按照每日、月度、年度来分析用户的行为数据如：浏览量、 访客 数、 访问次数 、平均访问深度等。
（2）经营状况分析
按照月度或年度来对销售状况进行统计，统计指标比如：下单金 额 、下单客户数、下单单量、下单商品件数、 客单价。
（3）大数据可视化系统
大数据技术原理及应用
大数据技术原理及应用大数据处理架构一Hadoop简介原名：Core，包含HDFS, MapReduce和其他公共项目，从Hadoop 0.21版本后，HDFS和MapReduce分离出去，其余部分内容构成Hadoop Common。
Common为其他子项目提供支持的常用工具，主要包括文件系统、RPC(Remote procedure call)和串行化库。
Avro是用于数据序列化的系统。
它提供了丰富的数据结构类型、快速可压缩的二进制数据格式、=存储持久性数据的文件集、=远程调用=RPC的功能和简单的动态语言集成功能。
―其中, 代码生成器既不需要读写文件数据，也不需要使用或实现RPC协议，它只是一个可选的对静态类型语言的实现。
Avro系统依赖于模式(Schema), Avro数据的读和写是在模式之下完成的。
这样就可以减少写入数据的开销，提高序列化的速度并缩减其大小。
Avro可以将数据结构或对象转化成便于存储和传输的格式，节约数据存储空间和网络传输带宽，Hadoop的其他子项目(如HBase和Hive)的客户端和服务端之间的数据传输。
HDFS是一个分布式文件系统，为Hadoop项目两大核心之一，是Googlefilesystem(GF0 的开源实现。
由于HDFS具有高容错性(fault-tolerant )的特点，所以可以设计部署在低廉(low-cost)的硬件上。
它可以通过提供高吞吐率(high throughput )来访问应用程序的数据，适合那些有着超大数据集的应用程序。
HDFS放宽了可移植操作系统接口 (POSIX Portable Operating System Interface )的要求，这样就可以实现以流的形式访问文件系统中的数据。
Hadoop MapReduce是针对谷歌MapReduce的开源实现，它是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
“映射”（map）、“化简” （reduce）等概念和它们的主要思想都是从函数式编程语言中借来的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
活跃
非活跃
收到消息后被唤醒
图9-3 一个简单的状态机图
顶点
边e1
String类型的顶点ID 可修改的用户自定义值
边上有一个可修改的用户自定义值
9.3.1 有向图和顶点
•在每个超步S中，图中的所有顶点都会并行执行相同的用户自定义函数 •每个顶点可以接收前一个超步(S-1)中发送给它的消息，修改其自身及其 出射边的状态，并发送消息给其他顶点，甚至是修改整个图的拓扑结构 •在这种计算模式中，“边”并不是核心对象，在边上面不会运行相应的 计算，只有顶点才会执行用户自定义函数进行相应计算
很多传统的图计算算法都存在以下几个典型问题： （1）常常表现出比较差的内存访问局部性 （2）针对单个顶点的处理工作过少 （3）计算过程中伴随着并行度的改变
9.1.2 传统图计算解决方案的不足之处
针对大型图（比如社交网络和网络图）的计算问题，可 能的解决方案及其不足之处具体如下：
•（1）为特定的图应用定制相应的分布式实现 •（2）基于现有的分布式计算平台进行图计算 •（3）使用单机的图算法库：比如BGL、LEAD、 NetworkX、JDSL、Standford GraphBase和FGL等 •（4）使用已有的并行图计算系统：比如，Parallel BGL和CGM Graph，实现了很多并行图算法
9.1.3 图计算通用软件
针对大型图的计算，目前通用的图计算软件主要包 括两种：
第一种主要是基于遍历算法的、实时的图数据库， 如Neo4j、OrientDB、DEX和 Infinite Graph
第二种则是以图顶点为中心的、基于消息传递批 处理的并行引擎，如GoldenOrb、Giraph、 Pregel和Hama，这些图处理软件主要是基于BSP 模型实现的并行图处理系统
表示顶点 表示发送消息
9.3.2 顶点之间的消息传递
采用消息传递模型主要基于以 下两个原因： （1）消息传递具有足够的表达 能力，没有必要使用远程读取 或共享内存的方式 （2）有助于提升系统整体性能
Compute()
值
消息
Compute()
值
Compute()
值
Compute()
值
图9-2 纯消息传递模型图
9.1.1 图结构数据
许多大数据都是以大规模图或网络的形式呈现 许多非图结构的大数据，也常常会被转换为图 模型后进行分析 图数据结构很好地表达了数据之间的关联性 关联性计算是大数据计算的核心——通过获得 数据的关联性，可以从噪音很多的海量数据中抽 取有用的信息
9.1.2 传统图计算解决方案的不足之处
4
出射边发送消息给其他顶点，而且，一个消
5
息可能经过多条边的传递后被发送到任意已 知ID的目标顶点上去
6
•这些消息将会在下一个超步(S+1)中被目标顶
点接收，然后象上述过程一样开始下一个超
步(S+1)的迭代过程
1
1
2
2
3
3
4
4
5
5
6
6
表示顶点 表示发送消息
9.3.3 Pregel的计算过程
•在Pregel计算过程中，一个算法什么时候可以结束，是由所有顶点 的状态决定的 •在第0个超步，所有顶点处于活跃状态 •当一个顶点不需要继续执行进一步的计算时，就会把自己的状态设 置为“停机”，进入非活跃状态 •当一个处于非活跃状态的顶点收到来自其他顶点的消息时，Pregel 计算框架必须根据条件判断来决定是否将其显式唤醒进入活跃状态 •当图中所有的顶点都已经标识其自身达到“非活跃（inactive）” 状态，并且没有消息在传送的时候，算法就可以停止运行
第十二讲 图计算
提纲
• 9.1 图计算简介 • 9.2 Pregel简介 • 9.3 Pregel图计算模型 • 9.4 Pregel的C++ API • 9.5 Pregel的体系结构 • 9.6 Pregel的应用实例 • 9.7 Hama的安装和使用
9.1 图计算简介
9.1.1 图结构数据 9.1.2 传统图计算解决方案的不足之处 9.1.3 图计算通用软件
处理器
局部计算
通讯 栅栏同步
图9-1 一个超步的垂直结构图
9.2 Pregel简介
•谷歌公司在2003年到2004年公布了GFS、MapReduce和 BigTable •谷歌在后Hadoop时代的新“三驾马车”
•Caffeine •Dremel •Pregel •Pregel是一种基于BSP模型实现的并行图处理系统 •为了解决大型图的分布式计算问题，Pregel搭建了一套可 扩展的、有容错机制的平台，该平台提供了一套非常灵活的 API，可以描述各种各样的图计算 •Pregel作为分布式图计算的计算框架，主要用于图遍历、 最短路径、PageRank计算等等
9.3.3 Pregel的计算过程
•Pregel的计算过程是由一系列被称为“超步”
的迭代组成的
•在每个超步中，每个顶点上面都会并行执行 用户自定义的函数，该函数描述了一个顶点V
1
在一个超步S中需要执行的操作
2
•该函数可以读取前一个超步(S-1)中其他顶点
3
发送给顶点V的消息，执行相应计算后，修改
顶点V及其出射边的状态，然后沿着顶点V的
9.3 Pregel图计算模型
9.3.1 有向图和顶点 9.3.2 顶点之间的消息传递 9.3.3 Pregel的计算过程 9.3.4 实例
9.3.1 有向图和顶点
•Pregel计算模型以有向图作为输入 •有向图的每个顶点都有一个String类型的顶点ID •每个顶点都有一个可修改的用户自定义值与之关联 •每条有向边都和其源顶点关联，并记录了其目标顶点ID •边上有一个可修改的用户自定义值与之关联
9.1.3 图计算通用软件
一次BSP(Bulk Synchronous Parallel Computing Model，又称“大同 步”模型)计算过程包括一系列全局超步（所谓的超步就是计算中的一 次迭代），每个超步主要包括三个组件： •局部计算：每个参与的处理器都有自身的计算任务 •通讯：处理器群相互交换数据 •栅栏同步(Barrier Synchronization)：当一个处理器遇到“路障”（或 栅栏），会等到其他所有处理器完成它们的计算步骤