第9章 大数据处理-习题答案[4页]
大数据基础练习及答案
大数据基础练习及答案【大数据基础练习及答案】一、练习题1. 什么是大数据？大数据是指规模巨大、种类繁多的数据集合，无法用传统的数据处理工具进行管理、处理和分析。
大数据通常具有高速、高容量、多样性和真实性等特点。
2. 大数据的特点有哪些？大数据的特点包括以下几个方面：- 高速性：大数据的产生速度非常快，需要实时或近实时地进行处理和分析。
- 高容量性：大数据的存储量非常大，需要使用分布式存储系统进行存储。
- 多样性：大数据的来源多样，包括结构化数据、半结构化数据和非结构化数据。
- 真实性：大数据通常是从真实的业务场景中采集而来，具有较高的真实性。
3. 大数据处理的挑战有哪些？大数据处理面临以下几个挑战：- 存储挑战：大数据的存储量巨大，传统的存储系统无法满足需求，需要使用分布式存储系统。
- 处理速度挑战：大数据的产生速度很快，需要实时或近实时地进行处理和分析，需要高效的处理系统。
- 数据质量挑战：大数据通常包含噪声和异常值，需要进行数据清洗和预处理。
- 隐私和安全挑战：大数据涉及大量的个人和敏感信息，需要保护数据的隐私和安全。
4. 大数据处理的技术有哪些？大数据处理的技术包括以下几个方面：- 分布式存储系统：如Hadoop分布式文件系统（HDFS）、Apache HBase等。
- 分布式计算框架：如Apache Spark、Apache Flink等。
- 数据清洗和预处理工具：如Apache Pig、Apache Hive等。
- 数据挖掘和机器学习算法：如K-means聚类算法、决策树算法等。
5. 大数据处理的流程有哪些？大数据处理的流程通常包括以下几个步骤：- 数据采集：从各种数据源中采集大数据，包括结构化数据、半结构化数据和非结构化数据。
- 数据清洗和预处理：对采集到的数据进行清洗、去重、填充缺失值等预处理操作，以提高数据质量。
- 数据存储：将处理后的数据存储到分布式存储系统中，如Hadoop分布式文件系统（HDFS）。
大学生大数据技术原理与应用章节测验期末考试答案
大数据技术原理与应用第1章大数据概述1单选(2分)第三次信息化浪潮的标志是：A.个人电脑的普及B.云计算、大数据、物联网技术的普及C.虚拟现实技术的普及D.互联网的普及正确答案：B你选对了2单选(2分)就数据的量级而言，1PB数据是多少TB？A.2048B.1000C.512D.1024正确答案：D你选对了3单选(2分)以下关于云计算、大数据和物联网之间的关系，论述错误的是：A.云计算侧重于数据分析B.物联网可借助于云计算实现海量数据的存储C.物联网可借助于大数据实现海量数据的分析D.云计算、大数据和物联网三者紧密相关，相辅相成正确答案：A你选对了4单选(2分)以下哪个不是大数据时代新兴的技术：A.SparkB.HadoopC.HBaseD.MySQL正确答案：D你选对了5单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于批处理的：A.MapReduceB.DremelC.StormD.Pregel正确答案：A你选对了6单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于流计算的：A.GraphXB.S4C.ImpalaD.Hive正确答案：B你选对了7单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于图计算的：A.PregelB.StormC.CassandraD.Flume正确答案：A你选对了8单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.HDFSB.S4C.DremelD.MapReduce正确答案：C你选对了9多选(3分)数据产生方式大致经历三个阶段，包括：A.运营式系统阶段B.感知式系统阶段C.移动互联网数据阶段D.用户原创内容阶段正确答案：ABD你选对了10多选(3分)大数据发展三个阶段是：A.低谷期B.成熟期C.大规模应用期D.萌芽期正确答案：BCD你选对了11多选(3分)大数据的特性包括：A.价值密度低B.处理速度快C.数据类型繁多D.数据量大正确答案：ABCD你选对了12多选(3分)图领奖获得者、著名数据库专家Jim Gray博士认为，人类自古以来在科学研究上先后经历哪几种范式：A.计算科学B.数据密集型科学C.实验科学D.理论科学正确答案：ABCD你选对了13多选(3分)大数据带来思维方式的三个转变是：A.效率而非精确B.相关而非因果C.精确而非全面D.全样而非抽样正确答案：ABD你选对了14多选(3分)大数据主要有哪几种计算模式：B.图计算C.查询分析计算D.批处理计算正确答案：ABCD你选对了15多选(3分)云计算的典型服务模式包括三种：A.SaaSB.IaaSC.MaaSD.PaaS正确答案：ABD你选对了第2章大数据处理架构Hadoop1单选(2分)启动hadoop所有进程的命令是:A.start-dfs.shB.start-all.shC.start-hadoop.shD.start-hdfs.sh正确答案：B你选对了2单选(2分)以下对Hadoop的说法错误的是：A.Hadoop是基于Java语言开发的，只支持Java语言编程B.Hadoop2.0增加了NameNode HA和Wire-compatibility两个重大特性C.Hadoop MapReduce是针对谷歌MapReduce的开源实现，通常用于大规模数据集的并行计算D.Hadoop的核心是HDFS和MapReduce正确答案：A你选对了3单选(2分)以下哪个不是Hadoop的特性:A.成本高B.支持多种编程语言C.高容错性正确答案：A你选对了4单选(2分)以下名词解释不正确的是:A.Zookeeper：针对谷歌Chubby的一个开源实现，是高效可靠的协同工作系统B.HBase：提供高可靠性、高性能、分布式的行式数据库，是谷歌BigTable的开源实现C.Hive：一个基于Hadoop的数据仓库工具，用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储D.HDFS：分布式文件系统，是Hadoop项目的两大核心之一，是谷歌GFS的开源实现正确答案：B你选对了5多选(3分)以下哪些组件是Hadoop的生态系统的组件：A.HBaseB.OracleC.HDFSD.MapReduce正确答案：ACD你选对了6多选(3分)以下哪个命令可用来操作HDFS文件:A.hadoop fsB.hadoop dfsC.hdfs fsD.hdfs dfs正确答案：ABD你选对了第3章分布式文件系统HDFS1单选(2分)HDFS的命名空间不包含:A.字节B.文件C.块D.目录正确答案：A你选对了2单选(2分)对HDFS通信协议的理解错误的是:A.客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的B.客户端通过一个可配置的端口向名称节点主动发起TCP连接，并使用客户端协议与名称节点进行交互C.名称节点和数据节点之间则使用数据节点协议进行交互D.HDFS通信协议都是构建在IoT协议基础之上的正确答案：D你选对了3单选(2分)采用多副本冗余存储的优势不包含:A.保证数据可靠性B.容易检查数据错误C.加快数据传输速度D.节约存储空间正确答案：D你选对了4单选(2分)假设已经配置好环境变量，启动Hadoop和关闭Hadoop的命令分别是:A.start-dfs.sh，stop-hdfs.shB.start-hdfs.sh，stop-hdfs.shC.start-dfs.sh，stop-dfs.shD.start-hdfs.sh，stop-dfs.sh正确答案：C你选对了5单选(2分)分布式文件系统HDFS采用主从结构模型，由计算机集群中的多个节点构成的，这些节点分为两类，一类存储元数据叫，另一类存储具体数据叫 :A.名称节点，主节点B.从节点，主节点C.名称节点，数据节点D.数据节点，名称节点正确答案：C你选对了6单选(2分)下面关于分布式文件系统HDFS的描述正确的是：A.分布式文件系统HDFS是Google Bigtable的一种开源实现B.分布式文件系统HDFS是谷歌分布式文件系统GFS（Google File System）的一种开源实现C.分布式文件系统HDFS比较适合存储大量零碎的小文件D.分布式文件系统HDFS是一种关系型数据库正确答案：B你选对了7多选(3分)以下对名称节点理解正确的是:A.名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问B.名称节点用来负责具体用户数据的存储C.名称节点通常用来保存元数据D.名称节点的数据保存在内存中正确答案：ACD你选对了8多选(3分)以下对数据节点理解正确的是:A.数据节点通常只有一个B.数据节点用来存储具体的文件内容C.数据节点的数据保存在磁盘中D.数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作正确答案：BCD你选对了9多选(3分)HDFS只设置唯一一个名称节点带来的局限性包括:A.集群的可用性B.性能的瓶颈C.命名空间的限制D.隔离问题正确答案：ABCD你选对了10多选(3分)以下HDFS相关的shell命令不正确的是:A.hadoop dfs mkdir <path>：创建<path>指定的文件夹B.hdfs dfs -rm <path>：删除路径<path>指定的文件C.hadoop fs -copyFromLocal <path1> <path2>：将路径<path2>指定的文件或文件夹复制到路径<path1>指定的文件夹中D.hadoop fs -ls <path>：显示<path>指定的文件的详细信息正确答案：AC你选对了第4章分布式数据库HBase1单选(2分)HBase是一种数据库A.行式数据库B.关系数据库C.文档数据库D.列式数据库正确答案：D你选对了2单选(2分)下列对HBase数据模型的描述错误的是:A.每个HBase表都由若干行组成，每个行由行键（row key）来标识B.HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳C.HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本D.HBase列族支持动态扩展，可很轻松地添加一个列族或列正确答案：C你选对了3单选(2分)下列说法正确的是:A.如果不启动Hadoop，则HBase完全无法使用B.HBase的实现包括的主要功能组件是库函数，一个Master主服务器和一个Region服务器C.如果通过HBase Shell插入表数据，可以插入一行数据或一个单元格数据D.Zookeeper是一个集群管理工具，常用于分布式计算，提供配置维护、域名服务、分布式同步等正确答案：D你选对了4单选(2分)在HBase数据库中，每个Region的建议最佳大小是：A.2GB-4GBB.100MB-200MBC.500MB-1000MBD.1GB-2GB正确答案：D你选对了5单选(2分)HBase三层结构的顺序是:A.Zookeeper文件，.MEATA.表，-ROOT-表B.-ROOT-表，Zookeeper文件，.MEATA.表C.Zookeeper文件，-ROOT-表，.MEATA.表D..MEATA.表，Zookeeper文件，-ROOT-表正确答案：C你选对了6单选(2分)客户端是通过级寻址来定位Region:A.三B.二C.一D.四正确答案：A你选对了7单选(2分)关于HBase Shell命令解释错误的是:A.create：创建表B.put：向表、行、列指定的单元格添加数据C.list：显示表的所有数据D.get：通过表名、行、列、时间戳、时间范围和版本号来获得相应单元格的值正确答案：C你选对了8多选(3分)下列对HBase的理解正确的是：A.HBase是针对谷歌BigTable的开源实现B.HBase是一种关系型数据库，现成功应用于互联网服务领域C.HBase是一个行式分布式数据库，是Hadoop生态系统中的一个组件D.HBase多用于存储非结构化和半结构化的松散数据正确答案：AD你选对了9多选(3分)HBase和传统关系型数据库的区别在于哪些方面:A.数据操作B.数据索引C.数据模型D.存储模式正确答案：ABCD你选对了10多选(3分)访问HBase表中的行，有哪些方式:A.通过某列的值区间B.全表扫描C.通过一个行健的区间来访问D.通过单个行健访问正确答案：BCD你选对了第5章 NoSQL数据库1单选(2分)下列关于NoSQL数据库和关系型数据库的比较，不正确的是：A.NoSQL数据库很容易实现数据完整性，关系型数据库很难实现数据完整性B.NoSQL数据库缺乏统一的查询语言，而关系型数据库有标准化查询语言C.NoSQL数据库的可扩展性比传统的关系型数据库更好D.NoSQL数据库具有弱一致性，关系型数据库具有强一致性正确答案：A你选对了2单选(2分)以下对各类数据库的理解错误的是:A.键值数据库的键是一个字符串对象，值可以是任意类型的数据，比如整型和字符型等B.文档数据库的数据是松散的，XML和JSON 文档等都可作为数据存储在文档数据库中C.图数据库灵活性高，支持复杂的图算法，可用于构建复杂的关系图谱D.HBase数据库是列族数据库，可扩展性强，支持事务一致性正确答案：D你选对了3单选(2分)下列数据库属于文档数据库的是:A.MySQLB.RedisC.MongoDBD.HBase正确答案：C你选对了4单选(2分)NoSQL数据库的三大理论基石不包括:A.最终一致性B.BASEC.ACIDD.CAP正确答案：C你选对了5多选(3分)关于NoSQL数据库和关系数据库，下列说法正确的是：A.NoSQL数据库可支持超大规模数据存储，具有强大的横向扩展能力B.NoSQL数据库和关系数据库各有优缺点，但随着NoSQL的发展，终将取代关系数据库C.大多数NoSQL数据库很难实现数据完整性D.关系数据库有关系代数理论作为基础，NoSQL数据库没有统一的理论基础正确答案：ACD你选对了6多选(3分)NoSQL数据库的类型包括：A.键值数据库B.列族数据库C.文档数据库D.图数据库正确答案：ABCD你选对了7多选(3分)CAP是指:A.一致性B.可用性C.持久性D.分区容忍性正确答案：ABD你选对了8多选(3分)NoSQL数据库的BASE特性是指:A.软状态B.持续性C.最终一致性D.基本可用正确答案：ACD你选对了第6章云数据库1单选(2分)下列Amazon的云数据库属于关系数据库的是：A.Amazon SimpleDBB.Amazon DynamoDBC.Amazon RDSD.Amazon Redshift正确答案：C你选对了2单选(2分)下列关于UMP系统的说法不正确的是:A.Controller服务器向UMP集群提供各种管理服务，实现集群成员管理、元数据存储等功能B.Agent服务器部署在运行MySQL进程的机器上，用来管理每台物理机上的MySQL实例C.UMP系统是低成本和高性能的MySQL云数据库方案D.Mnesia是UMP系统的一个组件，是一个分布式数据库管理系统，且不支持事务正确答案：D你选对了3多选(3分)UMP依赖的开源组件包括A.LVSB.ZooKeeperC.MnesiaD.RabbitMQ正确答案：ABCD你选对了4多选(3分)在UMP系统中，Zookeeper主要发挥的作用包括:A.监控所有MySQL实例B.负责集群负载均衡C.提供分布式锁，选出一个集群的“总管”D.作为全局的配置服务器正确答案：ACD你选对了5多选(3分)UMP系统设计了哪些机制来保证数据安全:A.记录用户操作日志B.数据访问IP白名单C.SSL数据库连接D.SQL拦截正确答案：ABCD你选对了第7章 MapReduce1单选(2分)下列说法错误的是:A.Map函数将输入的元素转换成<key,value>形式的键值对B.Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写C.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个SlaveD.不同的Map任务之间不能互相通信正确答案：B你选对了2单选(2分)在使用MapReduce程序WordCount进行词频统计时，对于文本行“hello hadoop hello world”，经过WordCount程序的Map函数处理后直接输出的中间结果，应是下面哪种形式：A.<"hello",1,1>、<"hadoop",1>和<"world",1>B.<"hello",2>、<"hadoop",1>和<"world",1>C.<"hello",<1,1>>、<"hadoop",1>和<"world",1>D.<"hello",1>、<"hello",1>、<"hadoop",1>和<"world",1>正确答案：D你选对了3单选(2分)对于文本行“hello hadoop hello world”，经过WordCount的Reduce函数处理后的结果是:A.<"hello",<1,1>><"hadoop",1><"world",1>B.<"hello",1><"hello",1><"hadoop",1><"world",1>C.<"hello",1,1><"hadoop",1><"world",1>D.<"hello",2><"hadoop",1><"world",1>正确答案：B你选对了4多选(3分)下列关于传统并行计算框架（比如MPI）和MapReduce并行计算框架比较正确的是：A.前者所需硬件价格贵，可扩展性差，后者硬件便宜，扩展性好B.前者相比后者学习起来更难C.前者是共享式(共享内存/共享存储)，容错性差，后者是非共享式的，容错性好D.前者适用于实时、细粒度计算、计算密集型，后者适用于批处理、非实时、数据密集型正确答案：ABCD你选对了5多选(3分)MapReduce1.0的体系结构主要由哪几个部分组成:A.JobTrackerB.TaskTrackerC.ClientD.Task正确答案：ABCD你选对了第8章 Hadoop再探讨1单选(2分)下列说法正确的是:A.HDFS HA可用性不好B.第二名称节点是热备份C.HDFS HA提供高可用性，可实现可扩展性、系统性能和隔离性D.第二名称节点无法解决单点故障问题正确答案：D你选对了2单选(2分)HDFS Federation设计不能解决“单名称节点”存在的哪个问题:A.单点故障问题B.HDFS集群扩展性C.性能更高效D.良好的隔离性正确答案：A你选对了3多选(3分)下列哪些是Hadoop1.0存在的问题：A.抽象层次低B.表达能力有限C.开发者自己管理作业之间的依赖关系D.执行迭代操作效率低正确答案：ABCD你选对了下列对Hadoop各组件的理解正确的是:A.Oozie:工作流和协作服务引擎B.Pig：处理大规模数据的脚本语言C.Kafka：分布式发布订阅消息系统D.Tez：支持DAG作业的计算框架正确答案：ABCD你选对了5多选(3分)对新一代资源管理调度框架YARN的理解正确的是:A.YARN既是资源管理调度框架，也是一个计算框架B.MapReduce2.0是运行在YARN之上的计算框架，由YARN来为MapReduce提供资源管理调度服务C.YARN可以实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架D.YARN的体系结构包含三个组件：ResourceManager，NodeManager，ApplicationMaster正确答案：BCD你选对了第9章数据仓库Hive1单选(2分)下列有关Hive和Impala的对比错误的是:A.Hive与Impala中对SQL的解释处理比较相似，都是通过词法分析生成执行计划B.Hive与Impala使用相同的元数据C.Hive适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询D.Hive在内存不足以存储所有数据时，会使用外存，而Impala也是如此正确答案：D你选对了2单选(2分)下列关于Hive基本操作命令的解释错误的是:A.create table if not exists usr(id bigint,name string,age int);//如usr表不存在，创建表usr，含三个属性id,name,ageB.load data local inpath ‘/usr/local/data’ overwrite into table usr; //把目录’/usr/local/data’下的数据文件中的数据以追加的方式装载进usr表C.create database userdb;//创建数据库userdbD.insert overwrite table student select * from user where age>10; //向表usr1中插入来自usr表的age大于10的数据并覆盖student表中原有数据正确答案：B你选对了下列说法正确的是：A.Impala和Hive、HDFS、HBase等工具可统一部署在一个Hadoop平台上B.数据仓库Hive不需要借助于HDFS就可完成数据的存储C.Hive本身不存储和处理数据，依赖HDFS存储数据，依赖MapReduce处理数据D.HiveQL语法与传统的SQL语法很相似正确答案：ACD你选对了4多选(3分)Impala主要由哪几个部分组成:A.HiveB.ImpaladC.State StoreD.CLI正确答案：BCD你选对了5多选(3分)以下属于Hive的基本数据类型是:A.BINARYB.STRINGC.FLOATD.TINYINT正确答案：ABCD你选对了第10章 Spark1单选(2分)Spark SQL目前暂时不支持下列哪种语言:A.PythonB.JavaC.ScalaD.Lisp正确答案：D你选对了2单选(2分)RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是:A.groupByB.filterC.countD.map正确答案：C你选对了3单选(2分)下列说法错误的是：A.在选择Spark Streaming和Storm时，对实时性要求高（比如要求毫秒级响应）的企业更倾向于选择流计算框架StormB.RDD采用惰性调用，遇到“转换(Transformation)”类型的操作时，只会记录RDD生成的轨迹，只有遇到“动作(Action)”类型的操作时才会触发真正的计算C.Spark支持三种类型的部署方式：Standalone，Spark on Mesos，Spark on YARND.RDD提供的转换接口既适用filter等粗粒度的转换，也适合某一数据项的细粒度转换正确答案：D你选对了4单选(2分)下列关于常见的动作（Action）和转换（Transformation）操作的API解释错误的是:A.filter(func)：筛选出满足函数func的元素，并返回一个新的数据集B.map(func)：将每个元素传递到函数func中，并将结果返回为一个新的数据集C.count()：返回数据集中的元素个数D.take(n)：返回数据集中的第n个元素正确答案：D你选对了5单选(2分)下列大数据处理类型与其对应的软件框架不匹配的是:A.复杂的批量数据处理：MapReduceB.基于历史数据的交互式查询：ImpalaC.基于实时数据流的数据处理：StormD.图结构数据的计算：Hive正确答案：D你选对了6多选(3分)Apache软件基金会最重要的三大分布式计算系统开源项目包括：A.OracleB.HadoopC.StormD.Spark正确答案：ABC你选对了7多选(3分)Spark的主要特点包括:A.运行模式多样B.运行速度快C.通用性好D.容易使用正确答案：ABCD你选对了8多选(3分)下列关于Scala的说法正确的是:A.Scala运行于Java平台，兼容现有的Java程序B.Scala具备强大的并发性，支持函数式编程C.Scala是一种多范式编程语言D.Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言正确答案：ABCD你选对了9多选(3分)Spark的运行架构包括:A.运行作业任务的工作节点 Worker NodeB.每个工作节点上负责具体任务的执行进程 ExecutorC.每个应用的任务控制节点 DriverD.集群资源管理器 Cluster Manager正确答案：ABCD你选对了第11章流计算1单选(2分)流计算秉承一个基本理念，即数据的价值随着时间的流逝而，如用户点击流：A.降低B.不确定C.不变D.升高正确答案：A你选对了2单选(2分)Hadoop运行的是MapReduce任务，类似地，Storm运行的任务叫做A.SpoutB.BoltC.TupleD.Topology正确答案：D你选对了3多选(3分)对于一个流计算系统来说，它应达到如下哪些需求:A.海量式B.高性能C.分布式D.实时性正确答案：A、B、C、D你选对了4多选(3分)数据采集系统的基本架构包括哪些部分:A.ControllerB.StoreC.AgentD.Collector正确答案：B、C、D你选对了5多选(3分)以下哪些是开源的流计算框架:A.Facebook PumaB.Yahoo! S4C.IBM InfoSphere StreamsD.Twitter Storm正确答案：B、D你选对了6多选(3分)下面哪几个属于Storm中的Stream Groupings的分组方式:A.按照字段分组B.广播发送C.随机分组D.全局分组正确答案：A、B、C、D你选对了第12章 Flink1单选(2分)以下哪个不是Flink的优势：A.同时支持高吞吐、低延迟、高性能B.不支持增量迭代C.同时支持流处理和批处理D.支持有状态计算正确答案：B你选对了2单选(2分)在Flink中哪个是基于批处理的图计算库：A.SQL&Table库B.FlinkMLC.GellyD.CEP正确答案：C你选对了3多选(3分)下面关于Flink的说法正确的是：A.Flink起源于Stratosphere 项目，该项目是在2010年到2014年间由柏林工业大学、柏林洪堡大学和哈索普拉特纳研究所联合开展的B.Flink可以同时支持实时计算和批量计算C.Flink不是Apache软件基金会的项目D.Flink是Apache软件基金会的5个最大的大数据项目之一正确答案：A、B、D你选对了4多选(3分)Flink的主要特性包括：A.精确一次的状态一致性保障B.批流一体化C.精密的状态管理D.事件时间支持正确答案：A、B、C、D你选对了5多选(3分)下面论述正确的是：A.Spark Streaming通过采用微批处理方法实现高吞吐和容错性，但是牺牲了低延迟和实时处理能力B.Storm虽然可以做到低延迟，但是无法实现高吞吐，也不能在故障发生时准确地处理计算状态C.流处理架构需要具备低延迟、高吞吐和高性能的特性，而目前从市场上已有的产品来看，只有Flink 可满足要求D.Flink实现了Google Dataflow流计算模型，是一种兼具高吞吐、低延迟和高性能的实时流计算框架，并且同时支持批处理和流处理正确答案：A、B、C、D你选对了6多选(3分)Flink常见的应用场景包括：A.数据流水线应用B.事件驱动型应用C.地图应用D.数据分析应用正确答案：A、B、D你选对了7多选(3分)Flink核心组件栈分为哪三层：A.物理部署层B.Runtime核心层C.Core层D.API&Libraries层正确答案：A、B、D你选对了8多选(3分)Flink有哪几种部署模式：A.运行在GCE（谷歌云服务）和EC2（亚马逊云服务）上B.YARN集群模式C.Standalone集群模式D.Local模式正确答案：A、B、C、D你选对了9多选(3分)Flink系统主要由两个组件组成，分别为:A.JobManagerB.JobSchedulerC.TaskSchedulerD.TaskManager正确答案：A、D你选对了10多选(3分)在编程模型方面，Flink 提供了不同级别的抽象，以开发流或批处理作业，主要包括哪几个级别的抽象：A.DataStream API（有界或无界流数据）以及 DataSet API（有界数据集）B.Table APIC.状态化的数据流接口D. SQL正确答案：A、B、C、D你选对了第13章图计算1单选(2分)Pregel是一种基于模型实现的并行图处理系统:A.TSPB.STPC.BSPD.SBP正确答案：C你选对了2单选(2分)谷歌在后Hadoop时代的新“三驾马车”不包括:A.CaffeineB.DremelC. PregelD.Hama正确答案：D你选对了3多选(3分)下列哪些是以图顶点为中心的，基于消息传递批处理的并行图计算框架：A.HamaB.GiraphC.PregelD.Neo4j正确答案：A、B、C你选对了4多选(3分)以下关于Pregel图计算框架说法正确的是:A.通常只对满足交换律和结合律的操作才会开启Combiner功能B.Pregel采用检查点机制来实现容错C.对于全局拓扑改变，Pregel采用了惰性协调机制D.Aggregator提供了一种全局通信、监控和数据查看的机制正确答案：A、B、C、D你选对了第14章大数据在不同领域的应用1单选(2分)下列说法错误的是：A.ItemCF算法推荐的是那些和目标用户之前喜欢的物品类似的其他物品B.基于用户的协同过滤算法（简称UserCF算法）是目前业界应用最多的算法erCF算法推荐的是那些和目标用户有共同兴趣爱好的其他用户所喜欢的物品erCF算法的推荐更偏向社会化，而ItemCF算法的推荐更偏向于个性化正确答案：B你选对了2多选(3分)推荐方法包括哪些类型:A.专家推荐B.协同过滤推荐C.基于内容的推荐D.基于统计的推荐正确答案：A、B、C、D你选对了期末试卷1单选(2分)数据产生方式的变革主要经历了三个阶段，以下哪个不属于这三个阶段：A.运营式系统阶段B.感知式系统阶段C.数据流阶段D.用户原创内容阶段正确答案：C你选对了2单选(2分)第三次信息化浪潮的发生标志是以下哪种技术的普及：A.互联网B.CPUC.物联网、云计算和大数据D.个人计算机正确答案：C你选对了3单选(2分)在Flink中哪个是基于批处理的图计算库：A.SQL&Table库B.CEPC. GellyD. FlinkML正确答案：C你选对了4单选(2分)Hadoop的两大核心是和A.MapReduce; HBaseB. HDFS; HBaseC.HDFS; MapReduceD.GFS; MapReduce正确答案：C你选对了5单选(2分)HDFS默认的一个块大小是A.64MBB.8KBC. 32KBD.16KB正确答案：A你选对了6单选(2分)在分布式文件系统HDFS中，负责数据的存储和读取:A.数据节点B.第二名称节点C.名称节点D.主节点正确答案：A你选对了7单选(2分)上传当前目录下的本地文件file.txt到分布式文件系统HDFS的“/path”目录下的Shell命令是：A.hdfs dfs -put /path file.txtB.hadoop dfs -put /path file.txtC.hdfs fs -put file.txt /pathD.hdfs dfs -put file.txt /path正确答案：D你选对了8单选(2分)在HDFS根目录下创建一个文件夹/test，且/test文件夹内还包含一个文件夹dir，正确的shell命令是:A.hadoop fs -mkdir -p /test/dirB.hdfs fs -mkdir -p /test/dirC.hadoop dfs -mkdir /test/dirD.hdfs dfs *mkdir -p /test/dir正确答案：A你选对了9单选(2分)下列有关HBase的说法正确的是：A.在向数据库中插入记录时，HBase和关系数据库一样，每次都是以“行”为单位把整条记录插入数据库B.HBase是针对谷歌BigTable的开源实现，是高可靠、高性能的图数据库C.HBase是一种NoSQL数据库。
2024年大数据应用及处理技术能力知识考试题库与答案
2024年大数据应用及处理技术能力知识考试题库与答案一、单选题1.当图像通过信道传输时，噪声一般与（）无关。
A、信道传输的质量B、出现的图像信号C、是否有中转信道的过程D、图像在信道前后的处理参考答案：B2.在留出法、交叉验证法和自助法三种评估方法中，（）更适用于数据集较小、难以划分训练集和测试集的情况。
A、留出法B、交叉验证法C、自助法D、留一法参考答案：C3.在数据科学中，通常可以采用（）方法有效避免数据加工和数据备份的偏见。
A、A/B测试B、训练集和测试集的划分C、测试集和验证集的划分D、图灵测试参考答案：A4.下列不属于深度学习内容的是(_)oA、深度置信网络B、受限玻尔兹曼机C、卷积神经网络D、贝叶斯学习参考答案：D5.在大数据项目中，哪个阶段可能涉及使用数据工程师来优化数据查询性能？A、数据采集B、数据清洗C、数据存储与管理D、数据分析与可视化参考答案：C6.假定你现在训练了一个线性SVM并推断出这个模型出现了欠拟合现象，在下一次训练时，应该采取下列什么措施（）A、增加数据点B、减少数据点C、增加特征D、减少特征参考答案：C7.两个变量相关，它们的相关系数r可能为0?这句话是否正确0A、正确B、错误参考答案：A8.一幅数字图像是（）。
A、一个观测系统B、一个由许多像素排列而成的实体C、一个2-D数组中的元素D、一个3-D空间中的场景参考答案：C9.以下说法正确的是：（）。
一个机器学习模型,如果有较高准确率，总是说明这个分类器是好的如果增加模型复杂度，那么模型的测试错误率总是会降低如果增加模型复杂度,那么模型的训练错误率总是会降低A、1B、2C、3D、land3参考答案：c10.从网络的原理上来看，结构最复杂的神经网络是0。
A、卷积神经网络B、长短时记忆神经网络C、GRUD、BP神经网络参考答案：B11.LSTM中，（_）的作用是确定哪些新的信息留在细胞状态中，并更新细胞状态。
A、输入门B、遗忘门G输出门D、更新门参考答案：A12.Matplotiib的核心是面向（）。
《大数据算法》章节测试题与答案
《大数据算法》章节测试题与答案1.11.以下关于大数据的特点,叙述错误的是()。
答案：速度慢A、速度慢B、多元、异构C、数据规模大D、基于高度分析的新价值2.在《法华经》中,“那由他”描写的“大”的数量级是()。
答案：10^28A、10^7B、10^14C、10^28D、10^563.以下选项中,大数据涉及的领域中包括()。
答案：社交网络计算机艺术医疗数据A、社交网络B、医疗数据C、计算机艺术D、医疗数据4.大数据的应用包括()。
答案：推荐科学研究预测商业情报分析A、预测B、推荐C、商业情报分析D、科学研究5.目前,关于大数据已有公认的确定定义。
×6.大数据种类繁多,在编码方式、数据格式、应用特征等方面都存在差异。
()√1.21.大数据求解计算问题过程的第三步一般是()。
答案：算法设计与分析A、判断可计算否B、判断能行可计算否C、算法设计与分析D、用计算机语言实现算法2.在大数据求解计算问题中,判断是否为能行可计算的因素包括()。
答案：资源约束数据量时间约束A、数据量B、资源约束C、速度约束D、时间约束3.大数据求解计算问题过程的第一步是确定该问题是否可计算。
√4.大数据计算模型与一般小规模计算模型一样,都使用的是图灵机模型。
√1.31.资源约束包括()。
答案：网络带宽外存CPU内存A、CPUB、网络带宽C、内存D、外存2.大数据算法可以不是()。
答案：精确算法串行算法内存算法A、云计算B、精确算法C、内存算法D、串行算法3.大数据算法是在给定的时间约束下,以大数据为输入,在给定资源约束内可以生成满足给定约束结果的算法。
×4.MapReduce是一种比较好实现大数据算法的编程架构,在生产中得到广泛应用。
√5.大数据算法是仅在电子计算机上运行的算法。
×1.41.众包算法是用来解决()。
答案：计算机计算能力不足或知识不足,需要人来帮忙A、访问全部数据时间过长B、数据难于放入内存计算C、单个计算机难以保存全部数据,计算需要整体数据D、计算机计算能力不足或知识不足,需要人来帮忙2.大数据算法存在很多难题,对于访问全部数据时间过长的问题,采用的解决方案是()。
大数据试题及答案
大数据试题及答案一、选择题1. 以下哪项技术不是大数据处理的核心技术？A. 分布式存储B. 分布式计算C. 数据挖掘D. 关系型数据库答案：D2. 以下哪个大数据处理框架是Apache软件基金会开发的？A. HadoopB. SparkC. FlinkD. All of the above答案：D3. 在大数据技术中，以下哪个技术用于实现数据的分布式存储？A. HDFSB. HBaseC. RedisD. Kafka答案：A4. 以下哪个大数据技术用于实现数据的分布式计算？A. MapReduceB. StormC. SparkD. Hive答案：A5. 以下哪个大数据技术用于实现实时数据处理？A. HadoopB. Spark StreamingC. FlinkD. Kafka答案：C二、填空题1. 大数据处理技术主要包括________、________、________和________。
答案：分布式存储、分布式计算、数据挖掘、数据可视化2. Hadoop框架中的________用于分布式存储，________用于分布式计算。
答案：HDFS、MapReduce3. 在大数据技术中，________是用于实现实时数据流处理的技术，________是用于实现实时计算的技术。
答案：Kafka、Flink4. 以下属于大数据应用场景的有：________、________、________。
答案：金融风控、智能推荐、物联网三、判断题1. 大数据技术仅适用于处理大规模数据集。
（）答案：错误。
大数据技术不仅可以处理大规模数据集，还可以应用于中小数据集，提高数据处理和分析的效率。
2. Hadoop是一个开源的大数据处理框架，可以用于分布式存储和分布式计算。
（）答案：正确。
3. Spark比Hadoop更适用于实时数据处理。
（）答案：正确。
Spark具有更高的数据处理速度，可以满足实时数据处理的需求。
四、简答题1. 简述大数据技术的特点和挑战。
《大数据》答案
题目1Python的特点：（）。
选择一项或多项：a. 简单高效b. Python是一种动态解释型的编程语言c. Python可以多平台运行d. 弱类型语言正确答案是：Python是一种动态解释型的编程语言, Python可以多平台运行, 简单高效, 弱类型语言题目2云计算、物联网、大数据、人工智能代表了人类IT技术的最新发展趋势。
选择一项：对错正确的答案是“对”。
题目3人类在科学研究上经过了实验科学、理论科学、计算科学（）选择一项：a. 思维科学b. 模拟科学c. 数据密集型科学d. 想象科学正确答案是：数据密集型科学题目4大数据的特点有哪些（）。
选择一项或多项：a. 价值密度b. 数据类型的多样化c. 时效性d. 海量化的数据正确答案是：海量化的数据, 数据类型的多样化, 时效性, 价值密度题目5随着Web2.0的兴起，（）迅速增加。
选择一项：a. 非结构化数据b. 信息c. 结构化数据d. 数字正确答案是：非结构化数据题目6以下关于计算机视觉，描述错误的是：（）。
选择一项：a. 计算机视觉是一门研究如何使机器“看”的科学b. 计算机视觉是一门综合性的学科c. 语音识别属于计算机视觉的典型应用d. 是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量的机器视觉正确答案是：语音识别属于计算机视觉的典型应用题目7计算机系统中的数据组织形式主要有两种，分别是：（）。
选择一项或多项：a. 数据库b. 音频c. 视频d. 文件正确答案是：文件, 数据库题目8Python和Excel都可以用来处理大数据。
选择一项：对错正确的答案是“对”。
题目9字节是用于存储数据的计量单位，一个字节相当于八位长二进制数据。
选择一项：对错正确的答案是“对”。
题目10Python脚本文件的扩展名为（）。
选择一项：a. pgb. pyc. pythond. pt正确答案是：py题目11音频是指存储声音内容的文件，包括MPEG-4、AVI等。
大数据的考试题目和答案
大数据的考试题目和答案一、单项选择题（每题2分，共20分）1. 大数据的核心特征不包括以下哪一项？A. 体量大B. 速度快C. 价值密度高D. 多样性答案：C2. Hadoop的核心组件不包括以下哪一项？A. HDFSB. MapReduceC. HiveD. Spark答案：D3. 在大数据时代，以下哪种技术不是处理数据的关键技术？A. 数据挖掘B. 机器学习C. 云计算D. 传统数据库答案：D4. 下列哪个不是大数据应用的领域？A. 金融B. 医疗C. 教育D. 农业答案：C5. 以下哪个不是大数据的存储技术？A. NoSQL数据库B. 云存储C. 传统关系型数据库D. 分布式文件系统答案：C6. 大数据的4V特性中，哪个代表数据的准确性？A. VolumeB. VelocityC. VarietyD. Veracity答案：D7. 以下哪个不是大数据分析的步骤？A. 数据收集B. 数据清洗C. 数据存储D. 数据解释答案：D8. 以下哪个不是大数据的来源？A. 社交媒体B. 传感器数据C. 传统数据库D. 纸质文档答案：D9. 在大数据技术中，以下哪个不是数据挖掘的算法？A. 决策树B. 聚类分析C. 线性回归D. 神经网络答案：C10. 大数据的实时处理技术不包括以下哪一项？A. StormB. FlinkC. HadoopD. Spark Streaming答案：C二、多项选择题（每题3分，共15分）11. 大数据技术可以应用于以下哪些行业？A. 零售B. 交通C. 教育D. 娱乐答案：ABCD12. 大数据的挑战包括以下哪些方面？A. 数据安全B. 数据隐私C. 数据存储D. 数据分析答案：ABCD13. 以下哪些是大数据的存储解决方案？A. 数据仓库B. 数据湖C. 云存储D. 传统数据库答案：ABC14. 以下哪些是大数据处理框架？A. HadoopB. SparkC. StormD. TensorFlow答案：ABC15. 大数据的分析方法包括以下哪些？A. 描述性分析B. 诊断性分析C. 预测性分析D. 规范性分析答案：ABCD三、判断题（每题2分，共10分）16. 大数据技术只能用于处理结构化数据。
林子雨大数据技术原理及应用第九章答案
大数据第九章课后题答案——图计算黎狸1.试述BSP模型中超步的3个组件及具体含义。
①局部通信。
每个参与的处理器都有自身的计算任务，它们只读取存储在本地内存中的值，不同处理器的计算任务都是异步并且独立的。
②通信。
处理器群相互交换数据，交换的形式是，由一方发起推送（Put）和获取（Get）操作③栅栏同步。
当一个处理器遇到“路障”（或栅栏），会等其他所有的处理器完成它们的计算步骤；每一次同步也是一个超步的完成和下一个超步的开始。
2.Pregel 为什么选择一种纯消息传递模型?采用这种做法主要基于以下两个原因：②息传递具有足够的表达能力，没有必要使用远程读取或共享内存的方式。
②有助于提升系统整体性能。
大型图计算通常是由一个集群完成的，集群环境中执行远程数据读取会有较高的时间延迟；Pregel的消息模式采用异步和批量的方式传递消息，因此可以缓解远程读取的延迟。
3.给定一个连通图，如图9-9所示。
请给出采用Pregel模型计算上图中顶点最大值的计算过程。
其中寻找最大值的函数可以通过继承Pregel中已预定义好的一个基类--- Vertex 类实现，请实现该函数。
4.请简述Aggregator的作用，并以具体Aggregator的例子做说明。
Aggregator提供了一种全局通信、监控和数据查看的机制。
Aggregator的聚合功能，允许在整型和字符串类型上执行最大值、最小值、求和操作，比如可以定义一个“Sum”Aggregator来统计每个顶点的出射边数量，最后相加可以得到整个图的边的数量。
Aggregator还可以实现全局协同的功能，比如当可以设计“and”Aggregator来决定在某个超步中Compute（）函数是否执行某些逻辑分支，只有当“and”Aggregator显示所有顶点都满足了某条件时，才去执行这些逻辑分支。
5.假设在同一个超步中，两个请求同时要求增加同一个顶点，但初始值不一样。
Pregel 中可以采用什么机制解决该冲突?6.简述Pregel的执行过程。
大数据处理与分析考试试题及答案
大数据处理与分析考试试题及答案一、选择题1. 大数据的定义是以下哪一项？A. 数据量超过1TB的数据B. 数据量超过100TB的数据C. 数据量超过1PB的数据D. 数据量超过1EB的数据答案：C. 数据量超过1PB的数据2. 大数据处理的特点是以下哪一项？A. 数据量大B. 处理速度快C. 数据种类繁多D. 数据质量高答案：A. 数据量大3. 下列哪项属于大数据处理的挑战？A. 存储问题B. 安全问题C. 隐私问题D. 数据质量问题答案：B. 安全问题4. Hadoop是以下哪一个大数据处理框架的代表？A. Apache SparkB. Apache CassandraC. MapReduceD. Apache Kafka答案：C. MapReduce5. 大数据分析的目的是以下哪一项？A. 提高数据存储能力B. 增加数据处理速度C. 发现潜在的业务机会D. 优化数据传输效率答案：C. 发现潜在的业务机会二、填空题1. 关系数据库一般使用______作为数据查询语言。
(SQL)2. 数据治理是保证数据______、______、______和______的一种管理方式。
(准确性、可用性、完整性、安全性)3. 在大数据处理中，______是指对数据进行有效的汇总和调整，以适应分析或查询的需要。
(数据聚合)4. ______是一种数据存储和访问模式，能够有效地存储和查询大规模分布式数据。
(分布式文件系统)5. 大数据分析的常用技术包括______、______和______等。
(机器学习、数据挖掘、自然语言处理)三、简答题1. 请简述大数据处理的四个V特点。
答：大数据处理的四个V特点分别是：Volume（数据量大）、Velocity（处理速度快）、Variety（数据种类繁多）和Value（价值密度低）。
Volume表示大数据的特点是数据量巨大，超出了传统数据库的处理能力；Velocity表示大数据处理需要在短时间内进行高速处理；Variety表示大数据包括结构化数据、非结构化数据和半结构化数据等多种数据类型；Value表示大数据中包含了大量的背景信息和潜在的商业价值。
大数据复习题(答案)
大数据复习题(答案)大数据复习题（答案）1、大数据概述1.1 什么是大数据？大数据是指数据量太大、速度太快或种类太多，以至于无法通过传统的数据管理工具进行处理和分析的数据集合。
1.2 大数据的特征- 体量大：数据量通常以TB、PB、甚至EB计量。
- 速度快：数据的获取和处理速度要求很高。
- 多样性：数据类型和格式多样，包括结构化数据、半结构化数据和非结构化数据。
1.3 大数据的价值大数据具有挖掘价值和应用价值，可以帮助企业和组织发现潜在商机、预测趋势、精确定位目标用户、提高决策效率等。
2、大数据处理技术2.1 数据采集与存储- 数据采集：包括传感器数据、日志数据、用户行为数据等的收集和提取。
- 数据存储：传统的关系型数据库、NoSQL数据库和Hadoop分布式文件系统等。
2.2 数据清洗与预处理数据清洗和预处理是为了解决大数据中存在的异常数据、重复数据、缺失数据等问题，保证数据的准确性和一致性。
2.3 数据分析与挖掘- 数据分析：对数据进行统计、分布、趋势和关联等的分析。
- 数据挖掘：通过机器学习、模式识别、聚类和分类等方法，从数据中发现隐藏的模式和规律。
2.4 数据可视化与展示通过图表、地图、仪表盘等形式将数据结果进行可视化展示，便于用户理解和决策。
3、大数据分析算法3.1 关联分析算法关联分析是挖掘数据中的关联规则，找出数据中项之间的频繁项集和置信度较高的规则。
3.2 聚类分析算法聚类分析是将数据集中的对象按照某种相似度度量进行分组，使得同一组内的对象相似度较高，不同组间的对象相似度较低。
3.3 分类分析算法分类分析通过训练样本和已知类别来建立分类模型，然后将新的样本通过模型进行分类。
3.4 预测分析算法预测分析利用历史数据来预测未来的趋势和发展，为决策提供依据。
4、附件本文档涉及的附件包括相关的数据样本、数据处理代码、分析结果图表等。
5、法律名词及注释5.1 隐私保护指个人信息的收集、使用和存储等活动需要遵守相关的法律法规，并保证个人信息的安全性和保密性。
林子雨大数据技术原理与应用答案(全)
林子雨大数据技术原理及应用课后题答案大数据第一章大数据概述课后题 (1)大数据第二章大数据处理架构Hadoop课后题 (5)大数据第三章Hadoop分布式文件系统课后题 (10)大数据第四章分布式数据库HBase课后题 (16)大数据第五章NoSQl数据库课后题 (22)大数据第六章云数据库课后作题 (28)大数据第七章MapReduce课后题 (34)大数据第八章流计算课后题 (41)大数据第九章图计算课后题 (50)大数据第十章数据可视化课后题 (53)大数据第一章课后题——大数据概述1.试述信息技术发展史上的3次信息化浪潮及其具体内容。
第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。
代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。
第二次信息化浪潮1995年前后进入互联网时代。
代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。
第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。
2.试述数据产生方式经历的几个阶段。
经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。
用户原创内容阶段Web2.0时代。
感知式系统阶段物联网中的设备每时每刻自动产生大量数据。
3.试述大数据的4个基本特征。
数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4.试述大数据时代的“数据爆炸”特性。
大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。
5.科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。
例如：牛一，牛二，牛三定律。
计算设计算法并编写相应程序输入计算机运行。
数据以数据为中心，从数据中发现问题解决问题。
6.试述大数据对思维方式的重要影响。
全样而非抽样效率而非精确相关而非因果7.大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。
智慧树知到大数据工具应用章节测试答案
智慧树知到大数据工具应用章节测试答案第一题：大数据工具是指用于处理大规模数据的软件和技术工具。
它们能够帮助用户快速、高效地处理和分析海量数据，从而发现数据中隐藏的规律和价值。
大数据工具的应用范围非常广泛，包括数据清洗、数据存储、数据分析、数据可视化等方面。
第二题：Hadoop是一种分布式计算框架，主要用于存储和处理大规模数据。
它由Hadoop分布式文件系统（HDFS）和Hadoop分布式计算框架（MapReduce）两部分组成。
HDFS用于将数据分布式存储在多台机器上，而MapReduce则用于将数据分布式处理和计算。
Hadoop具有高可靠性、高扩展性和高容错性的特点，适用于处理大规模数据。
第三题：Hive是一种基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言，可以将结构化数据映射到Hadoop集群上进行查询和分析。
Hive将查询语句转化为MapReduce任务，在Hadoop集群上执行。
Hive适用于处理结构化数据，如日志数据、用户行为数据等。
它提供了丰富的数据处理函数和数据转换功能，能够满足大部分数据分析的需求。
第四题：Spark是一种快速、通用的大数据处理引擎，它可以在内存中高效地处理大规模数据。
Spark提供了丰富的API，支持多种编程语言，如Java、Scala和Python。
Spark的核心概念是弹性分布式数据集（RDD），它是一种抽象的数据结构，可以在集群中并行处理和计算。
Spark具有高速、易用和可扩展的特点，适用于各种大数据处理场景。
第五题：Flink是一种流式处理框架，它能够实时处理和分析数据流。
Flink提供了流处理和批处理两种模式，可以处理无界数据流和有界数据集。
Flink具有低延迟、高吞吐量和容错性的特点，适用于实时数据处理和流式计算。
Flink支持多种数据源和数据接收器，可以与其他大数据工具无缝集成。
第六题：Kafka是一种分布式消息队列系统，用于高吞吐量的发布/订阅消息传输。
大数据试题及答案
1、当前大数据技术的基础是由（ C）首先提出的。
（单选题，本题2分）A：微软 B：百度 C：谷歌 D：阿里巴巴2、大数据的起源是（C ）。
（单选题，本题2分）A：金融 B：电信 C：互联网 D：公共管理3、根据不同的业务需求来建立数据模型，抽取最有意义的向量，决定选取哪种方法的数据分析角色人员是（ C）。
（单选题，本题2分）A：数据管理人员 B：数据分析员 C：研究科学家 D：软件开发工程师4、（D ）反映数据的精细化程度，越细化的数据，价值越高。
（单选题，本题2分）A：规模 B：活性 C：关联度 D：颗粒度5、数据清洗的方法不包括（ D）。
（单选题，本题2分）A：缺失值处理 B：噪声数据清除 C：一致性检查 D：重复数据记录处理6、智能健康手环的应用开发，体现了（ D）的数据采集技术的应用。
（单选题，本题2分）A：统计报表 B：网络爬虫 C：API接口 D：传感器7、下列关于数据重组的说法中，错误的是（ A）。
（单选题，本题2分）A：数据重组是数据的重新生产和重新采集 B：数据重组能够使数据焕发新的光芒C：数据重组实现的关键在于多源数据融合和数据集成 D：数据重组有利于实现新颖的数据模式创新8、智慧城市的构建，不包含（ C）。
（单选题，本题2分）A：数字城市 B：物联网 C：联网监控 D：云计算9、大数据的最显著特征是（ A）。
（单选题，本题2分）A：数据规模大 B：数据类型多样 C：数据处理速度快 D：数据价值密度高10、美国海军军官莫里通过对前人航海日志的分析，绘制了新的航海路线图，标明了大风与洋流可能发生的地点。
这体现了大数据分析理念中的（B ）。
（单选题，本题2分）A：在数据基础上倾向于全体数据而不是抽样数据B：在分析方法上更注重相关分析而不是因果分析C：在分析效果上更追究效率而不是绝对精确D：在数据规模上强调相对数据而不是绝对数据11、下列关于舍恩伯格对大数据特点的说法中，错误的是（D ）。
大数据技术与应用习题答案完整共9章
1）请阐述什么是大数据？大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2）大数据对当今世界有哪些影响？大数据是一种新兴的产业，从提出概述至今不断在推动着世界经济的转型和进一步的发展。
如法国政府在2013年投入近1150万欧元，用于7个大数据市场研发项目。
目的在于通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。
法国政府在《数字化路线图》中列出了五项将大力支持的战略性高新技术，大数据就是其中一项。
综上所述，从各种各样的大数据中，快速获得有用的信息的能力，就是大数据技术。
这种技术已经对人们的产生和生活方式有了极大的影响，并且还在快速的发展中，不会停下来。
3）大数据有哪些框架？按照对所处理的数据形式和得到结果的时效性分类，大数据处理框架可以分为三类：批处理系统、流处理系统和混合处理系统。
4）企业应当如何应对大数据时代的挑战？大数据在许多企业应用程序中的确扮演着相当重要的角色，大数据的应用对于企业带来的好处有以下几点：（1）结合各种传统企业数据对大数据进行分析和提炼，带给企业更深入透彻的洞察力。
它可以带来更高的生产力，更大的创新和更强的竞争地位。
（2）正确的数据分析可以帮助企业做出明智的业务经营决策的工具。
这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商资料及来自企业所处行业和竞争对手的数据，以及来自企业所处的其他外部环境中的各种数据。
而商业智能能够辅助的业务经营决策既可以是作业层的，也可以是管理层和策略层的决策。
（3）促进企业决策流程：增进企业的资讯整合与资讯分析的能力，汇总公司内、外部的资料，整合成有效的决策资讯，让企业经理人大幅增进决策效率与改善决策品质，很大程度上影响了企业的经营和绩效。
5）大数据和云计算的联系和区别是什么？如果将云计算与大数据进行一些比较，最明显的区分在两个方面：第一，在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。
第10章 大数据应用-习题答案[5页]
![第10章 大数据应用-习题答案[5页]](https://img.taocdn.com/s3/m/961524366d175f0e7cd184254b35eefdc8d315ee.png)
第10章大数据应用习题10.1 选择题1、目前典型的脑电信号的分类方式不包括（ B ）。
A. 按频率分类B. 按信号长度分类C. 按Gibbs分类D．按图形分类2、以下的（ D ）不属于心电信号的波段。
A. P频段B. QT间期C. U频段D. SG频段3、盲源信号分离所使用技术一般不包括（ C ）。
A．ICA B．FastICA C．SVM D．以上都是4、轨迹大数据的主要特征不包括以下的（ A ）。
A. 非平稳性B. 4V特征C. 异频采样性D. 本身质量偏低5、轨迹数据预处理中，为了避免误差距离太大，需要进行以（ B ）操作。
A．停留点检测B．轨迹滤噪C．轨迹压缩D．地图匹配6、解决路径规划问题的算法中，（ C ）一般是求得问题的次优解或以一定的概率求其最优解。
A．滤波算法B．回归算法C．启发式算法D．精确算法7、自然语言处理中（ A ）用于判断一个词语序列是否构成一句话概率。
A．语言模型B．词袋模型C．词频-逆向文档频率D．词嵌入8、典型智能问答系统包括（ D ）。
A．基于结构化数据的智能问答系统B．基于自由文本的智能问答系统C．基于常见问题集的智能问答系统D．以上全是9、图像大数据处理系统中的（ D ）主要对图片中的目标进行定位，并输出具体类别。
A．目标跟踪B．图像分割C．视频处理D．目标检测10、基于深度学习的目标检测方法中的（ B ）检测低速度快，但检测精度低。
A．阶段分割法B．单阶段方法C．视频阶段处理D．双阶段方法11、短文本分类方法中的（ B ）不依赖于特定场景，适应性较好。
A．基于特征扩展的方法B．基于深度学习的方法C．朴素贝叶斯方法D．小波包变换方法12、轨迹大数据的挖掘主要包含四种不同类别，其中（ A ）依靠一种或多种因素的组合来进行轨迹大数据挖掘。
A．伴随模式B．轨迹聚类C．序列模式D．周期模式13、为了克服独热编码缺陷，（ C ）通常将词语转化成为一个分布式表示的定长连续稠密向量。
智慧树知到《大数据处理和分析》章节测试答案
C:数据导入操作未正常完成 D:无正确答案 答案:AC 6、 当 sourcetype=abc 时，abc 表示（D:文件类型 答案:D 7、 下列哪条 SPL 语句是正确的（ ） A:| fields -ran B:top 5 C:|top -ran D:fields ran 答案:A 8、 创建一个新的字段，一般需要 SPL 命令（ ） A:| eval B:| fields C:| stats D:| streamstats 答案:ACD 9、 不显示一个字段，需要用到（ ）命令
智慧树知到《大数据处理和分析》章节测试答案 第一章 1、 大数据分析的最终目的是（ ） A:发现数据 B:查找数据 C:处理数据 D:通过数据分析来挖掘数据背后的价值 答案: 通过数据分析来挖掘数据背后的价值 2、 数据采集的方式包括（ ） A:主动数据采集 B:购买数据 C:网络下载数据 答案: 主动数据采集,购买数据,网络下载数据 3、 Wireshark 是手机数据的采集软件（ ） A:对 B:错 答案: 对 4、 手机和手机 APP 是同时连通网络的（ ） A:对 B:错 答案: 错 5、 360 随身 WIFI 的目的是（ ）
答案:A 6、涨跌线是具有两个以上数据系列的折线图中的条形柱，可以清晰地指明初始数 据系列和终止数据系列中数据点之间的差别。 A:对 B:错 答案:A 7、 趋势线只能预测下一周期的情况。 A:对 B:错 答案:B 8、 当插入图表后再修改源数据表，图表会实现自动更新。 A:对 B:错 答案:A 9、 组合图（表）是指在一个图表中表示两个或两个以上的数据系列，不同的数 据系列用不同的图表类型表示。 A:对 B:错 答案:A 10、 在 Excel 中创建的图表后，可以编辑的元素只有图表标题。 A:对 B:错 答案:B
大数据预处理 复习题(附参考答案)
大数据预处理复习题（一）单选题1.下列关于缺失值的形式的说法中，正确的是（）oA.PythOn中默认的缺失值形式为NAB.PandaS中默认的缺失值形式为NaNC.PythOn中默认的缺失值形式为NU1ID.PandaS中默认的缺失值形式为空字符串（〃〃）2.下列表述中，正确的是（）oA.对字符串型变量的缺失值，需要使用众数进行填补。
B.对于缺失值，最简单的处理方法是使用均值进行填补。
C.完全变量指的包含缺失值的变量。
D.在调查过程中，因被调查者拒绝回答敏感问题而造成的数据缺失，属于人为原因。
3.关于日期时间型数据，下列说法正确的是（）oA.在计算机系统中，日期时间型数据是以文本形式存储的。
B.在计算机系统中，日期时间型数据是以数值形式存储的。
C.在计算机系统中，日期时间型数据是以因子形式存储的。
D.在计算机系统中，日期时间型数据是以缺失值形式存储的。
4.下图是某分类变量各类别计数分布的箱线图，从图中可知（）oA.少部分分类计数很低。
8.该变量类别很少，可以清晰的用箱线图展示各类别的频数。
C.这个变量存在大量低频分类。
D.绝大多数分类计数很高。
5.下列关于数据预处理的表述中，不正确的是（）oA.具备专业经验的数据科学家可以在数据分析前忽略数据预处理。
B.数据预处理是在数据采集后，分析前这段时间里对数据进行的处理操作。
C.数据预处理的效果与数据分析顺利与否直接相关。
D.数据预处理往往占据数据分析项目总工作量的60%以上。
6.下列数据特征缩放的公式中，正确的是（）oA.数据中心化公式为：X sca1ed=8.数据标准化公式为：X sca1ed=X-X oC.Max-ABS缩放公式为：XSwed=而匚。
∣λImaxD.Robust缩放公式为：X sca1ed=x-Me^ian o7.下列关于相关系数的表述中，正确的是（）oA.PearSon相关系数的值在［0,1］之间分布。
B.SPean11an相关系数的值在［T,1］之间分布。
Python 大数据处理练习题及答案
Python 大数据处理练习题及答案Python是当今最受欢迎的编程语言之一，它在处理大数据方面表现出色。
为了帮助大家巩固对Python大数据处理的理解，以下是一些练习题及其答案，希望能够对您的学习有所帮助。
练习题一：求列表中的最大值和最小值给定一个列表numbers=[22,5,17,11,32,18,25,24,21,10]，请编写Python代码找出其中的最大值和最小值，并将结果输出。
```pythonnumbers = [22, 5, 17, 11, 32, 18, 25, 24, 21, 10]max_value = max(numbers)min_value = min(numbers)print("最大值:", max_value)print("最小值:", min_value)```练习题二：统计列表中各元素的出现次数给定一个列表fruits=['apple','banana','orange','banana','apple','apple','orange']，请编写Python代码统计列表中各元素的出现次数，并将结果输出。
```pythonfruits = ['apple', 'banana', 'orange', 'banana', 'apple', 'apple', 'orange']count_dict = {}for fruit in fruits:if fruit in count_dict:count_dict[fruit] += 1else:count_dict[fruit] = 1for fruit, count in count_dict.items():print(fruit, ":", count)```练习题三：使用Python计算列表元素的平均值给定一个列表numbers=[5,10,15,20,25]，请编写Python代码计算列表元素的平均值，并将结果输出。
第9章大数据处理-习题答案
第9章大数据处理-习题答案第章9.1 选择题1、在数据预处理阶段，数据合并到一致的存储介质中，使得数据挖掘更有效、挖掘模式更易理解，这一过程是（ B ）。
A. 数据清洗B. 数据集成C. 数据归约 D．数据转换2、以下（ B ）不是数据归约策略。
A. 属性子集的选择B. 属性构造C. 实例规约D. 属性值的规约3、数据转换包括以下的（A ）B．平滑处理C．规格化处理D．以上全是4、C ）。
A. 模型训练B. 交叉验证C. 特征提取D. 数据可视化5、下面哪一项不是监督学习算法（ B ）。
A．K最近邻算法 B．DBSCAN算法 C．决策树算法 D．逻辑回归算法6、下列属于数据处理任务的是（ D ）。
A．分类 B．聚类 C．关联分析 D．以上全是7、支持向量机SVM常常用来进行（ C ）。
A． B． C．分 D．8、以下（ A ）在神经网络中引入了非线性。
A．修正线性单元（ReLU）B．随机梯度下降 C．卷积函数 D．以上都不是9、神经网络中过拟合问题的处理方法包括以下的（ A ）。
A．正则化 B．随机失活 C．池化函数 D．A和B10、集成学习方法不包括以下的（ C ）。
A．Boosting B．Stacking C．Dropout D．Bagging11、批归一化层的目的是（ C ）。
A．它将权重的归一化平均值和标准差B．减少神经元的输出C．让每一层的输入的范围都大致固定D．使得反向传播(BP)有效12、下面（ B ）不是数据清洗方法。
A．缺失值处理 B．泛化处理 C．离群点检测 D．冗余数据处理13、聚类过程的要求包括（ D ）。
A．可扩展性B．可进行基于约束的聚类C．对输入数据不敏感D．以上全是14、对分布式处理架构的描述不正确的是（ D ）。
A．多个节点并行工作B．数据处理效率高C．每个节点负责一部分任务D．存在唯一的中心节点15、对激活函数Sigmoid的描述不正确的是（ D ）。
A．可用于二分类问题B．容易造成梯度消失C．可以减少网络计算量D．是一条非线性曲线9.2 填空题1、连接步）和（剪枝步）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第9章大数据处理习题
9.1 选择题
1、在数据预处理阶段，数据合并到一致的存储介质中，使得数据挖掘更有效、挖掘模式更易理解，这一过程是（ B ）。
A. 数据清洗
B. 数据集成
C. 数据归约D．数据转换
2、以下（ B ）不是数据归约策略。
A. 属性子集的选择
B. 属性构造
C. 实例规约
D. 属性值的规约
3、数据转换包括以下的（ A ）策略。
A．合计处理B．平滑处理C．规格化处理D．以上全是
4、目前机器学习的首要步骤一般是（ C ）。
A. 模型训练
B. 交叉验证
C. 特征提取
D. 数据可视化
5、下面哪一项不是监督学习算法（ B ）。
A．K最近邻算法B．DBSCAN算法C．决策树算法D．逻辑回归算法
6、下列属于数据处理任务的是（ D ）。
A．分类B．聚类C．关联分析D．以上全是
7、支持向量机SVM常常用来进行（ C ）。
A．处理数据B．聚类C．分类D．关联分析
8、以下（ A ）在神经网络中引入了非线性。
A．修正线性单元（ReLU）B．随机梯度下降C．卷积函数D．以上都不是
9、神经网络中过拟合问题的处理方法包括以下的（ A ）。
A．正则化B．随机失活C．池化函数D．A和B
10、集成学习方法不包括以下的（ C ）。
A．Boosting B．Stacking C．Dropout D．Bagging
11、批归一化层的目的是（ C ）。
A．它将权重的归一化平均值和标准差
B．减少神经元的输出
C．让每一层的输入的范围都大致固定
D．使得反向传播(BP)有效
12、下面（ B ）不是数据清洗方法。
A．缺失值处理B．泛化处理C．离群点检测D．冗余数据处理
13、聚类过程的要求包括（ D ）。
A．可扩展性
B．可进行基于约束的聚类
C．对输入数据不敏感
D．以上全是
14、对分布式处理架构的描述不正确的是（ D ）。
A．多个节点并行工作
B．数据处理效率高
C．每个节点负责一部分任务
D．存在唯一的中心节点
15、对激活函数Sigmoid的描述不正确的是（ D ）。
A．可用于二分类问题
B．容易造成梯度消失
C．可以减少网络计算量
D．是一条非线性曲线
9.2 填空题
1、Apriori算法的核心步骤是（连接步）和（剪枝步）。
2、机器学习的特征选择方法包括（过滤器方法）、（包装器方法）和（嵌入式方法）等。
3、目前大数据处理架构一般分为（集中式处理架构）和（分布式处理架构）两种。
4、人工神经网络中，当数量众多的神经元全部连接起来后，可呈现网络状，如果各个神经元之间无环，则被称为（多层前馈）神经网络。
5、神经网络中的池化方法包括（最大池化）和（平均池化）。
9.3 简答题
1、请简述数据预处理的目的及典型的几种类型。
答：
数据预处理目的是为数据挖掘模块提供准确、有效、具有针对性的数据，提高数据挖掘与知识发现的效率。
数据预处理方法包括：数据清洗，删除重复数据、纠正数据中存在的错误，并使数据保持一致性；数据集成，将存储在不同存储介质中的数据合并到一致的存储介质中；数据转换，将数据从一种表示形式转换为另一种表现形式；数据归约，在尽可能保持数据原貌的前提下，最大限度地精简数据量。
2、分别简述数据挖掘算法中的监督学习和无监督学习的含义，并列举各自包含的几种典型
方法。
答：
监督学习：通过已有的训练样本训练得到一个最优模型，通过模型对未知数据进行分类。
主要包括K最近邻算法、决策树、线性回归、逻辑回归等方法。
无监督学习：没有任何训练样本，直接对数据进行建模。
主要包括K-Means算法、DBSCAN算法、Apriori算法、FP-growth算法等。
3、请描述卷积神经网络中卷积层和池化层的作用。
答：
卷积层：由数量不定的卷积核加上偏置项（Bias）组成。
本质上是个权值矩阵，矩阵中的值是稀疏的。
它主要进行局部特征提取，通过卷积核与上一层输出的特征完成点积和累加操作，得到特征矩阵，也称为特征图（Feature Map）。
卷积层的所有卷积核在进行特征提取的过程中，其参数值，也就是权值矩阵的值是固定且共享的。
池化层：在构建一个完整的卷积神经网络时的作用仅次于卷积层，具有缩小特征图的作用，由于其不含参数，因此比卷积层中进行的采样更高效。
4、简述机器学习中进行特征选择的原因和目标。
答：
特征选择指选择出适合模型算法的最优特征子集来提升模型的性能。
机器学习中进行特征选择的原因是：当数据维度达到一定水平时，将所有特征放入算法中将会带来维度灾难。
特征选择的目标是：1）提高模型的泛化能力，避免过拟合并，降低误差。
2）减少特征数量，提高计算效率，提供更快的、具有成本效益的模型。
3）筛选出不相关特征，降低模型的学习难度，前提是对特征本身有更深入的了解。
5、请简述分布式大数据处理架构及其优点，并列举出几个著名的分布式大数据开源平台。
答：
分布式处理架构是先将一组节点连接起来形成系统，然后将需要处理的大批量数据分布在多个节点上，由多个节点去执行，通过分布式并行处理提高处理效率，最后合并计算得出最终结果。
优点主要有：1）可以平衡负载和共享资源。
2）降低大数据处理的成本。
3）支持大数据在更多场景下的应用。
目前基于服务器集群的分布式大数据平台：Hadoop、Spark、Storm、Samza、Flink等。
9.4 解答题
1、数据挖掘任务中分类一般分为几个步骤？请描述每个步骤的作用，并列举用于分类的典型数据挖掘算法，并回答交叉验证的方式是如何评价分类模型的。
答：
1）分类一般分为3个步骤，分别是构建模型、测试模型和使用模型。
构建模型主要是对每个样本进行类别标记，通过数据的训练集构成分类模型。
测试模型主要是通过对比测试样本的识别类别与实际类别来评价模型正确性。
使用模型主要是要利用模型来完成数据分类任务，输出最终的分类结果。
用于分类的数据挖掘算法：K最近邻算法、决策树算法。
2）以交叉验证的方式评价分类模型：①数组分组，将原始数组分成训练集和验证集；
②模型训练，先用训练集对分类器进行训练，再利用验证集测试训练得到的模型作为评价分
类器的性能指标。
常见的交叉验证方式有Hold-out验证、K折叠交叉验证、留一验证等。
2、循环神经网络组成部分是什么？请画出按时间展开的前后结构图，并描述图中各个元素是如何进行运算的。
答：
1）循环神经网络主要由输入层、隐藏层和输出层组成。
按时间展开的前后结构图
2）由图可知，将循环神经网络的结构按照时间序列展开之前的X是输入层的值，S是隐藏层的值，O是当前节点的输出，U是输入层到隐藏层的权重矩阵，V是隐藏层到输出层的权重矩阵。
循环层的作用是在隐藏层之间运算，隐藏层S的值不仅取决于输入层X的值，还取决于隐藏层上一个节点的值，所以W就是隐藏层上一个节点的值输入当前隐藏层节点的权重矩阵。
展开后，以循环神经网络在t时刻为例，当前的输入是X t，隐藏层输出的值是S t，输出值是O t。
S t的值不仅取决于输入值，还取决于t-1时刻隐藏层输出的值。
当前时刻输出值O t由S t的内容计算得出。