大数据面试复习----常问问题分析
大数据面试常见问题
大数据面试常见问题
这是一篇由网络搜集整理的关于大数据面试常见问题的文档，希望对你能有帮助。
大数据面试常见问题
1、你处理过的最大的数据量?你是如何处理他们的?处理的'结果。
2、告诉我二个分析或者计算机科学相关项目?你是如何对其结果进行衡量的?
3、什么是：提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则?
4、什么是：协同过滤、n-grams, map reduce、余弦距离?
5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库?
6、如何设计一个解决抄袭的方案?
7、如何检验一个个人支付账户都多个人使用?
8、点击流数据应该是实时处理?为什么?哪部分应该实时处理?
9、你认为哪个更好：是好的数据还是好模型?同时你是如何定义“好”?存在所有情况下通用的模型吗?有你没有知道一些模型的定义并不是那么好?
10、什么是概率合并(AKA模糊融合)?使用SQL处理还是其它语言方便?对于处理半结构化的数据你会选择使用哪种语言?
11、你是如何处理缺少数据的?你推荐使用什么样的处理技术?
12、你最喜欢的编程语言是什么?为什么?
13、对于你喜欢的统计软件告诉你喜欢的与不喜欢的3个理由。
14、SAS, R, Python, Perl语言的区别是?
15、什么是大数据的诅咒?
16、你参与过数据库与数据模型的设计吗?
17、你是否参与过仪表盘的设计及指标选择?你对于商业智能和报表工具有什么想法?
18、你喜欢TD数据库的什么特征?
19、如何你打算发100万的营销活动邮件。
你怎么去优化发送?你怎么优化反应率?能把这二个优化份开吗?。
好程序员大数据面试题目(3篇)
第1篇一、引言随着大数据技术的快速发展，越来越多的企业开始关注大数据领域的招聘。
对于程序员来说，掌握大数据技术已经成为必备的技能之一。
为了帮助程序员更好地准备大数据面试，本文将针对大数据面试中的常见问题进行解析，并提供相应的答案和思路。
二、大数据基础知识1. 请简述大数据的五个V（Volume、Velocity、Variety、Veracity、Value）分别代表什么？答：大数据的五个V分别代表：（1）Volume：数据量巨大，无法在单台计算机上存储和处理。
（2）Velocity：数据增长速度快，需要实时处理和分析。
（3）Variety：数据类型多样，包括结构化、半结构化和非结构化数据。
（4）Veracity：数据质量参差不齐，需要保证数据的真实性和可靠性。
（5）Value：数据具有价值，需要挖掘数据背后的价值。
2. 请简述Hadoop的三个核心组件及其作用。
答：Hadoop的三个核心组件分别是HDFS、MapReduce和YARN。
（1）HDFS（Hadoop Distributed File System）：分布式文件系统，用于存储海量数据。
（2）MapReduce：分布式计算模型，用于处理大规模数据集。
（3）YARN（Yet Another Resource Negotiator）：资源管理器，用于管理集群资源，负责任务的调度和执行。
3. 请简述Hadoop的优势。
答：Hadoop的优势主要包括：（1）可扩展性：可以方便地添加更多的计算节点来处理大规模数据。
（2）容错性：即使在某个计算节点出现故障时，也能保证数据的可靠性和计算的完成。
（3）并行计算：使用MapReduce模型进行并行计算，提高数据处理速度。
（4）开源免费：Hadoop是开源项目，用户可以免费使用。
三、大数据技术面试题目1. 请简述HDFS的工作原理。
答：HDFS采用Master-Slave架构，由一个NameNode和多个DataNode组成。
大数据面试常见的5大问题及回答
⼤数据⾯试常见的5⼤问题及回答⼤数据⾯试常见的五⼤问题⼤数据⾯试的主要内容是“问”和“答”，应聘者在回答问题时，不同的切⼊点会产⽣不同的结果，相信很多⼈都有深刻体会。
济南优就业IT培训的⼩编总结了⼤数据⾯试常见的五⼤问题，希望对求职应聘者有所帮助，仅供参考。
1、你⾃⾝最⼤的优点是什么?这个问题不限于⼤数据培训⾯试中，在各⾏各业的⾯试中经常出现。
可是应聘者不清楚⾃⼰的优点是什么，甚⾄不少⼈喜欢说我最⼤的优点是没有缺点。
如果⾯试官听到这样的回答，那么结果可能是被pass掉。
优就业提醒⼤家，要尽可能说⼀些和⼯作相关的优点，⽐如“学习能⼒特别强”、“接受新事物的速度快”等，另外⼀定要举例⼦进⾏证明，让⾯试官觉得这个优点很真实。
2、你为什么要学习⼤数据开发?其实这个问题只是⾯试官想要知道应聘者的态度⽽已。
通过应聘者的回答，⾯试官⼀⽅⾯可以初步了解应聘者对⼤数据开发的认知程度，另⼀⽅⾯能从应聘者的话⾥⾯判断出他们对⼤数据开发是什么样的态度。
优就业建议⼤家，不论应聘者学习⼤数据开发的初衷如何，给予⾯试官的回答都应该呈现积极的学习⼼态。
3、你最近做过哪些有挑战的项⽬?这个问题的关键是挑战，是对⼤数据开发过程中的冲刺。
⼀般情况下，是否做过有挑战性的项⽬并不好回答，即使同⼀项⽬，不同能⼒的⼈有不同的感觉。
但是没有做过⾃⼰认为的有挑战的项⽬，就不代表可以回答“没做过”、“没什么挑战性”这类的话语。
优就业建议，⾯试官希望通过应聘者的回答看到他们的学习能⼒、应⽤能⼒、解决问题的能⼒，以及团队合作的能⼒，所以应聘者应该挑出某项⽬中那些可以提⾼能⼒的地⽅，然后呈现出来。
4、你对⼤数据技术体系的掌握程度怎样?关于这个问题，主要是⾯试官想要了解应聘者的技术能⼒，确定应聘者是否属于公司需要的⼈才。
优就业建议，如果⾯试官问的范围⽐较⼴，应聘者可以根据⾃⾝所学，从⼏⼤部分描述掌握程度，把⼤数据技术体系中的要点阐述清楚，这样不仅能够避免直接回答“掌握得不错”，还能将⾃⼰的语⾔逻辑性呈现给⾯试官。
一点资讯大数据面试题目(3篇)
第1篇一、基础知识1. 请简述大数据的定义及其特点。
2. 请简述大数据的五个V，分别是什么？3. 请简述大数据的三个层次，分别是什么？4. 请简述大数据与云计算之间的关系。
5. 请简述大数据在各个行业的应用场景。
二、Hadoop生态系统1. 请简述Hadoop生态系统的组成部分。
2. 请简述Hadoop的核心组件，如HDFS、MapReduce、YARN等的作用。
3. 请简述HDFS的工作原理，包括数据存储、读取、复制等方面。
4. 请简述MapReduce的工作原理，包括Map、Shuffle、Reduce等阶段。
5. 请简述YARN的工作原理，包括资源管理、任务调度等方面。
三、数据存储与处理1. 请简述数据仓库与数据湖的区别。
2. 请简述Hive、Pig、Spark SQL等数据查询工具的特点及适用场景。
3. 请简述HBase、Cassandra等NoSQL数据库的特点及适用场景。
4. 请简述数据清洗、数据集成、数据转换等数据处理技术的应用。
5. 请简述数据仓库的设计原则及架构。
四、数据挖掘与机器学习1. 请简述数据挖掘的基本流程。
2. 请简述常用的数据挖掘算法，如分类、聚类、关联规则等。
3. 请简述机器学习的基本概念，如监督学习、无监督学习、强化学习等。
4. 请简述常用的机器学习算法，如线性回归、决策树、支持向量机等。
5. 请简述深度学习的基本概念，如神经网络、卷积神经网络、循环神经网络等。
五、大数据分析与应用1. 请简述大数据分析的基本流程。
2. 请简述大数据分析在各个行业的应用案例。
3. 请简述大数据可视化技术的应用。
4. 请简述大数据安全与隐私保护的重要性及措施。
5. 请简述大数据在智慧城市建设中的应用。
六、面试实战1. 请描述一个你参与的大数据项目，包括项目背景、目标、技术方案、成果等。
2. 请简述你在项目中遇到的技术难题及解决方案。
3. 请简述你在项目中如何与团队成员协作，共同推进项目进展。
大数据专员面试题目(3篇)
第1篇一、基础知识与概念理解1. 题目：请简述大数据的基本概念及其与普通数据的主要区别。
解析：考察应聘者对大数据基本概念的理解。
应聘者应能够解释大数据的规模（大量、多样、快速）、价值密度低、处理和分析的技术和方法等特点，并说明大数据与普通数据在数据量、处理方式、分析目标等方面的区别。
2. 题目：大数据的五个V指的是什么？解析：考察应聘者对大数据特征的理解。
大数据的五个V分别是Volume（数据量）、Velocity（数据速度）、Variety（数据多样性）、Veracity（数据真实性）和Value（数据价值）。
应聘者应能够解释每个V的具体含义。
3. 题目：请简述Hadoop生态系统中的主要组件及其功能。
解析：考察应聘者对Hadoop生态系统的了解。
应聘者应能够列举Hadoop生态系统中的主要组件，如Hadoop分布式文件系统（HDFS）、Hadoop YARN、Hadoop MapReduce、Hive、Pig、HBase等，并解释每个组件的基本功能和作用。
4. 题目：请简述数据仓库和数据湖的区别。
解析：考察应聘者对数据仓库和数据湖的理解。
应聘者应能够解释数据仓库和数据湖在数据存储、处理、查询等方面的差异，以及它们在数据分析中的应用场景。
二、数据处理与分析5. 题目：请简述ETL（提取、转换、加载）过程在数据处理中的作用。
解析：考察应聘者对ETL过程的了解。
应聘者应能够解释ETL在数据预处理、数据清洗、数据转换等方面的作用，以及ETL工具在数据处理中的应用。
6. 题目：请描述数据切分、增量同步和全量同步的方法。
解析：考察应聘者对数据同步的理解。
应聘者应能够解释数据切分、增量同步和全量同步的概念，并举例说明在实际应用中的具体操作方法。
7. 题目：请简述数据挖掘中的分类、聚类和预测方法。
解析：考察应聘者对数据挖掘方法的了解。
应聘者应能够列举数据挖掘中的分类、聚类和预测方法，如决策树、K-means、支持向量机、神经网络等，并解释每种方法的基本原理和应用场景。
大数据工程师面试题及答案
大数据工程师面试题及答案在大数据领域，对工程师的要求越来越高。
以下是一些常见的大数据工程师面试题及答案，希望能为您的面试准备提供一些帮助。
一、基础知识1、请简要介绍一下 Hadoop 生态系统中的主要组件。
答案：Hadoop 生态系统主要包括 HDFS（分布式文件系统）用于存储大规模数据；YARN（资源管理框架）负责资源的分配和调度；MapReduce（分布式计算框架）用于处理大规模数据的计算任务。
此外，还有 Hive（数据仓库工具）、HBase（分布式数据库）、Sqoop（数据导入导出工具）等组件。
2、什么是数据仓库？与数据库有什么区别？答案：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
数据库主要用于事务处理，强调实时性和一致性；而数据仓库侧重于数据分析和决策支持，数据量大、结构复杂，存储历史数据。
二、数据处理和分析1、如何处理数据倾斜问题？答案：数据倾斜通常是指某些键值的分布不均匀，导致某些任务处理的数据量远大于其他任务。
可以通过对倾斜的键进行加盐处理，或者使用 Combiner 函数在 Map 端进行局部聚合来缓解。
还可以对数据进行重新分区，或者调整并行度等方式来解决。
2、请介绍一下 Spark 的核心概念，如 RDD、DataFrame 和 Dataset。
答案：RDD（弹性分布式数据集）是 Spark 的基础数据结构，具有不可变、可分区、可并行操作等特点。
DataFrame 类似于关系型数据库中的表，具有列名和数据类型。
Dataset 是 DataFrame 的扩展，提供了类型安全和面向对象的编程接口。
三、数据存储1、介绍一下 HBase 的架构和工作原理。
答案：HBase 基于 Hadoop 的 HDFS 存储数据，采用主从架构。
HMaster 负责管理表的元数据，HRegionServer 负责存储和管理实际的数据。
数据按照行键进行排序和存储，通过 Region 进行划分和管理。
大数据常用面试题
大数据常用面试题在大数据领域，面试过程中经常会涉及到一些常见的问题，这些问题旨在考察面试者对于大数据的理解、技术能力和解决问题的能力。
本文将介绍一些常用的大数据面试题及其解答。
一、大数据的定义和特点1. 请简要解释什么是大数据？大数据是一种处理和分析超大规模、复杂多样、高速增长的数据集的方法和技术。
它具有三个特点：数据量庞大、数据类型多样、数据生成速度快。
2. 大数据与传统数据的区别是什么？相比传统数据，大数据具有更高的数据量、更多类型的数据和更快的数据生成速度。
传统数据更注重数据的精确性和规整性，而大数据则更注重从数据中挖掘出有价值的信息。
3. 大数据的4V是什么？大数据的4V指的是Volume、Variety、Velocity和Value。
Volume 表示数据的规模，Variety表示数据的多样性，Velocity表示数据的生成速度，Value表示数据的价值。
二、大数据处理和存储技术1. 请简要介绍一下Hadoop和Spark。
Hadoop是一种分布式计算框架，主要用于处理大规模数据集，采用了分布式计算和分布式存储的方式。
Spark是一种快速通用的集群计算系统，可以高效地处理大规模数据集，并具有更快的速度和更强的扩展性。
2. 请简要介绍一下MapReduce的工作原理。
MapReduce是Hadoop中的一种计算模型，它的工作原理可以概括为Map和Reduce两个过程。
Map过程将输入数据切分为若干个小任务，并由多个计算节点并行处理，生成中间结果。
Reduce过程将Map过程生成的中间结果进行合并和计算，得到最终结果。
3. 请简要介绍一下Hive和HBase。
Hive是一种基于Hadoop的数据仓库工具，可以将结构化数据映射到一张表中，并提供类似SQL的查询接口。
HBase是一种分布式的面向列的NoSQL数据库，用于存储大规模结构化、半结构化和非结构化数据。
三、大数据算法和模型1. 请解释一下什么是机器学习？机器学习是一种通过计算机利用大数据并不断优化算法和模型的方法，使计算机能够从数据中自动学习并改进性能，而无需显式地编程。
大数据方向_面试题目(3篇)
第1篇一、基础知识与理论1. 请简述大数据的概念及其与传统数据处理的区别。
2. 请解释什么是Hadoop，并简要说明其组成部分。
3. 请简述MapReduce的核心思想及其在Hadoop中的应用。
4. 请描述HDFS（Hadoop分布式文件系统）的工作原理及其优势。
5. 请说明YARN（Yet Another Resource Negotiator）的作用及其在Hadoop中的地位。
6. 请解释什么是Spark，以及它与传统的大数据处理技术相比有哪些优势。
7. 请描述Spark的架构及其核心组件。
8. 请说明什么是Hive，并简要介绍其作用。
9. 请解释什么是HBase，以及它在大数据中的应用场景。
10. 请说明什么是NoSQL，并列举几种常见的NoSQL数据库及其特点。
二、Hadoop生态系统1. 请介绍Hadoop生态系统中常用的数据处理工具，如Hive、Pig、Spark等。
2. 请说明Hadoop生态系统中常用的数据分析工具，如Elasticsearch、Kafka、Flume等。
3. 请解释Hadoop生态系统中数据存储解决方案，如HDFS、HBase、Cassandra等。
4. 请描述Hadoop生态系统中常用的数据仓库解决方案，如Apache Hudi、Delta Lake等。
5. 请说明Hadoop生态系统中常用的数据可视化工具，如Tableau、Power BI、D3.js等。
三、大数据技术1. 请简述大数据技术中的数据清洗、数据集成、数据存储、数据挖掘等基本概念。
2. 请介绍大数据技术中的数据挖掘算法，如聚类、分类、关联规则等。
3. 请说明大数据技术中的数据可视化方法及其在数据分析中的应用。
4. 请描述大数据技术中的实时数据处理技术，如流处理、事件驱动等。
5. 请介绍大数据技术中的机器学习算法及其在数据分析中的应用。
四、大数据应用案例1. 请列举大数据技术在金融、医疗、电商、物联网等领域的应用案例。
大数据专业_面试题目(3篇)
第1篇一、基础知识1. 请简述大数据的概念及其特点。
答：大数据是指规模巨大、数据类型多样、数据价值密度低、数据增长速度快的海量数据。
其特点包括：数据量大（Volume）、数据类型多样（Variety）、价值密度低（Value）、数据增长速度快（Velocity）。
2. 请列举大数据处理的三个关键技术。
答：大数据处理的关键技术包括：分布式文件系统（如HDFS）、分布式计算框架（如MapReduce、Spark）、数据仓库技术（如Hive、Impala）。
3. 请简述Hadoop的核心组件及其作用。
答：Hadoop的核心组件包括：（1）HDFS（Hadoop Distributed File System）：分布式文件系统，用于存储海量数据。
（2）MapReduce：分布式计算模型，用于处理海量数据。
（3）YARN（Yet Another Resource Negotiator）：资源管理框架，用于管理计算资源。
（4）HBase：分布式、可扩展、支持随机访问的NoSQL数据库。
4. 请简述Spark的核心组件及其作用。
答：Spark的核心组件包括：（1）Spark Core：提供通用集群计算能力和内存计算抽象。
（2）Spark SQL：提供对结构化数据的支持。
（3）Spark Streaming：提供实时流处理能力。
（4）MLlib：提供机器学习算法库。
（5）GraphX：提供图处理能力。
5. 请简述Hive和Impala的区别。
答：Hive和Impala都是数据仓库技术，但它们在实现原理和性能上有所不同：（1）实现原理：Hive基于Hadoop的MapReduce模型，而Impala基于Spark SQL。
（2）性能：Impala的性能优于Hive，因为它是基于内存的计算。
二、数据处理与存储6. 请简述ETL（Extract, Transform, Load）在数据处理中的作用。
答：ETL是数据仓库中的核心概念，其作用包括：（1）提取（Extract）：从各种数据源提取数据。
大数据面试题及答案
大数据面试题及答案在大数据领域求职面试中，面试官通常会提问一系列与大数据相关的问题，以了解应聘者对于大数据概念、技术和应用的理解。
本文将列举一些常见的大数据面试题，并提供相应的答案，帮助读者更好地准备和应对大数据面试。
一、大数据的定义及特征1. 请简要解释什么是大数据？大数据指的是规模庞大、结构复杂、速度快速增长的数据集合。
这些数据量大到无法使用传统的数据处理工具进行存储、管理和分析。
2. 大数据有哪些特征？大数据的特征主要包括4个方面：数据量大、数据来源多样、数据处理速度快、数据结构复杂。
3. 大数据的应用领域有哪些？大数据在多个领域都有应用，包括但不限于金融、电子商务、物流、医疗、社交媒体、智能交通、城市管理等。
二、大数据处理及存储技术4. 大数据的处理流程是怎样的？大数据的处理流程通常包括数据获取、数据存储、数据清洗、数据分析和数据可视化等环节。
5. 大数据存储有哪些技术？常见的大数据存储技术包括关系型数据库、NoSQL数据库、分布式文件系统如Hadoop HDFS等。
6. 请简要介绍Hadoop框架。
Hadoop是一个开源的分布式计算框架，它包括Hadoop Distributed File System（HDFS）和MapReduce计算模型。
HDFS用于大规模数据的存储，而MapReduce用于数据的处理和计算。
三、大数据分析与挖掘7. 大数据分析的流程是怎样的？大数据分析的流程通常包括数据预处理、数据挖掘、模型建立、模型评估和结果应用等环节。
8. 大数据分析常用的算法有哪些？大数据分析常用的算法包括关联规则挖掘、聚类分析、分类算法、回归算法、时序分析等。
9. 请简要介绍机器学习和深度学习在大数据分析中的应用。
机器学习和深度学习是大数据分析中常用的技术手段，它们可以通过训练模型从大数据中学习，并根据学习结果进行预测、分类和优化等任务。
四、大数据安全与隐私10. 大数据安全存在哪些风险？大数据安全面临的风险包括数据泄露、数据篡改、数据丢失、隐私保护等问题。
大数据常见面试题
大数据常见面试题1. 什么是大数据？大数据是指规模庞大、种类繁多的数据集合，无法使用传统的数据处理工具进行处理和管理。
大数据通常具备四个特征，即海量性、高速性、多样性和价值密度低。
2. 大数据的特点有哪些？大数据的特点包括：数据量巨大，存储和处理难度大；数据来源多样，包括结构化数据和非结构化数据；数据生成速度快，需要实时或近实时分析；数据质量不一，存在噪音和异常数据。
3. 大数据的处理流程是什么？大数据处理流程一般包括数据采集、数据存储、数据清洗、数据分析和数据可视化等步骤。
首先，通过各种方式采集数据，包括传感器、日志文件、社交媒体等；然后将数据存储在分布式文件系统或数据库中；接下来，对数据进行清洗和预处理，包括去重、去噪、归一化等；然后通过各种算法和工具对数据进行分析和挖掘；最后，将分析结果以可视化方式展示，帮助决策者理解数据并做出决策。
4. 大数据处理技术有哪些？大数据处理技术包括分布式存储技术、分布式计算技术和数据挖掘技术。
常用的分布式存储技术包括Hadoop、HBase和Cassandra；分布式计算技术包括MapReduce、Spark和Flink；数据挖掘技术包括关联规则挖掘、聚类分析和分类预测等。
5. 大数据与云计算的关系是什么？大数据和云计算密切相关，云计算提供了大数据处理所需的基础设施和资源，并以灵活的方式提供计算和存储能力。
大数据处理通常需要大规模的计算和存储资源，云计算通过虚拟化和自动化技术，提供了弹性扩展和按需付费等优势，满足了大数据处理的需求。
6. 大数据中的数据挖掘有什么应用？在大数据中，数据挖掘可以应用于推荐系统、欺诈检测、舆情分析、市场营销等领域。
通过分析大数据中的模式和趋势，可以挖掘出用户的兴趣和行为，为用户推荐合适的产品或服务；同时，可以通过分析大数据中的异常和风险，及时发现欺诈行为；此外，还可以通过分析社交媒体数据，了解用户的情感和态度，进行舆情监测和品牌管理。
应用大数据面试题目(3篇)
第1篇随着大数据技术的飞速发展，越来越多的企业开始重视大数据的应用，并将其作为提升企业竞争力的重要手段。
为了帮助求职者更好地准备应用大数据的面试，以下将提供一系列面试题目，涵盖大数据的核心概念、技术架构、数据处理、分析应用等多个方面。
一、大数据核心概念1. 请简要介绍大数据的五个V（Volume、Velocity、Variety、Veracity、Value）及其对大数据处理的影响。
2. 什么是Hadoop？请列举Hadoop的主要组件及其功能。
3. 解释MapReduce编程模型的工作原理，并说明其在处理大数据时的优势。
4. 什么是数据仓库？请描述数据仓库的基本架构和功能。
5. 什么是数据湖？它与数据仓库有什么区别？二、大数据技术架构1. 请列举大数据技术栈中常用的开源框架，并简要介绍它们的作用。
2. 什么是Spark？请说明Spark的架构和主要特性。
3. 什么是Flink？请描述Flink与Spark的主要区别。
4. 什么是Hive？请介绍Hive的架构和功能。
5. 什么是Kafka？请说明Kafka在数据处理中的作用。
三、数据处理与分析1. 请描述数据清洗的步骤和常见方法。
2. 什么是数据脱敏？请列举几种数据脱敏技术。
3. 什么是数据压缩？请介绍几种常用的数据压缩算法。
4. 什么是数据挖掘？请列举几种常见的数据挖掘算法。
5. 什么是机器学习？请介绍几种常见的机器学习算法。
四、大数据应用场景1. 请举例说明大数据在金融行业的应用场景。
2. 请举例说明大数据在医疗行业的应用场景。
3. 请举例说明大数据在零售行业的应用场景。
4. 请举例说明大数据在交通行业的应用场景。
5. 请举例说明大数据在政府领域的应用场景。
五、大数据项目经验1. 请描述你参与过的最大规模的大数据项目，包括项目背景、目标、技术选型、实施过程和成果。
2. 请描述你在项目中遇到的技术难题及其解决方案。
3. 请描述你在项目中如何进行数据治理和质量管理。
大数据面试题及答案
大数据面试题及答案一、概述在当今信息时代，数据无处不在，大数据已经成为各个行业的热门话题。
因此，面对大数据的挑战和机遇，各企业纷纷开始招聘大数据人才。
而面试则是评估求职者技能水平的重要环节。
本文将介绍一些常见的大数据面试题及其答案，旨在帮助求职者更好地准备面试。
二、大数据面试题1. 请介绍一下大数据的概念。
答：大数据是指在传统数据处理软件和硬件工具无法处理的规模和复杂性下，利用现代技术手段进行获取、管理和分析的数据集合。
大数据具有高维度、高速度、高价值和多样性等特点。
2. 请解释什么是Hadoop？答：Hadoop是一种开源的分布式计算平台，可用于存储和处理大规模数据集。
它包括Hadoop Distributed File System（HDFS）和MapReduce计算模型。
HDFS负责数据的存储，而MapReduce则负责数据的处理和分析。
3. 请说明Hadoop中的NameNode和DataNode的作用。
答：NameNode是HDFS的主节点，负责管理文件的命名空间、数据块的映射以及数据块的复制。
DataNode是HDFS的工作节点，负责存储实际的数据块，并向NameNode汇报其存储的数据块信息。
4. 请解释一下MapReduce的工作原理。
答：MapReduce是一种分布式计算模型，其工作原理主要分为两个阶段：Map和Reduce。
在Map阶段，数据被划分成一系列的键值对，并由多个Mapper进行并行处理。
在Reduce阶段，Mapper输出的键值对会根据键进行分组，并由多个Reducer进行处理和聚合，最终得到最终的结果。
5. 如何在Hadoop集群中进行数据的备份和容错处理？答：Hadoop通过HDFS进行数据的备份和容错处理。
在HDFS中，数据会被分割成块进行存储，并在集群中的多个DataNode上复制备份。
这样即使某个节点出现故障，数据仍然可以从其他节点上恢复。
三、大数据面试题答案1. 大数据的概念：大数据是指在传统数据处理软件和硬件工具无法处理的规模和复杂性下，利用现代技术手段进行获取、管理和分析的数据集合。
大数据工程师面试题及答案
大数据工程师面试题及答案在当今数字化时代，大数据工程师成为了热门职业之一。
为了帮助求职者更好地准备面试，以下是一些常见的大数据工程师面试题及答案。
一、基础知识1、什么是大数据？答：大数据是指无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2、列举一些常见的大数据处理框架。
答：常见的大数据处理框架包括Hadoop、Spark、Flink、Kafka 等。
Hadoop 是一个分布式系统基础架构，用于大规模数据存储和处理；Spark 是一个快速通用的大数据计算引擎；Flink 是一个分布式流处理框架；Kafka 是一种高吞吐量的分布式发布订阅消息系统。
3、解释 Hadoop 的核心组件。
答：Hadoop 的核心组件包括 HDFS（Hadoop 分布式文件系统）、MapReduce（分布式计算框架）和 YARN（资源管理框架）。
HDFS 用于存储大规模数据，具有高容错性和可扩展性；MapReduce 用于大规模数据的并行处理；YARN 负责管理集群资源的分配和调度。
二、数据存储1、介绍一下 HBase 的特点和适用场景。
答：HBase 是一个基于 Hadoop 的分布式列式数据库，具有高可靠性、高性能、可扩展性强等特点。
适用于需要随机读写、海量数据存储和实时查询的场景，比如物联网数据、用户行为数据等。
2、对比 Hive 和 MySQL 的区别。
答：Hive 是基于 Hadoop 的数据仓库工具，适合处理大规模数据的批处理操作，查询延迟较高；MySQL 是传统的关系型数据库，适用于事务处理和对实时性要求较高的查询操作。
Hive 数据存储在HDFS 上，而 MySQL 数据通常存储在本地磁盘。
3、什么是数据分区？为什么要进行数据分区？答：数据分区是将数据按照一定的规则划分成多个区域存储的技术。
这样做可以提高数据查询和处理的效率，减少数据扫描的范围，便于数据管理和维护。
大数据开发工程师招聘面试题与参考回答2025年
2025年招聘大数据开发工程师面试题与参考回答面试问答题（总共10个问题）第一题：请简述你对大数据处理和分析的基本概念，并举例说明在实际工作中你是如何应用这些技术的。
答案：大数据处理和分析是利用先进的计算技术和工具从海量数据中提取有价值的信息的过程。
它包括数据的收集、存储、处理、分析和可视化等多个步骤。
在实际工作中，我会使用Hadoop生态系统中的MapReduce、Spark等技术来处理大规模数据集；使用SQL查询优化器进行数据查询和统计；使用数据挖掘和机器学习算法进行数据模式识别和预测分析。
例如，在一个电商公司中，我通过使用Hadoop和Spark对用户行为数据进行分析，发现了用户的购物偏好和购买周期，从而帮助公司调整营销策略，提高了销售额。
第二题：请谈谈你在大数据处理方面，遇到的一个最具挑战性的项目经历，以及你是如何解决这个问题的？面试问答题：请描述你在大数据处理方面遇到的一个最具挑战性的项目经历，你是如何识别问题并给出解决方案的？请具体阐述你所采取的技术手段和实施过程。
参考回答：我在处理一个电商平台的海量用户行为数据时遇到了巨大的挑战。
这个项目的主要难点在于数据量大、数据类型多样，并且需要在短时间内完成数据处理和分析工作。
面对这个问题，我首先进行了深入的数据分析和需求调研，确定了数据的来源、结构和特点。
然后，我识别出主要挑战在于处理高并发数据流和进行实时数据分析。
为了解决这个问题，我采取了以下技术手段和实施过程：1.采用分布式存储和计算技术，如Hadoop和Spark，对海量数据进行分布式处理，提高了数据处理的速度和效率。
2.利用数据挖掘和机器学习算法，对用户行为数据进行深度分析，提取有价值的信息。
3.设计并实现了一个实时数据流处理系统，利用Kafka等消息队列技术，实现了数据的实时采集、处理和反馈。
4.优化数据存储方案，采用列式存储和压缩技术，有效节省了存储空间，并提高了查询性能。
通过上述技术手段和实施过程，我成功解决了这个挑战，实现了高效的数据处理和实时分析，为电商平台提供了有力的数据支持。
大数据工程师常见面试题
大数据工程师常见面试题在当今数字化的时代，大数据工程师成为了热门职业之一。
当你准备应聘大数据工程师的岗位时，了解常见的面试题可以帮助你更好地应对面试，展现自己的专业能力。
以下是一些大数据工程师常见的面试题：一、基础理论知识1、什么是大数据？大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2、请简要介绍 Hadoop 生态系统。
Hadoop 生态系统是一系列用于处理大数据的开源框架和工具的集合。
其中包括HDFS（Hadoop 分布式文件系统）用于存储大规模数据，YARN（Yet Another Resource Negotiator）用于资源管理和调度，MapReduce 用于分布式计算等。
此外，还有 Hive 用于数据仓库和查询处理，HBase 用于大规模的分布式数据库，Sqoop 用于在关系型数据库和 Hadoop 之间进行数据迁移等。
3、解释一下 CAP 定理。
CAP 定理指出，在一个分布式系统中，一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三个特性最多只能同时满足其中两个。
一致性指的是在分布式系统中，所有节点在同一时刻看到的数据是相同的；可用性指的是系统能够在正常响应时间内提供服务；分区容错性指的是系统在遇到网络分区等故障时仍能继续工作。
4、什么是数据仓库和数据集市？数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
数据集市则是数据仓库的一个子集，通常面向特定的业务部门或主题，规模较小，更专注于满足特定用户的需求。
二、数据处理与分析1、谈谈你对数据清洗的理解以及常见的数据清洗方法。
数据清洗是指处理和纠正数据中的错误、缺失值、重复值和不一致性等问题，以提高数据质量。
大数据专业面试题目(3篇)
第1篇一、基础知识与概念理解1. 请简述大数据的概念及其与传统数据处理的区别。
2. 大数据通常具有哪些特征？请用“5V”模型进行解释。
3. 什么是Hadoop？它在大数据处理中扮演什么角色？4. HDFS（Hadoop Distributed File System）的主要功能和特点是什么？5. 请解释MapReduce的工作原理及其在Hadoop中的作用。
6. 什么是数据挖掘？它与数据分析有何区别？7. 什么是数据仓库？它与数据库有何不同？8. 请简述数据流处理的原理及其在实时数据分析中的应用。
9. 什么是机器学习？它在大数据分析中有什么应用？10. 什么是数据可视化？它在大数据分析中有什么重要性？二、Hadoop生态系统与工具11. Hadoop生态系统包含哪些主要组件？请分别简述其功能。
12. 请解释YARN（Yet Another Resource Negotiator）的作用和工作原理。
13. Hive和Pig在Hadoop中分别用于什么目的？14. 什么是HBase？它在Hadoop生态系统中的定位是什么？15. 请解释HDFS的命名空间管理。
16. Hadoop的容错机制有哪些？请举例说明。
17. Hadoop集群的常见故障有哪些？如何进行故障排查和解决？18. 请简述Hadoop的集群部署和维护过程。
三、数据存储与处理19. HDFS的数据块大小是多少？为什么选择这个大小？20. HDFS中数据副本的数量通常是多少？为什么需要副本？21. 请解释HDFS的垃圾回收机制。
22. HDFS支持哪些数据压缩格式？请介绍其中一种的压缩和解压缩过程。
23. Hadoop中的小文件问题有哪些？如何解决？24. 请解释Hadoop中的纠删码原理及其优势。
25. HDFS如何实现机架感知？取消机架感知可能带来哪些问题？26. HDFS常见的运维操作有哪些？哪些操作是高危的？如果高危操作出现问题，如何解决？27. HDFS常见的故障有哪些？如何处理？请给出三种预案来防范大部分常见故障。
大数据分析岗面试问题全解答
大数据分析岗面试问题全解答在如今信息爆炸的社会中，大数据分析岗位的需求越来越大。
对于想要进入这一领域的求职者来说，面试是一个重要的环节。
在面试中，除了基本的技术能力和经验之外，还会被问到一些特定的问题。
本文将为大家提供一份全面的大数据分析岗面试问题解答，希望能对大家有所帮助。
问题一：请介绍一下你对大数据分析的理解和认知。
回答：对于大数据分析，我认为它是一种通过收集、储存和处理大量数据来挖掘有价值信息的技术。
它使用各种数据分析工具和算法，通过对大数据集的分析，帮助企业或机构更好地了解市场趋势、用户行为和业务模式等相关信息，并基于这些信息做出决策。
问题二：你在大数据分析领域有哪些经验和项目经历？回答：近年来，我在大数据分析领域有一定的经验与项目经历。
其中，我参与了一家电商公司的大数据分析项目，负责数据的收集和清洗工作，并运用机器学习算法对用户行为和购买模式进行分析，以帮助企业更好地推荐商品和提高销售额。
此外，我还完成了一个关于社交媒体数据分析的独立项目，通过分析用户的言论和互动行为，预测热门话题和社交趋势。
问题三：请介绍一下你对大数据分析常用工具和技术的了解。
回答：在大数据分析领域，常见的工具和技术包括Hadoop、Spark、SQL、Python和R等。
Hadoop是一个分布式计算框架，能够处理大规模的数据，并提供高可靠性和容错能力。
Spark是一个快速通用的大数据处理引擎，适用于各种数据分析任务。
SQL是处理结构化数据的标准查询语言，广泛应用于关系型数据库。
Python和R是两种常用的编程语言，它们在数据分析和可视化方面具有较强的优势。
问题四：请解释一下什么是数据清洗，为什么数据清洗在大数据分析中如此重要？回答：数据清洗是指通过消除或更正不准确、不完整、重复或不必要的数据，以提高数据质量和可靠性的过程。
在大数据分析中，数据清洗至关重要，因为数据的质量直接影响到后续分析的准确性和可靠性。
如果数据存在错误或冗余，将会导致分析结果的误差或偏差，进而影响最终的决策结果。
大数据的面试题及答案
大数据的面试题及答案在大数据时代，大数据领域的专业人才需求越来越大。
而在求职大数据相关领域时，面试则是必不可少的环节。
为了帮助大家更好地准备面试，本文将列举一些常见的大数据面试题及对应的答案，以供参考。
问题一：请解释什么是大数据？答案：大数据是指规模庞大、无法仅依靠传统的数据处理工具进行捕捉、管理、处理和分析的数据集合。
这些数据集合通常具有高度的复杂性和多样性，并且以高速率产生。
大数据的特点主要体现在三个方面，即数据量大、数据种类多和数据速度快。
问题二：请谈一谈大数据技术的优势与挑战。
答案：大数据技术的优势主要包括：1. 帮助企业更好地了解客户，提供个性化的服务。
2. 可以分析和预测市场趋势，为企业决策提供依据。
3. 提高企业的运营效率，降低成本。
4. 促进科学研究、医疗健康等领域的发展。
大数据技术面临的挑战主要包括：1. 数据质量的问题，包括数据的准确性、完整性等。
2. 隐私保护与数据安全问题。
3. 大数据分析技术与算法的不断更新与发展。
4. 数据治理与管理的难题。
问题三：请简要介绍一下Hadoop。
答案：Hadoop是一个开源的分布式计算平台，用于处理大规模数据。
它的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce计算模型。
HDFS用于将数据分布式存储在多台机器上，而MapReduce则用于将数据分布式处理和计算。
Hadoop具有高容错性、高可扩展性和低成本等特点，被广泛应用于大数据处理领域。
问题四：请解释一下MapReduce。
答案：MapReduce是一种用于对大规模数据集进行并行处理的编程模型。
它将计算任务分解为两个独立的阶段：Map阶段和Reduce阶段。
在Map阶段，输入数据会被分割成多个小的子问题，然后分发给不同的计算节点并行处理。
在Reduce阶段，处理结果会被汇总起来以得到最终的输出结果。
MapReduce模型的核心思想是将问题分解为多个可并行处理的子问题，以提高处理效率。
大数据面试复习----常问问题分析
关于Java的面试题：关于虚拟机的面试题：1.hashmap底层?2.Java进程中断怎么处理?3.介绍下面向对象?4.介绍下多态?5.方法重载和重写?6.这俩哪个属于多态?7.说下多线程?8.实现方式有哪些，区别?9.同步锁互斥，为什么常量不能做锁?10.说下反射，都是做什么的?11.反射机制怎么实现的?12.linkedlist和arraylist的区别?13.hashMap的存储机制和存取过程?14.java的多线程？15.java的流处理？16.socket编程？17.hibernate的原理，干啥的？18.服务器之间如何通信？19.定时器如何写？20. Hashmap hashset treemap 区别21.什么是hashMap？22. 常用标签html？23.Spring 控制反转依赖注入，AOP 及其用途?24.java 中怎么解决多线程问题有几种方式，他们之间的不同?25.Hashtale hashmap currenthashtable 区别?26.Jvm 机制以及OOM发生的情况简述一下?27.Java 数组反转实现?28.Java 序列化 SqenceFile 并说明你的序列化方式和适用场景?29.Hashmap怎么实现，与tremap的区别?30.Java中问到常问的new String()问题到底是创建几个对象，StringBuffer和StringBuilder 区别?31.java反射比较多怎么优化处理?32. java 集合set list map 原理区别如何选择？33.jvm调优？34.线程同步？35.web service生命周期?36.对spring的理解?37.java7新特性?38.java实现上述功能，在TB级别数据情况下，实现方案?39.java实现取出两个文件中共有的数据?40.做一个排序（java伪代码）?41.常用的jqury框架，比如jqury的表单校验框架？42.单例？43.LinkdList和ArrayList的区别？44.http传输的时候是明文的，怎么解决安全问题？45.垃圾回收机制？46.java内存模型？47.java内存模型？48.java垃圾回收机制?49.object中有哪些方法?50.ArrayList中Array的长度超了是怎么增加的，一次增加多少?51.java多线程?52.java中的集合?53.垃圾回收机制?54.java中的排序算法?55.会不会SSH框架?56.线程池怎么实现？57.Java内存错误中的一个错误，问我如何解决。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关于Java的面试题：关于虚拟机的面试题：1.hashmap底层?2.Java进程中断怎么处理?3.介绍下面向对象?4.介绍下多态?5.方法重载和重写?6.这俩哪个属于多态?7.说下多线程?8.实现方式有哪些，区别?9.同步锁互斥，为什么常量不能做锁?10.说下反射，都是做什么的?11.反射机制怎么实现的?12.linkedlist和arraylist的区别?13.hashMap的存储机制和存取过程?14.java的多线程？15.java的流处理？16.socket编程？17.hibernate的原理，干啥的？18.服务器之间如何通信？19.定时器如何写？20. Hashmap hashset treemap 区别21.什么是hashMap？22. 常用标签html？23.Spring 控制反转依赖注入，AOP 及其用途?24.java 中怎么解决多线程问题有几种方式，他们之间的不同?25.Hashtale hashmap currenthashtable 区别?26.Jvm 机制以及OOM发生的情况简述一下?27.Java 数组反转实现?28.Java 序列化 SqenceFile 并说明你的序列化方式和适用场景?29.Hashmap怎么实现，与tremap的区别?30.Java中问到常问的new String()问题到底是创建几个对象，StringBuffer和StringBuilder 区别?31.java反射比较多怎么优化处理?32. java 集合set list map 原理区别如何选择？33.jvm调优？34.线程同步？35.web service生命周期?36.对spring的理解?37.java7新特性?38.java实现上述功能，在TB级别数据情况下，实现方案?39.java实现取出两个文件中共有的数据?40.做一个排序（java伪代码）?41.常用的jqury框架，比如jqury的表单校验框架？42.单例？43.LinkdList和ArrayList的区别？44.http传输的时候是明文的，怎么解决安全问题？45.垃圾回收机制？46.java内存模型？47.java内存模型？48.java垃圾回收机制?49.object中有哪些方法?50.ArrayList中Array的长度超了是怎么增加的，一次增加多少?51.java多线程?52.java中的集合?53.垃圾回收机制?54.java中的排序算法?55.会不会SSH框架?56.线程池怎么实现？57.Java内存错误中的一个错误，问我如何解决。
？58.Callable和Runable的区别？59.在线项目的bug如何调试？60.进程和线程的区别，线程如何配置？?关于设计模式的面试题：1. 设计模式?2.说说常用的设计模式，我说了个单例，他好像觉得太简单了，我又说了个策略模式？关于数据结构和算法的面试题：1.再一次提起数据结构和算法2.算法和数据结构--要求，是基本的?3.一个数组，如a=[1,2,3,4,1,2]，把元素出现两次的保留，最后得到a=[1,2]；最后要写几个测试case。
这个问题我先用一个循环，map统计次数，让后再循环。
当出现两次的元素，踢掉。
一个字符串，如何查询是否含有某一个子字符串，如果有返回索引，不能用api的函数4.PageRank怎么实现?5.算法中O(n)一定比O(lg(n))性能差吗？为什么？有那些因素需要考虑？算法中O(n)一定比O(lg(n))性能差吗？为什么？有那些因素需要考虑6.出了个题让我现场搞一下，一个文件里有两个字段分别是IP和time，ip可以通过写好的函数转换成省份，让我实时统计每一分钟的PV，UV，注意PV,UV是累加的，不是一分钟的数据，可以根据省份去查询PV，UV。
7. 对一个字符串进行全排列？8.用户文件2个属性10万行，课程文件2个属性2万行，日志文件1个属性很大，这些属性可以任意的组合查询，每秒的请求数是10000个，请如何最快的方式查询出数据？？9. 给你2个字符串，字符串最后一个字符可以循环到最前面，只要一个字符串中每一个字符在另一个字符串都有就是相等的，请用你的方法比较是否相等？10.一个100G文件，里面每一个行都是一个ip，怎么写单机程序找出出现次数最多的前100个IP？11.写个二分查找?12.写程序找出两个字符串中出现的共同字母?13.快速排序?关于HDFS的面试题：------ok1.hodoop写文件流程?2.hdfs了解多少？读写流程，架构？3.写流程中备份三，其中一个写失败了怎么弄的？4.hdfs HA（过程，启动流程）？5.hadoop的优化？6.hadoop1和hadoop2的区别？7.hadoop有哪些组件？8.hadoop 数据倾斜问题?9.HDFS 存储的什么类型?10.Hadoop1.x 和2.x 的差别?11.说说你hadoop 中都每个配置文件都配置了什么吧?12.Hadoop集群的优化?13.hdfs的实现?14.hdfs文件创建--工作流程？15.hdfs异步读?-------------参考博客：/androidlushangderen/article/details/5245221516.hdfs api 源码解答：文件创建工作流程?17.hdfs api新特性?---------不知道18.hadoop中一个job提交到resourcemanager之后，resourcemanager会生成一个什么样的容器来放这个job？19.hadoop集群中的某个block不能copy数据到其他节点，怎么办？如果并发量大了，有多个block不能copy数据，怎么办？-------不知道20.Zookeeper怎么实现Hadoop的高可用?--------不熟悉21.Hadoop体系？22.MR的过程？关于MapReduce的面试题：----(ok)1.mapreduce的原理和架构？2.hadoop的全排序和局部排序和二次排序？----需要注意3.Mapreduce 过程？4.Mapreduce 优化？5.通过mapreduce 实现两个表的join?6.MR的原理拿wordcount来讲，以及优化(全面些)?7.Mr中啥时只有map，啥时要有map和reduce?8.给一个案例用mapreduce去实现，，这个实现过程，会遇到什么问题，怎么解决？9.mr数据倾斜解决办法？10.mapreduce的pagerank实现?11. mapreduce merge?12,用代码写出你使用过的mapreduce？13.MapReduce流程基本原理？14.MapReduce过程的数据倾斜怎么解决?15.MapReduce过程，Zookeeper实现高可用的原理？----不是很清楚关于yarn的面试题：-----ok1.介绍下yarn?2.yarn有哪些组件，调度算法？3.说说yarn工作流程?4.yarn优缺点?关于linux Shell的面试题：1.shell熟不熟？文件查找用什么命令？文件内容过滤用什么？grep命名用过没？2.shell脚本的编写现场笔试二个文件加入都是key value 相同key的value求和?3.awk的编写?4.shell 脚本?sort ， uniq -u，uniq -t ，uniq -d， cat 组合使用，解决从不同文件中找出相同数据的问题，还有解决只在一个文件中出现的数据的问题5.linux文件中查找字符串的命令。
还有替换字符串的命令。
还有 awk命令？6.比iptables更深入的权限控制的啥。
（说了个我也没记住）？7.linux里一个文件，怎么替换某个单词的内容，一个文件有几行数据，怎么直接查看第二行数据8.请使用awk, sed命令对文本文件中第二列和第三列取出来？9.阿里巴巴的电话面试问到了linux的详细启动过程？1.按下电源2.BIOS自检3.系统引导(lilo/grub)4.启动内核5.初始化系统10.在linux环境下怎么查看一台机器的配置情况，比如磁盘，内存等11. Shell编程获取时间，crontab五个星号代表什么？Sed和Awk程序的编写？12.Shell获取某行第几个字符怎么做?13.让我写shell脚本求一个文件中的平均值?关于hive的面试题：sql语句要清楚1:hive的优化?2.写hive建表语句?3.简单说下hive？4.底层实现？5.hive的表类型？6.hive创建表的几种方式？7.udf和udaf都写过哪些?8.介绍下udaf?自己写过吗？9.hive用哪个版本?10.hive窗口函数？11.写sql：1月100,2月200,3月100,4月200.统计如下效果：1月100,2月300,3月500,4月600.【就是每月统计一次前面所有的月的总额】加个over，就可以orderby 与partitionby类似？12.hive 2.0 lllip tz 了解吗？新特性？13.hive时，怎么合并小文件来着?14.列出了三张关联的表，其中一张表有点击数量的统计。
让我们算一天的所有点击数量写出 hivesql，我没写出来?15.Hive 的优化?16.Hive 左右连接?17.Hive 使用的三种形式?18.Hive 分区?19.hive的工作原理?20.Hive中的rlike是怎么回事，哪里用到了?21.sql优化22.问我Hive怎么解决数据倾斜? MapReduce过程?设计角度 --- 建索引，建视图sql--------------- 充分利用索引，避免全表扫描22.hive优化?充分利用临时表,重复利用?23.几道sql问题，联表查，exists，group by保留全部字段?24.不用hadoop 自己设计方案实现TB级别数据量，TOP10问题，数据倾斜问题怎么解决?25.hive原理，优化？26.hive数据倾斜优化？27.hive 执行sql时的工作流程?28.hive的默认分隔符?29.hive rank（以某个字段分组，在组内排序，找出各组的TOP k）?30.问到了hive的优化？31.怎么解决HIVE产生的数据倾斜问题?32.问我Hive具体怎么用的?33.HIVE中UDF UDAF UDTF的区别。
数据倾斜问题怎么解决？表连接有几种类型？34.HIVE怎么优化？HIVE常用的几个配置是哪些？35.Hive什么时候不能用combiner？36.添加自定义UDF的时候都是临时的，怎么永久添加？37.Hive动态分区?38.写一个表的查询的sql语句，具体忘了，是个嵌套的SQL?关于Hbase的面试题：------(ok)1.hbase 我说没用过?2.hbase有哪些组件，以及hbase里面的buffer？3.hbase rowkey的设计？4.hbase优化？5.hbase数据插入优化？6.hbase如何优化的？7.hbase的writebuffer？8.hbase对于复杂表如何设计rowkey?9.Hbase 执行过程？10.Hbase 优化？11.关系型数据库是怎么把数据导出到Hbase 里的?12.hbase 优化问题?13.hbase 的性能优化?14.Hbase解决了什么问题?15.Hbase的相对多些，基础和优化?16.hbase最主要的特点是什么？17.hbase部署?18.和hbase同样功能的分布式数据库了解多少?19.HBase的存储原理?20.说说hbase的API都有哪些filter?21.问我major compack设置为手动会出现什么问题？22.mongoDB和hbase的区别？23.Hbase的表设计还有优化?关于Storm的面试题：------------(ok)1.说说storm？就讲Storm的各个方面：Storm是什么？架构中为什么要选择它而不选择SparkStreaming？Storm的编程模型？Storm的架构设计和Storm的容错机制？我在项目中是怎么使用Storm的？2.strom窗口：五分钟统计一次。